Journal of Information and Communication Technology
,
Issue61,Year,
Autumn_Winter
2024
یکی از کارآمدترین راهکارهای فشردهسازی و کاهش انرژی مصرفی شبکههای عصبی عمیق در دستگاههای نهفته، کوانتیزاسیون با استفاده از نمایش اعداد ممیز ثابت است. در سالهای اخیر، روشهای متنوعی برای بهبود صحت شبکههای کوانتیزهشده مطرح شده است که اغلب سربارهای محاسباتی زیادی به More
یکی از کارآمدترین راهکارهای فشردهسازی و کاهش انرژی مصرفی شبکههای عصبی عمیق در دستگاههای نهفته، کوانتیزاسیون با استفاده از نمایش اعداد ممیز ثابت است. در سالهای اخیر، روشهای متنوعی برای بهبود صحت شبکههای کوانتیزهشده مطرح شده است که اغلب سربارهای محاسباتی زیادی به شبکه تحمیل میکنند، اگرچه این موضوع تاکنون از دید طراحان شبکههای عصبی عمیق پنهان ماندهاست.
در این پژوهش، روشهای مختلف کوانتیزاسیون ممیزثابت، بر اساس مولفههای تاثیرگذار در سربارهای سخت افزاری، طبقهبندی و مدل شده است. پس از آن، معماریهای سختافزاری ارائهشده برای هریک از مدلها به صورت عادلانه، با در نظرگرفتن هزینهفایدهی بین صحت شبکه و بهرهوری انرژی سختافزار، بررسی و مقایسه میشوند. نتایج نشان میدهد تکنیکهایی که برای کاهش خطای روشهای کوانتیزاسیون به کار گرفته میشود، اگرچه به افزایش صحت شبکههای عصبی منجر میشود اما از طرف دیگر بهرهوری انرژی سختافزار را کاهش میدهد. براساس نتایج شبیهسازی، افزودن ضریب مقیاس و آفست به کوانتیزاسیون ممیزثابت LSQ، صحت شبکه را حدود 1/0 افزایش میدهد اما بهرهوری انرژی سختافزار حدود 3 برابر کمتر شده است. این موضوع لزوم توجه به سربارهای سختافزاری را بهخصوص در سیستمهای نهفته، بیش از پیش نشان میدهد.
Manuscript profile
Rimag
Rimag is an integrated platform to accomplish all scientific journal requirements such as submission, evaluation, reviewing, editing, DOI assignment and publishing in the web.