کوانتیزاسیون چند رقمی ترنری جهت بهبود تنکی و محاسبات شبکه‌های عصبی عمیق در کاربردهای نهفته
الموضوعات : AI and Robotics
حسنا معنوی مفرد
1
,
سید علی انصارمحمدی
2
,
مصطفی ارسالی صالحی نسب
3
1 - دانشجو مقطع ارشد، دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران، تهران، ایران
2 - دانشجو مقطع دکتری، دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران، تهران، ایران
3 - استادیار، دانشکده مهندسي برق و کامپیوتر، دانشگاه تهران، تهران، ایران
الکلمات المفتاحية:
ملخص المقالة :
شبکه‌های عصبی عمیق به دلیل موفقیت در کاربردهای مختلف، به جذابیت فوق‌العاده‌ای دست‌یافته‌اند. اما پیچیدگی محاسبات و حجم حافظه از موانع اصلی برای پیاده‌سازی آن‌ها در بسیاری از دستگاه‌های نهفته تلقی می‌شود. از مهم‌ترین روش‌های بهینه‌سازی که در سال‌های اخیر برای برطرف نمودن این موانع ارائه شده، می‌توان به کوانتیزاسیون و هرس کردن اشاره کرد. یکی از روش‌های معروف کوانتیزاسیون، استفاده از نمایش اعداد چندرقمی باینری است که علاوه بر بهره‌بردن از محاسبات بیتی، افت صحت شبکه‌های باینری را در مقایسه با شبکه‌های دقت کامل کاهش می‌دهد. اما به دلیل نداشتن قابلیت نمایش عدد صفر در آن‌ها، مزایای تنکی داده‌ها را از دست می دهند. از طرفی، شبکه‌های عصبی عمیق به صورت ذاتی تنک هستند و با تنک کردن پارامترهای شبکه عصبی عمیق، حجم داده‌ها در حافظه کاهش می یابد و همچنین به کمک روش‌هایی می‌توان انجام محاسبات را تسریع کرد. در این مقاله می‌خواهیم هم از مزایای کوانتیزاسیون چند رقمی و هم از تنکی داده‌ها بهره ببریم. برای این منظور کوانتیزاسیون چند رقمی ترنری برای نمایش اعداد ارائه می‌دهیم که علاوه بر افزایش صحت شبکه نسبت به شبکه چندرقمی باینری، قابلیت هرس کردن را به شبکه می‌دهد. سپس میزان تنکی در شبکه کوانتیزه شده را با استفاده از هرس کردن افزایش می‌دهیم. نتایج نشان می‌دهد که تسریع بالقوه شبکه ما در سطح بیت و کلمه می‌تواند به ترتیب 15 و 45 برابر نسبت به شبکه چند رقمی باینری پایه افزایش یابد.
