چندیسازی غیریکنواخت سه حالتی جهت بهبود تنکی و محاسبات شبکههای عصبی عمیق در کاربردهای نهفته
الموضوعات : AI and Robotics
حسنا معنوی مفرد
1
,
سید علی انصارمحمدی
2
,
مصطفی ارسالی صالحی نسب
3
1 - دانشجو
2 - دانشجو مقطع دکتری، دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران، تهران، ایران
3 - دانشگاه تهران
الکلمات المفتاحية: شبکههای عصبی عمیق, چندیسازی غیریکنواخت سه حالتی, شبکه عصبی تنک, هرس کردن, دستگاههای نهفته,
ملخص المقالة :
شبکههای عصبی عمیق به دلیل موفقیت در کاربردهای مختلف، به جذابیت فوقالعادهای دست یافتهاند. اما پیچیدگی محاسبات و حجم حافظه از موانع اصلی برای پیادهسازی آنها در بسیاری از دستگاههای نهفته تلقی میشود. از مهمترین روشهای بهینهسازی که در سالهای اخیر برای برطرف نمودن این موانع ارائه شده، میتوان به چندیسازی و هرس کردن اشاره کرد. یکی از روشهای معروف چندیسازی، استفاده از نمایش اعداد غیریکنواخت دو حالتی است که علاوه بر بهرهبردن از محاسبات بیتی، افت صحت شبکههای دو حالتی را در مقایسه با شبکههای دقت کامل کاهش میدهد. اما به دلیل نداشتن قابلیت نمایش عدد صفر در آنها، مزایای تنکی دادهها را از دست میدهند. از طرفی، شبکههای عصبی عمیق به صورت ذاتی تنک هستند و با تنک کردن پارامترهای شبکه عصبی عمیق، حجم دادهها در حافظه کاهش مییابد و همچنین به کمک روشهایی میتوان انجام محاسبات را تسریع کرد. در این مقاله میخواهیم هم از مزایای چندیسازی غیریکنواخت و هم از تنکی دادهها بهره ببریم. برای این منظور چندیسازی غیریکنواخت سه حالتی برای نمایش اعداد ارائه میدهیم که علاوه بر افزایش صحت شبکه نسبت به شبکه غیریکنواخت دو حالتی، قابلیت هرس کردن را به شبکه میدهد. سپس میزان تنکی در شبکه چندی شده را با استفاده از هرس کردن افزایش میدهیم. نتایج نشان میدهد که تسریع بالقوه شبکه ما در سطح بیت و کلمه میتواند به ترتیب 15 و 45 برابر نسبت به شبکه غیریکنواخت دو حالتی پایه افزایش یابد.
