شبکه‌های عصبی عمیق به دلیل موفقیت در کاربردهای مختلف، به جذابیت فوق‌العاده‌ای دست‌یافته‌اند. اما پیچیدگی محاسبات و حجم حافظه از موانع اصلی برای پیاده‌سازی آن‌ها در بسیاری از دستگاه‌های نهفته تلقی می‌شود. از مهم‌ترین روش‌های بهینه‌سازی که در سال‌های اخیر برای برطرف نمودن این موانع ارائه شده، می‌توان به کوانتیزاسیون‌ و هرس کردن اشاره کرد. یکی از روش‌های معروف کوانتیزاسیون، استفاده از نمایش اعداد چندرقمی باینری است که علاوه بر بهره‌بردن از محاسبات بیتی، افت صحت شبکه‌های باینری را در مقایسه با شبکه‌های دقت کامل کاهش می‌دهد. اما به دلیل نداشتن قابلیت نمایش عدد صفر در آن‌ها، مزایای تنکی داده‌ها را از دست می دهند. از طرفی، شبکه‌های عصبی عمیق به صورت ذاتی تنک هستند و با تنک کردن پارامترهای شبکه عصبی عمیق، حجم داده‌ها در حافظه کاهش می یابد و همچنین به کمک روش‌هایی می‌توان انجام محاسبات را تسریع کرد. در این مقاله می‌خواهیم هم از مزایای کوانتیزاسیون چند رقمی و هم از تنکی داده‌ها بهره ببریم. برای این منظور کوانتیزاسیون چند رقمی ترنری برای نمایش اعداد ارائه می‌دهیم که علاوه بر افزایش صحت شبکه نسبت به شبکه چندرقمی باینری، قابلیت هرس کردن را به شبکه می‌دهد. سپس میزان تنکی در شبکه کوانتیزه شده را با استفاده از هرس کردن افزایش می‌دهیم. نتایج نشان می‌دهد که تسریع بالقوه شبکه ما در سطح بیت و کلمه می‌تواند به ترتیب 15 و 45 برابر نسبت به شبکه چند رقمی باینری پایه افزایش یابد. تفاصيل المقالة

یکی از کارآمدترین راه‌کارهای فشرده‌سازی و کاهش انرژی مصرفی شبکه‌های عصبی عمیق در دستگاه‌های نهفته، کوانتیزاسیون با استفاده از نمایش اعداد ممیز ثابت است. در سال‌های اخیر، روش‌های متنوعی برای بهبود صحت شبکه‌های کوانتیزه‌شده مطرح شده است که اغلب سربارهای محاسباتی زیادی به شبکه تحمیل می‌کنند، اگرچه این موضوع تاکنون از دید طراحان شبکه‌های عصبی عمیق پنهان مانده‌است. در این پژوهش، روش‌های مختلف کوانتیزاسیون ممیزثابت، بر اساس مولفه‌های تاثیرگذار در سربارهای سخت افزاری، طبقه‌بندی و مدل شده است. پس از آن، معماری‌های سخت‌افزاری ارائه‌شده برای هریک از مدل‌ها به صورت عادلانه، با در نظرگرفتن هزینه‌فایده‌ی بین صحت شبکه و بهره‌وری انرژی سخت‌افزار، بررسی و مقایسه می‌شوند. نتایج نشان می‌دهد تکنیک‌هایی که برای کاهش خطای روش‌های کوانتیزاسیون به کار گرفته می‌شود، اگرچه به افزایش صحت شبکه‌های عصبی منجر می‌شود اما از طرف دیگر بهره‌وری انرژی سخت‌افزار را کاهش می‌دهد. براساس نتایج شبیه‌سازی، افزودن ضریب مقیاس و آفست به کوانتیزاسیون ممیزثابت LSQ، صحت شبکه را حدود 1/0 افزایش می‌دهد اما بهره‌وری انرژی سخت‌افزار حدود 3 برابر کمتر شده است. این موضوع لزوم توجه به سربارهای سخت‌افزاری را به‌خصوص در سیستم‌های نهفته، بیش از پیش نشان می‌دهد. تفاصيل المقالة

شبکه‌های عصبی عمیق به دلیل موفقیت در کاربردهای مختلف، به جذابیت فوق‌العاده‌ای دست یافته‌اند. اما پیچیدگی محاسبات و حجم حافظه از موانع اصلی برای پیاده‌سازی آن‌ها در بسیاری از دستگاه‌های نهفته تلقی می‌شود. از مهم‌ترین روش‌های بهینه‌سازی که در سال‌های اخیر برای برطرف نمودن این موانع ارائه شده، می‌توان به چندی‌سازی‌ و هرس کردن اشاره کرد. یکی از روش‌های معروف چندی‌سازی، استفاده از نمایش اعداد غیریکنواخت دو حالتی است که علاوه بر بهره‌بردن از محاسبات بیتی، افت صحت شبکه‌های دو حالتی را در مقایسه با شبکه‌های دقت کامل کاهش می‌دهد. اما به دلیل نداشتن قابلیت نمایش عدد صفر در آن‌ها، مزایای تنکی داده‌ها را از دست میدهند. از طرفی، شبکه‌های عصبی عمیق به صورت ذاتی تنک هستند و با تنک کردن پارامترهای شبکه عصبی عمیق، حجم داده‌ها در حافظه کاهش مییابد و همچنین به کمک روش‌هایی می‌توان انجام محاسبات را تسریع کرد. در این مقاله می‌خواهیم هم از مزایای چندی‌سازی غیریکنواخت و هم از تنکی داده‌ها بهره ببریم. برای این منظور چندی‌سازی غیریکنواخت سه حالتی برای نمایش اعداد ارائه می‌دهیم که علاوه بر افزایش صحت شبکه نسبت به شبکه غیریکنواخت دو حالتی، قابلیت هرس کردن را به شبکه می‌دهد. سپس میزان تنکی در شبکه چندی شده را با استفاده از هرس کردن افزایش می‌دهیم. نتایج نشان می‌دهد که تسریع بالقوه شبکه ما در سطح بیت و کلمه می‌تواند به ترتیب 15 و 45 برابر نسبت به شبکه غیریکنواخت دو حالتی پایه افزایش یابد. تفاصيل المقالة