• صفحه اصلی
  • آموزش شبکه عصبی MLP در فشرده¬سازی تصاویر با استفاده از روش GSA

اشتراک گذاری

آدرس مقاله


کد مقاله : 202007118328 بازدید : 14640 صفحه: 45 - 53

نوع مقاله: پژوهشی

آموزش شبکه عصبی MLP در فشرده¬سازی تصاویر با استفاده از روش GSA

محورهای موضوعی : عمومى

مريم ده‌باشيان 1 , سيدحميد ظهيري 2

1 - دانشگاه بیرجند
2 - دانشگاه بیرجند

تاریخ دریافت : 1389/05/17 تاریخ پذیرش : 1389/05/17 تاریخ انتشار : 1390/02/13

کلید واژه: الگوریتم¬های ابتکاری, الگوریتم جستجوی گرانشی, شبکه¬ عصبی چند لایه, فشرده سازی تصویر,

چکیده مقاله :

یکی از حوزه های تحقیقاتی مهم در پردازش تصویر، فشرده-سازی تصاویر است. تاکنون روش های مختلفی برای فشرده-سازی تصویر ارائه شده است، در این میان شبکه های عصبی مخاطبان زیادی را به خود جذب کرده اند. متداول ترین روش آموزشی شبکه های عصبی، روش پس انتشار خطاست که همگرايي کند و توقف در بهينه های محلي از مهمترین نقاط ضعف آن محسوب می شوند . رویکرد جدید محققین، استفاده از الگوریتم های ابتکاری در فرایند آموزش شبکه های عصبی است. در این مقاله، روش آموزشی نوینی مبتنی بر روش جستجوي گرانشي (GSA) معرفی می شود. روش جستجوي گرانشي آخرين و جديدترين نسخه از انواع روش هاي جستجو و بهينه سازي هوش جمعي است. در اين روش پاسخ هاي كانديد در فضاي جستجو اجرامي هستند كه توسط نيروي گرانش بر يكديگر اثر گذاشته و موقعيتشان تغيير مي كند. به تدریج اجرام با برازندگي بهتر داراي جرم بيشتري می شوند و بر اجرام ديگر تاثير بيشتري می گذارند. در تحقیق حاضر با استفاده از الگوریتم GSA یک شبکه عصبی MLP به منظور فشرده سازی تصاویر آموزش داده می شود. ▪ نویسنده عهده‌دار مکاتبات (m.dehbashian@gmail.com) برای ارزیابی کارایی فشرده ساز ارائه شده عملکرد آن با الگوریتم بهینه سازی گروه ذرات و روش متداول پس انتشار خطا در فشرده سازی چهار تصویر استاندارد مقایسه می شود. نتايج نهایی گویای قابلیت چشمگیر روش GSA در آموزش شبکه های عصبی MLP می باشد.

چکیده انگلیسی:

One of the important research areas in image processing is image compression. Until now, various methods for image compression have been presented, among which neural networks have attracted many audiences. The most common training method of neural networks is the error backpropagation method, which converges and stops at local optima are considered one of its most important weaknesses. The researchers' new approach is to use innovative algorithms in the process of training neural networks. In this article, a new educational method based on gravity search method (GSA) is introduced. The gravity search method is the latest and newest version of all types of collective intelligence search and optimization methods. In this method, the candidate answers in the search space are objects that are affected by the force of gravity and their positions change. Gradually, objects with better fit have more mass and have a greater effect on other objects. In this research, an MLP neural network is trained for image compression using the GSA algorithm.

منابع و مأخذ:

[1] S. Anna Durai, and E. Anna Saro, “Image Compression with Back-Propagation Neural Network using Cumulative Distribution
[2] Function”, World Academy of Science, Engineering and Technology, 2006.
[3] S. Kulkarni, B. Verma and M. Blumenstein, “Image Compression using a Direct Solution Method Based Neural Network”, Griffith University, Gold Coast Campus, QLD 4217, Australia.
[4] D.K Kumar, N. Mahalingam, "Nested neural networks for image compression", In IEEE Region 10 International Conference on Global Connectivity in Energy. 1998.
[5] C. Amerijckx, M. Verleysen, P. Thissen, and J.Legat, "Image Compression by Self-Organized Kohonen Map", In IEEE Transactions on Neural Networks, Vol. 9, No. 3, May 1998.
[6] J. MI, and D. S. Huang, "Image Compression Using Principal Component Neural Network", In IEEE International Conference on Control, Automation,Robotics and Vision, 2004.
[7] Robert D. Dony, Simon Haykin, “Neural Network Approaches to Image Compression”, In PROCEEDINGS OF THE IEEE, VOL. 83, NO. 2, FEBRUARY 1995.
[8] Hamdy S. Soliman, Mohammed Omari, “A neural networks approach to image data compression” In Applied Soft Computing 6, pp. 258–271, 2006.
[9] G. W. Cottrell, P. Munro and D. Zipser, "Image Data Compression by Back Propagation: An example of Extensional Programming", ICs Report 8702, 1987.
[10] A. A. Miniani, R. D. Williams, “Acceleration of back-propagation through learning rate and momentum adaptation”, Proc. International joint conference on neural networks, San Diego, CA, pp. 676-679, 1990.
[11] R. A. Jacobs, “Increased rate of convergence through learning rate adaptation”, Neural Networks, Vol. 1, No. 4, pp. 295-308, 1988.
[12] K. Balakrishnan, V. Honavar, “Improving convergence of back propagation by handling flat-spots in the output layer”, Proc. Second International Conference on Artificial Neural Networks, Brighton, U.K., pp. 139-144, 1992.
[13] W. Yan, S. Hongbao, “Improvement of Neural Network learning algorithm and its application in control”, Proc. The 3rd World Congress on neural networks, Hefei, Anhui, pp. 971-975, 2000.
[14] B. Bazartseren, G. Hildebrandt, K. P. Holz, “Short-term water level prediction using neural networks and neuro-fuzzy approach”, neuro computing, Vol. 55, No. 3–4, pp. 439–450, 2003.
[15] M.Engin, “ECG beat classification using neuro-fuzzy network”, Pattern Recognition Letters, Vol. 25, pp. 1715-1722, 2004.
[16] P. Kumar, S. N. Merchant, U. B. Desai, “Improving performance in pulse radar detection using Bayesian regularization for neural network training”, Digital Signal Processing, Vol. 14, No. 5, pp. 438–448, 2004.
[17] L. L. Rogers, F. U. Dowla, V. M. Johnson, “Optimal field-scale groundwater remediation using neural networks and the genetic algorithm”, Environmental Science and Technology, Vol. 29, No. 5, pp. 1145– 1155, 1995.
[18] A. L. Arnaud, P. J. L. Adeodato, G. C. Vasconcelos, R. F. O. Neto, “MLP neural networks optimization through simulated annealing in a hybrid approach for time series prediction”, Congresso de Soceidade Brasileira de computacäo, pp. 1110-1113, 2005.
[19] Y. P. Chang, C. N. Ko, “A PSO method with nonlinear time-varying evolution based on neural network for design of optimal harmonic filters”, Expert Systems with Applications, Vol. 36, pp. 6809–6816, 2009.
[20] E. Rashedi, H. Nezamabadi-pour, S. Saryazdi, “GSA: A Gravitational Search Algorithm”, Information Sciences, Vol. 179, pp. 2232–2248, 2009.
اکبری، رضا؛ زیارتی، کوروش؛ " استفاده از بهینه¬سازی گروهی ذرات برای آموزش شبکه¬های عصبی و کاربرد آن در فشرده-سازی تصویر" ، هشتمین کنفرانس سیستم¬های هوشمند، دانشگاه فردوسی، مشهد، 1386.
[21] M. T. Hagan, M. Menhaj, “Training feed forward networks with the Marquardt algorithm”, IEEE transactions on Neural Networks, Vol. 5, No. 6, pp. 989-993, 1994.
[22] راشدی، عصمت؛ نظام¬آبادی پور، حسین؛ سریزدی، سعید؛ الگوریتم جستجوی گرانشی باینری، هشتمین کنفرانس سیستم-های هوشمند، دانشگاه فردوسی مشهد، 1386.
[23] ده¬باشیان، مریم؛ ظهیری، سیدحمید؛ الگوریتم جستجوی گرانشی نخبه¬گرای پیشرفته، اولین کنفرانس انرژی¬های تجدیدپذیر و تولید پراکنده ایران، دانشگاه بیرجند، 1388.
[24] ده¬باشیان، مریم؛ ظهیری، سیدحمید؛ MOGSA : روشی جدید در بهینه¬سازی چند هدفه مبتنی بر الگوریتم جستجوی گرانشی، شانزدهمین کنفرانس ملی سالانه انجمن کامپیوتر ایران، دانشگاه صنعتی شریف، 1389.
متن کامل:


 

فصلنامه علمي- پژوهشي

فناوري اطلاعات و ارتباطات ایران

سال دوم، شماره‌هاي ‌5 و 6 ، پاييز و زمستان 1389

صص: 53- 45

E:\E Drive\logo\iicta Logo0.JPG 

 

 

آموزش شبکه عصبی MLP در فشرده­سازی تصاویر 

با استفاده از روش GSA

 

مريم ده‌باشيان▪ *                سيدحميد ظهيري **

* کارشناس ارشد، مهندسی الکترونیک، دانشگاه بیرجند

** استادیار، گروه مخابرات و الکترونیک، دانشکده مهندسی، دانشگاه بیرجند 

 

تاريخ دريافت: 17/05/1389                                تاريخ پذيرش: 05/09/1389

 

 

 

چکيده

یکی از حوزه­های تحقیقاتی مهم در پردازش تصویر، فشرده­سازی تصاویر است. تاکنون روش­های مختلفی برای فشرده­سازی تصویر ارائه شده­است، در این میان شبکه­های عصبی مخاطبان زیادی را به خود جذب کرده­اند. متداول­ترین روش آموزشی شبکه­های عصبی، روش پس انتشار خطاست که همگرايي کند و توقف در بهينه­های محلي از مهمترین نقاط ضعف آن محسوب می­شوند . رویکرد جدید محققین، استفاده از الگوریتم­های ابتکاری در فرایند آموزش شبکه­های عصبی است. در این مقاله، روش آموزشی نوینی مبتنی بر روش جستجوي گرانشي (GSA) معرفی می­شود. روش جستجوي گرانشي آخرين و جديدترين نسخه از انواع روش­هاي جستجو و بهينه­سازي هوش جمعي است. در اين روش پاسخ­هاي كانديد در فضاي جستجو اجرامي هستند كه توسط نيروي گرانش بر يكديگر اثر گذاشته و موقعيتشان تغيير مي­كند. به تدریج اجرام با برازندگي بهتر داراي جرم بيشتري می­شوند و بر اجرام ديگر تاثير بيشتري می­گذارند.

در تحقیق حاضر با استفاده از الگوریتم GSA یک شبکه عصبی MLP به منظور فشرده سازی تصاویر آموزش داده می­شود.

 

 

▪ نویسنده عهده‌دار مکاتبات (m.dehbashian@gmail.com)

برای ارزیابی کارایی فشرده­ساز ارائه شده عملکرد آن با الگوریتم بهینه­سازی گروه ذرات و روش متداول پس انتشار خطا در فشرده­سازی چهار تصویر استاندارد مقایسه می­شود. نتايج نهایی گویای قابلیت چشمگیر روش GSA در آموزش شبکه­های عصبی MLP می­باشد.

 

كليد واژگان: الگوریتم­های ابتکاری، الگوریتم جستجوی گرانشی، شبکه­ عصبی چند لایه، فشرده سازی تصویر

 

1- مقدمه

از آنجا که انتقال تصاویر در میان مسیرهای ارتباطی فرایندی پر هزینه می­باشد هدف اصلی در فشرده­سازی تصویر کاهش تعداد بیت های مورد نیاز برای نمایش یک تصویر است.

افزونگی داده مهمترین مورد در فشرده­سازی تصاویر1 دیجیتالی است. از انواع افزونگی داده می­توان به افزونگی رمزنگاری، افزونگی بین پیکسلی و افزونگی روان بصری اشاره نمود. الگوریتم­های فشرده­سازی تصویر سعی در کاهش انواع افزونگی­های تصویر دارند اما استفاده از کدام نوع الگوریتم، به شدت به اطلاعات موجود در تصویر بستگی دارد. یک الگوریتم کاربردی فشرده­سازی داده­هایِ تصویر، بایستی اکثر ویژگی­های داده­ها را حفظ کند و در حالیکه در یک محیط پر اتلاف کار می­کند، بهره را بیشینه و از پیچیدگی الگوریتمی کمتری نیز برخوردار باشد ]1[.

شبكه­هاي عصبي مصنوعي در بسیاری از کاربردها همچون فرايندهاي كنترلي، دسته­بندي داده­ها و خوشه­بندي اطلاعات مورد استفاده قرار می­گیرند. همچنین از شبکه­های عصبی مصنوعی در مسائل فشرده­سازی تصویر نیز استفاده می­شود. در ]2[ برتری عملکرد شبكه­هاي عصبي بر اغلب روش­های متداول در هنگام مواجهه با داده­های نویزی یا معیوب نشان داده شده است.

با توجه به تحقیقات انجام شده، شبکه­های عصبی ابزار مناسبی برای فشرده­سازی تصویر هستند. زیرا قابلیت پیش­پردازش الگوهای ورودی را برای تولید الگوهای ساده تر با مولفه های کمتر دارند. تحقیقات زیادی در مورد استفاده از شبکه­های عصبی برای فشرده­سازی تصویر ارائه شده­ است، از جمله: الگوریتم­های آموزش تو در تو به همراه شبکه­های عصبی چند لایه متقارن2 ]3[، شبکه­های SOM ]4[، شبکه­های تحلیل مولفه­های اصلی ]5[، شبکه­های پس انتشار خطا3 و الگوریتم استخراج اجزای اصلی وفقی. فهرستی از انواع روش­های شبکه های عصبی جهت فشرده سازی تصویر در ]6[ و ]7[ آمده است.

متداول­ترین الگوریتم آموزشی شبكه­های عصبی، الگوریتم پس انتشار خطاست که توسط Romellhart توصیف شده است. در الگوریتم پس انتشار خطا در هر مرحله مقدار خروجی محاسبه شده جدید، با مقدار واقعی مقایسه شده و با توجه به خطای به دست آمده به اصلاح وزن­های شبکه پرداخته می­شود، به نحوی که در انتهای هر تکرار اندازه خطای حاصل شده کمتر از میزان به دست آمده در تکرار قبلی باشد.

روش­پس انتشار خطا اولین بار توسط Cottrell ]8[ مستقیما برای فشرده­سازی تصویر بکار رفت و سپس توسط دیگران مطالعه و توسعه یافت. در ]1[ فشرده­سازی تصویر با شبکه عصبی پس انتشار خطا و با استفاده از تابع توزیع تجمعی انجام شده است.

مشكل الگوريتم پس انتشار خطا همگرايي دير و توقف در نقاط بهينه محلي مي­باشد، به همین دلیل تلاش­های فراوانی برای سرعت بخشیدن به همگرایی و بهبود دقت الگوریتم پس انتشار خطا در آموزش شبکه­های عصبی صورت گرفته است، از آن جمله می­توان به استفاده از تطبیق مومنتوم ]9[ و نرخ یادگیری متغیر ]10[ اشاره کرد که به بهبود اندکی منجر شدند. همچنین با بزرگ کردن مصنوعی خطا برای نرون­های عمل کننده در ناحیه اشباع نتایج بهتری به دست آمدند ]11[. با استفاده از روش­های مختلف مرتبه دوم (برای مثال روش نیوتن، گرادیان مختلط و یا تکنیک بهینه­سازی Levenberg-Marquardt ]21[) بهبود قابل توجهی را می توان بر روی عملکرد تشخیص مشاهده کرد، که به­طور وسیعی به عنوان یکی از مؤثرترین روش­ها در دقت تشخیص پذیرفته شده است.

در ]14-12[ برای تسریع در فرایند یادگیری، منطق فازی با الگوریتم های یادگیری شبکه عصبی یکپارچه شدند. در ]15[ نیز از روش بیز4 برای آموزش شبکه عصبی استفاده شده است.

رويكرد جديد در آموزش شبكه هاي عصبي استفاده از الگوريتم­هاي ابتكاري است. روش­هاي جستجوي ابتكاري الگوريتم­هايي هستند كه با الهام از فرايندهاي فيزيكي و بيولوژيكي در طبيعت به وجود آمده­اند و غالب آنها به صورت جمعيتي عمل مي­كنند. روش­هاي جستجوي ابتكاري بر خلاف روش­هاي كلاسيك بر مبناي تصادف عمل كرده و جستجوي فضا را به صورت موازي انجام مي­دهند. تفاوت ديگر آنها در استفاده نكردن از اطلاعات گراديان فضا است. اين نوع روش­ها تنها از تابع برازندگي براي هدايت جستجو استفاده مي­كنند.

از ­نمونه­هاي اين الگوريتم­ها، الگوريتم ژنتیک با الهام از علم وراثت و تكامل است که در ]16[ برای محاسبه ضرایب شبکه عصبی از این الگوریتم استفاده شده است. الگوریتم ابتکاری دیگر بازپخت شبيه­سازي شده5 با الهام از مشاهدات ترموديناميك است، در ]17 [کارایی بهتر این روش در مقایسه با روش پس انتشار خطا نشان داده شده است. از الگوریتم­های ابتکاری دیگر می­توان به بهينه­سازي گروه ذرات6  با تقليد از رفتار اجتماعي پرندگان اشاره کرد. در ]18[ کارایی برتر این روش در مقایسه با روش  پس انتشار خطا نشان داده شده است. همچنین در ]20[ از الگوریتم PSO جهت آموزش شبکه­های عصبی به منظور فشرده­سازی تصاویر استفاده شده و کارایی برتر این الگوریتم بر روش پس انتشار خطا نشان داده شده است.

به تازگي در حوزه الگوریتم­های هوش جمعی7 ، روش بهينه­سازي و جستجوي جديدي به نام الگوریتم جستجوي گرانشي8 معرفي شده است ]19[. اين الگوريتم، با الهام از مفاهيم جرم و نيرو­ی­جاذبه و با شبيه­سازي قوانين­مربوطه ارائه شده است. 

در اين مقاله با استفاده از الگوريتم جستجوي گرانشي یک شبکه عصبی MLP به منظور فشرده­سازی تصاویر آموزش داده می­شود. برای ارزیابی کارایی شبکه عصبی آموزش دیده، عملکرد آن در فشرده­سازی چهار تصویر استاندارد در شرایط کاملا یکسان با دو فشرده­ساز دیگر که در آنها شبکه عصبی MLP با روش متداول پس انتشار خطا و بهینه سازی گروه ذرات آموزش دیده­اند مقایسه می­شود.

در بخش 2 مقاله الگوريتم جستجوي گرانشي معرفي     مي­شود. در بخش 3 نحوه آموزش شبکه عصبی MLP با استفاده از روش GSA معرفي خواهد شد. در بخش 4 عملکرد فشرده­ساز طراحی شده ارزیابی می­شود و بخش 5 ضمن نتيجه­گيري و بحث پيرامون نتايج به دست آمده مقاله را به انتها مي­رساند.

2- الگوریتم جستجوی گرانشی 

الگوریتم جستجوی گرانشی جدیدترین عضو خانواده الگوریتم­های هوشِ جمعی است که از قوانین جاذبه میان اجرام و حرکت نیوتنی الهام گرفته شده است. طبق قانون جاذبه نیوتن، هر جسم به به اجسام دیگر نیرو وارد نموده و آنها را به سمت خود جذب می­کند. به وضوح هر چه این اجسام بزرگ­تر و نزدیک­تر باشند، تاثیر این نیرو بیشتر خواهد بود. در نتیجه هر جسم با استفاده از نیروی جاذبه محل و مقدار جرم سایر اجسام را درک می­کند، بنابراین می­توان از این نیرو به عنوان رسانه­ای برای تبادل اطلاعات استفاده­کرد. از الگوریتم جستجوی گرانشی ­در حل مسائل بهینه­سازی استفاده می­شود. در این الگوریتم پاسخ­های موردنظر موقعیت اجرام در فضای مسئله هستند، میزان اجرام نیز با توجه به تابع هدف تعیین می­شود.

در ابتدا فضاي سيستم مشخص مي­شود که شامل يك دستگاه مختصات چند بُعدي در فضاي تعريف مسئله است. پس از تشكيل سيستم، قوانين حاكم بر آن مشخص مي­شوند. فرض مي­شود تنها قانون جاذبه و قوانين حركت بر این سیستم حاكمند. صورت كلي اين قوانين تقريبا شبيه قوانين طبيعت است و به صورت زير تعريف می­شوند:

سيستم به صورت مجموعه­اي از m جرم تصور می­شود. موقعيت هر جرم می­تواند جوابي برای مسئله مي­باشد. موقعيت بُعد d ازجرم i با img0نشان داده ­می­شود.

img0   , for i= 1, 2,...,m(1)

در رابطه فوق n نشان دهنده بُعد فضای پاسخ است.

در اين سيستم در زمان t، به هر جرم i از سوي جرم j در جهت بُعد d، نيرويي به اندازه img0 وارد مي­شود. مقدار اين نيرو طبق ­رابطه (2­) محاسبه مي­شود. G(t) ثابت گرانش در زمان t و img0 فاصله بين دو جرم i و j مي­باشد. براي تعيين فاصله بين اجرام مطابق رابطه (3) از فاصله اقليدسي (نُرم 2) استفاده می­شود.

(2)     img0    (3)                              img0     

در رابطه (2)، img0 يك عدد بسيار كوچك است. نيروي وارد بر جرم i در جهت بُعد d در زمان t (img0)، برابر مجموع نيروهايي است كه k جرم برتر جمعيت بر جرم وارد مي­كنند. مقصود از اجرام برتر، عامل­هایی هستند که دارای برازندگی بیشتری ­باشند.

(4)                  img0     

در رابطه فوق kbest بيانگر مجموعه k جرم برتر جمعيت است. همچنین در این رابطه randj عددی تصادفی با توزیع یکنواخت در بازه [0,1] است که برای حفظ خصوصیت تصادفی بودن جستجو در نظر گرفته می­شود.

طبق قانون دوم نيوتن، هر جرم در جهت بُعد d شتابي مي‌گيرد كه متناسب است با نيروي وارد بر جرم i در آن جهت بخش بر جرم i. رابطه (5) شتاب جرم i درجهت بُعد d در زمان t را با img0 نشان ­می­دهد.

(5)                                  img0 

سرعت هر جرم برابر مجموع ضريبي از سرعت فعلي جرم و شتاب جرم طبق رابطه (6) تعريف مي­شود. موقعيت جديد بُعد d از جرم i طي رابطه 7 محاسبه مي­شود.

(6) img0

(7) img0

در روابط فوق img0 سرعت بُعد d ام عامل i در زمان t و randi عددی تصادفی با توزیع یکنواخت در بازه [0,1] است که برای حفظ خصوصیت تصادفی بودن جستجو در نظر گرفته می­شود. براي تنظيم ضريب گرانش از رابطه (8) استفاده مي­شود.

(8)                                       img0

ثابت گرانش پارامتری مناسب برای کنترل دو ویژگی کاوش9  و بهره­وری10  در این الگوریتم به­شمار می­آید. مقادیر بزرگ آن موجب تقویت توانایی کاوشِ الگوریتم و مقادیر کوچک آن موجب افزایش توانایی بهره­وریِ الگوریتم می­شود. از آنجا که در مراحل اولیه جستجو لازم است الگوریتم به جستجوی نقاط جدیدی در فضای مسئله پرداخته و در مراحل پایانی با افزایش توان بهره­­وری به بهبود جوا­ب­های دیده شده بپردازد، گزینه مناسب برای ثابت گرانش بایستی با یک مقدار اولیه بزرگ شروع شده و با گذشت زمان مقدار آن به تدریج کاهش یابد. طبق آزمایش­های متعدد انجام شده، استفاده از رابطه نمایی جهت کاهش ثابت گرانش در حل بسیاری از مسائل موثر است.

در رابطه (9) جرم عامل­ها بر مبنای تابع هدف آنها تنظیم می­شود بگونه­اي كه به عامل­های باشايستگي بیشتر، جرم بيشتري نسبت داده می­شود.

 (9)                                    img0

در اين رابطه img0 بيانگر ميزان برازندگي جرم i در زمان t است، best(t) و worst(t) به ترتیب بیانگر میزان شایستگی قوی­ترین و ضعیف­ترین عامل جمعیت در زمان t هستند. در نهایت اندازه جرم عامل­ها طبق رابطه (10) نرمالیزه می­شود.

(10)                                            img0 

در مسائل كمينه­يابي مي­توان از روابط زير براي محاسبه بهترين و بدترين عامل­ها استفاده كرد.

(11)                            img0

(12)                                img0 

 

 

 

 

 

 

 

 

 

 

 

شکل 1- فلوچارت الگوريتم جستجوي گرانشي

در ابتداي تشكيل سيستم، هر جسم به صورت تصادفي در يك نقطه از فضا قرار مي­گيرد كه جوابي از مسئله است. در هر لحظه از زمان، اجرام ارزيابي شده، سپس تغيير مكان هر جرم پس از محاسبه روابط (1) تا (12) محاسبه مي­شود. پارامترهاي سيستم نیز در هر مرحله به­روزرساني مي­شوند. شرط توقف مي­تواند پس از طي مدت زمان مشخصي تعيين شود ]19[. در شكل 1 فلوچارت الگوريتم GSA نشان داده شده ­است.

ویژگی­های مثبت الگوریتم GSA همچون همگراییِ سریع، عدم توقف در بهینه­های محلی، کاهش حجم محاسباتی نسبت به الگوریتم­های تکاملی و عدم نیاز به حافظه در مقایسه با دیگر الگوریتم­های خانواده هوشِ جمعی، بستر جدیدی از تحقیقات را فرا روی محققین قرار داده است. از این­رو با توجه به زمینه­های کاربردی مورد استفاده، نسخه­های متفاوتی از این الگوریتم ارائه شده است که می­توان به الگوریتم جستجوی گرانشی باینری (BGSA)11 ]22[، الگوریتم جستجوی گرانشی نخبه­گرای پیشرفته (AEGSA)12 ]23[ و الگوریتم جستجوی گرانشی چند هدفه (MOGSA) 13 ]24[ اشاره نمود. همچنین این الگوریتم تا به­حال در حوزه­های مختلف بهینه­سازی همچون داده کاوی، انتخاب ویژگی، مهندسی پزشکی، طراحی خودکار مدارات مجتمع آنالوگ، پردازش تصویر و بسیاری کاربردهای دیگر استفاده شده است. با توجه به مزایای الگوریتم GSA که در بالا به آن اشاره شد، بر آن شدیم تا از قابلیت­های این الگوریتم در فشرده­سازی تصویر نیز استفاده نماییم.

 

3- آموزش شبکه عصبی MLP با استفاده از روش GSA 

3-1- طراحی شبکه عصبی MLP

در این تحقیق برای فشرده­سازی تصاویر از شبکه عصبی MLP بهره گرفته شده است. شبکه عصبی MLP از لایه ورودی، لایه­های مخفی و لایه خروجی که هر کدام شامل تعداد نرون­های مشخصی است تشکیل می­شود.

هر دو لایه ورودی و خروجی به­طور کامل به لایه میانی متصل هستند. ورودی به شبکه، یک بردار m بُعدی است، یعنی یک بلوک از پیکسل­هایی که از تصویر استخراج شده­اند. فشرده­سازی با تعیین مقدار n (تعداد نرون­ها در لایه مخفی) حاصل می­شود، تعداد نرون­ها در لایه مخفی کمتر از تعداد نرون­ها در هر دو لایه ورودی و خروجی است. تصویر ورودی به بلوک­هایی با اندازه k×k تقسیم می­شود. تمام وزن­های متصل به نرون­های لایه مخفی به وسیله {wij, j=1,2,…,n and i=1,2,…,m} نمایش داده می­شوند، که می­توان آن را به صورت یک ماتریس n×m نمایش داد. اتصالات از لایه مخفی به لایه خروجی با wji  نمایش داده می­شوند، که یک ماتریس m×n دیگر است و برابر با ترانهاده ماتریس w است. فشرده­سازی تصویر با آموزش دادن شبکه به دست می­آید، وزن­های wij بردار ورودی m بُعدی را به یک کانال باریک n بُعدی در لایه مخفی که n<m نگاشت می­کنند و مقدار خروجی بهینه­ای را تولید می­کند که کوچکترین میانگین مربعات خطا بین ورودی و خروجی را ایجاد می­کند، در این روش نسبت فشرده­سازی img0 است.

مجموع ورودی­ها، Sh(i)، برای نرون i در لایه مخفی به صورت زیر محاسبه می­شود:

(14) img0

که در آن img0 وزن اتصال از j امین نرون ورودی به i امین نرون در لایه مخفی، img0، j امین المان ورودی (مقدار پیکسل) است. به طور مشابه، مجموع ورودی­ها به i امین نرون خروجی به صورت زیر است:

(15) img0

جاییکه img0 وزن اتصال از j امین نرون لایه مخفی به i امین نرون لایه خروجی است، وimg0 خروجی j امین نرون لایه مخفی است. از تابع سیگموئید برای محاسبه مقدار خروجی نرون­های لایه­های مخفی و خروجی استفاده می­شود.

زمانی که ورودی و خروجی شبکه­ عصبی به مقادیری در بازه ]1و0[ محدود ­می­شود، شبکه­ کارایی بهتری از خود نشان می­دهد، از این رو می­توان سطوح خاکستری در تصویر (که معمولا در بازه 0 تا 255 قرار دارند) را بر بزرگترین مقدار پیکسل موجود در تصویر تقسیم کرد و تصویر نرمالیزه شده را به شبکه عصبی اِعمال نمود.

برای آموزش شبکه، یک بلوک از تصویر به عنوان ورودی و خروجی مورد انتظار استفاده می­شود، ساده­ترین راه برای استخراج چنین بلوکی تولید دو عدد تصادفی است که موقعیت گوشه سمت چپ بلوک را می­دهد. مقادیر پیکسل­های بلوک استخراج شده از چپ به راست و بالا به پایین از طریق نگاشت پیکسل به عدد حقیقی به ورودی شبکه اعمال می­شود. تابع مربعات خطا در طول آموزش مینیمم می­­شود. پس از آموزش، تصویری که باید فشرده شود به بلوک­های پیوسته بدون همپوشانی پارتیشن بندی می­شود که هر یک از آنها در یک زمان به شبکه اعمال می­شوند. خروجی نرون­های لایه مخفی ویژگی­های فشرده شده از بلوک ورودی را تشکیل می­دهند. برای عملی شدن فشرده­سازی، خروجی نرون­های لایه مخفی کوانتیزه می­شود ]20[.

3-2- آموزش شبکه عصبی MLP توسط الگوریتم GSA

در فرایند آموزشِ شبکه عصبی MLP در فشرده­سازی تصاویر، هدف نهایی جستجوي بهترین اوزان شبكه عصبي است که به کوچکترین میانگین مربعات خطا (MSE) منتهی شود، MSE مطابق رابطه زیر تعریف می­شود:

(16) img0

img0 و img0 به ترتیب نشان دهنده تصویر اصلی و تصویر بازسازی شده است.

در این تحقیق استفاده از روش GSA برای یافتن بهترین اوزان شبکه عصبی پیشنهاد می­شود.

با توجه به تعداد كل نرون­هاي شبكه عصبي MLP مورد نظر، بردار وزنی به شكل تصادفي توليد مي­شود.

(17) img0 

در این رابطه Wn به تعداد کل نرونهای موجود در شبکه عصبی MLP بستگی دارد.

در روش GSA جمعيت اوليه­ اجرام (بردارهاي وزن) تولید می­شود. موقعیت هر جرم، مجموعه­ای از وزن­های شبکه را برای تکرار جاری الگوریتم و بُعد هر جرم تعداد وزن­هایی که در شبکه وجود دارد را نشان می­دهد. اجرام در فضا حرکت می­کنند و سعی می­کنند خطا را مینیمم سازند. تغییر موقعیت یک جرم به معنای به­روزرسانی وزن­های شبکه در جهت کاهش MSE در تکرار جاری است. در هر تکرار، تمام اجرام موقعیتشان را با محاسبه سرعت جدید به­روزرسانی و به سمت موقعیت جدید حرکت می­کنند.

موقعیت جدید مجموعه­ای از وزن­های جدید است که برای به دست آوردن MSE جدید استفاده می­شود. این فرایند برای تمام اجرام تکرار می­شود. جرم با حداقل MSE به عنوان بهترین جرمی که تاکنون پیدا شده است در نظر گرفته می­شود. فرایند آموزش تا زمانی ادامه پیدا می­کند که خطای قابل قبول توسط یک جرم به دست آید یا یک شرط خاتمه مانند تعدادی تکرار پیش فرض، برآورده شود. زمانی که فرایند آموزش خاتمه یافت، به ازای شایسته­ترین جرم (حداقل MSE)، بردار وزن­ متناظر با آن استخراج می­شود.

 

4- ارزیابی عملکرد

برای ارزیابی عملکرد شبکه عصبی MLP طراحی شده در فشرده­سازی تصاویر، از آن برای فشرده­سازی چهار تصویر استاندارد استفاده می­شود. برای انجام آزمایش­ها از چهار تصویر استاندارد به نام­های Lena، Goldhill ، Mandrill و Pepper استفاده می­کنیم. این تصاویر 8 بیتی هستند و اندازه هر یک از آنها 512×512 می­باشد و مقادیر شدت پیکسل آنها بین 0 تا 255 است.

 

pic-1 

شکل 1: تصاویر استاندارد مورد استفاده

 

در شرایط کاملا یکسان شبکه عصبی مورد نظر جهت فشرده­سازی تصاویر توسط روش­های جستجوی گرانشی، بهینه سازی گروه ذرات و پس انتشار خطا آموزش داده می­شود. تمام نتایج برای 3000 بار تکرار هر الگوریتم آورده شده است، همچنین با توجه به تصادفی بودن الگوریتم­های فوق، تمام آزمایشات برای 10 مرتبه تکرار انجام شده است. مشخصات روش­های به­کار گرفته شده برای آموزش به شرح زیر است:

·       الگوریتم GSA

جمعيت اوليه اجرام در روش GSA برابر 15 می­باشد. در رابطه (8)، مقدار a برابر 20 و مقدار b به صورت خطی از 1 تا 3 افزایش می­یابد.

·       الگوریتم PSO

نام تصویر

GSA

PSO

EBP

Lena

0.0275

0.0562

0.0763

Goldhill

0.0337

0.0697

0.0794

mandrill

0.0454

0.0572

0.0894

pepper

0.0243

0.0521

0.0648

جمعيت اوليه ذرات برابر 15 می­باشد، در این الگوریتم C1 و C2 مساوی 1 فرض می­شوند. همچنین وزن اینرسی W به صورت خطی از 9/. تا 2/. کاهش می­یابد.

·       روش پس انتشار خطا (EBP)

در این روش h=0.4 فرض شده است.

 

4-1- نتایج آزمایشات

برای آزمایش از تصویر Lena به عنوان تصویر آموزش استفاده می­شود. ابتدا تصویر به بلوک­هایی با اندازه 8×8 تقسیم می­شود. سپس هر دو شبکه ­ها با این بلوک­ها که هر کدام یک بردار 64 تایی هستند آموزش داده می­شوند تا زمانیکه شبکه­ها همگرا شوند. پس از آموزش، هر سه شبکه با تصویر Lena و سه تصویر دیگر آزمایش می­شوند و میانگین مربعات خطا به ازای هر تصویر به دست می­آید.

نتایج حاصل از این آزمایشات برای دو نسبت فشرده­سازی 4/1 (یک چهارم) و 8/1 (یک هشتم) به ترتیب در جداول 1 و 2، و تصاویر به دست آمده در شکلهای 4-2 نشان داده شده است. با توجه به مقدار میانگین MSE به­دست آمده در نتایج، به وضوح مشخص است که آموزش شبکه عصبی توسط روش GSA عملکرد بهتری نسبت به دو روش بهینه سازی جمعیت ذرات و پس انتشار خطا در فشرده­سازی تصاویر دارد.

 

 

 

 

جدول 1: مقایسه میانگین MSE به دست آمده از آزمایش شبکه عصبی MLP توسط سه روش GSA، PSO و EBP با نسبت فشرد­سازی 4/1

 

نام تصویر

GSA

PSO

EBP

Lena

0.0156

0.0254

0.0563

Goldhill

0.0132

0.0324

0.0584

mandrill

0.0234

0.0276

0.0663

pepper

0.0123

0.0215

0.0327

 

 

 

 

 

 

 

جدول 2: مقایسه میانگین MSE به دست آمده از آزمایش شبکه عصبی MLP توسط سه روش GSA، PSO و EBP با نسبت فشرد­سازی 8/1

  pic-2

شکل 2:  تصاویر بازیابی شده Lena با نسبت فشرده­سازی 4/1 الف) تصویر اصلی ب) روش GSA  ج) روش PSO  د) روش EBP

 pic-3

شکل 3:  تصاویر بازیابی شده Pepper با نسبت فشرده­سازی 4/1

الف) تصویر اصلی ب) روش GSA  ج) روش PSO  د) روش EBP

5- نتیجه گیری

شبكه­هاي عصبي مصنوعي ساختارهاي قدرتمندي براي دسته بندي داده­ها و يادگيري الگوها دارند. بسياري از محققين تمايل دارند از اين ابزار استفاده نمایند اما با مسئله آموزش شبكه عصبي مواجه می­شوند. الگوريتم جستجوي گرانشي از جمله جديدترين الگوريتم­هاي ابتكاري است كه با الهام از قانون جاذبه و مفهوم جرم در طبيعت بنا نهاده شده است.

pic-4 

شکل 4:  تصاویر بازیابی شده Mandrill با نسبت فشرده­سازی 8/1

الف) تصویر اصلی ب) روش GSA  ج) روش PSO  د) روش EBP

 

در این مقاله پیشنهاد استفاده از الگوریتم جستجوی گرانشی برای آموزش شبکه عصبی MLP به منظور فشرده­سازی تصاویر ارائه شده است. به این ترتیب می­توان با جستجوی بهترین اوزان شبكه عصبي، به بهترین فشرده­سازی تصاویر دست یافت. از فشرده­ساز طراحی شده در فشرده­سازی چهار تصویر استاندارد استفاده شده است.

عملکرد فشرده­ساز ارائه شده با دو فشرده­ساز دیگر که در آنها شبکه عصبی MLP با روش متداول پس انتشار خطا و بهینه سازی گروه ذرات آموزش دیده بودند، مورد مقایسه قرار گرفت. نتايج نهایی نشان می­دهند که روش پیشنهادی بطور چشمگیری میزان فشرده سازی تصویر را نسبت به دیگر روشها بهبود بخشیده است.

در تحقیقات آتی سعی داریم با تکامل و ارتقاء الگوریتم­ GSA و استفاده از انواع ترکیبی آن نتایج بهتری از این روش بهینه­سازی را در کاربردهای مختلف علوم مهندسی نشان دهیم.

6- مراجع

[1]       S. Anna Durai, and E. Anna Saro, “Image Compression with Back-Propagation Neural Network using Cumulative Distribution

[2]       Function”, World Academy of Science, Engineering and Technology, 2006.

[3]       S. Kulkarni, B. Verma and M. Blumenstein, “Image Compression using a Direct Solution Method Based Neural Network”, Griffith University, Gold Coast Campus, QLD 4217, Australia.

[4]       D.K Kumar, N. Mahalingam, "Nested neural  networks for image compression", In IEEE Region 10 International Conference on Global Connectivity in Energy. 1998.

[5]       C. Amerijckx, M. Verleysen, P. Thissen, and J.Legat, "Image Compression by Self-Organized Kohonen Map", In IEEE Transactions on Neural Networks, Vol. 9, No. 3, May 1998.

[6]       J. MI, and D. S. Huang, "Image Compression Using Principal Component Neural Network", In IEEE International Conference on Control, Automation,Robotics and Vision, 2004.

[7]       Robert D. Dony, Simon Haykin, “Neural Network Approaches to Image Compression”, In PROCEEDINGS OF THE IEEE, VOL. 83, NO. 2, FEBRUARY 1995.

[8]       Hamdy S. Soliman, Mohammed Omari, “A neural networks approach to image data compression” In Applied Soft Computing 6, pp. 258–271, 2006.

[9]       G. W. Cottrell, P. Munro and D. Zipser, "Image Data Compression by Back Propagation: An example of Extensional Programming", ICs Report 8702, 1987.

[10]       A. A. Miniani, R. D. Williams, “Acceleration of back-propagation through learning rate and momentum adaptation”, Proc. International joint conference on neural networks, San Diego, CA, pp. 676-679, 1990.

[11]       R. A. Jacobs, “Increased rate of convergence through learning rate adaptation”, Neural Networks, Vol. 1, No. 4, pp. 295-308, 1988.

[12]       K. Balakrishnan, V. Honavar, “Improving convergence of back propagation by handling flat-spots in the output layer”, Proc. Second International Conference on Artificial Neural Networks, Brighton, U.K., pp. 139-144, 1992.

[13]       W. Yan, S. Hongbao, “Improvement of Neural Network learning algorithm and its application in control”, Proc. The 3rd World Congress on neural networks, Hefei, Anhui, pp. 971-975, 2000.

[14]       B. Bazartseren, G. Hildebrandt, K. P. Holz, “Short-term water level prediction using neural networks and neuro-fuzzy approach”, neuro computing, Vol. 55, No. 3–4, pp. 439–450, 2003.

[15]       M.Engin, “ECG beat classification using neuro-fuzzy network”, Pattern Recognition Letters, Vol. 25, pp. 1715-1722, 2004.

[16]       P. Kumar, S. N. Merchant, U. B. Desai, “Improving performance in pulse radar detection using Bayesian regularization for neural network training”, Digital Signal Processing, Vol. 14, No. 5, pp. 438–448, 2004.

[17]       L. L. Rogers, F. U. Dowla, V. M. Johnson, “Optimal field-scale groundwater remediation using neural networks and the genetic algorithm”, Environmental Science and Technology, Vol. 29, No. 5, pp. 1145– 1155, 1995.

[18]       A. L. Arnaud, P. J. L. Adeodato, G. C. Vasconcelos, R. F. O. Neto, “MLP neural networks optimization through simulated annealing in a hybrid approach for time series prediction”, Congresso de Soceidade Brasileira de computacäo, pp. 1110-1113, 2005.

[19]       Y. P. Chang, C. N. Ko, “A PSO method with nonlinear time-varying evolution based on neural network for design of optimal harmonic filters”, Expert Systems with Applications, Vol. 36, pp. 6809–6816, 2009.

[20]       E. Rashedi, H. Nezamabadi-pour, S. Saryazdi, “GSA: A Gravitational Search Algorithm”, Information Sciences, Vol. 179, pp. 2232–2248, 2009.اکبری، رضا؛ زیارتی، کوروش؛ " استفاده از بهینه­سازی گروهی ذرات برای آموزش شبکه­های عصبی و کاربرد آن در فشرده­سازی تصویر" ، هشتمین کنفرانس سیستم­های هوشمند، دانشگاه فردوسی، مشهد، 1386.

[21]       M. T. Hagan, M. Menhaj, “Training feed forward networks with the Marquardt algorithm”, IEEE transactions on Neural Networks, Vol. 5, No. 6, pp. 989-993, 1994.

[22]       راشدی، عصمت؛ نظام­آبادی پور، حسین؛ سریزدی، سعید؛ الگوریتم جستجوی گرانشی باینری، هشتمین کنفرانس سیستم­های هوشمند، دانشگاه فردوسی مشهد، 1386.

[23]       ده­باشیان، مریم؛ ظهیری، سیدحمید؛ الگوریتم جستجوی گرانشی نخبه­گرای پیشرفته، اولین کنفرانس انرژی­های تجدیدپذیر و تولید پراکنده ایران، دانشگاه بیرجند، 1388.

[24]       ده­باشیان، مریم؛ ظهیری، سیدحمید؛ MOGSA : روشی جدید در بهینه­سازی چند هدفه مبتنی بر الگوریتم جستجوی گرانشی، شانزدهمین کنفرانس ملی سالانه انجمن کامپیوتر ایران، دانشگاه صنعتی شریف، 1389.

[1]  Image compression

[2]  Multi Layer Perseptron (MLP)

[3]   Error Back Propagation

[4]  Bayesian

[5]  Simulated annealing

[6]  Particle swarm optimization (PSO)

[7]  Swarm Intelligence Optimization

[8]  Gravitational Search Algorithm (GSA)

[9]  Exploration

[10]  Exploitation

[11]  Binary Gravitional Search Algorithm

[12]  Advanced Elitism Gravitional Search Algorithm

[13]  Multi Objective Gravitional Search Algorithm


رایمگ

سامانه رایمگ تمامی فرآیندهای دریافت، ارزیابی و داوری، ویراستاری، صفحه‌آرایی و انتشار الکترونیکی نشریات علمی را به انجام می‌رساند

پیوندهای سایت

مراکز مرتبط

پشتیبانی

صفحات رسمی

حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات رایمگ است.
حق نشر © 1403-1396

صفحه اصلی| عضویت/ ورود| درباره رایمگ| تماس با ما|
[English] [العربية] [en] [ar]