رقم المقالة : 20200418000000 زيارة : 14609 الصفحة: 1 - 14

نوع المخطوط: المحکّمة

الگوریتم رقابت استعماری آشوبی متعامد اصلاح شده و بکارگیری آن در بهبود بازشناسی الگو در شبکۀ عصبی پرسپترون¬های چند لایه

الموضوعات :

پیمان معلم ¹ , مهرداد صادقی حریری ² , مهدی هاشمی ³

1 - هیات علمی گروه مهندسی برق
2 - دانشگاه آزاد اسلامی واحد علوم و تحقیقات تهران
3 - موسسه آموزش عالی پیام گلپایگان، دانشکده مهندسی برق

تاريخ الإرسال : 25 السبت , شعبان, 1441 تاريخ التأكيد : 16 السبت , صفر, 1442 تاريخ الإصدار : 16 السبت , صفر, 1442

الکلمات المفتاحية: الگوریتم رقابت استعماری آشوبی متعامد, شبکه عصبی پرسپترون چند لایه, طبقه¬بندی داده,

ملخص المقالة :

علی رغم موفقیت الگوریتم رقابت استعماری (ICA) در حل مسائل بهینه سازی، این الگوریتم کماکان از به دام افتادن مکرر در کمینه محلی و سرعت پایین همگرایی رنج می برد. در این مقاله، نسخۀ جدیدی از این الگوریتم، به نام رقابت استعماری آشوبی متعامد اصلاح شده (COICA)، پیشنهاد می شود. در سیاست جذب نسخه پیشنهادی، هرمستعمره از طریق تعریف بردار متعامد نوینی، فضای حرکت به سمت استعمارگر را جستجو می کند. همچنین احتمال انتخاب امپراطوری های قدرتمند، از طریق تابع توزیع بولتزمان تعریف شده و عمل انتخاب از طریق روش چرخ رولت انجام گرفته است. از الگوریتم پیشنهادی برای آموزش شبکه عصبی پرسپترون چند لایه (MLP) جهت طبقه بندی مجموعه داده های استاندارد، از جمله یونسفر و سونار استفاده شده است. برای ارزیابی عملکرد این الگوریتم و بررسی میزان تعمیم پذیری شبکه عصبی آموزش ديده با نسخه پيشنهادی، از روش اعتبارسنجی متقابل K-Fold استفاده شده است. نتایج بدست آمده از شبیه سازی ها، کاهش خطای آموزش شبکه و همچنین بهبود تعمیم پذیری الگوریتم پیشنهادی را تایید می کند.

المصادر:

1.M. Melanie, “An Introduction to Genetic Algorithms,” Massachusett's MIT Press, 34(7):pp.1-9, 1999.
2.L. A. Ingber, “Simulated annealing: practice versus theory,” J. Math. Comput. Modell., 18(11):pp. 29–57, 1993.
3.Kennedy, J., Eberhart, R.C.: Particle Swarm Optimization. Proceedings of IEEE, 1942– 1948 (1995)
4.M. Dorigo, V. Maniezzo and A. Colorni, “The ant system: optimization by a colony of cooperating agents,” IEEE Transaction System Man Cybern, B 26(1):pp. 29–41, 1996.
5.B. Franklin and M. Bergerman, “Cultural Algorithms: Concepts and Experiments,” In Proceedings of the IEEE Congress on Evolutionary Computation, 2: pp. 1245–1251, 2000.
6.R. Storn and K. Price, “Differential evolution - a simple and efficient heuristic for global optimization over continuous spaces,” Journal of Global Optimization, 11(4):pp. 341–359, 1997.
7.K. Lee and Z. Geem, “A new structural optimization method based on the harmony search algorithm,” Computers and Structures, 82:781-98, 2004. 1.M. Melanie, “An Introduction to Genetic Algorithms,” Massachusett's MIT Press, 34(7):pp.1-9, 1999.
2.L. A. Ingber, “Simulated annealing: practice versus theory,” J. Math. Comput. Modell., 18(11):pp. 29–57, 1993.
3.Kennedy, J., Eberhart, R.C.: Particle Swarm Optimization. Proceedings of IEEE, 1942– 1948 (1995)
4.M. Dorigo, V. Maniezzo and A. Colorni, “The ant system: optimization by a colony of cooperating agents,” IEEE Transaction System Man Cybern, B 26(1):pp. 29–41, 1996.
5.B. Franklin and M. Bergerman, “Cultural Algorithms: Concepts and Experiments,” In Proceedings of the IEEE Congress on Evolutionary Computation, 2: pp. 1245–1251, 2000.
6.R. Storn and K. Price, “Differential evolution - a simple and efficient heuristic for global optimization over continuous spaces,” Journal of Global Optimization, 11(4):pp. 341–359, 1997.
7.K. Lee and Z. Geem, “A new structural optimization method based on the harmony search algorithm,” Computers and Structures, 82:781-98, 2004.
8.E. Rashedi, H. Nezamabadi-pour and S. Saryazdi, “A Gravitational Search Algorithm,” Information Science, Special Section on High Order Fuzzy Sets, 179(13): pp. 2232-2248, 2009.
9.Brownlee, J., Clever Algorithms: Nature-Inspired Pro Recipes, LuLu Enterprises Incorporated, (1st Edition), 2011.
10.Kaveh A, Talatahari S. Novel heuristic optimization method: Charged system search, Acta Mechanica, doi: 10.1007/s00707-009-0270-4, 2010.
11.Atashpaz-Gargari, E. and Lucas, C., "Imperialist Competitive Algorithm: An Algorithm for Optimization Inspired by Imperialistic Competition", IEEE Congress on Evolutionary Computation (CEC), pp. 4661-4667, 2007.
12.Talatahari, S. and Farahmand Azar, B. and Sheikholeslami, R. and Gandomi, A.H., "Imperialist competitive algorithm combined with chaos for global optimization", Commun. Nonl. Sci. Numer. Simulat., vol. 17, pp. 1312-1319, 2012.
13.Kaveh, A. and Talataheri, S., "Optimum design of skeletal structures using imperialist competitive algorithm", computers & structures journal, vol. 88(21), pp. 1220-1229, 2010.
14.H. Bahrami, K. Faez, M. Abdechiri, “Imperialist Competitive Algorithm using Chaos Theory for Optimization,” UKSim-AMSS 12th International Conference on Computer Modeling and Simulation, 2010.
15.M. Abdechiri, K. Faez and H. Bahrami, “Neural Network Learning based on Chaotic Imperialist Competitive Algorithm,” The 2nd International Workshop on Intelligent System and Applications (ISA2010), 2010.
16.Abdechiri, M. and Faez, K. and Bahrami, H., "Adaptive Imperialist Competitive Algorithm (AICA)", 9th IEEE International Conference on Cognitive Informatics (ICCI), pp. 940-945, 2010.
17.Coelho, L. D. and Afonso, L. and Alotto, P., "A Modified Imperialist Competitive Algorithm for Optimization in Electromagnetics", IEEE Transactions on Magnetics, vol. 48, pp. 579-582, 2012
14.H. Bahrami, K. Faez, M. Abdechiri, “Imperialist Competitive Algorithm using Chaos Theory for Optimization,” UKSim-AMSS 12th International Conference on Computer Modeling and Simulation, 2010.
15.M. Abdechiri, K. Faez and H. Bahrami, “Neural Network Learning based on Chaotic Imperialist Competitive Algorithm,” The 2nd International Workshop on Intelligent System and Applications (ISA2010), 2010.
16.Abdechiri, M. and Faez, K. and Bahrami, H., "Adaptive Imperialist Competitive Algorithm (AICA)", 9th IEEE International Conference on Cognitive Informatics (ICCI), pp. 940-945, 2010.
17.Coelho, L. D. and Afonso, L. and Alotto, P., "A Modified Imperialist Competitive Algorithm for Optimization in Electromagnetics", IEEE Transactions on Magnetics, vol. 48, pp. 579-582, 2012
14.H. Bahrami, K. Faez, M. Abdechiri, “Imperialist Competitive Algorithm using Chaos Theory for Optimization,” UKSim-AMSS 12th International Conference on Computer Modeling and Simulation, 2010.
15.M. Abdechiri, K. Faez and H. Bahrami, “Neural Network Learning based on Chaotic Imperialist Competitive Algorithm,” The 2nd International Workshop on Intelligent System and Applications (ISA2010), 2010.
16.Abdechiri, M. and Faez, K. and Bahrami, H., "Adaptive Imperialist Competitive Algorithm (AICA)", 9th IEEE International Conference on Cognitive Informatics (ICCI), pp. 940-945, 2010.
17.Coelho, L. D. and Afonso, L. and Alotto, P., "A Modified Imperialist Competitive Algorithm for Optimization in Electromagnetics", IEEE Transactions on Magnetics, vol. 48, pp. 579-582, 2012
18.Soltani-Sarvestani, M. A. and Lotfi, S. and Ramezani, F., "Quad Countries Algorithm (QCA)", Lecture Notes in Computer Science, vol. 7198, pp. 119-129, 2012.
19.Kaveh, A. and Talataheri, S., "Imperialist Competitive Algorithm For Engineering Design Problems", Asian Journal Of Civil Engineering, vol. 11, pp. 675-697, 2010.
20.Sigillito, V.G., Wing, S.P., Hutton, L.V., and Baker, K.B. (1989), ‘Classification of Radar Returns from the Ionosphere using Neural Networks’, Johns Hopkins APL Technical Digest, 10, 262–266.
21.Gorman, R.P., and Sejnowski, T.J. (1988), ‘Analysis of Hidden Units in a Layered Network Trained to Classify Sonar Targets’, Neural Networks, 1, 75–89.

نص كامل:

فصلنامه علمي- پژوهشي

فناوري اطلاعات و ارتباطات ایران

سال دهم، شماره‌هاي 35 و 36، بهار و تابستان 1397

صص: 1- 14

$E:\E Drive\logo\iicta Logo0.JPG$

الگوریتم رقابت استعماری آشوبی متعامد اصلاح شده و بکارگیری آن در بهبود بازشناسی الگو در شبکۀ عصبی پرسپترونهای چند لایه

* پیمان معلم ** مهرداد صادقی حریری ***مهدی هاشمی

* استاد، دانشگاه اصفهان، گروه مهندسی برق

** دانشجوی دکتری تخصصی مهندسی برق کنترل، دانشگاه آزاد اسلامی واحد علوم و تحقیقات تهران

*** مربی، موسسه آموزش عالی پیام گلپایگان، دانشکده مهندسی برق

تاریخ دریافت: 19/06/1396 تاریخ پذیرش:20/12/1396

چکیده

علیرغم موفقیت الگوریتم رقابت استعماری (ICA) در حل مسائل بهینهسازی، این الگوریتم کماکان از به دام افتادن مکرر در کمینه محلی و سرعت پایین همگرایی رنج میبرد. در این مقاله، نسخۀ جدیدی از این الگوریتم، به نام رقابت استعماری آشوبی متعامد اصلاح شده (COICA)، پیشنهاد میشود. در سیاست جذب نسخه پیشنهادی، هرمستعمره از طریق تعریف بردار متعامد نوینی، فضای حرکت به سمت استعمارگر را جستجو میکند. همچنین احتمال انتخاب امپراطوریهای قدرتمند، از طریق تابع توزیع بولتزمان تعریف شده و عمل انتخاب از طریق روش چرخ رولت انجام گرفته است. از الگوریتم پیشنهادی برای آموزش شبکه عصبی پرسپترون چند لایه¹ (MLP) جهت طبقهبندی مجموعه دادههای استاندارد، از جمله یونسفر و سونار استفاده شده است. برای ارزیابی عملکرد این الگوریتم و بررسی میزان تعمیمپذیری شبکه عصبی آموزش ديده با نسخه پيشنهادی، از روش اعتبارسنجی متقابل K-Fold استفاده شده است. نتایج بدست آمده از شبیهسازیها، کاهش خطای آموزش شبکه و همچنین بهبود تعمیمپذیری الگوریتم پیشنهادی را تایید میکند.

واژههای کلیدی: الگوریتم رقابت استعماری آشوبی متعامد، شبکه عصبی پرسپترون چند لایه، طبقهبندی داده

الگوریتم به عنوان یک جعبه سیاه به نظر میرسد. این روشها معمولا بصورت تصادفی با استفاده از آمار بدست آمده از نمونههایی از فضای جستجو عمل
میکنند و یا بر اساس مدلی از برخی پدیدههای طبیعی یا

مقدمه

نویسنده عهدهدار مکاتبات: پیمان معلم p_moallem@eng.ui.ac.ir

روشهای اکتشافی و فرا اکتشافی در حل مسائل
بهینهسازی در علوم مختلف به کار میروند. این روشها سعی در کشف یک راه حل بدون داشتن درک عمیقی از ساختار مساله دارند. به عبارت دیگر، مساله برای الگوریتم به عنوان یک جعبه سیاه به نظر میرسد. این روشها معمولا بصورت تصادفی با استفاده از آمار بدست آمده از نمونههایی از فضای جستجو عمل میکنند و یا بر اساس مدلی از

[1] Multilayer Perceptron

طبیعی یا فرآیندهای فیزیکی هستند. این الگوریتمها شامل الگوریتم ژنتیک¹ (GA) [1]، شبیهسازی تبرید² (SA) [2]، بهینهسازی ازدحام ذرات³ (PSO) [3]، بهینهسازی جمعیت مورچگان⁴ (ACO) [4]، الگوریتم تکاملی فرهنگی⁵ (CE) [5]، تکامل تفاضلی⁶ (DE) [6]، جستجوی هارمونی⁷ (HS) [7]، الگوریتم جستجوی گرانشی⁸ (GSA) [8]، الگوریتم تپهنوردی⁹ [9]، الگوریتم سیستم جستجوی ذرات باردار¹⁰ (CSS) [10] و غیره میباشد.

الگوريتم رقابت استعماری¹¹ (ICA) [11] از روشهای فرااکتشافی بهینهسازی است که مبتنی بر پدیدههای انسانی- اجتماعی عمل کرده و نشان داده شده که در مقایسه با الگوریتمهای مبتنی بر تکامل پديدههای طبيعی، به سرعت بالاتری از همگرایی با متغیرهای مستقل زیاد دست یافته است [12].

الگوریتم رقابت استعماری، یک الگوریتم چند عاملی است که هر عامل، یک کشور به عنوان مستعمره یا استعمارگر میباشد. این الگوریتم به فرآیند شکل گيری امپریالیسم، رشد و زوال آن، به عنوان مرحلهای از تکامل اجتماعی- سیاسی انسان نگاه میکند. کشورها تعدادی امپراطوری، در فضای جستجو را شکل میدهند. حرکت مستعمرات به سمت استعمارگر مربوطه و رقابت استعماری بین امپراطوریها اساس و پایۀ اين الگوریتم را تشکیل میدهد. در طول این جابجاییها، امپراطوریهای قدرتمند تقویت یافته و امپراطوریهای ضعیف تضعیف میشوند و به تدریج سقوط میکنند. در الگوریتم رقابت استعماری، مستعمرات با شعاع حرکتی تصادفی به سمت استعمارگر حرکت
میکنند.

در سالهای اخیر در راستای بهبود عملکرد الگوريتم رقابت استعماری، در حل مسائل بهینهسازی، تحقیقات مختلفی صورت گرفته است. کاوه و طلاطاهری [13] در سال 2010 الگوریتم ICA را با افزودن یک بردار متعامد تصادفی بین استعمارگر و مستعمره در مرحلۀ جذب، بهبود بخشیدند. این بردار بر راستای خط واصل مستعمره- استعمارگر عمود
میباشد. بنابراین این الگوریتم، رقابت استعماری متعامد¹² (OICA) نام گرفت. در این مقاله برای بهبود الگوریتم پایه، دو گام حرکتی تعریف شده است که عبارتند از: (1) بکارگیری از مقادیر تصادفی مختلف برای مولفههای بردار پاسخ به جای استفاده از یک مقدار؛ (2) ایجاد انحراف با استفاده از بردار متعامد بر خط واصل مستعمره- استعمارگر به جای استفاده از متغیر q. در ادامه، در سال 2010 الگوریتم رقابت استعماری آشوبی¹³ (CICA) توسط بهرامی و همکارانش پیشنهاد شده است [14] که موفق به بهبود عملکرد الگوریتم ICA شدهاند. در این روش از نگاشتهای آشوبی برای بروز رسانی زاویۀ حرکتی مستعمرات به سمت موقعیت استعمارگر در راستای افزایش قابلیت گریز از دام اپتیمم محلی استفاده شده است. همچنین الگوریتم رقابت استعماری برای یادگیری شبکۀ عصبی به کار برده شده است [15].

در سال 2010 طی مقالهای عبدچیری و همکارانش [16] الگوریتم رقابت استعماری تطبیقی¹⁴ (AICA) را مطرح کردند. در این الگوریتم پیشنهادی، به منظور جستجوی موثر، سیاست جذب الگوریتم جهت بروز رسانی زاویۀ حرکتی مستعمره به سمت موقعیت استعارگر به صورت دینامیکی تغییر یافته است. در این روش، مدلی احتمالی به کار رفته است که با بکارگیری اطلاعات موقعیت مستعمرات، اقدام به برقراری تعادل بین توانایی جستجو و بهرهبرداری الگوریتم رقابت استعماری کرده است. در سال 2012 کوئلهو، آفونسو و آلوتو [17]، الگوریتم جدیدی مبتنی بر الگوریتم ICA معرفی کردهاند. در این مقاله روش اصلاح شدۀ ICA (¹⁵MICA) مبتنی بر مفاهیم و اصول جاذبه و دافعه بین مستعمره و استعمارگر آن در طول جستجو برای پاسخهای بهتر ارائه شده است.

سلطانی سروستانی، لطفی و رمضانی در سال 2012 [18]، الگوریتم تکاملی بهبود یافتهای مبتنی بر الگوریتم رقابت استعماری معرفی کردهاند. در الگوریتم ICA، کشورها به دو گروه استعمارگرها و مستعمرات تقسیم شده است. در حالی که در QCA¹⁶ دو نوع دیگر از کشورها که عبارتند از کشورهای مستقل و کشورهای به دنبال استقلال نیز به مجموعه کشورها افزوده شده است. در الگوریتم ICA موقعیت استعمارگرها ثابت است، در حالی که در الگوریتم QCA قادر به حرکت هستند. طلاطاهری و همکارانش در سال 2012 [12] طی مقالهای سرعت همگرایی الگوریتم ICA را با جایگزینی توابع آشوبی به جای توابع تصادفی در گام جذب الگوریتم، بهبود دادند. در این مقاله سه نسخه از الگوریتم CICA ارائه شده است، که در نهایت نسخۀ سوم از الگوریتمهای پیشنهادی را که میتوان به عنوان رقابت استعماری آشوبی متعامد دانست، عملکرد بهتری نسبت به سایر الگوریتمها از خود نشان داده است. در واقع این نسخه ترکیبی از روش متعامد و روش آشوبی میباشد. در الگوریتم پیشنهاد شده از چندین نگاشت آشوبی به کار رفته، توابع آشوبی سینوسی و منطقی نتایج بهتری نسبت به بقیه از خود نشان دادهاند.

از مسائل کاربردی که ميتوان الگوريتمهای بهينهسازی را به چالش کشيد، آموزش شبکههای عصبی پرسپترون چند لايه است که علاوه بر نحوه رسيدن به پاسخ مطلوب، سرعت همگرايي و نرخ موفقيت اجرا، پارامتر عموميت پذيری شبکه آموزش ديده در برخورد با دادههای غير آموزشی نيز به چالش کشيده میشود. از اينرو، بسياری از الگوريتمهای فرااکتشافی مدعی، عملکرد خود را در مقايسه با سايرين در محک آموزش شبکههای عصبی پرسپترون چند لايه قرار میدهند.

در بخش دوم اين مقاله، ابتدا به جزييات الگوريتم رقابت استعماری پرداخته میشود. سپس در بخش بعد، اصلاحات پيشنهادی برای حل مشکلات اين الگوريتم، مطرح شده و بلوک دياگرام الگوريتم رقابت استعماری پيشنهادی مطرح میشود. بخش چهارم، به ارزيابی روش پيشنهادی در آموزش شبکه عصبی پرسپترون چند لايه برای کلاس بندی دادههای یونسفر و سونار که از دادههای پيچيده در کلاس بندی است، و مقايسه آن با ساير روشهای مشابه میپردازد. در نهايت مقاله با ارائه نتايج در بخش پنجم به اتمام
میرسد.

2- الگوریتم رقابت استعماری

الگوريتم رقابت استعماری پایه، شامل 6 مرحله است که در ادامه، تشریح میشود [11].

2-1- تولید امپراطوریهای اولیه

این الگوریتم مانند سایر الگوریتمهای تکاملی از یک سری جمعیت اولیه تشکیل شده که کشور نامیده میشوند. در یک مساله بعدی، یک کشور یک آرایه به طول است. این آرایه به صورت رابطۀ (1) تعریف میشود. در واقع هر درایه نقش یک مشخصه از کشور مانند فرهنگ، زبان، ساختار اقتصادی و غیره را بازی میکند.

country = [p1, p2, ..., pNvar](1)

هزینۀ هر کشور از طریق ارزیابی تابع هزینۀ در متغیرهای بدست میآید که در رابطۀ (2) نشان داده شده است.

(2)

برای شروع الگوریتم بهینهسازی جمعیت اولیه به تعداد تولید میشود. به تعداد از قدرتمندترین کشورها به عنوان استعمارگر انتخاب میشوند که هر کدام یک امپراطوری را تشکیل میدهند. تعداد جمعیت باقیمانده به عنوان مستعمره خواهد بود که بر حسب قدرت استعمارگرها بین امپراطوریها توزیع میشوند. بنابراین کشورها به دو نوع مستعمره و استعمارگر تقسیم میشوند.

به منظور شکلگیری امپراطوریهای اولیه، مستعمرات بین استعمارگرها بر اساس قدرتشان تقسیم میشوند. یعنی تعداد اولیۀ مستعمرات هر امپراطوری به طور مستقیم با قدرت آن متناسب است. برای توزیع تناسبی مستعمرات در میان استعمارگرها، هزینۀ نرمالیزه شدۀ هر استعمارگر به صورت رابطه (3) تعریف میشود:

(3)

متغیر هزینۀ استعمارگر ام و هزینۀ نرمالیزه شدۀ آن است. با داشتن همۀ هزینههای نرمالیزه شدۀ کل استعمارگرها، قدرت نرمالیزه شدۀ هر استعمارگر به صورت رابطه (4) تعریف میشود:

(4)

متغیر تعداد اولیۀ مستعمرات امپراطوری ام و تعداد کل مستعمرات را نشان میدهد. برای تقسیم مستعمرات، برای هر استعمارگر مستعمره به تصادف انتخاب شده و به آنها داده میشود. این مستعمرات به همراه استعمارگر، امپراطوری ام را تشکیل خواهد داد. در شکل (1) جمعیت اولیه هر امپراطوری نشان داده شده است. هر ستاره بیانگر یک استعمارگر است که ستارههای بزرگتر قدرت بیشتری را دارا میباشند. در شکل زیر Imperialist نشان دهندۀ استعمارگر و Colony بیانگر مستعمرات است.

شکل 1- تولید امپراطوریهای اولیه؛ استعمارگر قدرتمند با ستارۀ بزرگتر نشان داده شده است ]11[

2-2- حرکت مستعمرات یک امپراطوری به سمت استعمارگر

در این الگوریتم کشورهای استعمارگر شروع به توسعۀ مستعمرات خود میکنند. این فرآیند با حرکت تمام مستعمرات به سمت استعمارگر مدل شده است. در راستای این سیاست، کشور مستعمره، به اندازه x واحد در جهت خط واصل مستعمره به استعمارگر، حرکت کرده و به موقعیت جدید، کشانده می‌شود. x عددی تصادفی با توزیع یکنواخت است (و یا هر توزیع مناسب دیگر) که طبق رابطۀ (5) می‌باشد. اگر فاصله میان استعمارگر و مستعمره با d نشان داده شود، معمولاً برای d داریم.

(5)

که در آن عددی بزرگتر از یک و نزدیک به ۲ می‌باشد. یک انتخاب مناسب می‌تواند باشد. وجود ضریب باعث می‌شود تا کشور مستعمره در حین حرکت به سمت کشور استعمارگر، از جهت‌های مختلف به آن نزدیک شود. همچنین در کنار این حرکت، یک انحراف زاویه‌ای کوچک نیز با توزیع یکنواخت به مسیر حرکت افزوده می‌شود. یک نمای گرافیکی از اعمال سیاست جذب در الگوریتم رقابت استعماری در صفحه دو بعدی در شکل (2) نشان داده شده است.

شکل 2- حرکت مستعمرات به سمت استعمارگر مربوطه با زاویه انحراف تصادفی ]11[

که مقدار زاویۀ توسط رابطۀ (6) تعریف میشود:

(6)

پارامتر در رابطۀ بالا جهت تنظیم انحراف از مسیر اصلی اعمال میشود. در شکل بالا یک عدد تصادفی با توزیع یکنواخت است.

2-3-جابجایی موقعیت بین استعمارگر و یک مستعمره

اگر مستعمرهای در حین حرکت به سمت استعمارگر، مقدار هزینۀ کمتری نسبت به استعمارگر آن امپراطوری بدست آورد، جای مستعمره و استعمارگر با یکدیگر تعویض خواهد شد. شکل (3) این فرآیند را به تصویر کشیده است.

شکل 3- تعویض موقعیت مستعمرهای با وضعیتی بهتر با استعمارگر ]11[

2-4- قدرت کل یک امپراطوری

قدرت کل یک امپراطوری اساسا تحت تاثیر قدرت کشور استعمارگر است. البته قدرت مستعمرات نیز اثر خواهد گذاشت، هر چند که در مقابل قدرت کل امپراطوری قابل اغماض است. در نهایت هزینۀ کل بصورت رابطه (7) مدل شده است:

(7)

بطوریکه نشاندهنده هزینۀ کل امپراطوری ام و عدد مثبتی است که کمتر از یک در نظر گرفته میشود. افزایش مقدار نقش مستعمرات در تعیین قدرت کل امپراطوری را بیشتر میکند.

2-5- رقابت استعماری

همۀ امپراطوریها سعی در تصاحب مستعمرات سایر امپراطوریها دارند. در این رقابت استعماری چندین امپراطوری قدرتمند برای تصاحب مستعمرات ضعیف امپراطوری ضعیف با هم رقابت میکنند. طی این فرآیند امپراطوریهای قدرتمند، قویتر و امپراطوریهای ضعیف، ضعیفتر میشوند. شکل (4) این رقابت را به تصویر میکشد.

شکل 4- رقابت استعماری ]11[

برای شروع رقابت، احتمال مالکیت هر امپراطوری بر اساس قدرت کل آن تعیین میشود. هزینۀ کل نرمالیزه شده بصورت رابطۀ (8) بیان میشود:

(8)

که متغیرهای و به ترتیب نشاندهنده هزینۀ کل و هزینۀ کل نرمالیزه شدۀ امپراطوری ام است. با استفاده از هزینۀ کل نرمالیزه شده، احتمال مالکیت هر امپراطوری از رابطۀ (9) بدست میآید:

(9)

برای توزیع مستعمرات ذکر شده در میان استعمارگرها بر اساس احتمال هر یک، بردار بصورت رابطۀ (10) تشکیل مییابد:

(10)

سپس برداری با ابعاد برابر با بردار تولید خواهیم کرد که مولفههای آن اعداد تصادفی با توزیع یکنواخت باشد که در رابطه (11) نشان داده شده است:

(11)

بردار از طریق کسر بردار از بردار بصورت رابطه (12) بدست میآید:

(12)

با رجوع به بردار D مستعمرات مذکور به امپراطوریای که اندیس مربوطۀ آن در بردار D بیشینه است، تحویل داده میشود.

2-6- سقوط امپراطوریهای ضعیف

زمانی که یک امپراطوری تمام مستعمرات خود را به سایر امپراطوریها واگذار کند و هیچ مستعرهای نداشته باشد، سقوط میکند که این عمل با حذف آن امپراطوری مدل میشود. البته در نهایت استعمارگر آن امپراطوری نیز به عنوان یک مستعمره به امپراطوری قدرتمندی ملحق
میشود.

3- اصلاحات پیشنهادی در الگوریتم رقابت استعماری

علی رغم تحقیقات موفقی که در زمینۀ توسعه و بهبود الگوریتم رقابت استعماری انجام شده است، همچنان برخی از مسائل چالش برانگیز در آن وجود دارد، که از آن جمله میتوان به (1) افتادن در دام بهينه محلی، (2) سرعت کم همگرایی در برخی از مسائل، (3) پیچیدگی محاسباتی بسیار بالا برای توابعی با متغیرهای مستقل زیاد، (4) عدم تضمین رسیدن به پاسخ مطلوب اشاره کرد که در اين مقاله سه پيشنهاد برای بهبود عملکرد الگوريتم رقابت استعماری پيشنهاد شده است.

برای مقابله با چالشهای بالا، الگوریتم رقابت استعماری آشوبی متعامد اصلاح شده پیشنهاد شده است. در این الگوریتم در دو گام بسیار حیاتی الگوریتم ICA یعنی سیاست جذب و رقابت استعماری، تغییراتی اعمال شده است. در ابتدا از یک تابع توزیع احتمال جدیدی برای امپراطوریها استفاده خواهد شد. سپس از روش نمونه برداری چرخ رولت برای عملیات انتخاب استفاده کردهایم. همچنین روش جدیدی جایگزین روش بردار متعامد پیشنهاد خواهیم کرد. در نهایت روش اعتبارسنجی متقابل را برای بررسی تعمیم پذیری الگوریتم پیشنهادی به کار بردهایم. در ادامه به تغییرات اعمال شده به تفصیل خواهیم پرداخت.

3-1- تعریف تابع توزیع بولتزمان

یکی از اساسیترین ایراداتی که میتوان بر الگوریتم ICA پایه گرفت، نوع نمونهبرداری در انتخاب امپراطوری قدرتمند برای تصاحب ضعیفترین مستعمره از ضعیفترین امپراطوری است. اگرچه شاید روش به کار رفته یک روش کاملاً سرراست و سادهای باشد، اما از نظر مفاهیم یکنواخت نیست، یعنی الزاما کسی که قویترین است انتخاب نمیشود و همچنین رفتار این روش شدیداً غیرخطی است.

در گام رقابت استعماری الگوریتم ICA، بایستی یکی از امپراطوریهای قدرتمند جهت جذب مستعمرۀ ضعیف در ضعیفترین امپراطوری، انتخاب شود. بنابراین برای انجام چنین کاری، قدرت هر امپراطوری توسط تابع توزیع احتمال بولتزمان تعریف میشود. از رابطۀ (13) برای محاسبۀ احتمال انتخاب امپراطوریها استفاده شده است:

(13)

متغیر احتمال انتخاب امپراطوری ام، و مقدار هزینۀ کل مربوط به امپراطوری ام است و عبارت بیشترین مقدار تابع هزینۀ کل بین تمام امپراطوریها را شامل میشود. مقدار پارامتر فشار انتخاب نامیده میشود. هر چه بزرگتر انتخاب شود، احتمال انتخاب امپراطوریهای قدرتمند بیشتر و احتمال انتخاب امپراطوریهای ضعیف، کمتر خواهد شد. با اعمال این فاکتور، به آسانی میتوان بر سرعت همگرایی تاثیر گذاشت. البته در کل باید بین فرآیند بهرهبرداری و جستجو تعادلی برقرار ساخت.

3-2- روش پیشنهادی جایگزین بردار متعامد در رقابت استعماری متعامد

در مقالۀ کاوه و طلاطاهری [19] نسخههای مختلفی از الگوریتم ICA مطرح کرده و عملکرد آنها را با یکدیگر مورد بررسی قرار دادهاند. یکی از روشهای بهبود قابلیت جستجو، افزودن بردار متعامد به راستای حرکتی مستعمره به سمت استعمارگر میباشد که این بردار با در رابطۀ (14) نشان داده شده است [12].

(14)

یکی دیگر از مشکلاتی که هنگام بالا بودن تعداد متغیرهای مستقل تابع (متغیرهای تصمیم) مطرح است، ایجاد بردار متعامد در گام الگوریتم رقابت استعماری متعامد میباشد. در واقع تولید چنین بردار تصادفی متعامد در ابعاد بالا کار بسیار دشواری است. ما در این مقاله روشی جایگزینی برای روش بالا ارائه خواهیم کرد که شبه کد آن در ادامه به صورت زیر میباشد. روش پیشنهادی سرعت تولید بردار متعامد را تسریع بخشیده و فضای جستجوی الگوریتم را هدفدار میسازد.

گام اول: تقسیم بردار به بردارهای سه درایهای که در شکل (5) به تصویر کشیده شده است. همان طور که در شکل نشان داده شده است درایههای اضافی را در گام اول حذف میکنیم.

شکل 5- تقسیم بردار اصلی V به زیر بردارهای سه درایهای

که بردارهای و و ... به صورت روابط (15) تعریف میشوند:

گام دوم: ضرب بردار تفکیک شده در بردار تصادفی جهت تولید بردار متعامد کوچک میباشد، که عمل ضرب خارجی بین دو بردار مطابق رابطه (16) انجام میگیرد.

(16)

با استفاده از ضرب برداری بالا بردار متعامد بر بردار و بردار تصادفی بدست میآید که طبق روابط (17) تعریف میشود:

(17)

گام سوم: بردار تولیدی بر بردار و عمود است که تعامد بین بردارهای و حائز اهمیت است که به این معنی است که ضرب داخلی دو بردار و مطابق رابطه (18) برابر با صفر خواهد بود.

(18)

گام چهارم: با کنار هم قرار دادن بردارهای بردار نهایی را بدست میآوریم که این گام در شکل (6) به تصویر کشیده شده است:

شکل 6- تشکیل بردار V’ از به هم پیوستن ریز بردارهای Vi’

گام پنجم: بردار حاصل از گام قبلی باید بر بردار اصلی اولیه عمود باشد، یعنی باید رابطهی (19) همواره برقرار باشد:

(19)

گام ششم: در صورتی که تعداد درایه های بردار و با هم برابر نباشند ضرب بالا عملا ممکن نخواهد بود. بنابراین برای این منظور برای برابرسازی تعداد درایه های بردار با بردار به تعداد لازم درایه به انتهای بردار اضافه خواهیم کرد. شکل (7) چگونگی این گام را نشان میدهد.

شکل 7- برابرسازی تعداد درایههای بردارV’ با تعداد درایههای بردار اصلیV

همان طور که در شکل بالا مشاهده میشود درایههای تصادفی و به منظور برابرسازی تعداد درایهها به بردار اضافه میکنیم. در صورتی که تعداد درایههای بردار برابر با باشد تنها به اضافه کردن و در صورتی که برابر با باشد با اضافه کردن هر دو مقادیر و تعداد درایههای بردار را با تعداد درایههای بردار یکسان میکنیم.

گام هفتم: در نهایت حاصل ضرب داخلی دو بردار و برابر با مقدار کوچکی خواهد بود و از این رو بردار برداری نزدیک به بردار عمود بر خواهد بود.

3- الگوریتم رقابت استعماری پیشنهادی در آموزش شبکه عصبی پرسپترون چند لایه

در این مقاله برای بررسی توانایی طبقهبندی شبکه عصبی پرسپترون چند لایه که توسط الگوریتم رقابت استعماری آشوبی متعامد اصلاح شده، از دو مجموعه داده با ابعاد مختلف استفاده شده است. مورد اول مجموعه دادۀ یونسفر با ابعاد متوسط و مورد دوم مجموعه دادۀ سونار با ابعاد بالا میباشد. جدول زیر ویژگیهای مجموعه دادههای بکار رفته را به طور جامع به تصویر میکشد. در جدول (1) تعداد دادههای آموزش و تست با توجه به روش ارزیابی بیان شده است.

مجموعه دادۀ یونسفر شامل طبقهبندی سیگنالهای بازگشتی رادار از الکترونهای آزاد یک یونسفر است. این مجموعه شناسایی نوع خاصی از ساختار در یونوسفر را شامل میشود [20]. در این مجموعه داده 34 مشخصه ورودی وجود دارد و تعداد کل الگوها 351 عدد میباشد. با اعمال این مجموعه داده به شبکه عصبی، ساختار پرسپترون چند لایه 1-3-34 خواهد بود. در نتیجه ورودیهای شبکه عصبی شامل اعداد صحیح و حقیقی است و تعداد وزنهای کل شبکه که توسط الگوریتم پیشـنهادی نیاز بـه بروز رسـانی خواهد داشـت، 109 وزن

3-1-مقایسه روش پیشنهادی با سایر نسخههای الگوریتم رقابت استعماری

در این قسمت از مقاله، شبکه عصبی MLP را با الگوریتم پیشنهادی به همراه سه نسخۀ دیگر از الگوریتم رقابت استعماری شامل الگوریتم استاندارد (ICA)، رقابت استعماری آشوبی (CICA) و نسخۀ اولیۀ الگوریتم COICA آموزش داده و منحنی خطای میانگین مربـعات را در یـک شـکل بدسـت آوردهایـم. در این شبیهسـازیها

جدول 1- مشخصات و ویژگیهای دادههای به کار رفته در آموزش شبکه عصبی

تعداد الگو	نوع ابعاد داده	ویژگی مجموعه داده	نوع مجموعه داده	تعداد خروجی	نوع ورودی	تعداد ورودی	نام داده
351	با بعد متوسط	چند متغیره	طبقهبندی	1	اعداد صحیح و حقیقی	34	دادۀ یونسفر
208	با بعد بالا	چند متغیره	طبقهبندی	1	اعداد حقیقی	60	دادۀ سونار

است.

مجموعه دادۀ سونار شامل 208 الگو با 60 ویژگی
میباشد. هدف ما آموزش یک شبکه عصبی پرسپترون 3 لایه به منظور تشخیص و تفکیک سیگنالهای سونار منعکس شده از یک استوانۀ فلزی و سیگنالهای منعکس شده از تخته سنگی تقریبا استوانهای میباشد [21]. ساختار تعیین شده برای لایههای شبکه عصبی MLP طبق 1-3-60 است. در جدول (2) ویژگیهای شبکه MLP آموزش داده شده، نشان داده شده است.

جدول 2- مشخصات شبکه عصبی به کار رفته در آموزش

محدودۀ بروزرسانی	تعداد وزنهای بروزرسانی شده	نوع توابع فعالسازی	ساختار لایههای شبکه
(1.1-)	109	تانژانت هایپربولیک سیگموید	1-3-34	دادۀ یونسفر
(1.1-)	187	تانژانت هایپربولیک سیگموید	1-3-60	دادۀ سونار

تعداد تکرارهای هر الگوریتم در 1000 تکرار محدود شده است. به منظور مقایسۀ صحیح الگوریتمها با یکدیگر، شرایط اولیه برای شروع الگوریتمها را یکسان فرض
میکنیم. برای این منظور، جمعیت اولیهای را ایجاد و ذخیره کردهایم. برای آموزش شبکه توسط الگوریتم مربوطه، همان جمعیت اولیۀ تعیین شده را فراخوانی کردهایم. جدول (3) پارامترهای مختلف و قابل تنظیم الگوریتمهای مذکور را نشان میدهد.

جدول 2- پارامترهای قابل تنظیم الگوریتمهای مورد بررسی

نام پارامتر	ویژگی پارامتر	مقدار انتخاب شده	الگوریتمهای بکار رفته
VarSize	طول بردار اصلی	بسته به نوع مساله	تمام الگوریتمها
VarMin	کران پایین بردار اصلی	1-	تمام الگوریتمها
VarMax	کران بالا بردار اصلی	1+	تمام الگوریتمها
MaxIt	ماکزیمم مقدار تکرارها	1000	تمام الگوریتمها
Npop	تعداد جمعیت اولیه	80	تمام الگوریتمها
nEmp	تعداد امپراطوریهای اولیه	10	تمام الگوریتمها
Ncol	تعداد مستعمرات	70	تمام الگوریتمها
Alpha	فاکتور فشار	1	تمام الگوریتمها
Beta	ضریب جذب	2	تمام الگوریتمها
pRevolution	احتمال انقلاب	0.1	تمام الگوریتمها
Mu	نرخ انقلاب	0.05	تمام الگوریتمها
zeta	ضریب میانگین هزینه مستعمرات	0.1	تمام الگوریتمها

شکل 8- مقایسه نتایج نسخههای مختلف ICA برای مجموعه دادۀ سونار

در نمودار شکل (8) محور عمودی نشاندهندۀ خطای میانگین مربعات¹⁷ آموزش شبکه (MSE) و محور افقی تعداد تکرارها میباشد. در شکل بالا میتوان مشاهده کرد که خطای میانگین مربعات آموزش شبکۀ عصبی MLP با استفاده از الگوریتم پیشنهادی (New-COICA) نسبت به سایر روشها بیشتر کاهش یافته است. از آنجایی که هدف از آموزش شبکۀ عصبی، طبقهبندی الگوهای جدید میباشد، میزان درصد خطای طبقهبندی نیز برای هر الگوریتم در جدول (4) آورده شده است.

جدول 3- مقایسه نتایج آماری شبیهسازیها برای
نسخههای مختلف ICA در 10 تکرار برای دادۀ سونار

Std of Error	Std of MSEtr	Mean of Classification Error	Train MSE
4.7619	0.0029	14.2857	0.1125	ICA
5.4986	0.0059	17.4603	0.1038	CICA
2.7493	0.0241	17.4603	0.0803	COICA
8.2479	0.0088	9.5238	0.0640	New-COICA

در جدول (4) پارامتر Train MSE نشاندهندۀ خطای آموزش از طریق روش میانگین مربعات خطا میباشد، پارامتر بعدی Mean Classification Error نشاندهندۀ درصد خطای طبقهبندی است که در واقع درصد خطای خروجی را نشان میدهد. پارامتر Std of MSEtr بیانکنندۀ انحراف معیار خطای آموزش شبکه عصبی مصنوعی است و در نهایت پارامتر Std of Error انحراف استاندارد خطای طبقهبندی خروجی را نشان میدهد.

در جدول (4)، پارامترهای انحراف استاندارد خطای آموزش و درصد خطای طبقهبندی نیز برای 10 بار تکرار
شبیهسازیها نشان داده شده است. انحراف استاندارد خطای طبقهبندی نسبت به سایر روشها کاهش نیافته است، اما میزان میانگین درصد خطای طبقهبندی نسبت به سایر نسخهها کاهش چشمگیری یافته است یعنی به مقدار 9.5% رسیده است و همچنین در خطای آموزش شبکه نیز این برتری از آن الگوریتم پیشنهادی میباشد. انحراف معیار درصد خطای طبقهبندی نسبت به سایر الگوریتمها با اختلاف اندکی بیشتر است، از این رو الگوریتم پیشنهادی قابلیت اطمینان بر الگوریتمها را بهبود نبخشیده است.

با اعمال شبیهسازیها بر روی مجموعه دادۀ یونسفر نیز نتایج زیر بدست آمده است. شکل (9) خطای میانگین مربعات برای روشهای مختلف را به تصویر میکشد. در این شکل محور عمودی خطای MSE آموزش شبکه و محور افقی تعداد تکرارها را نشان میدهد.

شکل 9. مقایسه نتایج نسخههای مختلف ICA برای مجموعه دادۀ یونسفر

و نتایج آماری بدست آمده از 10 بار تکرار در شبیهسازیها در جدول (5) نشان داده شده است.

جدول 4. مقایسه نتایج آماری شبیهسازیها در 10 تکرار برای نسخههای مختلف ICA در داده یونسفر

Std of Error	Std of MSEtr	Mean of Classification Error	Train MSE
9.7590	0.0056	15.7143	0.1028	ICA
9.4401	0.0124	17.8571	0.0778	CICA
7.1429	0.0055	12.1429	0.0520	COICA
3.2991	0.0219	8.5450	0.0491	New-COICA

در جدول بالا نیز پارامتر Train MSE نشان دهندۀ خطای آموزش از طریق روش میانگین مربعات خطا میباشد، پارامتر بعدی Mean Classification Error نشاندهندۀ درصد خطای طبقهبندی است. پارامتر Std of MSEtr
بیانکنندۀ انحراف معیار خطای آموزش شبکه است و پارامتر Std of Error انحراف استاندارد خطای طبقهبندی خروجی را نشان میدهد.

خطای میانگین مربعات برای آموزش شبکه برای این مجموعه داده نیز با استفاده از الگوریتم پیشنهادی نسبت به سایر نسخهها به مقدار کمتری همگرا شده است و این در حالی است که درصد خطای طبقهبندی نیز مقدار 8.5% بدست آمده که کمترین مقدار در بین این الگوریتمها
میباشد. انحراف استاندارد برای درصد خطای طبقهبندی در روش پیشنهادی مقدار کمتری نسبت به سایر نسخهها بدست آمده است و این در حالی است که انحراف استاندارد خطای MSE برای الگوریتم پیشنهادی نسبت به سایر الگوریتمها بیشترین مقدار را دارد.

در بعضی از اجراها الگوریتم پیشنهادی نسبت به بعضی از الگوریتمها، در کاهش خطای MSE آموزش توانایی کمتری از خود نشان میدهد. شکل (10) نمونهای از این اجرا را نشان میدهد. در شکل مذکور محور عمودی بیانگر خطای میانگین مربعات آموزش شبکه و محور افقی بیانگر تعداد تکرارها میباشد.

شکل 10- وقوع پدیدۀ بیش برازش در آموزش شبکه عصبی برای مجموعه دادۀ یونسفر در نسخۀ قبلی

با مشاهده شکل (10) انتظار میرود که درصد خطای
طبقهبندی برای الگوریتم COICA سابق نسبت به الگوریتم پیشنهادی مقدار کمتری بدست آید، در حالیکه درصد خطای طبقهبندی برای الگوریتم COICA برابر 20% و برای الگوریتم پیشنهادی 7/5% بدست آمده است. میتوان نتیجه گرفت که شبکه عصبی در حین آموزش توسط الگوریتم COICA دچار پدیدۀ بیش برازش شده است. میتوان دید که در اغلب موارد الگوریتم پیشنهادی با وجود خطای آموزش بیشتر، به درصد خطای طبقهبندی کمتری دست یافته است. در واقع عمومیت پذیری آموزش توسط الگوریتم پیشنهادی بهبود یافته است.

3-2- مقایسۀ الگوریتم پیشنهادی با سایر
الگوریتمهای تکاملی

در این بخش از مقاله، عملکرد الگوریتم پیشنهادی را نسبت به سایر الگوریتمهای تکاملی بررسی میکنیم. الگوریتم ژنتیک و الگوریتم ازدحام ذرات جزو محبوبترین و پرکاربردترین الگوریتمهای بهینهسازی میباشند. به این منظور در ادامه به بررسی نتایج این الگوریتمها با الگوریتم پیشنهادی خواهیم پرداخت. شکل (11) منحنی همگرایی خطای میانگین مربعات آموزش برای الگوریتمهای GA و PSO با الگوریتم پیشنهادی را برای مجموعه دادۀ سونار نشان میدهد. در این شکل محور عمودی بیانگر خطای MSE آموزش شبکه و محور افقی نشاندهنده تعداد تکرارها است.

شکل 11. مقایسه نتایج روش پیشنهادی با سایر الگوریتمهای تکاملی برای دادۀ سونار

و نتایج آماری برای 10 تکرار برای هر الگوریتم در جدول (6) نشان داده شده است.

جدول 5. مقایسه نتایج آماری شبیهسازیها در 10 تکرار برای هر الگوریتم در دادۀ سونار

Std of Error	Std of MSEtr	Mean Classification Error	Train MSE
10.9971	0.0043	22.4603	0.0926	GA
5.4986	0.0055	20.6349	0.0774	PSO
4.7619	0.0053	19.0476	0.0742	New-COICA

در جدول (6) نیز پارامتر Train MSE خطای آموزش از طریق روش میانگین مربعات خطا را نشان میدهد، پارامتر Mean Classification Error نشاندهندۀ درصد خطای طبقه بندی و پارامتر Std of MSEtr بیانکنندۀ انحراف معیار خطای آموزش شبکه و پارامتر
Std of Error انحراف استاندارد خطای طبقهبندی خروجی را نشان میدهد.

منحنی خطای MSE آموزش برای دادۀ یونسفر نیز به صورت شکل (12) بدست آمده است. در شکل زیر خطای میانگین مربعات آموزش شبکه توسط محور عمودی نشان داده شده است و محور افقی تعداد تکرارها را نشان میدهد.

شکل 12- مقایسه روش پیشنهادی با سایر الگوریتمهای تکاملی برای دادۀ یونسفر

و نتایج آماری شبیهسازیها برای مجموعه دادۀ یونسفر در 10 تکرار به اختصار در جدول (7) بدست آمده است.

جدول 7- مقایسه نتایج آماری شبیهسازیها در 10 تکرار برای هر الگوریتم در دادۀ یونسفر

Std of Error	Std of MSEtr	Mean Classification Error	Train MSE
10.3016	0.0051	14.2857	0.0628	GA
3.2991	0.0038	13.3333	0.0303	PSO
5.7143	0.0036	11.4286	0.0335	New-COICA

در جدول بالا نیز پارامترهای مطرح شده در جدول از سمت چپ به راست به ترتیب عبارت است از خطای میانگین مربعات خطای آموزش شبکه، درصد خطای طبقهبندی شبکۀ آموزش دیده، انحراف معیار خطای آموزش شبکه و انحراف استاندارد خطای طبقهبندی خروجی.

با مشاهدۀ نتایج بالا مشاهده میشود، که خطای میانگین مربعات آموزش با استفاده از الگوریتم PSO نسبت به الگوریتم پیشنهادی به مقدار کمتری کاهش یافته است و این در حالی است که الگوریتم پیشنهادی به درصد خطای طبقهبندی بهتری دست یافته است. بهبود درصد خطای طبقهبندی را میتوان به علت توانایی بهتر و بیشتر در جستجو توسط الگوریتم پیشنهادی دانست. این ویژگی باعث کاهش احتمال رخداد پدیدۀ بیش برازش در روند آموزش شبکه گشته و در نتیجه باعث بهبود قابل توجه طبقهبندی دادهها توسط شبکه عصبی مصنوعی شده است. انحراف استاندارد خطای آموزش برای الگوریتم پیشنهادی در مقایسه با دو الگوریتم دیگر کاهش یافته است و انحراف استاندارد درصد خطای طبقهبندی نسبت به الگوریتم ژنتیک بهبود یافته و با اختلاف اندکی از الگوریتم PSO بیشتر است.

4- نتیجهگیری

در این مقاله با اعمال سه تغییر اصلی در الگوریتم رقابت استعماری آشوبی متعامد سعی در بهبود عملکرد الگوریتم مزبور کردهایم. در الگوریتم پیشنهادی از تابع توزیع بولتزمان جهت تعیین احتمال تصاحب ضعیفترین مستعمره در ضعیفترین امپراطوری استفاده شده است. همچنین جهت انتخاب امپراطوری قدرتمند برای عملیات ذکر شده، از روش انتخاب چرخ رولت استفاده شده است. در نهایت با استفاده از روش جدیدی، تغییراتی در راستای حرکت مستعمره به سمت استعمارگر مربوطه اعمال کردهایم. اجرای
شبیهسازیها بر روی دو مجموعه دادۀ سونار و یونسفر انجام گرفت که شامل دو بخش، یعنی بررسی با سایر نسخههای رقابت استعماری و بررسی با سایر الگوریتمهای تکاملی است. نتایج بدست آمده نشان میدهد که الگوریتم پیشنهادی در مقایسه با سایر نسخههای رقابت استعماری به خطای میانگین مربعات کمتری در آموزش شبکه رسید و همچنین درصد خطای طبقهبندی کمتری نسبت به سایر نسخهها از خود نشان داد. همچنین تعمیمپذیری الگوریتم پیشنهادی نسبت به سایر نسخهها بهبود یافت. در مقایسه با

8.E. Rashedi, H. Nezamabadi-pour and S. Saryazdi, “A Gravitational Search Algorithm,” Information Science, Special Section on High Order Fuzzy Sets, 179(13): pp. 2232-2248, 2009.

9.Brownlee, J., Clever Algorithms: Nature-Inspired Pro Recipes, LuLu Enterprises Incorporated, (1st Edition), 2011.

10.Kaveh A, Talatahari S. Novel heuristic optimization method: Charged system search, Acta Mechanica, doi: 10.1007/s00707-009-0270-4, 2010.

11.Atashpaz-Gargari, E. and Lucas, C., "Imperialist Competitive Algorithm: An Algorithm for Optimization Inspired by Imperialistic Competition", IEEE Congress on Evolutionary Computation (CEC), pp. 4661-4667, 2007.

12.Talatahari, S. and Farahmand Azar, B. and Sheikholeslami, R. and Gandomi, A.H., "Imperialist competitive algorithm combined with chaos for global optimization", Commun. Nonl. Sci. Numer. Simulat., vol. 17, pp. 1312-1319, 2012.

13.Kaveh, A. and Talataheri, S., "Optimum design of skeletal structures using imperialist competitive algorithm", computers & structures journal, vol. 88(21), pp. 1220-1229, 2010.

1. H. Bahrami, K. Faez, M. Abdechiri, “Imperialist Competitive Algorithm using Chaos Theory for Optimization,” UKSim-AMSS 12th International Conference on Computer Modeling and Simulation, 2010.

2. M. Abdechiri, K. Faez and H. Bahrami, “Neural Network Learning based on Chaotic Imperialist Competitive Algorithm,” The 2nd International Workshop on Intelligent System and Applications (ISA2010), 2010.

3. Abdechiri, M. and Faez, K. and Bahrami, H., "Adaptive Imperialist Competitive Algorithm (AICA)", 9th IEEE International Conference on Cognitive Informatics (ICCI), pp. 940-945, 2010.

4. Coelho, L. D. and Afonso, L. and Alotto, P., "A Modified Imperialist Competitive Algorithm for Optimization in Electromagnetics", IEEE Transactions on Magnetics, vol. 48, pp. 579-582, 2012.

سایر الگوریتمهای تکاملی، الگوریتم پیشنهادی نسبت به الگوریتم ژنتیک به خطای آموزش کمتری همگرا شد و تنها با اختلاف اندکی نسبت به الگوریتم ازدحام ذرات دارای خطای آموزش بیشتری است و این در حالی است که با وجود خطای آموزش بیشتر به درصد خطای طبقهبندی بهتری دست یافته است. در کل عمومیتپذیری الگوریتم پیشنهادی نسبت به سایر روشها بهبود یافت. انحراف استاندارد درصد خطای طبقهبندی و یا خطای آموزش شبکه به طور کلی کاهش محسوسی نیافته است.

منابع

1.M. Melanie, “An Introduction to Genetic Algorithms,” Massachusett's MIT Press, 34(7):pp.1-9, 1999.

2.L. A. Ingber, “Simulated annealing: practice versus theory,” J. Math. Comput. Modell., 18(11):pp. 29–57, 1993.

3.Kennedy, J., Eberhart, R.C.: Particle Swarm Optimization. Proceedings of IEEE, 1942– 1948 (1995)

4.M. Dorigo, V. Maniezzo and A. Colorni, “The ant system: optimization by a colony of cooperating agents,” IEEE Transaction System Man Cybern, B 26(1):pp. 29–41, 1996.

5.B. Franklin and M. Bergerman, “Cultural Algorithms: Concepts and Experiments,” In Proceedings of the IEEE Congress on Evolutionary Computation, 2: pp. 1245–1251, 2000.

6.R. Storn and K. Price, “Differential evolution - a simple and efficient heuristic for global optimization over continuous spaces,” Journal of Global Optimization, 11(4):pp. 341–359, 1997.

7.K. Lee and Z. Geem, “A new structural optimization method based on the harmony search algorithm,” Computers and Structures, 82:781-98, 2004.

[1] Genetic Algorithm

[2] Simulated Annealing

[3] Particle Swarm Optimization

[4] Ant Colony Optimization

[5] Cultural Evolutionary Algorithm

[6] Differential Evolution

[7] Harmony Search

[8] Gravitational Search Algorithm

[9] Hill Climbing

[10] Charged System Search

[11] Imperialist Competitive Algorithm

[12] Orthogonal Imperialist Competitive Algorithm

[13] Chaotic Imperialist Competitive Algorithm

[14] Adaptive ICA

[15] Modified ICA

[16] Quad Countries Algorithm

[17] Mean Square Error

18.Soltani-Sarvestani, M. A. and Lotfi, S. and Ramezani, F., "Quad Countries Algorithm (QCA)", Lecture Notes in Computer Science, vol. 7198, pp. 119-129, 2012.

19.Kaveh, A. and Talataheri, S., "Imperialist Competitive Algorithm For Engineering Design Problems", Asian Journal Of Civil Engineering, vol. 11, pp. 675-697, 2010.

20.Sigillito, V.G., Wing, S.P., Hutton, L.V., and Baker, K.B. (1989), ‘Classification of Radar Returns from the Ionosphere using Neural Networks’, Johns Hopkins APL Technical Digest, 10, 262–266.

21.Gorman, R.P., and Sejnowski, T.J. (1988), ‘Analysis of Hidden Units in a Layered Network Trained to Classify Sonar Targets’, Neural Networks, 1, 75–89.

14.H. Bahrami, K. Faez, M. Abdechiri, “Imperialist Competitive Algorithm using Chaos Theory for Optimization,” UKSim-AMSS 12th International Conference on Computer Modeling and Simulation, 2010.

15.M. Abdechiri, K. Faez and H. Bahrami, “Neural Network Learning based on Chaotic Imperialist Competitive Algorithm,” The 2nd International Workshop on Intelligent System and Applications (ISA2010), 2010.

16.Abdechiri, M. and Faez, K. and Bahrami, H., "Adaptive Imperialist Competitive Algorithm (AICA)", 9th IEEE International Conference on Cognitive Informatics (ICCI), pp. 940-945, 2010.

17.Coelho, L. D. and Afonso, L. and Alotto, P., "A Modified Imperialist Competitive Algorithm for Optimization in Electromagnetics", IEEE Transactions on Magnetics, vol. 48, pp. 579-582, 2012

شارک

عنوان URL للمقالة

الگوریتم رقابت استعماری آشوبی متعامد اصلاح شده و بکارگیری آن در بهبود بازشناسی الگو در شبکۀ عصبی پرسپترون¬های چند لایه

رایمگ

الروابط

المراكز ذات الصلة

دعامة

الصفحات الرسمية