• الصفحة الرئيسية
  • بهبود عملکرد طبقه‌بند شبکه عصبی چندجمله‌ای با استفاده از الگوریتم بهینه‌سازی نهنگ

شارک

عنوان URL للمقالة


رقم المقالة : 13990428238389 زيارة : 3900 الصفحة: 145 - 154

20.1001.1.16823745.1401.20.2.1.7

نوع المخطوط: المحکّمة

بهبود عملکرد طبقه‌بند شبکه عصبی چندجمله‌ای با استفاده از الگوریتم بهینه‌سازی نهنگ

الموضوعات :

مهسا معماری 1 , عباس حریفی 2 , عبدالله خلیلی 3

1 - دانشگاه هرمزگان،گروه مهندسی برق و کامپیوتر
2 - دانشگاه هرمزگان،گروه مهندسی برق و کامپیوتر
3 - دانشگاه هرمزگان،گروه مهندسی برق و کامپیوتر

تاريخ الإرسال : 27 السبت , ذو القعدة, 1441 تاريخ التأكيد : 25 الثلاثاء , رمضان, 1443 تاريخ الإصدار : 22 السبت , محرم, 1444

الکلمات المفتاحية: الگوریتم‌های فرااکتشافی, رایانش ابری, زنجیره مارکوف جاذب, کاهش مصرف انرژی,

ملخص المقالة :

شبکه عصبی چندجمله‌ای (PNN) یک الگوریتم یادگیری بانظارت و از محبوب‌ترین مدل‌های مورد استفاده در کاربردهای واقعی است. هرچه شبکه عصبی چندجمله‌ای از نظر تعداد توصیفات جزئی (PDها) و لایه‌ها ساختار پیچیده‌تری داشته باشد، نیاز به زمان و حجم بیشتری برای محاسبه و ذخیره‌سازی دارد. در این تحقیق رویکرد جدیدی در زمینه بهبود کارایی طبقه‌بند شبکه عصبی چندجمله‌ای با استفاده از الگوریتم بهینه‌سازی نهنگ (WOA) به نام PNN-WOA پیشنهاد شده که علاوه بر افزایش دقت PNN، زمان و حجم محاسبات قابل تحملی دارد. در رویکرد پیشنهادی، PDها بر اساس ترکیب دوبه‌دوی ویژگی‌ها از نمونه‌های آموزشی در لایه اول تولید می‌شوند. مجموعه‌ای از PDهای تولیدشده در لایه اول، متغیرهای ورودی و بایاس، عصب‌های لایه دوم را تشکیل می‌دهند. در نهایت خروجی شبکه عصبی چندجمله‌ای، توسط مجموع وزن‌دهی شده خروجی‌های لایه دوم به دست می‌آید. با استفاده از الگوریتم بهینه‌سازی نهنگ (WOA) بهترین بردار ضرایب وزن‌دهی به گونه‌ای که شبکه PNN بیشترین دقت طبقه‌بندی را داشته باشد، به دست می‌آید. برای ارزیابی روش PNN-WOA از یازده مجموعه داده موجود در پایگاه داده UCI استفاده شد. نتایج نشان می‌دهند که PNN-WOA در مقایسه با روش‌های پیشین از قبیل PNN-RCGA، PNN-MOPPSO، RCPNN-PSO و S-TWSVM عملکرد مناسبی دارد. همچنین نتایج آزمون آماری فریدمن نشان می‌دهند که در مجموع، روش پیشنهادی PNN-WOA نسبت به سایر روش‌های مقایسه‌شده، از نظر آماری عملکرد بهتری (با مقدار P برابر 039/0) داشته است.

المصادر:

[1] O. I. Abiodun, A. Jantan, A. E. Omolara, K. V. Dada, N. A. Mohamed, and H. Arshad, "State-of-the-art in artificial neural network applications: a survey," Heliyon, vol. 4, no. 11, Article ID: e00938, Nov. 2018.
[2] N. L. da Costa, M. D. de Lima, and R. Barbosa, "Evaluation of feature selection methods based on artificial neural network weights," Expert Syst. Appl., vol. 168, no. 7, Article ID: 114312, Apr. 2021.
[3] J. Zhou, H. G. Amir, F. Chen, and A. Holzinger, "Evaluating the quality of machine learning explanations: a survey on methods and metrics," Electronics, vol. 10, no. 5, Article ID: 593, 19 pp., Mar. 2021.
[4] M. Kantardzic, Data Mining: Concepts, Models, Methods, and Algorithms, John Wiley, 2020.
[5] J. Beyerer, M. Richter, and M. Nagel, Pattern Recognition: Introduction, Features, Classifiers and Principles. Walter de Gruyter GmbH & Co KG, 2017.
[6] T. A. Al-Asadi, O. J. Ahmed, R. Hidayat, and A. A. Ramli, "A survey on web mining techniques and applications," Int. J. on Adv. Sci. Eng. and Inf. Tech., vol. 7, no. 4, pp. 1178-1184, 2017.
[7] Y. Cao, T. A. Geddes, J. Y. H. Yang, and P. Yang, "Ensemble deep learning in bioinformatics," Nat. Mach. Intell., vol. 2, no. 9, pp. 500-508, Aug. 2020.
[8] I. Sadgali, N. Sael, and F. Benabbou, "Performance of machine learning techniques in the detection of financial frauds," Procedia Comput Sci, vol. 148, no. 6, pp. 45-54, 2019.
[9] J. Henriquez and W. Kristjanpoller, "A combined independent component analysis-neural network model for forecasting exchange rate variation," Appl Soft Comput, vol. 83, no. C, Article ID: 105654, Oct. 2019.
[10] I. N. Da Silva, D. H. Spatti, R. A. Flauzino, L. H. B. Liboni, and S. F. dos Reis Alves, "Artificial neural network architectures and training processes," Artif. Neural Netw., Springer, Cham, pp. 21-28, 2017.
[11] C. Singh, W. J. Murdoch, and B. Yu, Hierarchical Interpretations for Neural Network Predictions, arXiv preprint arXiv: 1806.05337, 2018.
[12] F. Ros, M. Pintore, and J. R. Chrétien, "Automatic design of growing radial basis function neural networks based on neighboorhood concepts," Chemometrics and Intelligent Laboratory Systems, vol. 87, no. 2, pp. 231-240, Jun. 2007.
[13] A. G. Ivakhnenko, "Polynomial theory of complex systems," IEEE Trans. on Systems, Man, and Cybernetics, vol. 1, no. 4, pp. 364-378, Oct. 1971.
[14] C. T. Lin, M. Prasad, and A. Saxena, "An improved polynomial neural network classifier using real-coded genetic algorithm," IEEE Trans. on Systems, Man, and Cybernetics: Systems, vol. 45, no. 11, pp. 1389-1401, Nov. 2015.
[15] L. L. Huang, A. Shimizu, Y. Hagihara, and H. Kobatake, "Face detection from cluttered images using a polynomial neural network," Neurocomputing, vol. 51, no. 12, pp. 197-211, Apr. 2003.
[16] S. B. Roh, T. C. Ahn, and W. Pedrycz, "Fuzzy linear regression based on Polynomial Neural Networks," Expert Systems with Applications, vol. 39, no. 10, pp. 8909-8928, Aug. 2012.
[17] C. C. Huang, W. C. Chen, C. Y. Shen, Y. J. Chen, C. Y. Chang, and R. C. Hwang, "Signal processing by polynomial NN and equivalent polynomial function," in Proc. 1st Int. Conf. on, Pervasive Computing Signal Processing and Applications, PCSPA’10, pp. 460-463, Harbin, China, 17-19 Sept. 2010.
[18] L. Zjavka and W. Pedrycz, "Constructing general partial differential equations using polynomial and neural networks," Neural Networks, vol. 73, no. 1, pp. 58-69, Jan. 2016.
[19] M. Mehrabi, M. Sharifpur, and J. P. Meyer, "Application of the FCM-based neuro-fuzzy inference system and genetic algorithm-polynomial neural network approaches to modelling the thermal conductivity of alumina_water nanofluids," International Communications in Heat and Mass Transfer, vol. 39, no. 7, pp. 971-977, Aug. 2012.
[20] M. F. Zarandi, I. B. Türksen, J. Sobhani, and A. A. Ramezanianpour, "Fuzzy polynomial neural networks for approximation of the compressive strength of concrete," Applied Soft Computing, vol. 8, no. 1, pp. 488-498, Jan. 2008.
[21] S. Dehuri, B. B. Misra, A. Ghosh, and S. B. Cho, "A condensed polynomial neural network for classification using swarm intelligence," Applied Soft Computing, vol. 11, no. 3, pp. 3106-3113, Apr. 2011.
[22] M. Li, J. Tian, and F. Chen, "Improving multiclass pattern recognition with a co-evolutionary RBFNN," Pattern Recognition Letters, vol. 29, no. 4, pp. 392-406, Mar. 2008.
[23] B. B. Misra, S. Dehuri, P. K. Dash, and G. Panda, "A reduced and comprehensible polynomial neural network for classification," Pattern Recognition Letters, vol. 29, no. 12, pp. 1705-1712, Sept. 2008.
[24] Z. Qi, Y. Tian, and Y. Shi, "Laplacian twin support vector machine for semi-supervised classification," Neural Networks, vol. 35, no. 4, pp. 46-53, Nov. 2012.
[25] S. Dehuri and S. B. Cho, "Multi-criterion Pareto based particle swarm optimized polynomial neural network for classification: a review and state-of-the-art," Computer Science Review, vol. 3, no. 1, pp. 19-40, Feb. 2009.
[26] Z. Qi, Y. Tian, and Y. Shi, "Structural twin support vector machine for classification," Knowledge-Based Systems, vol. 43, no. 7, pp. 74-81, May 2013.
[27] Q. Hou, L. Liu, L. Zhen, and L. Jing, "A novel projection nonparallel support vector machine for pattern classification," Eng. Appl. Artif. Intell., vol. 75, no. 7, pp. 64-75, Oct. 2018.
[28] W. J. Chen, Y. H. Shao, C. N. Li, Y. Q. Wang, M. Z. Liu, and Z. Wang, "NPrSVM: nonparallel sparse projection support vector machine with efficient algorithm," Appl. Soft Comput., vol. 90, no. 3, Article ID: 106142, May 2020.
[29] H. Pant, M. Sharma, and S. Soman, "Twin neural networks for the classification of large unbalanced datasets," Neurocomputing, vol. 343, no. 4, pp. 34-49, May 2019.
[30] R. Rastogi, P. Saigal, and S. Chandra, "Angle-based twin parametric-margin support vector machine for pattern classification," Knowl. Based. Syst., vol. 139, no. 6, pp. 64-77, Jan. 2018.
[31] S. K. Oh, W. Pedrycz, and B. J. Park, "Polynomial neural networks architecture: analysis and design," Computers & Electrical Engineering, vol. 29, no. 6, pp. 703-725, May 2003.
[32] S. Mirjalili and A. Lewis, "The whale optimization algorithm," Advances in Engineering Software, vol. 95, no. 6 pp. 51-67, May 2016.
[33] W. A. Watkins and W. E. Schevill, "Aerial observation of feeding behavior in four baleen whales: Eubalaena glacialis, Balaenoptera borealis, Megaptera novaeangliae, and Balaenoptera physalus," J. of Mammalogy, vol. 60, no. 1, pp. 155-163, Feb. 1979.
نص كامل:
معرفي يک روش جديد خوشه‌يابي خودکار

نشریه مهندسی برق و مهندسی كامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 2، تابستان 1401  145

مقاله پژوهشی

بهبود عملکرد طبقه‌بند شبکه عصبی چندجمله‌ای 
با استفاده از الگوریتم بهینه‌سازی نهنگ

مهسا معماری، عباس حریفی و عبدالله خلیلی

 

 

1 

چكیده: شبکه عصبی چندجمله‌ای (PNN) یک الگوریتم یادگیری بانظارت و 
از محبوب‌ترین مدل‌های مورد استفاده در کاربردهای واقعی است. هرچه شبکه عصبی چندجمله‌ای از نظر تعداد توصیفات جزئی (PDها) و لایه‌ها ساختار پیچیده‌تری داشته باشد، نیاز به زمان و حجم بیشتری برای محاسبه و ذخیره‌سازی دارد. در این تحقیق رویکرد جدیدی در زمینه بهبود کارایی طبقه‌بند شبکه عصبی چندجمله‌ای با استفاده از الگوریتم بهینه‌سازی نهنگ (WOA) به نام PNN-WOA پیشنهاد شده که علاوه بر افزایش دقت PNN، زمان و حجم محاسبات قابل تحملی دارد. در رویکرد پیشنهادی، PDها بر اساس ترکیب دوبه‌دوی ویژگی‌ها از نمونه‌های آموزشی در لایه اول تولید می‌شوند. مجموعه‌ای از PDهای تولیدشده در لایه اول، متغیرهای ورودی و بایاس، عصب‌های لایه دوم را تشکیل می‌دهند. در نهایت خروجی شبکه عصبی چندجمله‌ای، توسط مجموع وزن‌دهی شده خروجی‌های لایه دوم به دست می‌آید. با استفاده از الگوریتم بهینه‌سازی نهنگ (WOA) بهترین بردار ضرایب وزن‌دهی به گونه‌ای که شبکه PNN بیشترین دقت طبقه‌بندی را داشته باشد، به دست می‌آید. برای ارزیابی روش PNN-WOA از یازده مجموعه داده موجود در پایگاه داده UCI استفاده شد. نتایج نشان می‌دهند که PNN-WOA در مقایسه با روش‌های پیشین از قبیل PNN-RCGA، PNN-MOPPSO، RCPNN-PSO و S-TWSVM عملکرد مناسبی دارد. همچنین نتایج آزمون آماری فریدمن نشان می‌دهند که در مجموع، روش پیشنهادی PNN-WOA نسبت به سایر روش‌های مقایسه‌شده، از نظر آماری عملکرد بهتری (با مقدار P برابر 039/0) داشته است.

 

کلیدواژه: شبکه عصبی چندجمله‌ای، الگوریتم بهینه‌سازی نهنگ، توصیف جزئی، طبقه‌بندی.

1-       مقدمه

طبقه‌بندی، یکی از مهم‌ترین وظایف چالش‌برانگیز [1] و [2]، در داده‌کاوی [3] و [4]، شناخت الگو [5]، وب‌کاوی [6]، بیوانفورماتیک [7] و پیش‌بینی مالی [8] و [9] می‌باشد. شبکه عصبی به عنوان یک ابزار مهم برای طبقه‌بندی ظهور کرده است. شبکه‌های عصبی مصنوعی 2(ANN) قادر به تخمین احتمالات پیشین می‌باشند که مبنایی برای ایجاد قانون طبقه‌بندی و انجام تحلیل آماری است [1]. ساختار معماری مناسب شبکه عصبی، تعداد لایه‌های پنهان و تعداد عصب‌ها در هر لایه پنهان، از عواملی هستند که می‌توانند تا حد زیادی بر دقت پیش‌بینی تأثیر بگذارند. متأسفانه هیچ روش مستقیمی وجود ندارد که بتواند برای مشخص‌کردن این عوامل استفاده شود؛ زیرا آنها باید بر اساس یک سری آزمایش‌های تجربی و پایه تعیین شوند [10]. علاوه بر این، درک و تفسیر طبقه‌بند شبکه عصبی مشکل است، چرا که با افزایش متغیرها و لایه‌های پنهان، شبکه عصبی پیچیده‌تر می‌شود [11] و [12]. برای رفع نواقص ذکرشده، شبکه عصبی چندجمله‌ای 3(PNN) بر اساس روش کنترل گروهی داده‌ها پیشنهاد گردیده است [13] و [14].

شبکه عصبی چندجمله‌ای، یک معماری و ساختار عصبی انعطاف‌پذیر می‌باشد که توپولوژی آن به صورت از پیش تعیین شده یا ثابت مانند ANN معمولی نیست؛ اما از طریق یادگیری لایه به لایه رشد می‌کند. در این شبکه‌ها، لایه‌های متوالی با پیوندهای پیچیده با لایه قبل ایجاد می‌شوند. هر عصب در هر لایه، از طریق یک چندجمله‌ای رگرسیون درجه دو با دو ورودی از عصب‌های لایه قبل مرتبط است. اولین لایه توسط محاسبه رگرسیون متغیرهای ورودی و انتخاب بهترین‌ها برای بقا ایجاد می‌شود. لایه دوم با محاسبه رگرسیون مقادیر در لایه قبلی همراه با متغیرهای ورودی و حفظ بهترین نامزدها تشکیل می‌گردد. لایه‌های بیشتری ساخته می‌شوند تا زمانی که گسترش شبکه بر اساس معیارهای خاتمه متوقف گردد [2].

از شبکه عصبی چندجمله‌ای برای حل مسایل مختلف از جمله جداسازی الگوهای چهره و غیر چهره [15]، تعیین پارامترهای مدل رگرسیون خطی فازی [16]، بررسی تشخیص سیگنال در یک سیستم دوبعدی و شناسایی آن [17] استفاده شده است. در [18]، زاواکا و همکارش با استفاده از گسترش یک ساختار کامل از PNN، یک شبکه عصبی چندجمله‌ای تفاضلی (D-PNN) ارائه دادند. در واقع D-PNN، یک تابع جستجو با استفاده از مشتق نسبی چندجمله‌ای در معادله دیفرانسیل دارای چند متغیر مجهول، تولید و جایگزین می‌کند. همچنین پیچیدگی مدل D-PNN رابطه مستقیم با تعداد متغیرهای ورودی دارد. شریف‌پور و همکاران [19] به منظور پیش‌بینی میزان قابل هدایت حرارت و گرما در نانوسیم‌های اکسید آلومینیوم، دو مدل ارائه دادند که عبارت هستند از: 1) یک سیستم استنتاج عصبی- فازی سازگار (ANFIS) مبتنی بر الگوریتم خوشه‌بندی میانگین C فازی (FCM) و 2) شبکه عصبی چندجمله‌ای با الگوریتم ژنتیک (GA-PNN). در این مدل‌ها، داده‌های ورودی شامل دما، حجم غلظت نانوذرات، اندازه نانوذرات img0 و ضریب انتشار حرارت نیز به عنوان پارامتر هدف می‌باشند. نتایج به دست آمده نشان داد که این دو روش، نسبتاً خوب هستند اما با وجود این، 
روش FCM-ANFIS نسبت به مدل GA-PNN موفق‌تر عمل می‌کند. سبحانی و همکاران [20] برای تقریب مقاومت فشار بتن، از توسعه‌دادن شبکه عصبی چندجمله‌ای فازی (FPNN) که در واقع FPNN ترکیبی از شبکه عصبی فازی (FNN) و شبکه عصبی چندجمله‌ای است، استفاده کرده‌اند. نتایج نشان می‌دهند که مدل FPNN به منظور پیش‌بینی مقاومت فشار بتن، بسیار مناسب می‌باشد. میسرا و همکاران [21]، یک طبقه‌بندی جدید از شبکه‌های عصبی چندجمله‌ای با استفاده از تکنیک بهینه‌سازی ذرات ارائه داده‌اند. برخلاف PNN، شبکه پیشنهادشده نیاز 
به تولید توصیف جزئی برای یک لایه دارد. از بهینه‌سازی ازدحام ذرات گسسته (DPSO) برای انتخاب یک مجموعه مناسب PDها و همچنین ویژگی‌هایی با هدف به دست آوردن بهترین دقت استفاده شده است. چِن و همکاران [22]، یک مدل بهبود تشخیص الگوی چندکلاسه را با استفاده از ترکیب شبکه عصبی مبتنی بر توابع پایه شعاعی 4(RBFNN) و الگوریتم هم‌تکاملی همکار 5(Co-CEA) ارائه دادند که با مدل‌های دیگر از جمله شبکه عصبی احتمالاتی 6(PNN) مقایسه شده است. میسرا و همکاران [23]، نوع خاصی از شبکه عصبی چندجمله‌ای را که فقط دارای یک لایه است، به نام شبکه عصبی چندجمله‌ای کاهش‌یافته قابل درک پیشنهاد دادند. برای به روز رسانی وزن‌ها در RCPNN، از دو روش کاهش گرادیان و الگوریتم بهینه‌سازی ذرات استفاده شده است. در این تحقیق علاوه بر نتایج مدل‌های RCPNN-GD و RCPNN-PSO، نتیجه مدل شبکه عصبی چندجمله‌ای ارائه شد. در [24]، تیان و همکاران در زمینه یادگیری نیمه‌نظارتی7، دو مدل ماشین بردار پشتیبان لاپلاسین 8(Lap-SVM) و ماشین بردار پشتیبان لاپلاس دوگانه 9(Lap-TSVM) را ارائه داده‌اند. در [25]، چو و همکارش با در نظر گرفتن دو هدف که عبارت هستند از به حداقل‌رساندن پیچیدگی معماری و حداکثر دقت شبکه عصبی چندجمله‌ای، مدل بهینه‌سازی ازدحام ذرات مبتنی بر پارتوی چندهدفه را پیشنهاد دادند. توسط شی و همکارانش [26]، یک مدل ماشین بردار پشتیبان دوگانه ساختاری 10(S-TWSVM) پیشنهاد شد. در این تحقیق روش S-TWSVM با مدل‌هایی از قبیل ماشین بردار پشتیبان ساختاری 11(SRSVM)، ماشین بردار پشتیبان دوگانه 12(TWSVM) و ماشین ساختاریافته با حاشیه زیاد 13(SLMM) مقایسه گردیده است. علاوه بر الگوریتم‌های ذکرشده، برخی از الگوریتم‌های جدید نظیر PNPSVM در [27]، NPrSVM در [28]، Twin-NN در [29] و ATP-SVM در [30] نیز توسط محققین ارائه شده که با روش پیشنهادی بر روی مجموعه داده‌های مشترک مقایسه می‌گردند. همچنین در [14]، لین و همکاران نوع خاصی از شبکه عصبی چندجمله‌ای را که فقط دارای دو لایه است، مورد مطالعه قرار دادند. آنها برای بهبود عملکرد طبقه‌بند شبکه PNN از الگوریتم بهینه‌سازی ژنتیک استفاده کردند. مقادیر ژن‌های کروموزوم‌های GA اعداد حقیقی می‌باشند و این روش موسوم به PNN-RCGA است.

چالش اصلی PNN، آموزش به صورت لایه به لایه می‌باشد که موجب ایجاد یک ساختار بزرگ با تعداد قابل توجهی از گره‌ها می‌گردد. این 
امر شامل محاسبات زیادی شده و در نتیجه از نظر زمان و حافظه 
پرهزینه است. در این تحقیق برای جلوگیری از پیچیدگی شبکه عصبی چندجمله‌ای، روش PNN-WOA پیشنهاد می‌شود که در این روش، PNN فقط تا لایه دوم گسترش می‌یابد. در گام اول ماتریس ضرایب به بهترین وجه مناسب برای PDهای اولین لایه با استفاده از روش حداقل مربعات به دست می‌آید. در مرحله دوم، PDهای حاصل از لایه اول با تمام ویژگی‌های الگوی ورودی و بایاس به عنوان گره‌های لایه دوم در نظر گرفته می‌شوند. در اینجا با استفاده از الگوریتم بهینه‌سازی نهنگ، بهترین بردار ضرایب برای عصب‌های لایه دوم به دست آمده و در نهایت بیشترین دقت و عملکرد شبکه عصبی چندجمله‌ای حاصل می‌شود. این کار تا زمانی که بهترین بردار ضرایب به دست آید تکرار می‌شود. هنگامی که الگوریتم بهینه‌سازی نهنگ پایان یافت، بهترین بردار ضرایب برای داده‌های آزمایش ذخیره می‌گردند.

سایر بخش‌های مقاله بدین ترتیب هستند: در بخش دوم به معرفی ساختار و روابط ریاضی شبکه عصبی چندجمله‌ای پرداخته می‌شود. توضیح روش پیشنهادی در بخش سوم آمده و نیز در این بخش به چگونگی بهینه‌سازی ضرایب شبکه PNN با استفاده از الگوریتم WOA پرداخته می‌شود. در بخش چهارم، نتایج به دست آمده از PNN-WOA بر روی مجموعه داده‌های موجود در پایگاه داده UCI با روش‌های مشابه مقایسه شده و نهایتاً در قسمت پنجم، نتیجه‌گیری عنوان می‌گردد.

2-       ساختار شبکه عصبی چندجمله‌ای

الگوریتم PNN مبتنی بر روش GMDH می‌باشد و از انواع متفاوت چندجمله‌ای‌ها مانند خطی، درجه دوم، مکعبی و غیره استفاده می‌کند [31]. هدف در الگوریتم PNN، ساختن یک شبکه چندلایه است که عملکرد آن طبق (1) می‌باشد و در نتیجه مدلی پیچیده حاصل می‌گردد. به همین دلیل در این روش، مسئله به چندین مسئله کوچک‌تر با تعداد مجهولات کمتر به فرم چندجمله­ای مرتبه دو برای تمامی متغیر‌های ورودی، طبق (2) تبدیل می‌شود. پارامتر img0 را به عنوان خروجی موقت مسئله در نظر گرفته که به آن متغیر میانی گفته می‌شود. در واقع img0 فقط تابعی از img0 و img0 و همچنین img0 بیانگر تعداد ویژگی‌ها است

img0        (1)

img0        (2)

الگوریتم PNN با استفاده از همه ترکیبات ممکن از هر دو متغیر ورودی، صرف  نظر  از  دیگر  متغیرها،  جمعیت  PD  را  در  هر  لایه  بر  اساس  رابطه 

img0 تولید می‌کند.

در شکل 1 مدل شبکه عصبی چندجمله‌ای پایه برای چهار ورودی نمایش داده شده است.

حال اگر بخواهیم (2) را برای همه ویژگی‌های ورودی به فرم ماتریسی نشان دهیم، خواهیم داشت

C:\Users\Memari\Desktop\New folder (3)\3.tif 

شکل 1:  ساختار اصلی شبکه عصبی چندجمله‌ای (PNN) برای چهار ورودی [23].

 

img0        (3)

در (3)، ماتریس‌های img0، img0 و img0 به ترتیب بیانگر مقادیر به دست آمده برای PDها، رگرسورها و ماتریس ضرایب وزنی می‌باشند که ماتریس‌های img0 و img0 مجهول هستند. لذا فقط با ضرب img0 در طرفین معادله بالا، می‌توان ماتریس ضرایب وزنی را طبق (4) محاسبه نمود که img0 دلالت بر مقدار خروجی اصلی دارد. به متغیر img0 شبه‌معکوس سمت چپ گفته می‌شود، چون از سمت چپ در img0 ضرب شده است

img0        (4)

سپس با به دست آوردن مقادیر ضرایب طبق (4)، هدف زیر را برای داده‌های آموزشی به ازای img0، img0 و img0 در نظر می‌گیریم

img0        (5)

حال اگر میزان خطای به دست آمده، مقدار مورد انتظار نباشد، باید از PDها برای ایجاد لایه بعدی الگوریتم PNN بر اساس خروجی‌های به دست آمده از لایه قبل استفاده کرد. این روند تا زمانی که مقدار خطا به کمترین مقدار خود img0 برسد، تکرار می‌شود.

3-       روش پیشنهادی

3-1 الگوریتم بهینه‌سازی نهنگ

الگوریتم بهینه‌سازی نهنگ، یک الگوریتم فراابتکاری جدید مبتنی بر جمعیت می‌باشد که توسط میرجلیلی و همکاران ارائه گردیده است 
[32]. این الگوریتم از روش خاص شکار نهنگ‌های کوهان‌دار به نام روش تغذیه شبکه حبابی برگرفته شده است [33]. نهنگ‌های کوهان‌دار ترجیح می‌دهند که شکار خود را بر روی سطح دریا انجام دهند و به همین دلیل حباب‌هایی خاص به شکل مارپیچ یا به صورت عدد 9 انگلیسی ایجاد می‌کنند. در شکل 2، رفتار تغذیه‌ای نهنگ‌های کوهان‌دار آمده است.

روند جستجوی الگوریتم بهینه‌سازی نهنگ شامل دو مرحله اکتشاف و بهره‌برداری می‌شود که با توجه به پارامتر احتمال و بردار img0، از یکی از سه روش کاهش فضا و محاصره‌کردن طعمه، شکار و به روز رسانی بهترین موقعیت نهنگ در حرکات مارپیچی و جستجوی شکار با انتخاب بهترین موقعیت نهنگ به صورت تصادفی استفاده می‌شود.

C:\Users\Memari\Desktop\New folder (3)\2.tif 

شکل 2:  رفتار تغذیه‌ای شبکه حبابی نهنگ‌های کوهان‌دار [28].

 

1) محاصره‌کردن طعمه

نهنگ‌های کوهان‌دار قابلیت تشخیص موقعیت طعمه و محاصره‌کردن آن را دارند. از آنجا که موقعیت بهترین شکار در فضای جستجو مشخص نیست، الگوریتم WOA در ابتدا فرض می‌کند که بهترین نامزد فعلی، از میان دیگر طعمه‌ها، خود هدف و یا آن شکار مطلوب و نزدیک به هدف است. بعد از این که بهترین عامل جستجو مشخص شد، دیگر عامل‌ها موقعیت خود را نسبت به بهترین عامل جستجو تغییر و به روز رسانی می‌کنند. این رفتار نهنگ‌های کوهان‌دار با معادلاتی که در زیر آمده، نشان داده ‌شده است

img0        (6)

img0        (7)

در (6) و (7)، img0 به عنوان شمارنده تکرار و این که در چندمین تکرار قرار داریم، img0 و img0 بردار ضرایب، img0 بردار موقعیت بهترین جواب به دست‌ آمده تا این لحظه و img0 بردار موقعیت می‌باشد. نکته قابل توجه این است که img0 باید در هر تکرار، در صورتی که اگر یک جواب بهتر نسبت به بهترین جواب فعلی وجود داشته باشد، به روز شود. نحوه محاسبه بردار img0 و img0 در (8) و (9) آورده شده است

img0        (8)

img0        (9)

در (8)، مقدار بردار img0 به صورت خطی از 2 به سمت صفر در طول دوره کامل تکرارها، در هر دو مرحله اکتشاف و بهره‌برداری کاهش می‌یابد و بردار img0، یک بردار تصادفی در بازه [0،1] است.

2) روش شکار شبکه حبابی با به روز رسانی موقعیت در مارپیچ

در این روش، ابتدا فاصله میان موقعیت فعلی عامل img0 و بهترین موقعیت عامل جستجو img0 طبق (10) به دست آورده شده و سپس با توجه به (11)، حرکت نهنگ‌ها در جهت مسیر طعمه به صورت مارپیچ شبیه‌سازی می‌گردد

img0        (10)

img0        (11)

در (11)، img0 یک عدد تصادفی در بازه [1،1-]، img0 یک مقدار ثابت برای تعیین شکل مارپیچ لگاریتمی و . به عنوان ضرب داخلی و ضرب جزء به جزء است.

دو روشی که گفته شد در مرحله بهره‌برداری می‌باشند.

 

[1] این مقاله در تاریخ 28 تیر ماه 1399 دریافت و در تاریخ 10 بهمن ماه 1400 بازنگری شد.

مهسا معماری، گروه مهندسی برق و کامپیوتر، دانشگاه هرمزگان، بندرعباس، ایران، (email: memari.stu@hormozgan.ac.ir).

عباس حریفی (نویسنده مسئول)، گروه مهندسی برق و کامپیوتر، دانشگاه هرمزگان، بندرعباس، ایران، (email: harifi@hormozgan.ac.ir).

عبدالله خلیلی، گروه مهندسی برق و کامپیوتر، دانشگاه هرمزگان، بندرعباس، ایران، (email: khalili@hormozgan.ac.ir).

[2] . Artificial Neural Network

[3] . Polynomial Neural Network

[4] . Radial Basis Function Neural Network

[5] . Co-Operative Co-Evolutionary Algorithm

[6] . Probabilistic Neural Network

[7] . Semi-Supervised Learning

[8] . Laplacian-Support Vector Machine

[9] . Laplacian Twin Support Vector Machine

[10] . Structural Twin Support Vector Machine

[11] . Structural Support Vector Machine

[12] . Twin Support Vector Machine

[13] . Structured Large Margin Machine

img0 

شکل 3:  روندنمای الگوریتم بهینه‌سازی نهنگ (WOA).

 

 

3) روش جستجوی شکار با انتخاب بهترین عامل جستجو به صورت تصادفی

در مرحله اکتشاف، روش جستجوی شکار بیان می‌شود که نهنگ‌های کوهان‌دار به صورت تصادفی به دنبال طعمه برای خود می‌گردند. حقیقتاً در مرحله اکتشاف، بهترین عامل جستجو به صورت تصادفی انتخاب می‌شود، در حالی که طی مرحله بهره‌برداری به دنبال یافتن بهترین عامل جستجو هستیم. مبنای روش جستجوی شکار، تغییرات بردار img0 است و بنابراین اگر مقدار تصادفی بردار img0 از عدد 1 بزرگ‌تر و یا کمتر از مقدار 1- باشد، عامل جستجو مجبور به حرکت و تغییر موقعیت خود نسبت به موقعیت بهترین عامل جستجو است. روابط ریاضی (12) و (13) مربوط به این مدل در ادامه آورده شده‌اند

img0        (12)

img0        (13)

که img0 بردار موقعیت یک نهنگ می‌باشد که به طور تصادفی از میان جمعیت فعلی انتخاب شده است. شکل 3 روندنمای الگوریتم بهینه‌سازی نهنگ را نشان می‌دهد.

3-2 بهبود شبکه عصبی چندجمله‌ای با استفاده از الگوریتم بهینه‌سازی نهنگ (روش پیشنهادی)

مدل پیشنهادشده در این تحقیق یک سیستم بهبود عملکرد طبقه‌بند شبکه عصبی چندجمله‌ای با استفاده از الگوریتم بهینه‌سازی نهنگ در حالتی که PNN فقط دارای دو لایه می‌باشد، است. همان طور که گفته شد، یکی از قوانین مهمی که در این نوع شبکه عصبی چندجمله‌ای مورد بررسی قرار می‌گیرد، این است که شبکه PNN فقط دو لایه دارد و از گسترش بیش از دو لایه به دلیل پیچیدگی بیشتر شبکه، جلوگیری می‌شود. در ادامه، روند کار این نوع شبکه عصبی چندجمله‌ای به طور کامل شرح داده شده است.

در بخش دوم، چگونگی به دست آمدن ضرایب PDها به همراه روابط ریاضی به طور کامل عنوان شد. حال در لایه دوم، PDهای لایه اول به همراه داده‌های ورودی و بایاس باید در ماتریس ضرایبی نظیر به نظیر ضرب شوند و در نهایت مقادیر به دست آمده از تابع فعال‌سازی سیگما شبکه PNN عبور کنند. کاربرد الگوریتم بهینه‌سازی نهنگ در شبکه PNN این است که ماتریس ضرایب به گونه‌ای انتخاب شود که شبکه عصبی نام‌برده کمترین خطا را در طبقه‌بندی داده‌های آموزش داده نشده داشته باشد. به طور کلی ساختار هر موقعیت نهنگ شامل مقادیر PDها، ویژگی‌ها و بایاس است. حال اگر img0 تعداد کل PDها، img0 تعداد کل ویژگی‌های ورودی شبکه، img0 تعداد کلاس‌ها و مقدار یک به عنوان بایاس در نظر گرفته شود، طول ماتریس ضرایب از (14) حاصل می‌گردد

img0        (14)

پس اگر طول بردار ضرایب را با img0 و تعداد عوامل جستجو را که همان تعداد نهنگ‌ها در WOA هستند، با img0 بیان کنیم، ابعاد ماتریس جمعیت در الگوریتم WOA برابر است با img0. نحوه چیدمان عصب‌ها در لایه دوم شبکه PNN با توجه به تعداد کلاس‌های مجموعه داده با فرض داشتن img0 کلاس، بدین گونه است که ابتدا مقادیر PDهای به دست آمده از لایه پیشین مربوط به کلاس اول، متغیرهای ورودی img0 و بایاس، مقادیر PDهای کلاس دوم، مجموعه مقادیر img0 و بایاس همگی در ماتریس تهی قرار می‌گیرند. این روند جایگذاری کمیت‌ها در ماتریس تا زمان رسیدن به مقادیر PDهای کلاس img0ام و داده‌های ورودی img0 و بایاس، ادامه می‌یابد. در گام بعد باید مقادیر ماتریس را نظیر به نظیر در ماتریس ضرایب وزنی به تفکیک کلاس‌ها ضرب کرده و سپس از تابع فعال‌سازی سیگمای شبکه PNN عبور داده که در اینجا مقادیر نیز با هم جمع می‌شوند. حاصل به دست آمده به عنوان مقدار پیش‌بینی شده برای هر کدام از کلاس‌های نمونه اول است و همین مراحل برای مابقی نمونه‌های دیتاست استفاده‌شده، اعمال می‌گردد. باید به این نکته توجه داشت که طبقه‌بندی در شبکه عصبی اغلب به صورت صفر و یک است و بنابراین خروجی اصلی و پیش‌بینی شده شبکه باید به صورت صفر و یک درآورده شود. به همین دلیل در ابتدای کار، خروجی اصلی نمونه‌ها که همان شماره کلاس‌ها می‌باشند، به صفر و یک تبدیل شدند.

پس از حاصل‌شدن PDها از ترکیب ویژگی‌ها و ایجاد ساختار عصب‌ها در لایه دوم شبکه PNN، پارامترهای تعداد نهنگ‌ها و ماکسیمم تکرار مقداردهی و موقعیت وال‌ها مشخص می‌شوند. با توجه به این که هدف در سیستم پیشنهادی، پیداکردن بهترین ماتریس ضرایب با بیشترین مقدار تابع برازندگی است، بنابراین در ابتدای الگوریتم مقدار بهترین عامل جستجو برابر با منفی بی‌نهایت img0 و برای موقعیت آن، ماتریسی با درایه‌های صفر به طول img0 در نظر گرفته می‌شود. سپس تابع برازندگی که همان معیار دقت بوده و در بخش 4 تعریف شده است، برای هر یک از نهنگ‌ها با توجه به موقعیتشان محاسبه و بهترین عامل جستجو انتخاب می‌گردد. در این مرحله از داده‌های اعتبارسنجی برای محاسبه و یافتن بهترین ماتریس ضرایب در تابع برازندگی WOA استفاده شده است. در فاز اصلی الگوریتم WOA، در مرحله به روز رسانی موقعیت نهنگ‌ها، برای تغییر موقعیت هر کدام از وال‌ها با توجه به مقادیر img0 و img0 مربوط به همان نهنگ، یکی از 3 حالت زیر انتخاب می‌شود:

1)        اگر img0 و img0 باشد: برای به روز رسانی موقعیت عامل جستجوی فعلی از حالت محاصره‌کردن طعمه با توجه به (6) و (7) استفاده می‌شود.

2)        اگر img0 و img0 باشد: بر اساس (12) و (13)، موقعیت نهنگ فعلی با استفاده از روش جستجوی شکار در حالتی که بهترین عامل جستجو به طور تصادفی انتخاب می‌گردد، به روز می‌شود.

3)        اگر img0 باشد: با استفاده از (10) و (11)، نهنگ فعلی موقعیت خود را با استفاده از حرکات مارپیچ به دور طعمه به روز می‌کند.

پس از تغییر و به روز رسانی موقعیت عامل‌های جستجو با استفاده از الگوریتم بهینه‌سازی نهنگ، در صورت بیشتربودن مقدار تابع برازندگی نهنگ فعلی در مقایسه با بهترین عامل جستجو، آن نهنگ به عنوان بهترین عامل جستجو انتخاب گردیده و موقعیت آن، جایگزین موقعیت بهترین عامل جستجو می‌شود. این فرایند تا رسیدن به ماکسیمم تکرار الگوریتم ادامه می‌یابد. ساختار مدل پیشنهادی برای یک مسئله دو کلاسه با چهار ورودی در شکل 4 نشان داده ‌شده است.

3-3 استفاده از آرشیو در روش پیشنهادی

در روش پیشنهادی، با تغییر کوچکی در الگوریتم بهینه‌سازی نهنگ، به جای ذخیره‌کردن تنها بهترین عامل جستجو (یک عامل)، بهترین عوامل جستجو (به تعداد ثابت و مشخص‌شده از قبل) در یک آرشیو نگهداری می‌شوند. استفاده از این آرشیو به طور کلی به دو دلیل است:

-        وجود چندین بهترین عامل جستجو: در برخی موارد و برای برخی از مجموعه‌های داده، مقدار برازندگی عامل‌های جستجو با یکدیگر برابر می‌گردد. برای مثال در برخی از مجموعه داده‌های مورد استفاده در این تحقیق، مقدار برازندگی چندین عامل جستجو در فرایند آموزش برابر با 100% شد؛ در حالی که دقت آنها در زمان تست، بسیار متفاوت بود. هرچند استفاده از راهکارهای متداول تقسیم مجموعه داده به مجموعه داده آموزشی و تست می‌تواند از این مشکل بکاهد، اما احتمال رخ‌دادن این اتفاق بالاست. این مورد نشان می‌دهد که در برخی مجموعه‌های داده، ممکن است چندین بهترین عامل وجود داشته باشد و بنابراین نیاز است که تمامی آنها در نظر گرفته شده تا در زمان تست، عامل با بیشترین دقت انتخاب گردد.

-        وجود مجموعه داده‌هایی با تعداد نمونه کم از هر کلاس: در برخی مجموعه‌های داده، ممکن است نمونه‌های تعدادی از کلاس‌ها کم بوده یا اصطلاحاً کلاس‌های با نمونه‌های نادر1 وجود داشته باشند. در این شرایط که برای برخی از مجموعه داده‌های این تحقیق نیز وجود دارد، ممکن است عامل‌های با دقت پایین‌تر از بهترین عامل در زمان آموزش، هنگام تست، دقت بالاتری را از بهترین عامل نشان دهند. دلیل این امر، به تقسیم تصادفی نمونه‌ها بین مجموعه داده‌های آموزش و تست برمی‌گردد. در این موارد نیاز می‌باشد که عوامل جستجو بر حسب برازندگی و به صورت نزولی مرتب شده و علاوه بر بهترین عامل جستجو، چند عامل بعدی نیز انتخاب گردند.

در این تحقیق، مقادیر مختلف برای سایز آرشیو امتحان گردید و به شکل تجربی، سایز آرشیو برابر 100 قرار داده شد. هر زمان که تعداد عامل‌های درون آرشیو از سایز آن بیشتر شد، عامل‌های با کمترین برازندگی از آن حذف گردیده تا سایز آرشیو همیشه ثابت (در اینجا 100) بماند.

4-       نتایج و بحث

مدل پیشنهادی در محیط برنامه‌نویسی متلب نسخه 2017 پیاده‌سازی شد و بر روی سیستم عامل ویندوز 10 (64بیتی) با مشخصات پردازنده اینتل 7 هسته‌ای با فرکانس 4 گیگاهرتز و دارای حافظه موقتی 16 گیگابایت اجرا گردید. مجموعه داده‌های استفاده‌شده از پایگاه داده UCI جمع‌آوری و اسامی آنها در جدول 1 آورده شده است. لازم به ذکر است که مقایسه روش PNN-WOA با سایر مدل‌های نام‌برده، بر اساس مقدار 

[1] . Rare Samples

img0 

شکل 4:  ساختار مدل پیشنهادی (PNN-WOA).

 

 

میانگین نتایج به دست آمده از 10 بار اجرای مدل پیشنهادی بر روی‌ داده‌های مرحله آزمایش می‌باشد. نتایج در جداول 2 و 3 و همچنین شکل‌های 5 و 6 مورد مقایسه قرار گرفته‌اند. در هر کدام از جداول 2 و 3، بهترین روش روی هر مجموعه داده به شکل Bold و دومین بهترین نتیجه به شکل Italic نمایش داده شده است. نتایج نشان می‌دهند که روش PNN-WOA در بیشتر مجموعه داده‌ها بهترین یا دومین بهترین روش بوده و در سایر موارد نیز نتیجه مناسبی داشته است.

همگی دیتاست‌ها با شرایط یکسان در سیستم مورد بررسی قرار گرفته که عبارت هستند از: در سیستم پیشنهادی، فرایند نرمال‌سازی مقادیر ویژگی مجموعه داده‌ها بین صفر و یک، به عنوان اولین گام صورت 

جدول 1: مجموعه داده‌های استفاده‌شده در مدل پیشنهادی.

 

ردیف

مجموعه داده

تعداد نمونه‌ها

تعداد ویژگی‌ها

تعداد کلاس‌ها

تعداد PDها

ابعاد ماتریس ضرایب وزنی

1

Wine

178

13

3

78

img0 

2

Balance

625

4

3

6

img0 

3

Heart_Statlog

267

13

2

78

img0 

4

Australian

690

14

2

91

img0 

5

Iris

150

4

3

6

img0 

6

Bupa Liver

345

6

2

15

img0 

7

Hepatitis

155

19

2

171

img0 

8

Soybean

47

35

4

595

img0 

9

German

1000

20

2

190

img0 

10

1WBC

699

9

2

36

img0 

11

Ionosphere

351

34

2

561

img0 

 

1. Wisconsin Breast Cancer

 

جدول 2: مقایسه دقت طبقه‌بندی برای روش‌های PNN-WOA، PNN-RCGA، RCPNN-PSO، PNN-MOPPSO، CO-RBFNN، PNN، GMDH-PNN و RCPNN-GD.

 

روش

دیتاست

PNN-WOA

PNN [22]

PNN-RCGA [14]

GMDH-PNN [23]

RCPNN-GD [23]

RCPNN-PSO [23]

CO-RBFNN [22]

PNN-MOPPSO [25]

ATP-SVM [30]

حداکثر

میانگین

میانگین

میانگین

میانگین

میانگین

میانگین

میانگین

میانگین

میانگین

Bupa Liver

79/73

19/70

-

54/74

29/65

57/69

87/70

-

30/70

48/75

Heart_Statlog

25/86

37/83

58/73

15/78

-

-

-

99/82

-

30/86

Australian

51/85

29/80

-

79/84

-

-

-

-

-

-

Hepatitis

49/91

26/84

-

79/80

-

-

-

-

-

-

Ionosphere

09/98

29/94

10/94

-

-

-

-

77/93

-

45/87

Iris

100

100

-

33/99

22/86

56/95

67/98

-

80/97

67/97

Soybean

100

100

37/90

00/98

-

-

-

65/92

-

-

Wbc

13/97

94/96

-

66/97

90/95

14/97

64/97

-

-

-

Wine

100

49/98

68/95

30/97

83/84

13/95

95/90

89/96

31/98

30/98

Balance

46/99

88/95

-

27/89

04/71

08/77

08/80

-

-

-

 

جدول 3: مقایسه دقت طبقه‌بندی برای روش‌های PNN-WOA، S-TWSVM، SRSVM، Lap-TSVM، Lap-SVM، SLMM و TWSVM.

 

روش

دیتاست

S-TWSVM [26]

SRSVM [26]

SLMM [26]

TWSVM [26]

Lap-TSVM [24]

PNPSVM [27]

NPrSVM [28]

Twin-NN [29]

Lap-SVM [24]

PNN-WOA

حداکثر

میانگین

Australian

89/0±54/70

31/2±32/69

54/3±92/68

19/1±43/68

37/4±84/69

06/2±10/87

95/2±52/80

89/3±97/87

87/4±89/66

51/85

29/80

Bupa Liver

81/1±75/69

09/1±96/68

28/1±42/69

17/1±44/68

26/5±55/68

51/6±86/69

-

-

63/5±61/67

79/73

19/70

Heart_Statlog

92/1±22/76

47/2±04/76

18/3±79/75

38/1±86/75

77/5±75/75

56/6±56/85

-

74/2±81/84

19/6±31/74

25/86

37/83

Hepatitis

32/1±63/80

27/1±83/79

25/2±12/80

12/3±47/78

22/5±23/79

25/6±15/87

16/5±99/83

98/5±50/86

24/6±26/77

49/91

26/84

German

76/1±15/64

88/1±84/63

12/2±44/63

47/3±92/63

55/3±48/63

29/0±40/74

65/4±25/73

35/1±30/76

68/3±57/64

33/77

90/74

Ionosphere

11/1±82/76

63/2±55/76

86/1±44/75

33/2±21/76

61/3±59/75

70/1±30/96

-

87/1±01/94

29/2±88/73

09/98

29/94

 

 

گرفته است. 70 درصد از داده‌ها برای داده‌های آموزش و 30 درصد برای داده‌های مرحله آزمایش در نظر گرفته شده‌اند. ماکسیمم تعداد تکرار الگوریتم بهینه‌سازی نهنگ برابر با 100 است و تعداد 100 نهنگ که در واقع همان عامل‌های جستجو هستند، در این الگوریتم مقداردهی شده‌اند. مقادیر کران پایین و کران بالا در الگوریتم WOA به ترتیب برابر با صفر و یک می‌باشند و اندازه پارامتر Archive در الگوریتم WOA برابر با مقدار ثابت 100 فرض شده است. به طور کلی، برنامه اصلی 10 بار اجرا گردیده و در هر مرتبه اجرا از img0 با فرض مقدار img0 برابر با 10 استفاده شده است. سپس برای به دست آوردن مقدار دقت نهایی، میانگین مقادیر دقت به دست آمده از 10 بار اجرای برنامه محاسبه می‌شود. لازم به ذکر است که اکثریت مجموعه داده‌ها در زمان اجرا بر اساس img0 تقسیم‌بندی شده‌اند، به جز دیتاست Soybean که به دلیل ماهیتش با img0 غیر قابل بخش‌بندی بوده و به همین دلیل برای این مجموعه داده مقدار img0 برابر با 3 در نظر گرفته شده است. از دقت جهت ارزیابی کارایی سیستم استفاده می‌شود که (15)، این رابطه را نشان می‌دهد. این معیار علاوه بر ارزیابی کارایی، به عنوان تابع برازندگی (هدف) در الگوریتم بهینه‌سازی نهنگ نیز مورد استفاده است

img0        (15)

در اینجا img0 تعداد نمونه‌هایی می‌باشد که سیستم پیشنهادی به درستی، آنها را در روند آزمایش طبقه‌بندی کرده و img0 تعداد کل مجموعه 

img0 

شکل 5:  مقایسه دقت طبقه‌بندی برای روش‌های PNN-WOA، PNN-RCGA، RCPNN-PSO، PNN-MOPPSO، CO-RBFNN، PNN، GMDH-PNN و RCPNN-GD.

 

img0 

شکل 6:  مقایسه دقت طبقه‌بندی برای روش‌های PNN-WOA، S-TWSVM، SRSVM، Lap-TSVM، Lap-SVM، SLMM و TWSVM.

 

 

داده است. پارامتر img0 بیانگر تعداد داده‌هایی می‌باشد که در اصل مثبت هستند و سیستم آنها را مثبت تشخیص داده است. همچنین img0 دلالت بر تعداد داده‌هایی دارد که واقعاً منفی بوده و سیستم پیشنهادی به درستی آنها را در دسته منفی، طبقه‌بندی کرده است.

به دلیل این که همه مدل‌های ذکرشده بر روی دیتاست‌های مشترک و یکسان پیاده‌سازی و بررسی نشده‌اند، برای مقایسه سیستم پیشنهادی با سایر روش‌های پیشین، اعمال آزمون فریدمن و تحلیل نتایج آن در 3 نمودار (شکل‌های 7 تا 9) و جداول جداگانه صورت گرفته است. آزمون فریدمن یکی از آزمون‌های ناپارامتری است که فرض واریانس برابر و توزیع نرمال در آن اهمیتی ندارد و تعداد متغیرهای بررسی‌شده باید برابر با 3 یا بیشتر از آن باشد. این روش برای مقایسه میانگین رتبه‌ها به کار می‌رود. در آزمون فریدمن دو فرض صفر و یک وجود دارد که به ترتیب دلالت بر یکسان‌بودن اولویت‌ها و یکسان‌نبودن اولویت‌ها است. بنابراین اگر بعد از آزمون فریدمن مقدار پارامتر Asymptotic Significance کمتر از 05/0 باشد، فرض صفر رد شده و بر اساس پارامتر میانگین رتبه‌ای، اولویت متغیرها و برتری یا عدم برتری هر کدام از آنها مشخص می‌شود. در صورتی که مقدار پارامتر Asymptotic Significance بیشتر از 05/0 باشد، بدین معنا است که همگی متغیرها اولویت یکسان و برابری دارند.

5-       نتیجه‌گیری

نتایج گزارش‌شده، نشان‌دهنده کارایی قابل قبول سیستم شبکه عصبی چندجمله‌ای پیشنهادی با استفاده از الگوریتم بهینه‌سازی نهنگ در طبقه‌بندی نمونه‌های مجموعه داده‌ها می‌باشد. گمان می‌رود که روش PNN-WOA بر روی مجموعه داده‌هایی با تعداد ویژگی زیاد و همچنین تعداد نمونه‌های نسبتاً زیاد عملکرد خوبی را از خود نشان دهد. همان گونه که می‌دانید، مدل پیشنهادی بر روی یازده مجموعه داده استخراج‌شده اعمال و نتایج در بخش قبل مورد بررسی قرار گرفت. از میان دیتاست‌ها، نتایج به دست آمده در روش PNN-WOA بر روی مجموعه داده‌های Heart-Statlog، Hepatitis، Iris، Ionosphere، Soybean، Wine، Balance و German پژوهش‌های پیشین را مغلوب کرده است. باید به این نکته توجه داشت که مدل پیشنهادی نیز مانند سایر روش‌های موجود ممکن است بنا به دلایلی از جمله ماهیت مجموعه داده، عملکرد نه چندان مطلوبی از خود نشان دهد. در مورد دیتاست‌های Wbc، Bupa Liver و Australian، مدل PNN-WOA دقت طبقه‌بندی کمتری نسبت به روش PNN-RCGA دارد. در همین راستا مطابق با دقت به دست آمده از مدل پیشنهادی و روش‌های پیشین بر روی مجموعه داده‌های عنوان‌شده، تحلیل آماری بر پایه آزمون فریدمن صورت گرفته است. نتایج آزمون فریدمن این موضوع را به اثبات رسانده که سیستم PNN-WOA برترین 

img0 

شکل 7:  مقایسه رتبه متغیرهای PNN-WOA، PNN-RCGA، Lap-SVM، Lap-TSVM، TWSVM، SLMM، SRSVM و S-TWSVM بر روی نمونه‌های آزمون فریدمن Heart-Statlog، Hepatitis، Australian و Bupa Liver.

 

img0 

شکل 8:  مقایسه رتبه متغیرهای PNN-WOA، PNN و CO-RBFNN بر روی نمونه‌های آزمون فریدمن Heart-Statlog، Ionosphere، Soybean و Wine.

 

img0 

شکل 9:  مقایسه رتبه متغیرهای PNN-WOA، RCPNN-PSO، PNN-RCGA، GMDH-PNN و RCPNN-GD بر روی نمونه‌های آزمون فریدمن Iris، Bupa Liver، Wbc، Wine و Balance.

 

 

روش در مقایسه با سایر مدل‌های پیشین است.

مراجع

[1]       O. I. Abiodun, A. Jantan, A. E. Omolara, K. V. Dada, N. A. Mohamed, and H. Arshad, "State-of-the-art in artificial neural network applications: a survey," Heliyon, vol. 4, no. 11, Article ID: e00938, Nov. 2018.

[2]       N. L. da Costa, M. D. de Lima, and R. Barbosa, "Evaluation of feature selection methods based on artificial neural network weights," Expert Syst. Appl., vol. 168, no. 7, Article ID: 114312, Apr. 2021.

[3]       J. Zhou, H. G. Amir, F. Chen, and A. Holzinger, "Evaluating the quality of machine learning explanations: a survey on methods and metrics," Electronics, vol. 10, no. 5, Article ID: 593, 19 pp., Mar. 2021.

[4]       M. Kantardzic, Data Mining: Concepts, Models, Methods, and Algorithms, John Wiley, 2020.

[5]       J. Beyerer, M. Richter, and M. Nagel, Pattern Recognition: Introduction, Features, Classifiers and Principles. Walter de Gruyter GmbH & Co KG, 2017.

[6]       T. A. Al-Asadi, O. J. Ahmed, R. Hidayat, and A. A. Ramli, "A survey on web mining techniques and applications," Int. J. on Adv. Sci. Eng. and Inf. Tech., vol. 7, no. 4, pp. 1178-1184, 2017.

[7]       Y. Cao, T. A. Geddes, J. Y. H. Yang, and P. Yang, "Ensemble deep learning in bioinformatics," Nat. Mach. Intell., vol. 2, no. 9, pp. 500-508, Aug. 2020.

[8]       I. Sadgali, N. Sael, and F. Benabbou, "Performance of machine learning techniques in the detection of financial frauds," Procedia Comput Sci, vol. 148, no. 6, pp. 45-54, 2019.

[9]       J. Henriquez and W. Kristjanpoller, "A combined independent component analysis-neural network model for forecasting exchange rate variation," Appl Soft Comput, vol. 83, no. C, Article ID: 105654, Oct. 2019.

[10]       I. N. Da Silva, D. H. Spatti, R. A. Flauzino, L. H. B. Liboni, and
S. F. dos Reis Alves, "Artificial neural network architectures and training processes," Artif. Neural Netw., Springer, Cham, pp. 21-28, 2017.

[11]       C. Singh, W. J. Murdoch, and B. Yu, Hierarchical Interpretations for Neural Network Predictions, arXiv preprint arXiv: 1806.05337, 2018.

[12]       F. Ros, M. Pintore, and J. R. Chrétien, "Automatic design of growing radial basis function neural networks based on neighboorhood concepts," Chemometrics and Intelligent Laboratory Systems, vol. 87, no. 2, pp. 231-240, Jun. 2007.

[13]       A. G. Ivakhnenko, "Polynomial theory of complex systems," IEEE Trans. on Systems, Man, and Cybernetics, vol. 1, no. 4, pp. 364-378, Oct. 1971.

[14]       C. T. Lin, M. Prasad, and A. Saxena, "An improved polynomial neural network classifier using real-coded genetic algorithm," IEEE Trans. on Systems, Man, and Cybernetics: Systems, vol. 45, no. 11, pp. 1389-1401, Nov. 2015.

[15]       L. L. Huang, A. Shimizu, Y. Hagihara, and H. Kobatake, "Face detection from cluttered images using a polynomial neural network," Neurocomputing, vol. 51, no. 12, pp. 197-211, Apr. 2003.

[16]       S. B. Roh, T. C. Ahn, and W. Pedrycz, "Fuzzy linear regression based on Polynomial Neural Networks," Expert Systems with Applications, vol. 39, no. 10, pp. 8909-8928, Aug. 2012.

[17]       C. C. Huang, W. C. Chen, C. Y. Shen, Y. J. Chen, C. Y. Chang, and R. C. Hwang, "Signal processing by polynomial NN and equivalent polynomial function," in Proc. 1st Int. Conf. on, Pervasive Computing Signal Processing and Applications, PCSPA’10, pp. 460-463, Harbin, China, 17-19 Sept. 2010.

[18]       L. Zjavka and W. Pedrycz, "Constructing general partial differential equations using polynomial and neural networks," Neural Networks, vol. 73, no. 1, pp. 58-69, Jan. 2016.

[19]       M. Mehrabi, M. Sharifpur, and J. P. Meyer, "Application of the FCM-based neuro-fuzzy inference system and genetic algorithm-polynomial neural network approaches to modelling the thermal conductivity of alumina_water nanofluids," International Communications in Heat and Mass Transfer, vol. 39, no. 7, pp. 971-977, Aug. 2012.

[20]       M. F. Zarandi, I. B. Türksen, J. Sobhani, and A. A. Ramezanianpour, "Fuzzy polynomial neural networks for approximation of the compressive strength of concrete," Applied Soft Computing, vol. 8, no. 1, pp. 488-498, Jan. 2008.

[21]       S. Dehuri, B. B. Misra, A. Ghosh, and S. B. Cho, "A condensed polynomial neural network for classification using swarm intelligence," Applied Soft Computing, vol. 11, no. 3, pp. 3106-3113, Apr. 2011.

[22]       M. Li, J. Tian, and F. Chen, "Improving multiclass pattern recognition with a co-evolutionary RBFNN," Pattern Recognition Letters, vol. 29, no. 4, pp. 392-406, Mar. 2008.

[23]       B. B. Misra, S. Dehuri, P. K. Dash, and G. Panda, "A reduced and comprehensible polynomial neural network for classification," Pattern Recognition Letters, vol. 29, no. 12, pp. 1705-1712, Sept. 2008.

[24]       Z. Qi, Y. Tian, and Y. Shi, "Laplacian twin support vector machine for semi-supervised classification," Neural Networks, vol. 35, no. 4, pp. 46-53, Nov. 2012.

[25]       S. Dehuri and S. B. Cho, "Multi-criterion Pareto based particle swarm optimized polynomial neural network for classification: a review and state-of-the-art," Computer Science Review, vol. 3, no. 1, pp. 19-40, Feb. 2009.

[26]       Z. Qi, Y. Tian, and Y. Shi, "Structural twin support vector machine for classification," Knowledge-Based Systems, vol. 43, no. 7, pp. 74-81, May 2013.

[27]       Q. Hou, L. Liu, L. Zhen, and L. Jing, "A novel projection nonparallel support vector machine for pattern classification," Eng. Appl. Artif. Intell., vol. 75, no. 7, pp. 64-75, Oct. 2018.

[28]       W. J. Chen, Y. H. Shao, C. N. Li, Y. Q. Wang, M. Z. Liu, and Z. Wang, "NPrSVM: nonparallel sparse projection support vector machine with efficient algorithm," Appl. Soft Comput., vol. 90, no. 3, Article ID: 106142, May 2020.

[29]       H. Pant, M. Sharma, and S. Soman, "Twin neural networks for the classification of large unbalanced datasets," Neurocomputing, vol. 343, no. 4, pp. 34-49, May 2019.

[30]       R. Rastogi, P. Saigal, and S. Chandra, "Angle-based twin parametric-margin support vector machine for pattern classification," Knowl. Based. Syst., vol. 139, no. 6, pp. 64-77, Jan. 2018.

[31]       S. K. Oh, W. Pedrycz, and B. J. Park, "Polynomial neural networks architecture: analysis and design," Computers & Electrical Engineering, vol. 29, no. 6, pp. 703-725, May 2003.

[32]       S. Mirjalili and A. Lewis, "The whale optimization algorithm," Advances in Engineering Software, vol. 95, no. 6 pp. 51-67, May 2016.

[33]       W. A. Watkins and W. E. Schevill, "Aerial observation of feeding behavior in four baleen whales: Eubalaena glacialis, Balaenoptera borealis, Megaptera novaeangliae, and Balaenoptera physalus," J. of Mammalogy, vol. 60, no. 1, pp. 155-163, Feb. 1979.

 

مهسا معماری در سال 1393 مدرک کارشناسی مهندسی کامپیوتر- نرم­افزار خود را از دانشگاه پیام نور کازرون و در سال 1397 مدرک کارشناسی ارشد مهندسی کامپیوتر- هوش مصنوعی و رباتیکز خود را از دانشگاه هرمزگان دریافت نمود. زمینه­های تحقیقاتی مورد علاقه نام­برده شامل موضوعاتی مانند ایده­های نو در شبکه­های عصبی، الگوریتم­های تکاملی و پردازش تصویر می­باشد.

 

عباس حریفی در سال 1381 مدرك كارشناسي مهندسي برق- کنترل خود را از دانشگاه شیراز و در سال­های 1384 و 1389 به ترتیب مدرك كارشناسي ارشد  و دکتری مهندسي برق- کنترل خود را از دانشگاه تبریز دريافت نمود. دکتر عباس حریفی از سال 1389 استادیار گروه مهندسی برق و کامپیوتر دانشگاه هرمزگان مي‎باشند. زمينه‎هاي تحقیقاتی مورد علاقه ایشان عباتند از: رباتيك، یادگیری عمیق، یادگیری تقویتی، 
سیستم­های کنترل هوشمند و سیستم­های کنترل بهینه.

 

عبدالله خلیلی مدارک کارشناسی و کارشناسی ارشد خود را در رشته مهندسی کامپیوتر-نرم افزار در سال 1388 و 1390 به ترتیب از دانشگاه اصفهان و دانشگاه علم و صنعت ایران دریافت نمود. همچنین نام­برده موفق به اخذ مدرک در مقطع دکترا در سال 1395 رشته مهندسی کامپیوتر- سیستم­های نرم­افزاری از دانشگاه شیراز شد. ایشان از سال 1395 استادیار گروه مهندسی برق و کامپیوتر دانشگاه هرمزگان می­باشند و زمینه­های علمی مورد علاقه­شان شامل این موارد است: یادگیری ماشین، امنیت سایبری، امنیت شبکه­های برق و امنیت سیستم­های کنترل صنعتی.

 

 

 


رایمگ

يقوم نظام رایمگ بتنفيذ جميع عمليات الاستلام والتقييم والحكم والتحرير وتخطيط الصفحة والنشر الإلكتروني للمجلات العلمية.

الروابط

المراكز ذات الصلة

دعامة

الصفحات الرسمية

حقوق هذا الموقع الإلكتروني مملوكة لنظام Rimag Press Management. © 1438-1446

الصفحة الرئيسية| دخول| عنا| اتصل بنا|
[English] [فارسی] [en] [fa]