Performance Improvement of Polynomial Neural Network Classifier using Whale Optimization Algorithm
Subject Areas : electrical and computer engineering
Mahsa Memari
1
,
A. Harifi
2
,
a. Khalili
3
1 -
2 - University of Hormozgan
3 - Hormozgan University
Keywords: Polynomial Neural NetworkWale Optimization AlgorithmPartial DescriptionClassification,
Abstract :
Polynomial neural network (PNN) is a supervised learning algorithm which is one of the most popular models used in real applications. The architectural complexity of polynomial neural network in terms of both number of partial descriptions (PDs) and number of layers, leads to more computation time and more storage space requirement. In general, it can be said that the architecture of the polynomial neural networks is very complex and it requires large memory and computation time. In this research, a novel approach has been proposed to improve the classification performance of a polynomial neural network using the Whale Optimization Algorithm (PNN-WOA). In this approach, the PDs are generated at the first layer based on the combination of two features. The second layer nodes consists of PDs generated in the first layer, input variables and bias. Finally, the polynomial neural network output is obtained by sum of weighted values of the second layer outputs. Using the Whale Optimization Algorithm (WOA), the best vector of weighting coefficients will be obtained in such a way that the PNN network reach to the highest classification accuracy. Eleven different dataset from UCI database has been used as input data of proposed PNN-WOA and the results has been presented. The proposed method outperforms state-of-the-art approaches such as PNN-RCGA, PNN-MOPPSO, RCPNN-PSO and S-TWSVM in most cases. For datasets, an improvement of accuracy between 0.18% and 10.33% can be seen. Also, the results of the Friedman test indicate the statistical superiority of the proposed PNN-WOA model compared to other methods with p value of 0.039.
[1] O. I. Abiodun, A. Jantan, A. E. Omolara, K. V. Dada, N. A. Mohamed, and H. Arshad, "State-of-the-art in artificial neural network applications: a survey," Heliyon, vol. 4, no. 11, Article ID: e00938, Nov. 2018.
[2] N. L. da Costa, M. D. de Lima, and R. Barbosa, "Evaluation of feature selection methods based on artificial neural network weights," Expert Syst. Appl., vol. 168, no. 7, Article ID: 114312, Apr. 2021.
[3] J. Zhou, H. G. Amir, F. Chen, and A. Holzinger, "Evaluating the quality of machine learning explanations: a survey on methods and metrics," Electronics, vol. 10, no. 5, Article ID: 593, 19 pp., Mar. 2021.
[4] M. Kantardzic, Data Mining: Concepts, Models, Methods, and Algorithms, John Wiley, 2020.
[5] J. Beyerer, M. Richter, and M. Nagel, Pattern Recognition: Introduction, Features, Classifiers and Principles. Walter de Gruyter GmbH & Co KG, 2017.
[6] T. A. Al-Asadi, O. J. Ahmed, R. Hidayat, and A. A. Ramli, "A survey on web mining techniques and applications," Int. J. on Adv. Sci. Eng. and Inf. Tech., vol. 7, no. 4, pp. 1178-1184, 2017.
[7] Y. Cao, T. A. Geddes, J. Y. H. Yang, and P. Yang, "Ensemble deep learning in bioinformatics," Nat. Mach. Intell., vol. 2, no. 9, pp. 500-508, Aug. 2020.
[8] I. Sadgali, N. Sael, and F. Benabbou, "Performance of machine learning techniques in the detection of financial frauds," Procedia Comput Sci, vol. 148, no. 6, pp. 45-54, 2019.
[9] J. Henriquez and W. Kristjanpoller, "A combined independent component analysis-neural network model for forecasting exchange rate variation," Appl Soft Comput, vol. 83, no. C, Article ID: 105654, Oct. 2019.
[10] I. N. Da Silva, D. H. Spatti, R. A. Flauzino, L. H. B. Liboni, and S. F. dos Reis Alves, "Artificial neural network architectures and training processes," Artif. Neural Netw., Springer, Cham, pp. 21-28, 2017.
[11] C. Singh, W. J. Murdoch, and B. Yu, Hierarchical Interpretations for Neural Network Predictions, arXiv preprint arXiv: 1806.05337, 2018.
[12] F. Ros, M. Pintore, and J. R. Chrétien, "Automatic design of growing radial basis function neural networks based on neighboorhood concepts," Chemometrics and Intelligent Laboratory Systems, vol. 87, no. 2, pp. 231-240, Jun. 2007.
[13] A. G. Ivakhnenko, "Polynomial theory of complex systems," IEEE Trans. on Systems, Man, and Cybernetics, vol. 1, no. 4, pp. 364-378, Oct. 1971.
[14] C. T. Lin, M. Prasad, and A. Saxena, "An improved polynomial neural network classifier using real-coded genetic algorithm," IEEE Trans. on Systems, Man, and Cybernetics: Systems, vol. 45, no. 11, pp. 1389-1401, Nov. 2015.
[15] L. L. Huang, A. Shimizu, Y. Hagihara, and H. Kobatake, "Face detection from cluttered images using a polynomial neural network," Neurocomputing, vol. 51, no. 12, pp. 197-211, Apr. 2003.
[16] S. B. Roh, T. C. Ahn, and W. Pedrycz, "Fuzzy linear regression based on Polynomial Neural Networks," Expert Systems with Applications, vol. 39, no. 10, pp. 8909-8928, Aug. 2012.
[17] C. C. Huang, W. C. Chen, C. Y. Shen, Y. J. Chen, C. Y. Chang, and R. C. Hwang, "Signal processing by polynomial NN and equivalent polynomial function," in Proc. 1st Int. Conf. on, Pervasive Computing Signal Processing and Applications, PCSPA’10, pp. 460-463, Harbin, China, 17-19 Sept. 2010.
[18] L. Zjavka and W. Pedrycz, "Constructing general partial differential equations using polynomial and neural networks," Neural Networks, vol. 73, no. 1, pp. 58-69, Jan. 2016.
[19] M. Mehrabi, M. Sharifpur, and J. P. Meyer, "Application of the FCM-based neuro-fuzzy inference system and genetic algorithm-polynomial neural network approaches to modelling the thermal conductivity of alumina_water nanofluids," International Communications in Heat and Mass Transfer, vol. 39, no. 7, pp. 971-977, Aug. 2012.
[20] M. F. Zarandi, I. B. Türksen, J. Sobhani, and A. A. Ramezanianpour, "Fuzzy polynomial neural networks for approximation of the compressive strength of concrete," Applied Soft Computing, vol. 8, no. 1, pp. 488-498, Jan. 2008.
[21] S. Dehuri, B. B. Misra, A. Ghosh, and S. B. Cho, "A condensed polynomial neural network for classification using swarm intelligence," Applied Soft Computing, vol. 11, no. 3, pp. 3106-3113, Apr. 2011.
[22] M. Li, J. Tian, and F. Chen, "Improving multiclass pattern recognition with a co-evolutionary RBFNN," Pattern Recognition Letters, vol. 29, no. 4, pp. 392-406, Mar. 2008.
[23] B. B. Misra, S. Dehuri, P. K. Dash, and G. Panda, "A reduced and comprehensible polynomial neural network for classification," Pattern Recognition Letters, vol. 29, no. 12, pp. 1705-1712, Sept. 2008.
[24] Z. Qi, Y. Tian, and Y. Shi, "Laplacian twin support vector machine for semi-supervised classification," Neural Networks, vol. 35, no. 4, pp. 46-53, Nov. 2012.
[25] S. Dehuri and S. B. Cho, "Multi-criterion Pareto based particle swarm optimized polynomial neural network for classification: a review and state-of-the-art," Computer Science Review, vol. 3, no. 1, pp. 19-40, Feb. 2009.
[26] Z. Qi, Y. Tian, and Y. Shi, "Structural twin support vector machine for classification," Knowledge-Based Systems, vol. 43, no. 7, pp. 74-81, May 2013.
[27] Q. Hou, L. Liu, L. Zhen, and L. Jing, "A novel projection nonparallel support vector machine for pattern classification," Eng. Appl. Artif. Intell., vol. 75, no. 7, pp. 64-75, Oct. 2018.
[28] W. J. Chen, Y. H. Shao, C. N. Li, Y. Q. Wang, M. Z. Liu, and Z. Wang, "NPrSVM: nonparallel sparse projection support vector machine with efficient algorithm," Appl. Soft Comput., vol. 90, no. 3, Article ID: 106142, May 2020.
[29] H. Pant, M. Sharma, and S. Soman, "Twin neural networks for the classification of large unbalanced datasets," Neurocomputing, vol. 343, no. 4, pp. 34-49, May 2019.
[30] R. Rastogi, P. Saigal, and S. Chandra, "Angle-based twin parametric-margin support vector machine for pattern classification," Knowl. Based. Syst., vol. 139, no. 6, pp. 64-77, Jan. 2018.
[31] S. K. Oh, W. Pedrycz, and B. J. Park, "Polynomial neural networks architecture: analysis and design," Computers & Electrical Engineering, vol. 29, no. 6, pp. 703-725, May 2003.
[32] S. Mirjalili and A. Lewis, "The whale optimization algorithm," Advances in Engineering Software, vol. 95, no. 6 pp. 51-67, May 2016.
[33] W. A. Watkins and W. E. Schevill, "Aerial observation of feeding behavior in four baleen whales: Eubalaena glacialis, Balaenoptera borealis, Megaptera novaeangliae, and Balaenoptera physalus," J. of Mammalogy, vol. 60, no. 1, pp. 155-163, Feb. 1979.
نشریه مهندسی برق و مهندسی كامپیوتر ایران، ب- مهندسی کامپیوتر، سال 20، شماره 2، تابستان 1401 145
مقاله پژوهشی
بهبود عملکرد طبقهبند شبکه عصبی چندجملهای
با استفاده از الگوریتم بهینهسازی نهنگ
مهسا معماری، عباس حریفی و عبدالله خلیلی
چكیده: شبکه عصبی چندجملهای (PNN) یک الگوریتم یادگیری بانظارت و
از محبوبترین مدلهای مورد استفاده در کاربردهای واقعی است. هرچه شبکه عصبی چندجملهای از نظر تعداد توصیفات جزئی (PDها) و لایهها ساختار پیچیدهتری داشته باشد، نیاز به زمان و حجم بیشتری برای محاسبه و ذخیرهسازی دارد. در این تحقیق رویکرد جدیدی در زمینه بهبود کارایی طبقهبند شبکه عصبی چندجملهای با استفاده از الگوریتم بهینهسازی نهنگ (WOA) به نام PNN-WOA پیشنهاد شده که علاوه بر افزایش دقت PNN، زمان و حجم محاسبات قابل تحملی دارد. در رویکرد پیشنهادی، PDها بر اساس ترکیب دوبهدوی ویژگیها از نمونههای آموزشی در لایه اول تولید میشوند. مجموعهای از PDهای تولیدشده در لایه اول، متغیرهای ورودی و بایاس، عصبهای لایه دوم را تشکیل میدهند. در نهایت خروجی شبکه عصبی چندجملهای، توسط مجموع وزندهی شده خروجیهای لایه دوم به دست میآید. با استفاده از الگوریتم بهینهسازی نهنگ (WOA) بهترین بردار ضرایب وزندهی به گونهای که شبکه PNN بیشترین دقت طبقهبندی را داشته باشد، به دست میآید. برای ارزیابی روش PNN-WOA از یازده مجموعه داده موجود در پایگاه داده UCI استفاده شد. نتایج نشان میدهند که PNN-WOA در مقایسه با روشهای پیشین از قبیل PNN-RCGA، PNN-MOPPSO، RCPNN-PSO و S-TWSVM عملکرد مناسبی دارد. همچنین نتایج آزمون آماری فریدمن نشان میدهند که در مجموع، روش پیشنهادی PNN-WOA نسبت به سایر روشهای مقایسهشده، از نظر آماری عملکرد بهتری (با مقدار P برابر 039/0) داشته است.
کلیدواژه: شبکه عصبی چندجملهای، الگوریتم بهینهسازی نهنگ، توصیف جزئی، طبقهبندی.
1- مقدمه
طبقهبندی، یکی از مهمترین وظایف چالشبرانگیز [1] و [2]، در دادهکاوی [3] و [4]، شناخت الگو [5]، وبکاوی [6]، بیوانفورماتیک [7] و پیشبینی مالی [8] و [9] میباشد. شبکه عصبی به عنوان یک ابزار مهم برای طبقهبندی ظهور کرده است. شبکههای عصبی مصنوعی 2(ANN) قادر به تخمین احتمالات پیشین میباشند که مبنایی برای ایجاد قانون طبقهبندی و انجام تحلیل آماری است [1]. ساختار معماری مناسب شبکه عصبی، تعداد لایههای پنهان و تعداد عصبها در هر لایه پنهان، از عواملی هستند که میتوانند تا حد زیادی بر دقت پیشبینی تأثیر بگذارند. متأسفانه هیچ روش مستقیمی وجود ندارد که بتواند برای مشخصکردن این عوامل استفاده شود؛ زیرا آنها باید بر اساس یک سری آزمایشهای تجربی و پایه تعیین شوند [10]. علاوه بر این، درک و تفسیر طبقهبند شبکه عصبی مشکل است، چرا که با افزایش متغیرها و لایههای پنهان، شبکه عصبی پیچیدهتر میشود [11] و [12]. برای رفع نواقص ذکرشده، شبکه عصبی چندجملهای 3(PNN) بر اساس روش کنترل گروهی دادهها پیشنهاد گردیده است [13] و [14].
شبکه عصبی چندجملهای، یک معماری و ساختار عصبی انعطافپذیر میباشد که توپولوژی آن به صورت از پیش تعیین شده یا ثابت مانند ANN معمولی نیست؛ اما از طریق یادگیری لایه به لایه رشد میکند. در این شبکهها، لایههای متوالی با پیوندهای پیچیده با لایه قبل ایجاد میشوند. هر عصب در هر لایه، از طریق یک چندجملهای رگرسیون درجه دو با دو ورودی از عصبهای لایه قبل مرتبط است. اولین لایه توسط محاسبه رگرسیون متغیرهای ورودی و انتخاب بهترینها برای بقا ایجاد میشود. لایه دوم با محاسبه رگرسیون مقادیر در لایه قبلی همراه با متغیرهای ورودی و حفظ بهترین نامزدها تشکیل میگردد. لایههای بیشتری ساخته میشوند تا زمانی که گسترش شبکه بر اساس معیارهای خاتمه متوقف گردد [2].
از شبکه عصبی چندجملهای برای حل مسایل مختلف از جمله جداسازی الگوهای چهره و غیر چهره [15]، تعیین پارامترهای مدل رگرسیون خطی فازی [16]، بررسی تشخیص سیگنال در یک سیستم دوبعدی و شناسایی آن [17] استفاده شده است. در [18]، زاواکا و همکارش با استفاده از گسترش یک ساختار کامل از PNN، یک شبکه عصبی چندجملهای تفاضلی (D-PNN) ارائه دادند. در واقع D-PNN، یک تابع جستجو با استفاده از مشتق نسبی چندجملهای در معادله دیفرانسیل دارای چند متغیر مجهول، تولید و جایگزین میکند. همچنین پیچیدگی مدل D-PNN رابطه مستقیم با تعداد متغیرهای ورودی دارد. شریفپور و همکاران [19] به منظور پیشبینی میزان قابل هدایت حرارت و گرما در نانوسیمهای اکسید آلومینیوم، دو مدل ارائه دادند که عبارت هستند از: 1) یک سیستم استنتاج عصبی- فازی سازگار (ANFIS) مبتنی بر الگوریتم خوشهبندی میانگین C فازی (FCM) و 2) شبکه عصبی چندجملهای با الگوریتم ژنتیک (GA-PNN). در این مدلها، دادههای ورودی شامل دما، حجم غلظت نانوذرات، اندازه نانوذرات 
و ضریب انتشار حرارت نیز به عنوان پارامتر هدف میباشند. نتایج به دست آمده نشان داد که این دو روش، نسبتاً خوب هستند اما با وجود این،
روش FCM-ANFIS نسبت به مدل GA-PNN موفقتر عمل میکند. سبحانی و همکاران [20] برای تقریب مقاومت فشار بتن، از توسعهدادن شبکه عصبی چندجملهای فازی (FPNN) که در واقع FPNN ترکیبی از شبکه عصبی فازی (FNN) و شبکه عصبی چندجملهای است، استفاده کردهاند. نتایج نشان میدهند که مدل FPNN به منظور پیشبینی مقاومت فشار بتن، بسیار مناسب میباشد. میسرا و همکاران [21]، یک طبقهبندی جدید از شبکههای عصبی چندجملهای با استفاده از تکنیک بهینهسازی ذرات ارائه دادهاند. برخلاف PNN، شبکه پیشنهادشده نیاز
به تولید توصیف جزئی برای یک لایه دارد. از بهینهسازی ازدحام ذرات گسسته (DPSO) برای انتخاب یک مجموعه مناسب PDها و همچنین ویژگیهایی با هدف به دست آوردن بهترین دقت استفاده شده است. چِن و همکاران [22]، یک مدل بهبود تشخیص الگوی چندکلاسه را با استفاده از ترکیب شبکه عصبی مبتنی بر توابع پایه شعاعی 4(RBFNN) و الگوریتم همتکاملی همکار 5(Co-CEA) ارائه دادند که با مدلهای دیگر از جمله شبکه عصبی احتمالاتی 6(PNN) مقایسه شده است. میسرا و همکاران [23]، نوع خاصی از شبکه عصبی چندجملهای را که فقط دارای یک لایه است، به نام شبکه عصبی چندجملهای کاهشیافته قابل درک پیشنهاد دادند. برای به روز رسانی وزنها در RCPNN، از دو روش کاهش گرادیان و الگوریتم بهینهسازی ذرات استفاده شده است. در این تحقیق علاوه بر نتایج مدلهای RCPNN-GD و RCPNN-PSO، نتیجه مدل شبکه عصبی چندجملهای ارائه شد. در [24]، تیان و همکاران در زمینه یادگیری نیمهنظارتی7، دو مدل ماشین بردار پشتیبان لاپلاسین 8(Lap-SVM) و ماشین بردار پشتیبان لاپلاس دوگانه 9(Lap-TSVM) را ارائه دادهاند. در [25]، چو و همکارش با در نظر گرفتن دو هدف که عبارت هستند از به حداقلرساندن پیچیدگی معماری و حداکثر دقت شبکه عصبی چندجملهای، مدل بهینهسازی ازدحام ذرات مبتنی بر پارتوی چندهدفه را پیشنهاد دادند. توسط شی و همکارانش [26]، یک مدل ماشین بردار پشتیبان دوگانه ساختاری 10(S-TWSVM) پیشنهاد شد. در این تحقیق روش S-TWSVM با مدلهایی از قبیل ماشین بردار پشتیبان ساختاری 11(SRSVM)، ماشین بردار پشتیبان دوگانه 12(TWSVM) و ماشین ساختاریافته با حاشیه زیاد 13(SLMM) مقایسه گردیده است. علاوه بر الگوریتمهای ذکرشده، برخی از الگوریتمهای جدید نظیر PNPSVM در [27]، NPrSVM در [28]، Twin-NN در [29] و ATP-SVM در [30] نیز توسط محققین ارائه شده که با روش پیشنهادی بر روی مجموعه دادههای مشترک مقایسه میگردند. همچنین در [14]، لین و همکاران نوع خاصی از شبکه عصبی چندجملهای را که فقط دارای دو لایه است، مورد مطالعه قرار دادند. آنها برای بهبود عملکرد طبقهبند شبکه PNN از الگوریتم بهینهسازی ژنتیک استفاده کردند. مقادیر ژنهای کروموزومهای GA اعداد حقیقی میباشند و این روش موسوم به PNN-RCGA است.
چالش اصلی PNN، آموزش به صورت لایه به لایه میباشد که موجب ایجاد یک ساختار بزرگ با تعداد قابل توجهی از گرهها میگردد. این
امر شامل محاسبات زیادی شده و در نتیجه از نظر زمان و حافظه
پرهزینه است. در این تحقیق برای جلوگیری از پیچیدگی شبکه عصبی چندجملهای، روش PNN-WOA پیشنهاد میشود که در این روش، PNN فقط تا لایه دوم گسترش مییابد. در گام اول ماتریس ضرایب به بهترین وجه مناسب برای PDهای اولین لایه با استفاده از روش حداقل مربعات به دست میآید. در مرحله دوم، PDهای حاصل از لایه اول با تمام ویژگیهای الگوی ورودی و بایاس به عنوان گرههای لایه دوم در نظر گرفته میشوند. در اینجا با استفاده از الگوریتم بهینهسازی نهنگ، بهترین بردار ضرایب برای عصبهای لایه دوم به دست آمده و در نهایت بیشترین دقت و عملکرد شبکه عصبی چندجملهای حاصل میشود. این کار تا زمانی که بهترین بردار ضرایب به دست آید تکرار میشود. هنگامی که الگوریتم بهینهسازی نهنگ پایان یافت، بهترین بردار ضرایب برای دادههای آزمایش ذخیره میگردند.
سایر بخشهای مقاله بدین ترتیب هستند: در بخش دوم به معرفی ساختار و روابط ریاضی شبکه عصبی چندجملهای پرداخته میشود. توضیح روش پیشنهادی در بخش سوم آمده و نیز در این بخش به چگونگی بهینهسازی ضرایب شبکه PNN با استفاده از الگوریتم WOA پرداخته میشود. در بخش چهارم، نتایج به دست آمده از PNN-WOA بر روی مجموعه دادههای موجود در پایگاه داده UCI با روشهای مشابه مقایسه شده و نهایتاً در قسمت پنجم، نتیجهگیری عنوان میگردد.
2- ساختار شبکه عصبی چندجملهای
الگوریتم PNN مبتنی بر روش GMDH میباشد و از انواع متفاوت چندجملهایها مانند خطی، درجه دوم، مکعبی و غیره استفاده میکند [31]. هدف در الگوریتم PNN، ساختن یک شبکه چندلایه است که عملکرد آن طبق (1) میباشد و در نتیجه مدلی پیچیده حاصل میگردد. به همین دلیل در این روش، مسئله به چندین مسئله کوچکتر با تعداد مجهولات کمتر به فرم چندجملهای مرتبه دو برای تمامی متغیرهای ورودی، طبق (2) تبدیل میشود. پارامتر 
را به عنوان خروجی موقت مسئله در نظر گرفته که به آن متغیر میانی گفته میشود. در واقع فقط تابعی از 
و 
و همچنین 
بیانگر تعداد ویژگیها است
(1)
(2)
الگوریتم PNN با استفاده از همه ترکیبات ممکن از هر دو متغیر ورودی، صرف نظر از دیگر متغیرها، جمعیت PD را در هر لایه بر اساس رابطه
تولید میکند.
در شکل 1 مدل شبکه عصبی چندجملهای پایه برای چهار ورودی نمایش داده شده است.
حال اگر بخواهیم (2) را برای همه ویژگیهای ورودی به فرم ماتریسی نشان دهیم، خواهیم داشت
شکل 1: ساختار اصلی شبکه عصبی چندجملهای (PNN) برای چهار ورودی [23].
(3)
در (3)، ماتریسهای 
، 
و 
به ترتیب بیانگر مقادیر به دست آمده برای PDها، رگرسورها و ماتریس ضرایب وزنی میباشند که ماتریسهای و مجهول هستند. لذا فقط با ضرب 
در طرفین معادله بالا، میتوان ماتریس ضرایب وزنی را طبق (4) محاسبه نمود که دلالت بر مقدار خروجی اصلی دارد. به متغیر 
شبهمعکوس سمت چپ گفته میشود، چون از سمت چپ در ضرب شده است
(4)
سپس با به دست آوردن مقادیر ضرایب طبق (4)، هدف زیر را برای دادههای آموزشی به ازای 
، 
و 
در نظر میگیریم
(5)
حال اگر میزان خطای به دست آمده، مقدار مورد انتظار نباشد، باید از PDها برای ایجاد لایه بعدی الگوریتم PNN بر اساس خروجیهای به دست آمده از لایه قبل استفاده کرد. این روند تا زمانی که مقدار خطا به کمترین مقدار خود 
برسد، تکرار میشود.
3- روش پیشنهادی
3-1 الگوریتم بهینهسازی نهنگ
الگوریتم بهینهسازی نهنگ، یک الگوریتم فراابتکاری جدید مبتنی بر جمعیت میباشد که توسط میرجلیلی و همکاران ارائه گردیده است
[32]. این الگوریتم از روش خاص شکار نهنگهای کوهاندار به نام روش تغذیه شبکه حبابی برگرفته شده است [33]. نهنگهای کوهاندار ترجیح میدهند که شکار خود را بر روی سطح دریا انجام دهند و به همین دلیل حبابهایی خاص به شکل مارپیچ یا به صورت عدد 9 انگلیسی ایجاد میکنند. در شکل 2، رفتار تغذیهای نهنگهای کوهاندار آمده است.
روند جستجوی الگوریتم بهینهسازی نهنگ شامل دو مرحله اکتشاف و بهرهبرداری میشود که با توجه به پارامتر احتمال و بردار ، از یکی از سه روش کاهش فضا و محاصرهکردن طعمه، شکار و به روز رسانی بهترین موقعیت نهنگ در حرکات مارپیچی و جستجوی شکار با انتخاب بهترین موقعیت نهنگ به صورت تصادفی استفاده میشود.
شکل 2: رفتار تغذیهای شبکه حبابی نهنگهای کوهاندار [28].
1) محاصرهکردن طعمه
نهنگهای کوهاندار قابلیت تشخیص موقعیت طعمه و محاصرهکردن آن را دارند. از آنجا که موقعیت بهترین شکار در فضای جستجو مشخص نیست، الگوریتم WOA در ابتدا فرض میکند که بهترین نامزد فعلی، از میان دیگر طعمهها، خود هدف و یا آن شکار مطلوب و نزدیک به هدف است. بعد از این که بهترین عامل جستجو مشخص شد، دیگر عاملها موقعیت خود را نسبت به بهترین عامل جستجو تغییر و به روز رسانی میکنند. این رفتار نهنگهای کوهاندار با معادلاتی که در زیر آمده، نشان داده شده است
(6)
(7)
در (6) و (7)، 
به عنوان شمارنده تکرار و این که در چندمین تکرار قرار داریم، 
و 
بردار ضرایب، 
بردار موقعیت بهترین جواب به دست آمده تا این لحظه و 
بردار موقعیت میباشد. نکته قابل توجه این است که باید در هر تکرار، در صورتی که اگر یک جواب بهتر نسبت به بهترین جواب فعلی وجود داشته باشد، به روز شود. نحوه محاسبه بردار و در (8) و (9) آورده شده است
(8)
(9)
در (8)، مقدار بردار 
به صورت خطی از 2 به سمت صفر در طول دوره کامل تکرارها، در هر دو مرحله اکتشاف و بهرهبرداری کاهش مییابد و بردار 
، یک بردار تصادفی در بازه [0،1] است.
2) روش شکار شبکه حبابی با به روز رسانی موقعیت در مارپیچ
در این روش، ابتدا فاصله میان موقعیت فعلی عامل 
و بهترین موقعیت عامل جستجو 
طبق (10) به دست آورده شده و سپس با توجه به (11)، حرکت نهنگها در جهت مسیر طعمه به صورت مارپیچ شبیهسازی میگردد
(10)
(11)
در (11)، 
یک عدد تصادفی در بازه [1،1-]، 
یک مقدار ثابت برای تعیین شکل مارپیچ لگاریتمی و . به عنوان ضرب داخلی و ضرب جزء به جزء است.
دو روشی که گفته شد در مرحله بهرهبرداری میباشند.
[1] این مقاله در تاریخ 28 تیر ماه 1399 دریافت و در تاریخ 10 بهمن ماه 1400 بازنگری شد.
مهسا معماری، گروه مهندسی برق و کامپیوتر، دانشگاه هرمزگان، بندرعباس، ایران، (email: memari.stu@hormozgan.ac.ir).
عباس حریفی (نویسنده مسئول)، گروه مهندسی برق و کامپیوتر، دانشگاه هرمزگان، بندرعباس، ایران، (email: harifi@hormozgan.ac.ir).
عبدالله خلیلی، گروه مهندسی برق و کامپیوتر، دانشگاه هرمزگان، بندرعباس، ایران، (email: khalili@hormozgan.ac.ir).
[2] . Artificial Neural Network
[3] . Polynomial Neural Network
[4] . Radial Basis Function Neural Network
[5] . Co-Operative Co-Evolutionary Algorithm
[6] . Probabilistic Neural Network
[7] . Semi-Supervised Learning
[8] . Laplacian-Support Vector Machine
[9] . Laplacian Twin Support Vector Machine
[10] . Structural Twin Support Vector Machine
[11] . Structural Support Vector Machine
[12] . Twin Support Vector Machine
[13] . Structured Large Margin Machine
شکل 3: روندنمای الگوریتم بهینهسازی نهنگ (WOA).
3) روش جستجوی شکار با انتخاب بهترین عامل جستجو به صورت تصادفی
در مرحله اکتشاف، روش جستجوی شکار بیان میشود که نهنگهای کوهاندار به صورت تصادفی به دنبال طعمه برای خود میگردند. حقیقتاً در مرحله اکتشاف، بهترین عامل جستجو به صورت تصادفی انتخاب میشود، در حالی که طی مرحله بهرهبرداری به دنبال یافتن بهترین عامل جستجو هستیم. مبنای روش جستجوی شکار، تغییرات بردار است و بنابراین اگر مقدار تصادفی بردار از عدد 1 بزرگتر و یا کمتر از مقدار 1- باشد، عامل جستجو مجبور به حرکت و تغییر موقعیت خود نسبت به موقعیت بهترین عامل جستجو است. روابط ریاضی (12) و (13) مربوط به این مدل در ادامه آورده شدهاند
(12)
(13)
که 
بردار موقعیت یک نهنگ میباشد که به طور تصادفی از میان جمعیت فعلی انتخاب شده است. شکل 3 روندنمای الگوریتم بهینهسازی نهنگ را نشان میدهد.
3-2 بهبود شبکه عصبی چندجملهای با استفاده از الگوریتم بهینهسازی نهنگ (روش پیشنهادی)
مدل پیشنهادشده در این تحقیق یک سیستم بهبود عملکرد طبقهبند شبکه عصبی چندجملهای با استفاده از الگوریتم بهینهسازی نهنگ در حالتی که PNN فقط دارای دو لایه میباشد، است. همان طور که گفته شد، یکی از قوانین مهمی که در این نوع شبکه عصبی چندجملهای مورد بررسی قرار میگیرد، این است که شبکه PNN فقط دو لایه دارد و از گسترش بیش از دو لایه به دلیل پیچیدگی بیشتر شبکه، جلوگیری میشود. در ادامه، روند کار این نوع شبکه عصبی چندجملهای به طور کامل شرح داده شده است.
در بخش دوم، چگونگی به دست آمدن ضرایب PDها به همراه روابط ریاضی به طور کامل عنوان شد. حال در لایه دوم، PDهای لایه اول به همراه دادههای ورودی و بایاس باید در ماتریس ضرایبی نظیر به نظیر ضرب شوند و در نهایت مقادیر به دست آمده از تابع فعالسازی سیگما شبکه PNN عبور کنند. کاربرد الگوریتم بهینهسازی نهنگ در شبکه PNN این است که ماتریس ضرایب به گونهای انتخاب شود که شبکه عصبی نامبرده کمترین خطا را در طبقهبندی دادههای آموزش داده نشده داشته باشد. به طور کلی ساختار هر موقعیت نهنگ شامل مقادیر PDها، ویژگیها و بایاس است. حال اگر 
تعداد کل PDها، تعداد کل ویژگیهای ورودی شبکه، 
تعداد کلاسها و مقدار یک به عنوان بایاس در نظر گرفته شود، طول ماتریس ضرایب از (14) حاصل میگردد
(14)
پس اگر طول بردار ضرایب را با 
و تعداد عوامل جستجو را که همان تعداد نهنگها در WOA هستند، با 
بیان کنیم، ابعاد ماتریس جمعیت در الگوریتم WOA برابر است با 
. نحوه چیدمان عصبها در لایه دوم شبکه PNN با توجه به تعداد کلاسهای مجموعه داده با فرض داشتن 
کلاس، بدین گونه است که ابتدا مقادیر PDهای به دست آمده از لایه پیشین مربوط به کلاس اول، متغیرهای ورودی و بایاس، مقادیر PDهای کلاس دوم، مجموعه مقادیر و بایاس همگی در ماتریس تهی قرار میگیرند. این روند جایگذاری کمیتها در ماتریس تا زمان رسیدن به مقادیر PDهای کلاس ام و دادههای ورودی و بایاس، ادامه مییابد. در گام بعد باید مقادیر ماتریس را نظیر به نظیر در ماتریس ضرایب وزنی به تفکیک کلاسها ضرب کرده و سپس از تابع فعالسازی سیگمای شبکه PNN عبور داده که در اینجا مقادیر نیز با هم جمع میشوند. حاصل به دست آمده به عنوان مقدار پیشبینی شده برای هر کدام از کلاسهای نمونه اول است و همین مراحل برای مابقی نمونههای دیتاست استفادهشده، اعمال میگردد. باید به این نکته توجه داشت که طبقهبندی در شبکه عصبی اغلب به صورت صفر و یک است و بنابراین خروجی اصلی و پیشبینی شده شبکه باید به صورت صفر و یک درآورده شود. به همین دلیل در ابتدای کار، خروجی اصلی نمونهها که همان شماره کلاسها میباشند، به صفر و یک تبدیل شدند.
پس از حاصلشدن PDها از ترکیب ویژگیها و ایجاد ساختار عصبها در لایه دوم شبکه PNN، پارامترهای تعداد نهنگها و ماکسیمم تکرار مقداردهی و موقعیت والها مشخص میشوند. با توجه به این که هدف در سیستم پیشنهادی، پیداکردن بهترین ماتریس ضرایب با بیشترین مقدار تابع برازندگی است، بنابراین در ابتدای الگوریتم مقدار بهترین عامل جستجو برابر با منفی بینهایت 
و برای موقعیت آن، ماتریسی با درایههای صفر به طول در نظر گرفته میشود. سپس تابع برازندگی که همان معیار دقت بوده و در بخش 4 تعریف شده است، برای هر یک از نهنگها با توجه به موقعیتشان محاسبه و بهترین عامل جستجو انتخاب میگردد. در این مرحله از دادههای اعتبارسنجی برای محاسبه و یافتن بهترین ماتریس ضرایب در تابع برازندگی WOA استفاده شده است. در فاز اصلی الگوریتم WOA، در مرحله به روز رسانی موقعیت نهنگها، برای تغییر موقعیت هر کدام از والها با توجه به مقادیر 
و مربوط به همان نهنگ، یکی از 3 حالت زیر انتخاب میشود:
1) اگر 
و 
باشد: برای به روز رسانی موقعیت عامل جستجوی فعلی از حالت محاصرهکردن طعمه با توجه به (6) و (7) استفاده میشود.
2) اگر و 
باشد: بر اساس (12) و (13)، موقعیت نهنگ فعلی با استفاده از روش جستجوی شکار در حالتی که بهترین عامل جستجو به طور تصادفی انتخاب میگردد، به روز میشود.
3) اگر 
باشد: با استفاده از (10) و (11)، نهنگ فعلی موقعیت خود را با استفاده از حرکات مارپیچ به دور طعمه به روز میکند.
پس از تغییر و به روز رسانی موقعیت عاملهای جستجو با استفاده از الگوریتم بهینهسازی نهنگ، در صورت بیشتربودن مقدار تابع برازندگی نهنگ فعلی در مقایسه با بهترین عامل جستجو، آن نهنگ به عنوان بهترین عامل جستجو انتخاب گردیده و موقعیت آن، جایگزین موقعیت بهترین عامل جستجو میشود. این فرایند تا رسیدن به ماکسیمم تکرار الگوریتم ادامه مییابد. ساختار مدل پیشنهادی برای یک مسئله دو کلاسه با چهار ورودی در شکل 4 نشان داده شده است.
3-3 استفاده از آرشیو در روش پیشنهادی
در روش پیشنهادی، با تغییر کوچکی در الگوریتم بهینهسازی نهنگ، به جای ذخیرهکردن تنها بهترین عامل جستجو (یک عامل)، بهترین عوامل جستجو (به تعداد ثابت و مشخصشده از قبل) در یک آرشیو نگهداری میشوند. استفاده از این آرشیو به طور کلی به دو دلیل است:
- وجود چندین بهترین عامل جستجو: در برخی موارد و برای برخی از مجموعههای داده، مقدار برازندگی عاملهای جستجو با یکدیگر برابر میگردد. برای مثال در برخی از مجموعه دادههای مورد استفاده در این تحقیق، مقدار برازندگی چندین عامل جستجو در فرایند آموزش برابر با 100% شد؛ در حالی که دقت آنها در زمان تست، بسیار متفاوت بود. هرچند استفاده از راهکارهای متداول تقسیم مجموعه داده به مجموعه داده آموزشی و تست میتواند از این مشکل بکاهد، اما احتمال رخدادن این اتفاق بالاست. این مورد نشان میدهد که در برخی مجموعههای داده، ممکن است چندین بهترین عامل وجود داشته باشد و بنابراین نیاز است که تمامی آنها در نظر گرفته شده تا در زمان تست، عامل با بیشترین دقت انتخاب گردد.
- وجود مجموعه دادههایی با تعداد نمونه کم از هر کلاس: در برخی مجموعههای داده، ممکن است نمونههای تعدادی از کلاسها کم بوده یا اصطلاحاً کلاسهای با نمونههای نادر1 وجود داشته باشند. در این شرایط که برای برخی از مجموعه دادههای این تحقیق نیز وجود دارد، ممکن است عاملهای با دقت پایینتر از بهترین عامل در زمان آموزش، هنگام تست، دقت بالاتری را از بهترین عامل نشان دهند. دلیل این امر، به تقسیم تصادفی نمونهها بین مجموعه دادههای آموزش و تست برمیگردد. در این موارد نیاز میباشد که عوامل جستجو بر حسب برازندگی و به صورت نزولی مرتب شده و علاوه بر بهترین عامل جستجو، چند عامل بعدی نیز انتخاب گردند.
در این تحقیق، مقادیر مختلف برای سایز آرشیو امتحان گردید و به شکل تجربی، سایز آرشیو برابر 100 قرار داده شد. هر زمان که تعداد عاملهای درون آرشیو از سایز آن بیشتر شد، عاملهای با کمترین برازندگی از آن حذف گردیده تا سایز آرشیو همیشه ثابت (در اینجا 100) بماند.
4- نتایج و بحث
مدل پیشنهادی در محیط برنامهنویسی متلب نسخه 2017 پیادهسازی شد و بر روی سیستم عامل ویندوز 10 (64بیتی) با مشخصات پردازنده اینتل 7 هستهای با فرکانس 4 گیگاهرتز و دارای حافظه موقتی 16 گیگابایت اجرا گردید. مجموعه دادههای استفادهشده از پایگاه داده UCI جمعآوری و اسامی آنها در جدول 1 آورده شده است. لازم به ذکر است که مقایسه روش PNN-WOA با سایر مدلهای نامبرده، بر اساس مقدار
[1] . Rare Samples
شکل 4: ساختار مدل پیشنهادی (PNN-WOA).
میانگین نتایج به دست آمده از 10 بار اجرای مدل پیشنهادی بر روی دادههای مرحله آزمایش میباشد. نتایج در جداول 2 و 3 و همچنین شکلهای 5 و 6 مورد مقایسه قرار گرفتهاند. در هر کدام از جداول 2 و 3، بهترین روش روی هر مجموعه داده به شکل Bold و دومین بهترین نتیجه به شکل Italic نمایش داده شده است. نتایج نشان میدهند که روش PNN-WOA در بیشتر مجموعه دادهها بهترین یا دومین بهترین روش بوده و در سایر موارد نیز نتیجه مناسبی داشته است.
همگی دیتاستها با شرایط یکسان در سیستم مورد بررسی قرار گرفته که عبارت هستند از: در سیستم پیشنهادی، فرایند نرمالسازی مقادیر ویژگی مجموعه دادهها بین صفر و یک، به عنوان اولین گام صورت
جدول 1: مجموعه دادههای استفادهشده در مدل پیشنهادی.
ردیف | مجموعه داده | تعداد نمونهها | تعداد ویژگیها | تعداد کلاسها | تعداد PDها | ابعاد ماتریس ضرایب وزنی |
1 | Wine | 178 | 13 | 3 | 78 |
|
2 | Balance | 625 | 4 | 3 | 6 |
|
3 | Heart_Statlog | 267 | 13 | 2 | 78 |
|
4 | Australian | 690 | 14 | 2 | 91 |
|
5 | Iris | 150 | 4 | 3 | 6 |
|
6 | Bupa Liver | 345 | 6 | 2 | 15 |
|
7 | Hepatitis | 155 | 19 | 2 | 171 |
|
8 | Soybean | 47 | 35 | 4 | 595 |
|
9 | German | 1000 | 20 | 2 | 190 |
|
10 | 1WBC | 699 | 9 | 2 | 36 |
|
11 | Ionosphere | 351 | 34 | 2 | 561 |
|
1. Wisconsin Breast Cancer
جدول 2: مقایسه دقت طبقهبندی برای روشهای PNN-WOA، PNN-RCGA، RCPNN-PSO، PNN-MOPPSO، CO-RBFNN، PNN، GMDH-PNN و RCPNN-GD.
روش دیتاست | PNN-WOA | PNN [22] | PNN-RCGA [14] | GMDH-PNN [23] | RCPNN-GD [23] | RCPNN-PSO [23] | CO-RBFNN [22] | PNN-MOPPSO [25] | ATP-SVM [30] | |
حداکثر | میانگین | میانگین | میانگین | میانگین | میانگین | میانگین | میانگین | میانگین | میانگین | |
Bupa Liver | 79/73 | 19/70 | - | 54/74 | 29/65 | 57/69 | 87/70 | - | 30/70 | 48/75 |
Heart_Statlog | 25/86 | 37/83 | 58/73 | 15/78 | - | - | - | 99/82 | - | 30/86 |
Australian | 51/85 | 29/80 | - | 79/84 | - | - | - | - | - | - |
Hepatitis | 49/91 | 26/84 | - | 79/80 | - | - | - | - | - | - |
Ionosphere | 09/98 | 29/94 | 10/94 | - | - | - | - | 77/93 | - | 45/87 |
Iris | 100 | 100 | - | 33/99 | 22/86 | 56/95 | 67/98 | - | 80/97 | 67/97 |
Soybean | 100 | 100 | 37/90 | 00/98 | - | - | - | 65/92 | - | - |
Wbc | 13/97 | 94/96 | - | 66/97 | 90/95 | 14/97 | 64/97 | - | - | - |
Wine | 100 | 49/98 | 68/95 | 30/97 | 83/84 | 13/95 | 95/90 | 89/96 | 31/98 | 30/98 |
Balance | 46/99 | 88/95 | - | 27/89 | 04/71 | 08/77 | 08/80 | - | - | - |
جدول 3: مقایسه دقت طبقهبندی برای روشهای PNN-WOA، S-TWSVM، SRSVM، Lap-TSVM، Lap-SVM، SLMM و TWSVM.
روش دیتاست | S-TWSVM [26] | SRSVM [26] | SLMM [26] | TWSVM [26] | Lap-TSVM [24] | PNPSVM [27] | NPrSVM [28] | Twin-NN [29] | Lap-SVM [24] | PNN-WOA | |
حداکثر | میانگین | ||||||||||
Australian | 89/0±54/70 | 31/2±32/69 | 54/3±92/68 | 19/1±43/68 | 37/4±84/69 | 06/2±10/87 | 95/2±52/80 | 89/3±97/87 | 87/4±89/66 | 51/85 | 29/80 |
Bupa Liver | 81/1±75/69 | 09/1±96/68 | 28/1±42/69 | 17/1±44/68 | 26/5±55/68 | 51/6±86/69 | - | - | 63/5±61/67 | 79/73 | 19/70 |
Heart_Statlog | 92/1±22/76 | 47/2±04/76 | 18/3±79/75 | 38/1±86/75 | 77/5±75/75 | 56/6±56/85 | - | 74/2±81/84 | 19/6±31/74 | 25/86 | 37/83 |
Hepatitis | 32/1±63/80 | 27/1±83/79 | 25/2±12/80 | 12/3±47/78 | 22/5±23/79 | 25/6±15/87 | 16/5±99/83 | 98/5±50/86 | 24/6±26/77 | 49/91 | 26/84 |
German | 76/1±15/64 | 88/1±84/63 | 12/2±44/63 | 47/3±92/63 | 55/3±48/63 | 29/0±40/74 | 65/4±25/73 | 35/1±30/76 | 68/3±57/64 | 33/77 | 90/74 |
Ionosphere | 11/1±82/76 | 63/2±55/76 | 86/1±44/75 | 33/2±21/76 | 61/3±59/75 | 70/1±30/96 | - | 87/1±01/94 | 29/2±88/73 | 09/98 | 29/94 |
گرفته است. 70 درصد از دادهها برای دادههای آموزش و 30 درصد برای دادههای مرحله آزمایش در نظر گرفته شدهاند. ماکسیمم تعداد تکرار الگوریتم بهینهسازی نهنگ برابر با 100 است و تعداد 100 نهنگ که در واقع همان عاملهای جستجو هستند، در این الگوریتم مقداردهی شدهاند. مقادیر کران پایین و کران بالا در الگوریتم WOA به ترتیب برابر با صفر و یک میباشند و اندازه پارامتر Archive در الگوریتم WOA برابر با مقدار ثابت 100 فرض شده است. به طور کلی، برنامه اصلی 10 بار اجرا گردیده و در هر مرتبه اجرا از 
با فرض مقدار برابر با 10 استفاده شده است. سپس برای به دست آوردن مقدار دقت نهایی، میانگین مقادیر دقت به دست آمده از 10 بار اجرای برنامه محاسبه میشود. لازم به ذکر است که اکثریت مجموعه دادهها در زمان اجرا بر اساس 
تقسیمبندی شدهاند، به جز دیتاست Soybean که به دلیل ماهیتش با غیر قابل بخشبندی بوده و به همین دلیل برای این مجموعه داده مقدار برابر با 3 در نظر گرفته شده است. از دقت جهت ارزیابی کارایی سیستم استفاده میشود که (15)، این رابطه را نشان میدهد. این معیار علاوه بر ارزیابی کارایی، به عنوان تابع برازندگی (هدف) در الگوریتم بهینهسازی نهنگ نیز مورد استفاده است
(15)
در اینجا 
تعداد نمونههایی میباشد که سیستم پیشنهادی به درستی، آنها را در روند آزمایش طبقهبندی کرده و 
تعداد کل مجموعه
شکل 5: مقایسه دقت طبقهبندی برای روشهای PNN-WOA، PNN-RCGA، RCPNN-PSO، PNN-MOPPSO، CO-RBFNN، PNN، GMDH-PNN و RCPNN-GD.
شکل 6: مقایسه دقت طبقهبندی برای روشهای PNN-WOA، S-TWSVM، SRSVM، Lap-TSVM، Lap-SVM، SLMM و TWSVM.
داده است. پارامتر 
بیانگر تعداد دادههایی میباشد که در اصل مثبت هستند و سیستم آنها را مثبت تشخیص داده است. همچنین 
دلالت بر تعداد دادههایی دارد که واقعاً منفی بوده و سیستم پیشنهادی به درستی آنها را در دسته منفی، طبقهبندی کرده است.
به دلیل این که همه مدلهای ذکرشده بر روی دیتاستهای مشترک و یکسان پیادهسازی و بررسی نشدهاند، برای مقایسه سیستم پیشنهادی با سایر روشهای پیشین، اعمال آزمون فریدمن و تحلیل نتایج آن در 3 نمودار (شکلهای 7 تا 9) و جداول جداگانه صورت گرفته است. آزمون فریدمن یکی از آزمونهای ناپارامتری است که فرض واریانس برابر و توزیع نرمال در آن اهمیتی ندارد و تعداد متغیرهای بررسیشده باید برابر با 3 یا بیشتر از آن باشد. این روش برای مقایسه میانگین رتبهها به کار میرود. در آزمون فریدمن دو فرض صفر و یک وجود دارد که به ترتیب دلالت بر یکسانبودن اولویتها و یکساننبودن اولویتها است. بنابراین اگر بعد از آزمون فریدمن مقدار پارامتر Asymptotic Significance کمتر از 05/0 باشد، فرض صفر رد شده و بر اساس پارامتر میانگین رتبهای، اولویت متغیرها و برتری یا عدم برتری هر کدام از آنها مشخص میشود. در صورتی که مقدار پارامتر Asymptotic Significance بیشتر از 05/0 باشد، بدین معنا است که همگی متغیرها اولویت یکسان و برابری دارند.
5- نتیجهگیری
نتایج گزارششده، نشاندهنده کارایی قابل قبول سیستم شبکه عصبی چندجملهای پیشنهادی با استفاده از الگوریتم بهینهسازی نهنگ در طبقهبندی نمونههای مجموعه دادهها میباشد. گمان میرود که روش PNN-WOA بر روی مجموعه دادههایی با تعداد ویژگی زیاد و همچنین تعداد نمونههای نسبتاً زیاد عملکرد خوبی را از خود نشان دهد. همان گونه که میدانید، مدل پیشنهادی بر روی یازده مجموعه داده استخراجشده اعمال و نتایج در بخش قبل مورد بررسی قرار گرفت. از میان دیتاستها، نتایج به دست آمده در روش PNN-WOA بر روی مجموعه دادههای Heart-Statlog، Hepatitis، Iris، Ionosphere، Soybean، Wine، Balance و German پژوهشهای پیشین را مغلوب کرده است. باید به این نکته توجه داشت که مدل پیشنهادی نیز مانند سایر روشهای موجود ممکن است بنا به دلایلی از جمله ماهیت مجموعه داده، عملکرد نه چندان مطلوبی از خود نشان دهد. در مورد دیتاستهای Wbc، Bupa Liver و Australian، مدل PNN-WOA دقت طبقهبندی کمتری نسبت به روش PNN-RCGA دارد. در همین راستا مطابق با دقت به دست آمده از مدل پیشنهادی و روشهای پیشین بر روی مجموعه دادههای عنوانشده، تحلیل آماری بر پایه آزمون فریدمن صورت گرفته است. نتایج آزمون فریدمن این موضوع را به اثبات رسانده که سیستم PNN-WOA برترین
شکل 7: مقایسه رتبه متغیرهای PNN-WOA، PNN-RCGA، Lap-SVM، Lap-TSVM، TWSVM، SLMM، SRSVM و S-TWSVM بر روی نمونههای آزمون فریدمن Heart-Statlog، Hepatitis، Australian و Bupa Liver.
شکل 8: مقایسه رتبه متغیرهای PNN-WOA، PNN و CO-RBFNN بر روی نمونههای آزمون فریدمن Heart-Statlog، Ionosphere، Soybean و Wine.
شکل 9: مقایسه رتبه متغیرهای PNN-WOA، RCPNN-PSO، PNN-RCGA، GMDH-PNN و RCPNN-GD بر روی نمونههای آزمون فریدمن Iris، Bupa Liver، Wbc، Wine و Balance.
روش در مقایسه با سایر مدلهای پیشین است.
مراجع
[1] O. I. Abiodun, A. Jantan, A. E. Omolara, K. V. Dada, N. A. Mohamed, and H. Arshad, "State-of-the-art in artificial neural network applications: a survey," Heliyon, vol. 4, no. 11, Article ID: e00938, Nov. 2018.
[2] N. L. da Costa, M. D. de Lima, and R. Barbosa, "Evaluation of feature selection methods based on artificial neural network weights," Expert Syst. Appl., vol. 168, no. 7, Article ID: 114312, Apr. 2021.
[3] J. Zhou, H. G. Amir, F. Chen, and A. Holzinger, "Evaluating the quality of machine learning explanations: a survey on methods and metrics," Electronics, vol. 10, no. 5, Article ID: 593, 19 pp., Mar. 2021.
[4] M. Kantardzic, Data Mining: Concepts, Models, Methods, and Algorithms, John Wiley, 2020.
[5] J. Beyerer, M. Richter, and M. Nagel, Pattern Recognition: Introduction, Features, Classifiers and Principles. Walter de Gruyter GmbH & Co KG, 2017.
[6] T. A. Al-Asadi, O. J. Ahmed, R. Hidayat, and A. A. Ramli, "A survey on web mining techniques and applications," Int. J. on Adv. Sci. Eng. and Inf. Tech., vol. 7, no. 4, pp. 1178-1184, 2017.
[7] Y. Cao, T. A. Geddes, J. Y. H. Yang, and P. Yang, "Ensemble deep learning in bioinformatics," Nat. Mach. Intell., vol. 2, no. 9, pp. 500-508, Aug. 2020.
[8] I. Sadgali, N. Sael, and F. Benabbou, "Performance of machine learning techniques in the detection of financial frauds," Procedia Comput Sci, vol. 148, no. 6, pp. 45-54, 2019.
[9] J. Henriquez and W. Kristjanpoller, "A combined independent component analysis-neural network model for forecasting exchange rate variation," Appl Soft Comput, vol. 83, no. C, Article ID: 105654, Oct. 2019.
[10] I. N. Da Silva, D. H. Spatti, R. A. Flauzino, L. H. B. Liboni, and
S. F. dos Reis Alves, "Artificial neural network architectures and training processes," Artif. Neural Netw., Springer, Cham, pp. 21-28, 2017.
[11] C. Singh, W. J. Murdoch, and B. Yu, Hierarchical Interpretations for Neural Network Predictions, arXiv preprint arXiv: 1806.05337, 2018.
[12] F. Ros, M. Pintore, and J. R. Chrétien, "Automatic design of growing radial basis function neural networks based on neighboorhood concepts," Chemometrics and Intelligent Laboratory Systems, vol. 87, no. 2, pp. 231-240, Jun. 2007.
[13] A. G. Ivakhnenko, "Polynomial theory of complex systems," IEEE Trans. on Systems, Man, and Cybernetics, vol. 1, no. 4, pp. 364-378, Oct. 1971.
[14] C. T. Lin, M. Prasad, and A. Saxena, "An improved polynomial neural network classifier using real-coded genetic algorithm," IEEE Trans. on Systems, Man, and Cybernetics: Systems, vol. 45, no. 11, pp. 1389-1401, Nov. 2015.
[15] L. L. Huang, A. Shimizu, Y. Hagihara, and H. Kobatake, "Face detection from cluttered images using a polynomial neural network," Neurocomputing, vol. 51, no. 12, pp. 197-211, Apr. 2003.
[16] S. B. Roh, T. C. Ahn, and W. Pedrycz, "Fuzzy linear regression based on Polynomial Neural Networks," Expert Systems with Applications, vol. 39, no. 10, pp. 8909-8928, Aug. 2012.
[17] C. C. Huang, W. C. Chen, C. Y. Shen, Y. J. Chen, C. Y. Chang, and R. C. Hwang, "Signal processing by polynomial NN and equivalent polynomial function," in Proc. 1st Int. Conf. on, Pervasive Computing Signal Processing and Applications, PCSPA’10, pp. 460-463, Harbin, China, 17-19 Sept. 2010.
[18] L. Zjavka and W. Pedrycz, "Constructing general partial differential equations using polynomial and neural networks," Neural Networks, vol. 73, no. 1, pp. 58-69, Jan. 2016.
[19] M. Mehrabi, M. Sharifpur, and J. P. Meyer, "Application of the FCM-based neuro-fuzzy inference system and genetic algorithm-polynomial neural network approaches to modelling the thermal conductivity of alumina_water nanofluids," International Communications in Heat and Mass Transfer, vol. 39, no. 7, pp. 971-977, Aug. 2012.
[20] M. F. Zarandi, I. B. Türksen, J. Sobhani, and A. A. Ramezanianpour, "Fuzzy polynomial neural networks for approximation of the compressive strength of concrete," Applied Soft Computing, vol. 8, no. 1, pp. 488-498, Jan. 2008.
[21] S. Dehuri, B. B. Misra, A. Ghosh, and S. B. Cho, "A condensed polynomial neural network for classification using swarm intelligence," Applied Soft Computing, vol. 11, no. 3, pp. 3106-3113, Apr. 2011.
[22] M. Li, J. Tian, and F. Chen, "Improving multiclass pattern recognition with a co-evolutionary RBFNN," Pattern Recognition Letters, vol. 29, no. 4, pp. 392-406, Mar. 2008.
[23] B. B. Misra, S. Dehuri, P. K. Dash, and G. Panda, "A reduced and comprehensible polynomial neural network for classification," Pattern Recognition Letters, vol. 29, no. 12, pp. 1705-1712, Sept. 2008.
[24] Z. Qi, Y. Tian, and Y. Shi, "Laplacian twin support vector machine for semi-supervised classification," Neural Networks, vol. 35, no. 4, pp. 46-53, Nov. 2012.
[25] S. Dehuri and S. B. Cho, "Multi-criterion Pareto based particle swarm optimized polynomial neural network for classification: a review and state-of-the-art," Computer Science Review, vol. 3, no. 1, pp. 19-40, Feb. 2009.
[26] Z. Qi, Y. Tian, and Y. Shi, "Structural twin support vector machine for classification," Knowledge-Based Systems, vol. 43, no. 7, pp. 74-81, May 2013.
[27] Q. Hou, L. Liu, L. Zhen, and L. Jing, "A novel projection nonparallel support vector machine for pattern classification," Eng. Appl. Artif. Intell., vol. 75, no. 7, pp. 64-75, Oct. 2018.
[28] W. J. Chen, Y. H. Shao, C. N. Li, Y. Q. Wang, M. Z. Liu, and Z. Wang, "NPrSVM: nonparallel sparse projection support vector machine with efficient algorithm," Appl. Soft Comput., vol. 90, no. 3, Article ID: 106142, May 2020.
[29] H. Pant, M. Sharma, and S. Soman, "Twin neural networks for the classification of large unbalanced datasets," Neurocomputing, vol. 343, no. 4, pp. 34-49, May 2019.
[30] R. Rastogi, P. Saigal, and S. Chandra, "Angle-based twin parametric-margin support vector machine for pattern classification," Knowl. Based. Syst., vol. 139, no. 6, pp. 64-77, Jan. 2018.
[31] S. K. Oh, W. Pedrycz, and B. J. Park, "Polynomial neural networks architecture: analysis and design," Computers & Electrical Engineering, vol. 29, no. 6, pp. 703-725, May 2003.
[32] S. Mirjalili and A. Lewis, "The whale optimization algorithm," Advances in Engineering Software, vol. 95, no. 6 pp. 51-67, May 2016.
[33] W. A. Watkins and W. E. Schevill, "Aerial observation of feeding behavior in four baleen whales: Eubalaena glacialis, Balaenoptera borealis, Megaptera novaeangliae, and Balaenoptera physalus," J. of Mammalogy, vol. 60, no. 1, pp. 155-163, Feb. 1979.
مهسا معماری در سال 1393 مدرک کارشناسی مهندسی کامپیوتر- نرمافزار خود را از دانشگاه پیام نور کازرون و در سال 1397 مدرک کارشناسی ارشد مهندسی کامپیوتر- هوش مصنوعی و رباتیکز خود را از دانشگاه هرمزگان دریافت نمود. زمینههای تحقیقاتی مورد علاقه نامبرده شامل موضوعاتی مانند ایدههای نو در شبکههای عصبی، الگوریتمهای تکاملی و پردازش تصویر میباشد.
عباس حریفی در سال 1381 مدرك كارشناسي مهندسي برق- کنترل خود را از دانشگاه شیراز و در سالهای 1384 و 1389 به ترتیب مدرك كارشناسي ارشد و دکتری مهندسي برق- کنترل خود را از دانشگاه تبریز دريافت نمود. دکتر عباس حریفی از سال 1389 استادیار گروه مهندسی برق و کامپیوتر دانشگاه هرمزگان ميباشند. زمينههاي تحقیقاتی مورد علاقه ایشان عباتند از: رباتيك، یادگیری عمیق، یادگیری تقویتی،
سیستمهای کنترل هوشمند و سیستمهای کنترل بهینه.
عبدالله خلیلی مدارک کارشناسی و کارشناسی ارشد خود را در رشته مهندسی کامپیوتر-نرم افزار در سال 1388 و 1390 به ترتیب از دانشگاه اصفهان و دانشگاه علم و صنعت ایران دریافت نمود. همچنین نامبرده موفق به اخذ مدرک در مقطع دکترا در سال 1395 رشته مهندسی کامپیوتر- سیستمهای نرمافزاری از دانشگاه شیراز شد. ایشان از سال 1395 استادیار گروه مهندسی برق و کامپیوتر دانشگاه هرمزگان میباشند و زمینههای علمی مورد علاقهشان شامل این موارد است: یادگیری ماشین، امنیت سایبری، امنیت شبکههای برق و امنیت سیستمهای کنترل صنعتی.
