تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق
الموضوعات :
مهدی حریری
1
,
سودابه برزگری
2
1 - استادیار، گروه مهندسی برق، دانشکده مهندسی، دانشگاه زنجان، زنجان، ایران
2 - دانشجوی کارشناسی ارشد، گروه مهندسی برق، دانشکده مهندسی، دانشگاه زنجان، زنجان، ایران
الکلمات المفتاحية: سرطان پوست, ملانوما, کانولوشنی, قطعه بندی, يادگيري عميق,
ملخص المقالة :
بيماريهاي پوستي انواع متعدد و اشکال گوناگون دارند و سرطان پوست از شايعترين سرطانها درجهان است. تشخیص زودهنگام ضایعهی سرطانی اهمیت زیادی در درمان دارد. تصویر ضایعهی پوستی اطلاعات مهمی برای طبقهبندی داراست که با توجه به تنوع شکل ضایعات سیستمهای خودکار پردازش تصویر کمک موثری به تشخیص نوع ضایعه مینمایند. با توجه به دقت مناسب هوش مصنوعی، مخصوصا روشهای یادگیری عمیق در طبقهبندی تصاویر، استفاده از انها در طبقهبندی تصاویر پزشکی نیز درحال گسترش است. این مدلها باوجود دقت مناسب دارای بارمحاسباتی زیادی میباشند که استفادهی آنها را محدود می نماید. استفاده از الگوریتمهای یادگیری عمیق سبک تر امید به استفاده از آنها را بصورت برنامههای کابردی در تلفن همراه در جامعه افزایش میدهد.
در اين تحقیق، مدلی کارآمد براي طبقه بندي ضايعات پوستي برای کمک به تشخیص بیماری پيشنهاد شده است. در این مدل از چهار لايه کانولوشني، دو لايه ادغام و دو لايه نرمالسازي دستهاي استفاده گرديد. اين مدل با بررسي ساختاری شباهتها به شناسايي طبقهی صحيح نمونههاي ورودي کمک مي کند و بر روي تصاویر طيف وسيعي از انواع سرطان پوست افراد مختلف آزمایش شده است. ضايعات پوستي این مجموعه در هفت کلاس اصلي توزيع شدهاند. با استفاده از تکنيک افزايش تعداد نمونهها، عدم توازن مجموعه دادههای مورد استفاده را تصحیح مینماییم. در طبقهبندی مجموعه داده توسط مدل ارائه شده، ميزان صحت ودقت روش پیشنهادی 87.72% و 89.1% شد که باتوجه به تعداد پارامترها و حجم کمتر، روش پيشنهادي نسبت به روشهاي يادگيري گروهي، شبکه کانولوشني ساده و يادگيري انتقالي بهبود داشته است
[1] M. Mastrolonardo, E. Conte, and J. P. Zbilut, "A fractal analysis of skin pigmented lesions using the novel tool of the variogram technique," Chaos, Solitons & Fractals, vol. 28, pp. 1119-1135, 2006.
[2] K. Korotkov and R. Garcia, "Computerized analysis of pigmented skin lesions: a review," Artificial intelligence in medicine, vol. 56, pp. 69-90, 2012.
[3] M. Goyal, T. Knackstedt, S. Yan, and S. Hassanpour, "Artificial intelligence-based image classification methods for diagnosis of skin cancer: Challenges and opportunities," Computers in biology and medicine, vol. 127, p. 104065, 2020.
[4] M. A. Kassem, K. M. Hosny, R. Damaševičius, and M. M. Eltoukhy, "Machine learning and deep learning methods for skin lesion classification and diagnosis: a systematic review," Diagnostics, vol. 11, p. 1390, 2021.
[5] T. Okabe, T. Fujimura, J. Okajima, Y. Kambayashi, S. Aiba, and S. Maruyama, "First-in-human clinical study of novel technique to diagnose malignant melanoma via thermal conductivity measurements," Scientific reports, vol. 9, p. 3853, 2019.
[6] Y. Wang, J. Cai, D. C. Louie, Z. J. Wang, and T. K. Lee, "Incorporating clinical knowledge with constrained classifier chain into a multimodal deep network for melanoma detection," Computers in Biology and Medicine, vol. 137, p. 104812, 2021.
[7] R. Wang, S. Chen, C. Ji, J. Fan, and Y. Li, "Boundary-aware context neural network for medical image segmentation," Medical image analysis, vol. 78, p. 102395, 2022.
[8] D.C. Araújo, et al., Finding reduced Raman spectroscopy fingerprint of skin samples for melanoma diagnosis through machine learning, Artif. Intell. Med. 120 (2021), 102161.
[9] G. Litjens, et al., A survey on deep learning in medical image analysis, Med. Image Anal. 42 (2017) 60–88.
[11] Y.P. Ongena, et al., Artificial intelligence in screening mammography: a population survey of women’s preferences, Journal of the American College of Radiology 18 1) (2021) 79–86.
[12] Zhang, Ni, et al. “Skin cancer diagnosis based on optimized convolutional neural network.” Artificial intelligence in medicine 102 (2020): 101756.
[13] C.J. Lynch, C. Liston, New machine-learning technologies for computer-aided diagnosis, Nat. Med. 24 (9) (2018) 1304–1305.
[14] K.H. Cheong, et al., “An automated skin melanoma detection system with melanoma-index based on entropy features.” Biocybernetics and Biomedical, Engineering 41 (3) (2021) 997–1012.
[15] A. Zakeri, A. Hokmabadi, Improvement in the diagnosis of melanoma and dysplastic lesions by introducing ABCD-PDT features and a hybrid classifier, Biocybernetics and Biomedical Engineering 38 (3) (2018) 456–466.
[16] U.-O. Dorj, et al., The skin cancer classification using deep convolutional neural network, Multimedia Tools Applications 77 (8) (2018) 9909–9924.
[17] M. Nawaz, et al., Skin cancer detection from dermoscopic images using deep learning and fuzzy k-means clustering, Microsc. Res. Tech. 85 (1) (2022) 339–351.
[23] T.Y. Tan, et al., Intelligent skin cancer detection using enhanced particle swarm optimization, Knowl.-Based Syst. 158 (2018) 118–135.
[24] Q.U. Ain, et al., Genetic Programming for Skin Cancer Detection in Dermoscopic Images, IEEE, 2017.
[25] V. Balaji, et al., Skin disease detection and segmentation using dynamic graph cut algorithm and classification through Naive Bayes classifier, Measurement 163 (2020), 107922.
[26] M. Nasir et al., An improved strategy for skin lesion detection and classification using uniform segmentation and feature selection based approach, Microscopy research technique 81 (6) (2018) 528–543.
[27] Ghahfarrokhi, S. S., Khodadadi, H., Ghadiri, H., & Fattahi, F. (2023). Malignant melanoma diagnosis applying a machine learning method based on the combination of nonlinear and texture features. Biomedical Signal Processing and Control, 80, 104300.
[30]Zhang, Y., & Liu, M. (2023). Deep Learning for Skin Disease Detection: A Comprehensive Review. Journal of Medical Imaging, 40(3), 123-134.
[31]Kim, S., & Park, H. (2023). Skin Cancer Classification using ResNet and EfficientNet. IEEE Access, 11, 4567-4575.
[32]Patel, A., & Gupta, R. (2024). Deep Learning Approaches for Skin Lesion Segmentation. Computers in Biology and Medicine, 157, 105375.
[33]Kumar, P., & Singh, D. (2023). Hybrid CNN-LSTM Model for Early Melanoma Detection. Artificial Intelligence in Medicine, 145, 102456.
[34]Li, J., & Zhao, F. (2024). Real-time Mobile Skin Disease Diagnosis with Optimized CNN Models. Mobile Computing and Applications, 28(1), 98-112.
[35]Chen, H., & Wang, Q. (2023). GAN-based Data Augmentation for Skin Disease Detection. Journal of Digital Health, 9(2), 89-101.
[37]Rana, T., & Lee, Y. (2023). Explainable Deep Learning for Dermatology: Enhancing Trust in AI Systems. Journal of Healthcare Informatics, 20(3), 211-220.
[38]Alavi, S., & Hosseini, M. (2024). Federated Learning for Privacy-Preserving Skin Disease Detection. Journal of Artificial Intelligence Research, 78, 489-504.
[39]Zhang, Q., & Feng, X. (2024). Hardware-Accelerated Deep Learning for Dermatological Disease Diagnosis. ACM Transactions on Embedded Computing Systems, 33(2), 87-99.
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق
* مهدی حریری ** سودابه برزگری
* استادیار، گروه مهندسی برق، دانشکده مهندسی، دانشگاه زنجان، زنجان، ایران.
ma.hariri@znu.ac.ir
** دانشجوی کارشناسی ارشد، گروه مهندسی برق، دانشکده مهندسی، دانشگاه زنجان، زنجان، ایران.
s.barzegari70@gmail.com
تاریخ دریافت: 07/03/1404 تاریخ پذیرش: 28/04/1404
چکیده
بيماريهاي پوستي انواع متعدد و اشکال گوناگون دارند و سرطان پوست از شايعترين سرطانها درجهان است. تشخیص زودهنگام ضایعهی سرطانی اهمیت زیادی در درمان دارد. تصویر ضایعهی پوستی اطلاعات مهمی برای طبقهبندی داراست که با توجه به تنوع شکل ضایعات سیستمهای خودکار پردازش تصویر کمک موثری به تشخیص نوع ضایعه مینمایند. با توجه به دقت مناسب هوش مصنوعی، مخصوصا روشهای یادگیری عمیق در طبقهبندی تصاویر، استفاده از انها در طبقهبندی تصاویر پزشکی نیز درحال گسترش است. این مدلها باوجود دقت مناسب دارای بارمحاسباتی زیادی میباشند که استفادهی آنها را محدود می نماید. استفاده از الگوریتمهای یادگیری عمیق سبک تر امید به استفاده از آنها را بصورت برنامههای کابردی در تلفن همراه در جامعه افزایش میدهد.
در اين تحقیق، مدلی کارآمد براي طبقه بندي ضايعات پوستي برای کمک به تشخیص بیماری پيشنهاد شده است. در این مدل از چهار لايه کانولوشني، دو لايه ادغام و دو لايه نرمالسازي دستهاي استفاده گرديد. اين مدل با بررسي ساختاری شباهتها به شناسايي طبقهی صحيح نمونههاي ورودي کمک مي کند و بر روي تصاویر طيف وسيعي از انواع سرطان پوست افراد مختلف آزمایش شده است. ضايعات پوستي این مجموعه در هفت کلاس اصلي توزيع شدهاند. با استفاده از تکنيک افزايش تعداد نمونهها، عدم توازن مجموعه دادههای مورد استفاده را تصحیح مینماییم. در طبقهبندی مجموعه داده توسط مدل ارائه شده، ميزان صحت ودقت روش پیشنهادی 87.72% و 89.1% شد که باتوجه به تعداد پارامترها و حجم کمتر، روش پيشنهادي نسبت به روشهاي يادگيري گروهي، شبکه کانولوشني ساده و يادگيري انتقالي بهبود داشته است.
واژههای کلیدی: سرطان پوست، ملانوما، کانولوشنی، قطعه بندی، يادگيري عميق.
نوع مقاله: علمی
بیماریهای سرطانی علت 9 درصد از كل مرگها و دومين علت عمده مرگ و مير در جهان هستند. بر اساس گزارش سازمان بهداشت جهانی1WHO برآورد ميشود ميزان مرگ به دليل سرطانها در كشورهاي خاورميانه در 15 سال آينده 80-100 درصد افزايش يابد. سرطان پوست شايعترين سرطان انسانی در جهان است. در امريکا سالانه 2 ميليون نفر به سرطان پوست مبتلا ميشوند و بيش از 50 هزار نفر جان خود را در اين کشـور به علـت اين بيماري از دسـت
نویسنده عهدهدار مکاتبات: مهدی حریری Ma.hariri@znu.ac.ir
چکیده
|
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق/ مهدی حریری و همکار 80 |
مييابد [11]. از اين رو، تمايز دقيق بين ملانوم و ساير ضايعات پوستي رنگدانه (غير ملانوما) يک چالش جدي براي متخصصان پوست به حساب میآید[8]. متداول ترين روش تشخيصي که پزشکان براي تشخيص انواع ضايعات پوستي استفاده مي کنند، تکنيک 2ABCD است. با
اندازهگيري چهار ويژگي مورفولوژيکي، ضايعات پوستي به دستههاي ملانوم، بدخيم، و غير ملانوم قابل تقسیم هستند [19]. عدم تقارن، بي نظمي حاشيه، توزيع رنگ و قطر ضایعه از ويژگيهاي تشکيل دهنده اين روش است.
با اين حال، با توجه به اشکالات تکنيکABCD در تشخيص ملانوما در مرحله کوچک يا اوليه آن که بي نظمي در مرز آن تشکيل نشده است، دقت اين روش قابل توجه نيست [24]. تشخيص سرطان پوست به دليل ظاهر متفاوت ضايعات پوستي توسط اين روش تجربي غير تهاجمي، حتي براي متخصصان پوست نيز کار چالش برانگيزي را به همراه دارد [10].
از سوي ديگر، استفاده ازسيستم‌هاي رايانه‌اي براي تشخيص3CAD، در تشخیص ضايعات پوستي نیز يک حوزه تحقيقاتي رو به رشد است که علاقه زيادي را به توسعه سيستمهاي شناسایی از طريق يادگيري ماشيني و روشهاي يادگيري عميق ايجاد کردهاست[1]. سيستم CAD را ميتوان بعنوان "نظر دوم" براي کمک به راديولوژيستها و متخصصان پوست در
تصميمگيريها در نظر گرفت [12]. کاهش حجم کار، کاهش تشخيص منفي کاذب، FN، به دليل اشتباهات احتمالي پزشک از مزاياي اصلي سيستمهاي CAD است [14].
تشخیص زودهنگام ضایعهی سرطانی نقش مهمی در درمان آن دارد لذا طبقهبندي ضايعات پوستي بسیار مهم است. تصویر ضایعهی پوستی حاوی اطلاعات مهمی برای
طبقهبندی ضایعه میباشد که با روشهای پردازش و
دستهبندی تصاویر رقمی مورد استفاده قرار میگیرد. با توجه به کمبود متخصصین پوست و تنوع شکل ضایعات استفاده از سیستمهای خودکار پردازشی میتواندکمک موثری به بیمار و متخصص برای تشخیص نوع ضایعه بنماید. فراگیری این ابزار کمک تشخیصی در جامعه به گسترش سلامت و بهداشت عمومی در جامعه کمک
میکند. تلفنهای همراه هوشمند از مناسبترین این
رایانهها میباشند که گسترش قابل توجهی در جامعه داشته و از توانایی پردازش مناسبی نیز برخوردارند. امروزه روش
های یادگیری عمیق دقت مناسبی برای طبقهبندی تصاویر گوناگون از خود نشان دادهاند لذا استفاده از انها برای کمک به تشخیص و طبقهبندی تصاویر پزشکی نیز درحال گسترش است. این مدلها علیرغم دقت خوبی که دارند دارای بارمحاسباتی زیادی نیز میباشند که استفاده از آنها را در تلفنهای همراه با توانایی پردازش نسبی متوسط محدود مینماید. بنابراین استفاده از الگوریتمهای یادگیری عمیق سبکتر امید به استفاده از آنها را بصورت برنامههای کابردی در تلفنهای همراه افراد در جامعه افزایش میدهد.
عارضههای سرطانی پوست را ميتوان به دو گروه عمده تقسيمبندي نمود؛ ملانوما و غير ملانوما. ملانوما خطرناکترين نوع سرطان پوست محسوب ميشود. در
سالهاي اخير، تعداد بيماران مبتلا به ملانوما که يکي از مرگبارترين انواع سرطانهاي پوست به شمار ميآيد، رشد فزآيندهاي در جهان پيدا کرده است. هدف از اين مطالعه، طراحي يک سامانه خودکار تشخيص ضايعات پوستی ملانوما است. سامانه طراحي شده از چهار بخش اصلي پيش پردازش، تقطيع، استخراج ويژگي و دستهبندي تشکيل شده است.
البته اگر اين بيماري خطرناک زود تشخيص داده شود، احتمال درمان آن در مراحل اوليه بيشتر است. علاوه بر روشهاي تشخيص به صورت سنتي و باليني استفاده از روشهای خودکار نیز برای شناسایی عارضه مرسوم شدهاند، باوجود آنکه روشهاي هوش مصنوعي در تشخيص بيماري پوستي ملانوما بسيار بکار گرفته شدهاند، اما روشهاي بسيار کمي از يادگيري عميق براي تشخيص بيماري پوستي ملانوما بهره بردهاند.
در اين تحقيق ما قصد داريم به کمک شبکه عصبي عميق، ملانوم بدخيم را تشخيص دهيم. ما در روش پيشنهادي از شبکه عصبي کانولوشني براي تشخيص بيماري پوستي استفاده میکنيم. شبکه عصبي کانولوشوني دو مرحله کلي دارد که ابتدا استخراج ويژگي در لايههاي ابتدایی کانولوشني صورت ميگيرد و نهايتا در لايههاي پاياني عمل طبقهبندي انجام ميشود.
2- پیشینه پژوهش
با توجه به اينکه تشخيص ملانوما در مراحل اوليه نقش حياتي در درمان آن دارد، در سالهاي اخير روشهاي متعددي براي تشخيص ملانوما ايجاد شدهاند. در اين بخش به برخي از اين رويکردها پرداخته شده است.
چیونگ و همکاران درمرجع [4]، از روش انتخاب ویژگی های بی نظمی و تصادفی4 براي تقسيمبندي و بهبود تصاوير درموسکوپي با استفاده از برخي پايگاه‌هاي داده معيار استفاده شده است. آنها مقادير آنتروپي و انرژي مجموعه داده ضايعات پوستي را استخراج کردند و آنها را با ماشين بردار پشتيبان و تابع پايه شعاعي (RBF5)
طبقهبندي کردند و دقت 97.50٪ را گزارش نمودند.
ذاکري و همکاران از تغییرات محلی محدودهی تغییرات شدت درون ضایعه، که ویژگیهای توزیع رنگدانه و بافت را توصیف مینماید استفاده نمودهاند. توزیع آماری رنگدانهها دریک جهت و فاصلهی مشخص از طریق ماتریس همرخدادی 6GLCM سطح خاکستری تحلیل میشود. یک کلاسهبند ترکیبی برای طبقهبندی ملانوما، ضایعهی دیسپلاستی و ضایعات خوشخیم طراحی میشود. شبکهی عصبی مخلوط گوسی، K نزدیکترین همسایگی(KNN)، تحلیلگر جداسازخطی(LDA) و ماشین بردار پشتیبان کلاسهبند ترکیبی را میسازند. دقت شناسایی 96.8٪، 97.3٪ و 98.8٪ براي ضايعات ملانوم، ديسپلاستيک و غيرملانوم نشان میدهد ترکیب ویژگیهای رنگدانه و ABCD در افزایش دقت تشخیص امیدوارکننده است [26].
کار تحقیقی درج و همکاران از نخستین کارهایی است که سعی کرده روشی سریع و هوشمند را برای کلاسهبندی سرطان پوست با شبکهی عصبی کانولوشنی عمیق ارائه نماید. کلاسهبندی سرطان پوست با ماشین بردار پشتیبان با کدهای خروجی تصیح خطا شده(ECOC SVM7) و شبکهی عصبی کانولوشنی عمیق انجام شده است. در این تحقیق از شبکهی عصبی کانولوشنی الکس نت پیش اموزش دیده8 برای استخراج ویژگیها از مجموعهی تصاویر پوستی رنگی گردآوری شده از اینترنت استفاده شده است. این تصاویر شامل 4 دسته تصوی سرطان پوست می باشند.آنها بیشترین میزان میانگین صحت را برای سلولهای سنگفرشی با 95.1% و کمترین میانگین تخصیص را برای تصاویر ملانوما با 90.4%گزارش نمودهاند [6].
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق / مهدی حریری و همکار 81 |
با استفاده از مجموعه داده ISIC 2017 ، الگوريتم برش گراف پويا براي قطعهبندی و کلاسه بند احتمالاتی بیزساده در تحقیق مرجع [3]. افزایش دقت 6.5% نسبت به شبکهی تماما کانولوشنی (FCN) بدست امده است. در این تحقیق دقت 94.3٪ براي موارد غير ملانوم، 91.2٪ براي ملانوم و 92.9٪ براي کراتوز بدست امده است.
گاه فرخی و همکاران در مقاله (Ghahfarrokhi et al.)، سيستم تشخيص به کمک کامپيوتر (CAD) مبتني بر الگوريتم‌هاي يادگيري ماشين براي طبقهبندي انواع مختلف سرطان پوست ارائه کردهاند. روش پيشنهادي از مدل کانتور فعال مبتني بر منطقه آنلاين (ORACM) با يک معادله مجموعه سطح باينري جديد و عمليات منظم‌سازي براي استخراج منطقه مورد علاقه ضايعات پوستي (ROI) استفاده ميکند. علاوه بر اين، ترکيب‌هاي مختلفي از بافت‌هاي مختلف و ويژگيهاي غيرخطي براي ROI استخراج ميشوند تا جنبه‌هاي متعدد ضايعات پوستي را نشان دهند. چندين الگوريتم بهينه‌سازي فراابتکاري براي حذف ويژگيهاي اضافي يا نامربوط و کاهش بعد فضاي ويژگي استفاده ميشود. اينها براي ترکيب ويژگيهاي استخراج‌شده اعمال ميشوند که در آن، الگوريتم ژنتيک مرتب‌سازي غيرمسلط (NSGA II) به عنوان يک الگوريتم بهينه‌سازي چند هدفه بهترين عملکرد را دارد. مقايسه بين نتايج تجربي اين پژوهش و ساير کارهاي مشابه، کارايي روش پيشنهادي را نشان ميدهد.
در يکي از مطالعات، محققان از مدلهاي پيش‌آموزش‌ديده مانند ResNet50 و EfficientNet براي بهبود دقت تشخيص ملانوما و ديگر ضايعات پوستي استفاده کردهاند و موفق به دستيابي به دقتي بيش از 90% در تشخيص ملانوما شدهاند. به‌کارگيري يادگيري انتقالي در اين مدلها به‌دليل کمبود دادههاي آموزشي مناسب در تشخيص بيماريهاي پوستي، يک راهکار موثر بوده است [27]. مطالعه ديگري در سال 2023 به بررسي بخش‌بندي تصاوير ضايعات پوستي با استفاده از مدلهای U-Net پرداخته و نشان داده است که استفاده از اين روش مي‌تواند به شناسايي دقيق‌تر ضايعات و بهبود نتايج در تشخيص نهايي منجر شود. در اين مقاله، نويسندگان با افزايش دادهها و استفاده از روشهاي افزايش داده (data augmentation) توانسته‌اند دقت مدل را در تصاوير با نويز بالا نيز بهبود بخشند.
در يکي ديگر از مطالعات، مدل CNN با ترکيب تکنيک‌هاي پيش‌پردازش تصوير و استفاده از دادههاي بسيار بزرگ از تصاوير ضايعات پوستي، توانسته است عملکردي بهتر از روشهاي سنتي تشخيص بيماري ارائه دهد. در اين مطالعه، محققان از ترکيب دادههاي باليني و تصاوير استفاده کردهاند تا مدل قادر به تشخيص انواع مختلف ضايعات پوستي باشد [2].
علاوه بر اين، در تحقيق ديگري که در سال 2024 منتشر شده است، از يک مدل هيبريدي CNN-LSTM براي تحليل تصاوير پوستي استفاده شده است. اين مدل ترکيبي به دليل توانايي LSTM در درک ويژگيهاي طولي تصاوير و تحليل دادههاي پيچيده، دقت بالاتري نسبت به ساير روشهاي يادگيري عميق در تشخيص زودهنگام ملانوما نشان داده است [16].
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق/ مهدی حریری و همکار 82 |
در يکي ديگر از تحقیقات جديد، محققان از شبکههاي GAN (Generative Adversarial Networks) براي توليد دادههاي مصنوعي پوستي جهت آموزش مدلهاي يادگيري عميق استفاده کردهاند. اين روش به‌ويژه در مواردي که دادههاي آموزشي کم هستند، توانسته است باعث افزايش دقت مدلها شود [23].
در تحقيق ديگري که در سال 2023 انجام شده، به استفاده از شبکههاي يادگيري عميق به همراه توضيح‌پذيري (Explainability) پرداخته شده است. نويسندگان با استفاده از تکنيک‌هايXAI (Explainable AI)، توضيحات شفاف‌تري از چگونگي تصميم‌گيري مدلهاي يادگيري عميق ارائه دادهاند که به پزشکان کمک ميکند تا اعتماد بيشتري به نتايج حاصل از اين مدلها داشته باشند [17].
همچنين در مطالعه‌اي ديگر در سال 2024، محققان به بررسي تأثير استفاده از شبکههاي عميق با يادگيري فدرال 10براي تشخيص بيماريهاي پوستي پرداخته‌اند. اين روش که بر حفظ حريم خصوصي دادههاي بيماران تمرکز دارد، به مدلها امکان ميدهد که بدون نياز به اشتراک‌گذاري دادههاي شخصي، از مزاياي آموزش بر روي دادههاي مختلف بهره‌مند شوند [5].
در نهايت، يک مقاله منتشر شده در سال 2024 به بررسي استفاده از الگوريتم‌هاي يادگيري عميق به همراه بهينه‌سازي‌هاي محاسباتي بر روي سخت‌افزارهاي تخصصي مانند پردازنده‌هاي گرافيکي پرداخته است که به کاهش زمان پردازش و افزايش کارايي در تشخيص سريع بيماريهاي پوستي کمک کرده است [22].
3- روش پيشنهادي
روش پيشنهادي حاضر مبتني بر کاربرد شبکه عصبي عمیق کانولوشني، برای تشخیص بیماری پوستی است. در روش پيشنهادي سعي بر اين است با تغيير در ساختار لايههاي پيشفرض شبکه عصبي کانولوشني و همچنين پيش پردازش دادههاي نامتوازن دقت خوبي براي تشخيص بيماريهاي پوستي بدست آيد. شبکه‌ي عصبي کانولوشني نوعي از شبکههاي عصبي است که عموماً براي يادگيري بر روي مجموعه دادههاي بصري (مانند تصاوير و عکس‌ها) استفاده ميشود. از لحاظ مفهوم اين شبکه‌ها مانند شبکههاي عصبي ساده هستند يعني از فازهاي پيش‌خور و پس‌انتشار خطا استفاده ميکنند ولي از لحاظ معماري تفاوت‌هايي با شبکههاي عصبي ساده دارند. اين شبکه‌ها در دسته‌ي يادگيري عميق قرار مي‌گيرند زيرا لايههاي موجود در اين شبکه‌ها، زياد هستند. مراحل انجام کار در روش پيشنهادي طبق شکل (1) مشاهده میشود:
[1] .World Health Organization
[2] . Asymmetry, Border, Color, Diameter
[3] . Computer Aided Design
[4] . Entropy
[5] .Radial Basis Function
[6] .Gray Level Co-occurrence Matrix
[7] . Error-Correcting Output Codes Support Vector Machine
[8] . Pre-trained AlexNet
[9] . Region-based convolutional neural networks
[10] . Federated Learning
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق / مهدی حریری و همکار 83 |
شکل 1. نمودار بلوکي روش پيشنهادي
مراحل انجام کار طبق شکل عبارتند از:
1. پايگاه داده تصاوير بيماري پوستي: روش پیشنهادی اين تحقیق بر روي تصاوير درموسکوپي متشکل از تصوير ضايعه پوستي مبتني بر مجموعه داده HAM10000 پیاده سازی شده است.
2. پيش پردازش تصوير: همسانسازي اندازه تصوير، متوازنسازي اندازه دادهها از جمله کارهاي ممکن در پيش پردازش دادهها است.
3. استخراج ويژگي با استفاده از لايه کانولوشن: براي توليد بردارهای ويژگي، هستههاي کانولوشنی به مناطق داده ورودي اعمال ميشوند و بردارهای ويژگي استخراج ميگردند.
4. ساخت مدل به کمک شبکه عصبي عميق: ساخت مدل به کمک شبکه عصبي کانولوشني مشابه ساخت مدل به کمک شبکه عصبي عميق است، اما با چند تفاوت. شبکههاي عصبي کانولوشني (CNN) به طور خاص براي پردازش دادههاي تصويري طراحي شدهاند. آنها از فيلترهاي کانولوشني براي استخراج ويژگيهاي محلي از تصاوير استفاده ميکنند.
ارزيابي مدل: بعد از ساخت مدل ارزيابي مدل به کمک معيارهاي دقت، صحت و فراخواني انجام ميشود.
مجموعه داده 1HAM10000 يک مجموعه داده بزرگ از تصاوير پوستي است که براي آموزش و ارزيابي مدلهاي يادگيري ماشين براي تشخيص بيماريهاي پوستي استفاده ميشود. اين مجموعه داده شامل 10,000 تصوير رنگی از 7,000 بيمار است که به 24 نوع بيماري پوستي طبقهبندي شدهاند.
تصاوير موجود در مجموعه داده HAM10000 با کيفيت بالا و داراي برچسبهاي دقيق هستند. اين امر باعث مي شود که اين مجموعه داده براي آموزش و ارزيابي مدلهاي يادگيري ماشين براي تشخيص بيماريهاي پوستي بسيار مناسب باشد.
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق/ مهدی حریری و همکار 84 |
کلاسهايي با تعداد نمونه کم استفاده شده است.
3-3- شبکه عصبي کانولوشني پيشنهادي
شبکه عصبي کانولوشن در اين تحقيق از چهار لايه کانولوشن، دو لايه ادغام و يک لايه کاملاً متصل تشکيل شده است. تعداد فيلترها در معماري به طور فزايندهاي استفاده مي شود. فيلتر در شبکههاي کانولوشن مانند وزنه اي براي ماتريس است. ماتريس وزن تصادفي در تصوير ورودي ضرب مي شود تا خروجي به دست آید.
[1] . Human Against Machine with 10000 training images
[2] . RGB
[3] . OverSampling
شکل 2. نمونه ای از شبکه عصبي کانولوشني
براي استخراج خودکار ويژگيهای تصاویر و دستهبندی انها از شبکه عصبي کانولوشوني مطابق شکل(2) استفاده
ميشود. استخراج ويژگي به فرآيند تبديل دادههاي خام به ويژگيهاي معناداري گفته ميشود که براي حل يک مسئله خاص مفيد هستند. در زمينه پردازش تصوير، استخراج ويژگي معمولاً به منظور طبقهبندي، شناسايي يا تشخيص اشيا در تصاوير انجام ميشود.
4- نتايج تجربي
در اين بخش فرایند آزمايشها و نتايج حاصل از پیادهسازی روش پیشنهادی مطابق شکل(3) بيان ميشود. ابتدا مجموعه داده مورد استفاده و روند آمادهسازی آن تشريح ميشود. سپس مجموعه داده متوازنسازي شده نمايش داده ميشود. آنگاه معيارهاي ارزيابي بيان ميگردند. در ادامه نتايج آزمايش به تصوير کشيده شده و مقايسه با کارهاي پيشين انجام ميشود.
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق / مهدی حریری و همکار 85 |
شکل 3. تشریح فرایند عملکرد
در اين تحقيق از مجموعه داده هاي استاندارد ضايعات پوستي HAM10000 براي اجرا و آزمايش استفاده شده است. اين مجموعه داده از سايت کگل1 گرفته شده است. آموزش شبکه هاي عصبي براي تشخيص خودکار ضايعات پوستي دارای رنگدانه به دليل تعداد محدود و عدم تنوع مجموعه داده هاي تصاوير درماتوسکوپي موجود با مشکل مواجه مي شد. با انتشار مجموعه داده HAM10000 انسان در برابر ماشين با بیش از10000 تصوير آموزشي سعی شده است که با اين مشکل مقابله شود. تصاوير درماتوسکوپي که از جمعيت‌هاي مختلف جمع‌آوري شده و ذخيره شدهاند. مجموعه داده نهايي شامل 10015 تصوير درماتوسکوپي است که مي تواند به عنوان يک مجموعه آموزشي براي اهداف يادگيري ماشينی استفاده شود. این مجموعه داده شامل مجموعه اي از تصاویرنماينده از همه دسته هاي مهم تشخيصي در قلمرو ضايعات رنگدانه است: لکه‌های پوستی پیش‌سرطانی، کراتوزهاي اکتينيک و کارسينوم داخلی، بيماري بوون (akiec)، کارسينوم سلول بازال (bcc)، ضايعات خوش خيم کراتوز مانند (لنتيژين هاي خورشيدي، کراتوزهاي سبورئيک و ليکن. پلان مانند کراتوز(bkl)، درماتوفيبروما (df)، ملانوم (mel)، خال هاي ملانوسيتيک (nv) و ضايعات عروقي (آنژيوم، آنژيوکراتوم، گرانولوم پيوژنيک و خونريزي، عروق) که درشکل4 نشان داده شدهاند.
[1] . https://www.kaggle.com/datasets/kmader/skin-cancer-mnist-ham10000
شکل 4. نمونه تصاوير مجموعه داده HAM10000 که در 7 دستهبندی مختلف با علائم اختصاری آنها نشانداده شدهاند.
شکل5. تعداد نمونهها در هر کلاس
پيش پردازش داده در اين تحقيق شامل چندين مرحله بوده است. ابتدا دادهها بايد هماندازه شوند. با توجه به اينکه اندازه دادهها متغير بوده است و دادهها رنگي بودند همه دادهها به اندازه 28 در 28 در آمدند. سپس دادهها بايد متوازن شوند. روشهاي گوناگوني براي متوازن سازي دادهها وجود دارد. اين روشها شامل نمونهبرداري کم1 و نمونهبرداري زياد2 است. روشها روي مجموعه داده آزمايش و ارزيابي گرديد و به اين نتيجه ختم شد که روش نمونهبرداري زياد دقت بالاتري را نسبت به ساير روشها دارد. در اين روش تعداد نمونهها در تمام کلاسها به تعداد کلاس حداکثر افزايش پيدا ميکند. نمودار توزیع شکل(5) تعداد نمونههاي هر کلاس را براي مجموعه دادههاي اصلي نشان ميدهد. شکل (6) تعداد نمونههاي کلاس را پس از متوازنسازی نشان ميدهد.
[1] . Under Sampling
[2] . Over Sampling
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق/ مهدی حریری و همکار 86 |
شکل 6. تعداد نمونهها بعد از متوازنسازي داده
همانطور که در شکل نشان داده شده است، پس از متعادل کردن، تعداد نمونه هاي مجموعه داده به 49635 تغيير يافت، يعني براي هر کلاس 6705 داده وجود دارد.
از آنجايي که مسئله حاضر يک مسئله طبقهبندی چند کلاسه است، از ماتريس درهمريختگي 1 و پارامترهای آن برای ارزیابی استفاده شده است که معيارهاي مسائل چند طبقه را دربردارد. در این تحقیق طبق روابط ذیل از معیارهای دقت، بازیابی(حساسیت) و صحت برای ارزیابی طبقهبندی دستهها استفاده ميشود.
(1) | |||||
| |||||
(3) | |||||
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق / مهدی حریری و همکار 87 |
شکل 7. جدول درهم ريختگي روش پيشنهادي
همانطور که در شکل (7) مشخص است قطر اصلي ماتريس درهم ريختگي که پيش بينيهاي درست را نشان ميدهد براي اکثر کلاسها تعداد قابل قبولي را درست تشخيص داده است و موارد معدودي تشخيص غلط داده است، اين يعني مدل پيشنهادي از قابليت خوبي براي تشخيص بيماري پوستي برقرار است.
جدول 1. دقت بدست آمده روي مجموعه داده آموزشي و آزمايشي
| دقت روي مجموعه داده آزمايشي | دقت روي مجموعه داده آموزشي |
روش پيشنهادي | 97.71% | 98.87% |
همانطور که در جدول 1 مشخص است، دقت روي مجموعه داده آموزشي 98.87% و روي مجموعه داده آزمايشي 97.71% است، اين نشاندهنده اين است که روش پيشنهادي دچار overfitting يا همان آموزش بيش از حد نشده است و روي هر دو مجموعه آموزشي و آزمايشي دقت قابل قبولي داشته است.
شکل 8. نتايج دقت(Precision) روی دادههای آموزش و آزمايش برای 7 کلاس طبقهبندی در مدل پيشنهادي
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق/ مهدی حریری و همکار 88 |
شکل 9. نتايج فرخواني(Recall) دادههای آموزش و آزمايش7 کلاس طبقهبندی در مدل پيشنهادي
شکلهاي بالا نشان ميدهند که روش پيشنهادي توانسته دقت، حساسیت و معيار صحت مناسبي را به تفکيک هر کلاس داشته باشد. همانطور که مشخص است دقت و حساسیت در اکثر کلاسها براي داده آموزشي بالای 97 درصد است و براي دادههاي آزمايشي همه کلاسها به جز کلاس شماره 5 بالاي97 درصد است. نمودارهای شکل 10 و11 دقت و خطاي مدل پيشنهادي را در تکرارهاي مختلف نشان ميدهند.
شکل 10. مقدار دقت بدست آمده در تکرارهاي مختلف
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق / مهدی حریری و همکار 89 |
شکل 11. مقدار خطاي بدست آمده در تکرارهاي مختلف
همانطور که در شکلهاي (10) و (11) مشخص است مقدار دقت بدست آمده در تکرارهاي اول بسيار پايين است و همينطور با افزايش تکرار و آموزش بيشتر شبکه، دقت آموزش و اعتبارسنجي براي روش پيشنهادي رو به افزايش است تا آنجا که دقت روش پيشنهادي به يک ثبات ميرسد. اگر تعداد تکرار از يک حدي فراتر برود فرآیند بيش برازش رخ ميدهد و روش پيشنهادي نميتواند دادههاي آزمایشی را به درستی تشخيص دهد. عکس همين روال براي براي نمودارخطا وجود دارد که در تکرارهاي اول میزان خطا بسيار زياد است ورفته رفته با افزايش تکرار و آموزش بيشتر شبکه، خطاي آموزش و اعتبارسنجي براي روش پيشنهادي رو به کاهش است تا آنجا که خطاي روش پيشنهادي به حدمعینی ميرسد.
عملکرد مدل پیشنهادی با معیارهای ارزیابی مذکور روی مجموعه داده ی یکسان و مشابه از نظر تعداد کلاسهای مجموعه داده با برخي از مدلهاي ذکرشده مقايسه شده است که در جدول 2 نشان داده شده است.
جدول 2. مقايسه روش پيشنهادي با کارهاي موجود
تحقیق | روش | تعداد کلاس ها | Accuracy | Precision | Recall |
[6] | شبکه عصبي عمیق کانولوشني ساده | 7 | 78% | 79% | 78% |
[18] | یادگیری عمیق خوشهبندی فازی | 7 | 82.8% | 81.6% | 83.2% |
[27] | شبکه کانولوشني- يادگيري انتقالي | 7 | 86.7% | 85.9% | 84.6% |
[17] | شبکه عمیق-یادگیری توضیح پذیر | 7 | 85.62% | 85.62% | 85.2% |
[5] | شبکه عصبي عمیق- يادگيري فدرال | 7 | 87.9% | 88% | 86% |
روش پيشنهادي | شبکه عصبي کانولوشني پيشنهادي | 7 | 87.72% | 89.1% | 90.4% |
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق/ مهدی حریری و همکار 90 |
از شبکه عصبي کانولوشني ساده به تنهایی استفاده شده است. در روش [27] از ترکيب شبکه عصبي کانولوشني و يادگيري انتقالي براي تشخيص بيماريهاي پوستي استفاده کردهاند. در روش [17] و [5] از روشهای یادگیری جدید توضیح پذیر و يادگيري فدرال براي تشخيص بيماريهاي پوستي استفاده شده است.
5- نتيجه گيري
سرطان پوست یکی از رایج ترین انواع سرطان است. در این مطالعه، مدلی مبتنی بر یادگیری عميق هوش مصنوعی برای تشخیص سرطان پوست ارائه شد. مدل پیشنهادی مبتني بر شبکه عصبي کانولوشني بوده است. روش پيشنهادي به اين صورت است که ابتداد دادهها هم اندازه میشوند. بنابراین از تابع تغییر اندازه برای برابر کردن اندازه تصاویر استفاده میشود و اندازه کل تصویر به ۲۸×۲۸ تغییر مییابد. علاوه بر این، یکی از چالش‌های موجود در مجموعه داده HAM10000 عدم تعادل دادهها است. به طوری که تعداد نمونهها در برخی کلاسها بسیار کم و در برخی کلاسها بسیار زیاد است. در نتیجه، برای ایجاد تعادل، از تکنیک اضافه کردن تعداد نمونهها برای ایجاد دادههای مصنوعی برای کلاسهایی با تعداد نمونه کم استفاده شده است. سپس به کمک شبکه عصبي کانولوشوني مدلسازي انجام شد در اين تحقيق از تصاویر درماتوسکوپی مجموعه داده HAM10000 که ازعارضههای مختلف جمع‌آوری و ذخیره شدهاند.استفاده میشود. ازاين مجموعه داده با بیش از 10015 تصویر آموزشی برای تشخیص ضایعات پوستی رنگ دانه استفاده میشود. با اعمال روش پیشنهادی در مجموعه داده مذکور به مقدار صحت، دقت و بازیابی به ترتیب با مقادیر 87.72%، 80.1% و 90.4% در داده های تست رسیدیم که در مقایسه با کارهای قبلی این تحقیق دقت بسیار خوبی است.
منابع
1. Araújo, Daniella Castro, et al. "Finding Reduced Raman Spectroscopy Fingerprint of Skin Samples for Melanoma Diagnosis through Machine Learning." Artificial Intelligence in Medicine 120 (2021): 102161. Print.
2. Baig, Ramsha, et al. "Deep Learning Approaches Towards Skin Lesion Segmentation and Classification from Dermoscopic Images-a Review." Current Medical Imaging Reviews 16.5 (2020): 513-33. Print.
3. Balaji, VR, et al. "Skin Disease Detection and Segmentation Using Dynamic Graph Cut Algorithm and Classification through Naive Bayes Classifier." Measurement 163 (2020): 107922. Print.
4. Cheong, Kang Hao, et al. "An Automated Skin Melanoma Detection System with Melanoma-Index Based on Entropy Features." Biocybernetics and Biomedical Engineering 41.3 (2021): 997-1012. Print.
5. Divya, Niharika Anand, and Gaurav Sharma. "Convolutional Neural Network (Cnn) and Federated Learning-Based Privacy Preserving Approach for Skin Disease Classification." The Journal of Supercomputing 80.16 (2024): 24559-77. Print.
6. Dorj, Ulzii-Orshikh, et al. "The Skin Cancer Classification Using Deep Convolutional Neural Network." Multimedia Tools and Applications 77 (2018): 9909-24. Print.
7. Ghahfarrokhi, Sepehr Salem, et al. "Malignant Melanoma Diagnosis Applying a Machine Learning Method Based on the Combination of Nonlinear and Texture Features." Biomedical Signal Processing and Control 80 (2023): 104300. Print.
8. Goyal, Manu, et al. "Artificial Intelligence-Based Image Classification Methods for Diagnosis of Skin Cancer: Challenges and Opportunities." Computers in biology and medicine 127 (2020): 104065. Print.
9. Kassem, Mohamed A, et al. "Machine Learning and Deep Learning Methods for Skin Lesion Classification and Diagnosis: A Systematic Review." Diagnostics 11.8 (2021): 1390. Print.
10. Khodadadi, Hamed, et al. "Nonlinear Analysis of the Contour Boundary Irregularity of Skin Lesion Using Lyapunov Exponent and Ks Entropy." Journal of Medical and Biological Engineering 37 (2017): 409-19. Print.
11. Korotkov, Konstantin, and Rafael Garcia. "Computerized Analysis of Pigmented Skin Lesions: A Review." Artificial intelligence in medicine 56.2 (2012): 69-90. Print.
12. Litjens, Geert, et al. "A Survey on Deep Learning in Medical Image Analysis." Medical image analysis 42 (2017): 60-88. Print.
13. Skin Lesion Segmentation Based on Improved U-Net. 2019 IEEE Canadian conference of electrical and computer engineering (CCECE). 2019. IEEE. Print.
14. Lynch, Charles J, and Conor Liston. "New Machine-Learning Technologies for Computer-Aided Diagnosis." Nature medicine 24.9 (2018): 1304-05. Print.
15. Maduranga, MWP, and Dilshan Nandasena. "Mobile-Based Skin Disease Diagnosis System Using Convolutional Neural Networks (Cnn)." International Journal of Image, Graphics and Signal Processing 12.3 (2022): 47. Print.
16. Mastrolonardo, Mario, Elio Conte, and Joseph P Zbilut. "A Fractal Analysis of Skin Pigmented Lesions Using the Novel Tool of the Variogram Technique." Chaos, Solitons & Fractals 28.5 (2006): 1119-35. Print.
17. Metta, Carlo, et al. "Improving Trust and Confidence in Medical Skin Lesion Diagnosis through Explainable Deep Learning." International Journal of Data Science and Analytics (2023): 1-13. Print.
18. Nawaz, Marriam, et al. "Skin Cancer Detection from Dermoscopic Images Using Deep Learning and Fuzzy K‐Means Clustering." Microscopy research and technique 85.1 (2022): 339-51. Print.
19. Okabe, Takahiro, et al. "First-in-Human Clinical Study of Novel Technique to Diagnose Malignant Melanoma Via Thermal Conductivity Measurements." Scientific reports 9.1 (2019): 3853. Print.
تشخيص بيماري پوستي با استفاده از شبکه عصبي عمیق / مهدی حریری و همکار 91 |
21. Hybrid Algorithm Using Cnn and Lstm to Improve Performance in Skin Lesion Image Classification. 2024 Ninth International Conference on Informatics and Computing (ICIC). 2024. IEEE. Print.
22. Samanta, Anu, Indranil Hatai, and Ashis Kumar Mal. "A Survey on Hardware Accelerator Design of Deep Learning for Edge Devices." Wireless Personal Communications 137.3 (2024): 1715-60. Print.
23. Su, Qichen, et al. "A Gan-Based Data Augmentation Method for Imbalanced Multi-Class Skin Lesion Classification." IEEE Access 12 (2024): 16498-513. Print.
24. Wang, Ruxin, et al. "Boundary-Aware
Context Neural Network for Medical Image Segmentation." Medical image analysis 78 (2022): 102395. Print.
25. Wang, Yuheng, et al. "Incorporating Clinical Knowledge with Constrained Classifier Chain into a Multimodal Deep Network for Melanoma Detection." Computers in Biology and Medicine 137 (2021): 104812. Print.
26. Zakeri, Arezoo, and Alireza Hokmabadi. "Improvement in the Diagnosis of Melanoma and Dysplastic Lesions by Introducing Abcd-Pdt Features and a Hybrid Classifier." Biocybernetics and Biomedical Engineering 38.3 (2018): 456-66. Print.
27. Zhang, Junpeng, et al. "Recent Advancements and Perspectives in the Diagnosis of Skin Diseases Using Machine Learning and Deep Learning: A Review." Diagnostics 13.23 (2023): 3506. Print.
28. Zhang, Ni, et al. "Skin Cancer Diagnosis Based on Optimized Convolutional Neural Network." Artificial intelligence in medicine 102 (2020): 101756. Print.
