• صفحه اصلی
  • تعیین ماشین‌های بردار پشتیبان بهینه در طبقه‌بندی تصاویر فرا طیفی بر مبنای الگوریتم ژنتیک

اشتراک گذاری

آدرس مقاله


کد مقاله : 202005091470 بازدید : 12289 صفحه: 9 - 24

نوع مقاله: پژوهشی

تعیین ماشین‌های بردار پشتیبان بهینه در طبقه‌بندی تصاویر فرا طیفی بر مبنای الگوریتم ژنتیک

محورهای موضوعی : تخصصی

فرهاد صمدزادگان 1 (دانشگاه تهران)
حديثه سادات حسني 2 (دانشگاه تهران)

تاریخ دریافت : 1393/02/08 تاریخ انتشار : 1398/08/17

کلید واژه: ماشین‌های بردار پشتیبان, تصاویر فرا طیفی, طبقه بندی, انتخاب مدل, انتخاب ویژگی, الگوریتم ژنتیک,

چکیده مقاله :

امروزه تصاویر فرا طیفی به علت غنای اطلاعات طیفی یک ابزار قوی و کارامد در سنجش از دور به حساب می‌آیند و امکان تمایز بین عوارض مشابه را فراهم می‌آورند. با توجه به پایداری ماشین‌های بردار پشتیبان در فضاهایی با ابعاد بالا، یک گزینه مناسب در طبقه‌بندی تصاویر فرا طیفی محسوب می‌شوند. با این وجود، عملکرد این طبقه‌بندی کننده‌ها تحت تأثیر پارامترها و فضای ویژگی ورودی آن‌ها می‌باشد. به منظور استفاده از ماشین‌های بردار پشتیبان با بیشترین کارایی، می‌بایست مقادیر بهینه‌ی پارامترها و همچنین زیر مجموعه بهینه از ویژگی‌های ورودی تعیین گردند. در این تحقیق از توانایی الگوریتم ژنتیک به عنوان یک تکنیک بهینه‌سازی فرا ابتکاری، در تعیین مقادیر بهینه پارامترهای ماشین‌های بردار پشتیبان و همچنین انتخاب زیرمجموعه ویژگی‌های بهینه در طبقه‌بندی تصاویر فرا طیفی استفاده شده است. نتایج عملی از به‌کارگیری روش فوق در خصوص داده‌های فرا طیفی سنجنده AVIRISنشان می‌دهند، ویژگی‌های ورودی و پارامترها هر کدام جداگانه تأثیر بسزایی بر عملکرد ماشین‌های بردار پشتیبان دارند ولی بهترین عملکرد طبقه-بندی کننده با حل همزمان آن دو بدست می‌آید. در حل همزمان تعیین پارامتر و انتخاب ویژگی، برای کرنل گوسین و پلی‌نومیال به ترتیب 5% و 15% افزایش دقت با حذف بیش از نیمی از باندهای تصویر حاصل شد. همچنین الگوریتم بهینه‌سازی شبیه‌سازی تبرید تدریجی به منظور مقایسه با الگوریتم ژنتیک پیاده‌سازی شد که نتایج حاکی از برتری الگوریتم ژنتیک به ویژه با بزرگ و پیچیده شدن فضای جستجو در رویکرد حل همزمان تعیین پارامتر و انتخاب ویژگی می‌باشد.

چکیده انگلیسی:

Hyper spectral remote sensing imagery, due to its rich source of spectral information provides an efficient tool for ground classifications in complex geographical areas with similar classes. Referring to robustness of Support Vector Machines (SVMs) in high dimensional space, they are efficient tool for classification of hyper spectral imagery. However, there are two optimization issues which strongly effect on the SVMs performance: Optimum SVMs parameters determination and optimum feature subset selection. Traditional optimization algorithms are appropriate in limited search space but they usually trap in local optimum in high dimensional space, therefore it is inevitable to apply meta-heuristic optimization algorithms such as Genetic Algorithm to obtain global optimum solution. This paper evaluates the potential of different proposed optimization scenarios in determining of SVMs parameters and feature subset selection based on Genetic Algorithm (GA). Obtained results on AVIRIS Hyper spectral imagery demonstrate superior performance of SVMs achieved by simultaneously optimization of SVMs parameters and input feature subset. In Gaussian and Polynomial kernels, the classification accuracy improves by about 5% and15% respectively and more than 90 redundant bands are eliminated. For comparison, the evaluation is also performed by applying it to Simulated Annealing (SA) that shows a better performance of Genetic Algorithm especially in complex search space where parameter determination and feature selection are solve simultaneously.

منابع و مأخذ:


متن کامل:
ICeLeT2010 Persian Template

تعيين ماشين­هاي بردار پشتيبان بهينه در طبقه­بندي تصاوير فرا طیفی بر مبناي الگوريتم ژنتيک

 

فصلنامه علمي- پژوهشي

فناوري اطلاعات و ارتباطات ایران

سال چهارم، شماره‌هاي 13 و 14، پاییز و زمستان 1391

 صص: 9- 24

E:\E Drive\logo\iicta Logo0.JPG 

 

تعيين ماشين­هاي بردار پشتيبان بهينه در طبقه­بندي تصاوير فرا طیفی بر مبناي الگوريتم ژنتيک

فرهاد صمدزادگان*                حديثه سادات حسني **1

* استاد، دانشکده مهندسي نقشه­برداري، دانشگاه تهران، تهران

** دانشجوي دکتري فتوگرامتري، دانشکده مهندسي نقشه­برداري، دانشگاه تهران، تهران

 

تاريخ دريافت: 06/04/1391                        تاريخ پذيرش: 09/11/1391

 

 

چكيده

امروزه تصاوير فرا طیفی به علت غناي اطلاعات طيفي يک ابزار قوي و کارامد در سنجش از دور به حساب مي­آيند و امکان تمايز بين عوارض مشابه را فراهم مي­آورند. با توجه به پايداري ماشین‌های بردار پشتیبان در فضاهايي با ابعاد بالا، یک گزينه مناسب در طبقه­بندي تصاوير فرا طیفی محسوب مي­شوند. با اين وجود، عملکرد این طبقه­بندي کننده­ها تحت تأثیر پارامترها و فضاي ويژگي ورودي آن­ها مي­باشد. به منظور استفاده از ماشين­هاي بردار پشتيبان با بيشترين کارایی، مي­بايست مقادير بهينه­ي پارامترها و همچنين زير مجموعه بهينه از ويژگي­هاي ورودي تعيين گردند. در اين تحقيق از توانايي الگوريتم ژنتيک به عنوان يک تکنيک بهينه­سازي فرا ابتکاري، در تعيين مقادير بهينه پارامترهاي ماشين­هاي بردار پشتيبان و همچنين انتخاب زيرمجموعه ويژگي­هاي بهينه در طبقه­بندي تصاوير فرا طیفی استفاده شده است. نتايج عملي از به‌کارگیری روش فوق در خصوص داده­هاي فرا طیفی سنجنده  AVIRISنشان مي­دهند، ويژگي­هاي ورودي و پارامترها هر کدام جداگانه تأثیر بسزايي بر عملکرد ماشين­هاي بردار پشتيبان دارند ولي بهترين عملکرد طبقه­بندي کننده با حل همزمان آن دو بدست مي­آيد. در حل همزمان تعيين پارامتر و انتخاب ويژگي، براي کرنل گوسين و پلي­نوميال به ترتيب 5% و 15% افزايش دقت با حذف بيش از نيمي از باندهاي تصوير حاصل شد. همچنين الگوريتم بهينه­سازي شبيه­سازي تبريد تدريجي به منظور مقايسه با الگوريتم ژنتيک پياده­سازي شد که نتايج حاکي از برتري الگوريتم ژنتيک به ويژه با بزرگ و پيچيده شدن فضاي جستجو در رويکرد حل همزمان تعيين پارامتر و انتخاب ويژگي مي­باشد.

كليد واژگان: ماشین‌های بردار پشتيبان، تصاوير فرا طیفی، طبقه بندي، انتخاب مدل، انتخاب ويژگي، الگوريتم ژنتيک.

1.       مقدمه

امروزه با پيشرفت­هاي اخير در زمينه تکنولوژي ساخت سنجیده‌های فرا طیفی در سنجش از دور، امکان اخذ تصاوير با صدها باند با قدرت تفکيک طيفي بالا فراهم است [1]. افزايش تعداد باندها و در نتيجه افزايش اطلاعات طيفي، امکان استخراج اطلاعات بيشتر در مورد عوارض موجود در تصوير و همچنين تمايز بين عوارض مشابه را فراهم مي­کند. از سوي ديگر با بالا رفتن ابعاد فضاي ورودي، نياز به پردازش­هاي خاصي به منظور به‌کارگیری اين تصاوير در بسياري از کاربردهاي مطرح مي­باشد [1].

يک مرحله مهم در پردازش تصاوير فرا طیفی به منظور استخراج اطلاعات، طبقه­بندي آنها با يکسري کلاس­هاي از پيش تعيين شده مي­باشد. در تصاوير فرا طیفی، طبقه­بندي کننده­هاي پارامتريک به علت نياز به تخمين توزيع آماري کلاس­ها و عدم توازن بين تعداد باندها و تعداد نمونه­هاي آموزشي، با پديده هيوز1 مواجه مي­شوند [2]. در اين شرايط به علت بزرگ شدن فضاي فرضيه و محدوديت تعداد نمونه­هاي آموزشي، احتمال بيش تطابق نمودن2 مدل به داده­هاي آموزشي وجود دارد [3]. به منظور رفع مشکلات روش­هاي پارامتريک در سال­هاي اخير طبقه­بندي کننده­هاي غير پارامتريک مختلفي به منظور طبقه­بندي تصاوير فرا طیفی ارائه شده­اند، از جمله: شبکه عصبي [4]، درخت تصميم­گيري [5]، Random Forest [6] و روش­هاي کرنل مبنا [3].

در اين خصوص ماشين­هاي بردار پشتيبان3 به عنوان يک روش کرنل مبنا، توانسته­اند به با توجه به عملکردشان بر مبناي ويژگي­هاي هندسي و عدم نياز به تخمين ويژگي­هاي آماري، ابزاري بسيار کارا و قدرتمند براي طبقه­بندي تصاوير فرا طیفی به حساب آيند [7-9]. ايده ماشين­هاي بردار پشتيبان يافتن يک صفحه تصميم­گيري بهينه براي جداسازي دو کلاس می‌باشد به صورتي که دو کلاس بيشترين حاشيه جداسازي را در یک طبقه‌بندی باينري داشته باشند. در صورتی که نمونه­ها به صورت خطي جدا پذیر نباشند، ابتدا با يک کرنل به فضايي با ابعاد بالاتر منتقل مي­شود و صفحه جداکننده در آن فضا تعريف مي­شود [10].

هر چند در سال­هاي اخير ماشين­هاي بردار پشتيبان با موفقيت در طبقه­بندي بسياري از تصاوير فرا طیفی به کار گرفته شده­اند، با اين حال مي­بايست به تأثیر دو عامل که بر عملکرد آن­ها تأثیرگذار هستند، توجه داشت: پارامترهاي ماشين­هاي بردار پشتيبان و فضاي ويژگي ورودي (باندهاي ورودي طبقه­بندي). به منظور طراحي يک سيستم بهينه طبقه­بندي براي تصاوير فرا طیفی بر مبناي ماشين­هاي بردار پشتيبان، انتخاب مقادير بهينه پارامترهاي مدل و انتخاب زير مجموعه­اي از باندهاي بهينه چالش­هايي است که در اين زمينه وجود دارند. به علت اهميت موضوع، مطالعات زيادي در سال­هاي اخير در اين زمينه انجام شده است که می‌توان آنها را به سه دسته تقسيم کرد. در دسته اول، از همه ويژگي­هاي ورودي داده استفاده مي­شود و پارامترهاي مدل بهينه مي­گردد تا کارایی ماشين­هاي بردار پشتيبان بالا رود [11-13]. انتخاب ويژگي­هاي بهينه با ثابت در­نظر گرفتن پارامترها گروه دوم تحقيقات مي­باشد [14-16] که با حذف ويژگي­هاي اضافي و وابسته، دقت و سرعت طبقه­بندي را بهبود مي­بخشند. در اين دسته از مطالعات، در ابتدا مقادير پارامترهاي مدل با استفاده از يک روش کلاسيک محاسبه شده و يا از مقادير پيش فرض استفاده مي­کنند. سپس در پروسه انتخاب ويژگي آن مقادير ثابت در نظر گرفته مي­شوند. با توجه به تأثیر فضاي ورودي بر مقدار بهينه پارامترها و بالعکس، دسته سوم الگوریتم‌ها به حل همزمان تعيين پارامترها و انتخاب زير مجموعه ويژگي­هاي بهينه مي­پردازند [17-20].

به منظور حل اين مسائل، با توجه به بزرگ بودن فضاي مجهولات نياز به يک الگوريتم بهينه­سازي قوي و کارا می‌باشد تا بتواند جواب بهينه سراسري را بدست آورد. از آنجایي که الگوريتم­هاي بهينه سازي مرسوم معمولاً در فضاي جستجوي بزرگ با مشکل مواجه مي­شوند و به جواب زير بهينه مي­رسند، در اين تحقيق از الگوريتم فرا ابتکاری4 ژنتيک استفاده گرديده است. الگوريتم ژنتيک به علت جمعيت مبنا بودن و اجراي همزمان جستجوي سراسري5 و جستجوي محلي6 پتانسيل بالايي در حل مسائل پيچيده بهينه­سازي دارد [21].

در اين تحقيق توانايي الگوريتم ژنتيک در تعيين طبقه­بندي کننده­هاي بردار پشتيبان در سه رويکرد: تعيين مقادير بهينه پارامترهاي ماشين­هاي بردار پشتيبان، انتخاب زيرمجموعه ويژگي­هاي بهينه و حل همزمان هر دو مفهوم در طبقه بندي تصاوير فرا طیفی مورد ارزيابي قرار گرفته است.

2.       ماشين­هاي بردار پشتيبان

ماشين­هاي بردار پشتيبان يک روش طبقه بندي با نظارت بر مبنای نظريه يادگيري آماري مي­باشند [22]. ايده اساسي اين طبقه­بندي کننده، يافتن يک ابر صفحه بهينه به عنوان سطح تصميم­گيري به گونه­اي مي­باشد که حاشيه بين دو کلاس را بيشينه کند. در صورتی که داده­ها به صورت خطي جدا پذیر نباشد، داده‌ها با کرنلي غيرخطي به فضاي با ابعاد بالاتر منتقل مي­شود و ابر صفحه بهينه در آن فضا تعيين مي­شود.

فرض کنيد l داده­هاي آموزشي موجود مي­باشد که هر يک با (xi,yi) نشان داده مي­شود، xi بردار ويژگي n بعدي و img0 برچسب آن می‌باشد. هدف يافتن ابر صفحه است که دو کلاس با برچسب 1 و 1- را با بيشترين حاشيه از هم جدا کند. اين ابر صفحه را می‌توان با معادله (1) بيان کرد.

(1)

img0 

در اين رابطه، بردار وزن w، برداري عمود بر ابر صفحه، b بردار باياس می‌باشد که به منظور اندازه­گيري فاصله ابر صفحه تا مبدأ استفاده می‌شود و img0 کرنلي براي انتقال داده به فضاي با ابعاد بالاتر مي­باشد (شکل 1).

 

img0 

شکل 1- طبقه­بندي داده­هايي که به صورت خطي جدا پذیر نيستند، توسط ماشين­هاي بردار پشتيبان

بيشينه نمودن حاشيه بين دو کلاس معادل کمينه کردن اندازه w مي­باشد که منجر به حل مسئله کمينه­سازي مقيد (2) مي­شود.

img0(2)

 

 

 

که پارامتر C، پارامتر تنظيم در ماشين­هاي بردار پشتیبان می‌باشد. به منظور در نظر گرفتن نويز موجود در داده و تداخل بين داده­هاي آموزشي، از متغير img0استفاده مي­شود. وجود قيد ضمانت مي­کند که داده­اي در حاشيه قرار نمي­گيرد. هرچند براي جلوگيري از بيش تطابق نمودن به داده­هاي نويزي، اين قيد با متغيرهاي img0 نرم شده است.

سطح تصميم­گيري بهينه با حل مسئله مقيد (2) بر مبناي روش لاگرانژ طبق معادله (3) محاسبه مي­شود.

img0(3)

 

در اين رابطه img0 ضرايب لاگرانژ مي­باشد که در پروسه بهينه­سازي محاسبه می‌شود، SV بردارهاي پشتيبان هستند که ضريب لاگرانژ متناظر آن­ها بزرگ‌تر از صفر است. اين داده هاي آموزشي، نزديک­ترين نمونه­ها به ابر صفحه هستند. همان طور که رابطه (3) نشان مي­دهد، تنها بردارهاي پشتيبان هستند که در مرحله آموزش شرکت مي­کنند. در نتيجه ماشين­هاي بردار پشتيبان نياز به تعداد نمونه آموزشي زياد ندارند. در رابطه (3)، ضرب داخلي بين دو کرنل نگاشت شده، مي­تواند با کرنل آن دو نمونه محاسبه گردد. از پرکاربردترين کرنل­ها، کرنل گوسين و پلي نوميال هستند که به ترتيب با روابط (4) و (5) تعريف می‌شوند.

img0 

(4)

img0(5)

در اين روابط،img0پارامتر کرنل گوسين و d متغير کرنل پلي نوميال می‌باشد [23].

الگوريتم پايه ماشين­هاي بردار پشتيبان براي طبقه­بندي باينري توسعه داده شده است. از آنجایي که در بيشتر کاربردها، بيش از دو کلاس وجود دارد، الگوريتم­هاي مختلفي براي حل مسئله چند کلاسه به کار گرفته شده است [10]. يک روش مرسوم در اين زمينه تجزيه مسئله چند کلاسه به مسئله اي با چندين طبقه بندي کننده باينري مي­باشد. الگوریتم‌های «يک در مقابل يک» و «يک در مقابل مابقي»، دو الگوريتم پر­کاربرد در اين زمينه مي­باشد.

در روش «يک در مقابل يک»، براي هر زوج کلاس ممکن از يک ماشين بردار پشتيبان باينري استفاده می‌شود. به اين ترتيب براي M کلاس، img0طبقه­بندي کننده ماشین بردار پشتيبان باينري نياز داريم. در نهايت همه ماشين­هاي بردار پشتيبان باينري با روش راي گيري حداکثر ادغام مي­شود.

روش «يک در مقابل مابقي»، روش مرسوم ديگر می‌باشد که در آن هر ماشين بردار پشتيبان باينري، داده­هاي يک کلاس را از داده­هاي کلاس­هاي ديگر جدا مي­کند. در اين روش، براي M کلاس، M طبقه­بندي کننده باينري خواهيم داشت. پس از طبقه­بندي داده جديد با M طبقه­بندي کننده، داده به کلاسي که بيشترين نتيجه مثبت را داشته باشد، نسبت داده مي­شود [10].

3.       مروري بر تحقيقات

با توجه به اطلاعات طيفي غني موجود در تصاوير فرا طیفی، همراه با پيشرفت تکنولوژی ساخت سنجیده‌های فرا طیفی، الگوريتم­هاي پردازش اين دسته از تصاوير نيز رشد چشمگيري داشته­اند که در اين بين الگوريتم­هاي طبقه‌بندی به منظور استخراج اطلاعات و همچنين تهيه نقشه­هاي موضوعي بسيار مورد توجه قرار گرفته­اند. از این رو مطالعات گسترده­اي در زمينه ارزیابی عملکرد طبقه­بندي کننده­هاي گوناگون در تصاوير فرا طیفی صورت گرفته است. از اوايل سال 2000، نخستين تحقيقات بر مبناي استفاده از ماشين­هاي بردار پشتيبان در طبقه­بندي تصاوير فرا طیفی صورت پذيرفت. در سال­هاي بعد عملکرد طبقه­بندي کننده­هاي ديگر از قبیل شبکه‌های عصبي، نزديک­ترين همسايه، کمترين فاصله، بيشترين شباهت، درخت تصميم­گيري و آناليز تفکيک کرنل فيشر در مقايسه با ماشين­هاي بردار پشتيبان بررسي شد که نتايج حاکي از برتري ماشين­هاي بردار پشتيبان مي­باشد ]3، 4، 5، 6[. از این رو در اين تحقيق از طبقه­بندي کننده ماشين­هاي بردار پشتيبان به منظور پردازش تصوير فرا طیفی استفاده شده است.

هرچند ماشين­هاي بردار پشتيبان به عنوان ابزاري کارا در طبقه­بندي تصاوير فرا طیفی به کار برده شده‌اند، به منظور بهبود عملکرد اين طبقه­بندي کننده به لحاظ دقت و پيچيدگي­هاي محاسباتي، مي­بايست به دو عامل تأثیرگذار توجه شود: پارامترهاي طبقه­بندي کننده و باندهاي ورودي آن. از این رو مطالعات گوناگوني بر مبناي بهينه­سازي سيستم طبقه­بندي تصاوير فرا طیفی ارائه شده­اند. تحقيقات موجود در اين زمينه را مي­توان در سه بخش انتخاب مدل، انتخاب ويژگي و حل همزمان این دو دسته­بندي کرد.

انتخاب بهينه پارامترهاي تشکيل دهنده مدل در ماشين­هاي بردار پشتيبان از تأثیر مستقيمي در کارایی اين روش برخوردار مي­باشند [13]. دو دسته پارامتر در اين طبقه­بندي کننده­ها وجود دارد. «پارامتر تنظيم» که تعادل بين کمينه شدن خطا و کمينه شدن پیچیدگی‌های مدل را برقرار می‌کند (پارامتر C) و «پارامترهاي کرنل» که با توجه به کرنل انتخابي، متغيرهاي آن کرنل جزء مجهولات می‌شوند. مانند img0 در کرنل گوسين و d در کرنل پلي نوميال [13].

همان طور که در بخش قبل بيان شد، ماشين­هاي بردار پشتيبان ذاتاً باينري هستند و براي مسائل چند کلاسه از ترکيب چندين طبقه­بندي کننده باينري استفاده مي­شود. از اين نقطه نظر مي­توان الگوريتم­هاي موجود در تعیین پارامترهاي ماشين­هاي بردار پشتيبان که انتخاب مدل نيز ناميده مي­شوند، را به دو دسته تقسيم کرد. در دسته اول تکنيک­هاي انتخاب مدل، براي همه­ي ماشين­هاي بردار پشتيبان باينري يک دسته پارامتر يکسان در نظر گرفته مي­شود [13, 26]. در حالی که در دسته دوم، براي هر طبقه‌بندی کننده باينري يکسري پارامتر متفاوت تعيين مي­شود [23, 27]. تحقيقات انجام شده نشان داده است که با اضافه شدن مجهولات در اکثر موارد نه تنها دقت طبقه­بندي بالا نمي­رود بلکه به دليل بيش تطابق نمودن به داده­هاي آموزشي، سيستم طبقه­بندي داراي قدرت تعميم کمي خواهد بود [27]. در نتيجه در اين تحقيق از يک دسته پارامتر براي همه ماشين­هاي بردار پشتيبان باينري استفاده می‌شود.

در سال­هاي اخير روش­هاي متنوعي به منظور تعيين پارامترهاي بهينه در ماشين­هاي بردار پشتيبان، توسط محققين مختلف ارائه گرديده است [11-13]. الگوريتم جستجوي شبکه­اي، روش رايج در انتخاب پارامترهاي بهينه مدل مي­باشد. در اين روش، شبکه­اي k بعدي بر روي محدوده پارامترها قرار مي­گيرد که k تعداد پارامترهاي مجهول مي­باشد (در اين تحقيق براي به کارگيري هر دو کرنل گوسين و پلي­نوميال k=2 در نظر گرفته شده است). سپس کيفيت تمام مجموعه جواب­هاي ممکن در نقاط شبکه ارزيابي مي­شود و آن دسته از پارامترهايي که کمترين خطاي طبقه­بندي را دارند، به عنوان پارامترهاي ماشين­هاي بردار پشتيبان انتخاب مي­شوند [28]. به علت پيوسته بودن مقادير پارامترهاي مورد نظر، براي رسيدن به دقت بالا مي­بايست شبکه­اي با تراکم بالا در نظر گرفته شود که بررسي تمام اين نقاط شبکه زمان محاسبات را به شدت افزايش مي­دهد.

با توجه به محدوديت­هاي روش جستجوي شبکه­اي در زمان و محاسبات، الگوریتم‌های بهينه سازي مختلفي براي حل اين مسئله در نظر گرفته شده‌اند: الگوریتم‌های خرد جمعي [12, 27]، شبيه سازي تبريد تدريجي [18] و الگوريتم ژنتيک [13, 23, 26].

 در اين بين، الگوريتم ژنتيک از الگوریتم‌های فرا ابتکاري هستند که به طور موفقيت آميز و گسترده­اي در سال­هاي اخير در زمينه انتخاب پارامترهاي بهينه مدل در ماشين­هاي بردار پشتيبان استفاده شده­اند [23, 26]. الگوريتم ژنتيک به دو شکل در انتخاب مدل مي­تواند استفاده گردد: کدگذاري اعداد حقيقي [13, 23] و کدگذاري باينري [15, 26].

دسته ديگر مطالعات در زمينه بهينه­سازي سيستم­هاي طبقه­بندي، به مسئله انتخاب زيرمجموعه بهينه باندهاي ورودی مي­پردازند. الگوريتم­هاي انتخاب ويژگي را مي­توان به دو دسته پوششي7 و فيلتر8 تقسيم کرد. تکنيک­هاي پوششي به منظور ارزيابي کيفيت زيرمجموعه ويژگي­هاي انتخاب شده، از دقت طبقه­بندي کننده استفاده مي­کنند. در مقابل الگوريتم­هاي فيلتر، از معيارهاي ديگري مانند جداسازي بين کلاس­ها، قدرت نمايش و غيره استفاده مي­کند. اين دسته از تکنيک­ها داراي سرعت بالايي هستند ولي لزوماً داراي دقت طبقه­بندي مناسبي نيستند [14]. با توجه به اهميت دقت طبقه­بندي در اين تحقيق از روش­هاي پوششي که در آن کيفيت باندهاي انتخابي به وسیله دقت طبقه­بندي کننده­ي ماشين­هاي بردار پشتيبان بدست مي­آيد، استفاده خواهد شد.

با توجه به ابعاد بالاي ورودي در تصاوير فرا طیفی، انتخاب يک زير مجموعه بهينه از باندها بدون پيش فرضي در مورد تعداد باندهاي بهينه يک مسئله بهينه­سازي NP-hard مي­باشد [29]. در اين راستا در سال­هاي اخير الگوريتم­هاي بهينه­سازي مختلفي از قبيل جستجوي ممنوع9 [30]، الگوريتم­هاي خرد جمعي [31, 32] و الگوريتم ژنتيک [14, 16, 33] براي حل اين موضوع ارائه گرديده است. با توجه به ساختار الگوريتم ژنتيک در حالت باينري، مسئله انتخاب ويژگي سازگاري بسيار مناسبي با الگوريتم ژنتيک دارد. لذا تحقيقات بسياري در رابطه با انتخاب ويژگي بر مبناي الگوريتم ژنتيک در زمينه­هاي گوناگون و با طبقه­بندي کننده­هاي مختلف وجود دارد [14, 33].

در سال 2006 هوئرتا و همکاران از الگوريتم ژنتيک به منظور کاهش ابعاد داده­هاي پزشکی استفاده کردند. در اين تحقيق در ابتدا در مرحله پيش پردازش با منطق فازي ابعاد فضاي ورودي را کاهش داده و سپس با الگوريتم پوششي بر مبناي الگوريتم ژنتيک در فضاي کاهش يافته، ويژگي­هاي بهينه انتخاب گرديد. همچنين پارامترهاي ماشين­هاي بردار پشتيبان ثابت در نظر گرفته شد [14].

در سال 2008، بهاتيا و همکاران از الگوريتم ژنتيک که با اعداد صحيح کدگذاري شده بود به منظور انتخاب ويژگي با طبقه­بندي کننده ماشين­هاي بردار پشتيبان استفاده کردند [34]. در الگوريتم ارائه شده، طول کروموزم به تعداد ويژگي­هايي است که انتخاب خواهد شد و درايه­هاي کروموزم شماره­هاي ويژگي­هاي انتخاب شده مي­باشد. پارامترهاي ماشين­هاي بردار پشتيبان نيز قبل از انتخاب ويژگي با بررسي چندين مقدار و انتخاب بهترين آن­ها محاسبه شده است [34]. محدوديت اين روش نياز به دانستن تعداد ويژگي­هاي بهينه به عنوان اطلاعات از پيش تعريف شده در مسئله مي­باشد. از آنجایي که اين پارامتر از قبل مشخص نيست، به ازاي مقادير مختلف آزمايش تکرار شده و زير مجموعه ويژگي­ها با بهترين دقت طبقه­بندي انتخاب شد که البته اين روش در فضاي با ابعاد بالا امکان پذير نيست.

در سال 2009، ژانگ و همکاران الگوريتمي براي سرعت بخشيدن به انتخاب ويژگي بر مبناي الگوريتم ژنتيک ارائه دادند [16]. در این مقاله براي ارزيابي هر عضو در الگوريتم ژنتيک، ابتدا پارامترهاي ماشين­هاي بردار پشتيبان با الگوريتم جستجوي شبکه­اي محاسبه و سپس با ارزيابي 10 قسمتي، دقت محاسبه مي­شود. به علت حجم محاسباتي بالاي اين الگوريتم از تکنيک محاسباتي موازي سازي10 در الگوريتم ژنتيک و ماشين­هاي بردار پشتيبان استفاده شده است [16].

در سال 2012، سنتوس و همکاران از الگوريتم ژنتيک به منظور انتخاب ويژگي بر اساس روش فيلتر استفاده کردند و سه روش طبقه­بندي ماشين­هاي بردار پشتيبان، نزديک­ترين همسايگي و شبکه­هاي عصبي به منظور ارزيابي نتايج پياده­سازي شد ]35[.

از آنجایی که پارامترهاي ماشين­هاي بردار پشتيبان دارای تأثیر متقابل بر زير مجموعه ويژگي­هاي مورد استفاده در طبقه­بندي است، راه حل بهينه در انجام طبقه­بندي حل همزمان پارامترها و فضاي ويژگي مي­باشد [20]. با اين وجود با بزرگ شدن فضاي جستجو و پيچيده شدن آن، نياز به استفاده از تکنيک­هاي بهينه­سازي قدرتمندي در اين وضعيت مطرح مي­گردد. در سال­هاي اخير الگوريتم­هاي فرا ابتکاري متنوعي براي حل اين مسئله مانند الگوريتم­هاي خرد جمعي [17, 19]، شبيه­سازي تبريد تدريجي [18] و الگوريتم ژنتيک [15, 20, 36, 37] توسط محققين مختلف ارائه شده است.

در حل همزمان انتخاب مدل و ويژگي توجه به ماهيت متفاوت اين دو مسئله ضروري مي­باشد که در آن پارامترهاي ماشين­هاي بردار پشتيبان داراي ماهيتي پيوسته است، برخلاف ويژگي­هاي ورودي که داراي ماهيتي گسسته می‌باشد. به منظور ادغام اين دو مفهوم، دو راه حل در مطالعات ارائه شده است [20, 38]. در روش اول بردار ويژگي­ها نيز در کنار پارامترها به صورت پيوسته مدل‌سازی شده و با استفاده از توابعي همچون سيگمويد به بازه  [0,1]منتقل مي­شود و براي ارزيابي ويژگي­هاي انتخاب شده، اين ويژگي­ها به فضاي باينري منتقل مي­شوند [20, 38]. در روش دوم پارامترهاي ماشين­هاي بردار پشتيبان، تبديل به فرمت باينري شده و در کنار بردار ويژگي­هاي انتخابي قرار مي­گيرند [20].

در سال 2005، سوزا و کاروالو مقدار پارامتر تنظيم و زيرمجموعه بهينه ويژگي­ها را بر مبناي الگوريتم ژنتيک باینری تعیین نمودند و مقدار پارامتر کرنل در اين روش ثابت در نظر گرفته شد. همچنين در اين تحقيق تنها سه مقدار ممکن براي پارامتر تنظيم در نظر گرفته شده است [39].

در سال 2006، هوانگو وانگ پارامترهاي کرنل RBF به همراه ويژگي­هاي ورودي در حالت باينري بهينه گرديد. نتايج بدست آمده در اين روش با تکنيک جستجوي شبکه­اي که قابليت انتخاب ويژگي ندارد، مقايسه گرديده است که نشان می‌دهد، الگوريتم پيشنهادي با ويژگي­هاي انتخاب شده به دقت بالاتري مي­رسد [20].در همين سال بِگي و مِلگاني الگوريتم ژنتيک را با کروموزم­هايي به طول تعداد ويژگي­ها به علاوه 2 (دو پارامتر کرنل) پياده سازي کردند. براي ارزيابي الگوريتم ارائه شده، از تصاوير فرا طیفی استفاده کردند [7].

در سال 2007، مِجيا-گوئواراو اکوري-مولارساز ماشین‌های بردار پشتيبان براي رگرسيون استفاده کردند که در اين حالت سه پارامتر مجهول برای ماشين­هاي بردار پشتيبان وجود دارد. در اين مقاله علاوه بر ويژگي و پارامترها، احتمال ترکيب و جهش در الگوريتم ژنتيک نيز به عنوان مجهول در نظر گرفته شده است. براي نمايش راه حل با کروموزم، از کدگذاري باينري استفاده شد [36].

ژو و همکاران در سال 2008 الگوريتم ارائه شده در [20] را بر روي تصاوير فرا طیفی هايپريون آزمايش کردند و مشاهده گرديد نتايج بدست آمده نسبت به زماني که از همه باندها استفاده شده باشد، بهبود يافته است [15]. در اين مطالعه تأثیر روش پيشنهادي تنها با استفاده از يک کرنل و يک روش چند کلاسه در ماشين­هاي بردار پشتيبان بررسي شد.

در سال 2009، اکوي الگوريتمي ارائه داد که علاوه بر ويژگي و پارامترها، نوع کرنل نيز در يک پروسه مبتني بر الگوريتم ژنتيک بهينه مي­گرديد. در اين مقاله، از انتقال موجک براي استخراج ويژگي استفاده گرديده و براي اين منظور 16 نوع موجک و 8 نوع کرنل در نظر گرفته شده است. بعد از پايان الگوريتم، نوع موجک و کرنل بهينه به همراه پارامترهاي آن بدست مي­آيد [38].

در سال 2011، ژائو و همکاران از الگوريتم ژنتيک در بهينه­سازي ماشين­هاي بردار پشتيبان به منظور طبقه­بندي داده­هاي UCI استفاده کردند ]40[. در همين سال چِن و همکاران در پيش­بيني ورشکستگي بانک­ها از الگوريتم بهينه­سازي ژنتيک به منظور بهبود عملکرد سيستم تصميم­گيري بر مبنای انتخاب زيرمجموعه ويژگي­هاي بهينه و تعيين پارامترهاي شبکه عصبي (پيش­بيني کننده) استفاده شد ]41[.

4.       تعيين طبقه­بندي کننده بهينه ماشین‌های بردار پشتيبان بر مبناي الگوريتم ژنتيک

در سال­هاي اخير ماشین‌های بردار پشتيبان به عنوان يکي از کاراترين طبقه­بندي کننده­هاي پايدار در تصاوير فرا طیفی مطرح شده­اند [3]. يکي از عوامل موثر بر عملکرد ماشین‌های بردار پشتيبان، پارامترهاي آن مي­باشند [23]. انتخاب زير مجموعه بهينه به عنوان ورودي طبقه­بندي يک گام مهم ديگر در بهينه­سازي ماشين­هاي بردار پشتيبان به منظور طبقه­بندي تصاوير فرا طیفی است. هرچند ماشين­هاي بردار پشتيبان در فضاي با ابعاد بالا پايدار مي­باشند ولي انتخاب زيرمجموعه بهينه از ويژگي­ها مي­تواند با حذف ويژگي­هاي اضافي و زائد عملکرد طبقه­بندي کننده را از لحاظ دقت، سرعت و هزينه بهبود ببخشد [16].

با توجه به عوامل تأثیرگذار بر عملکرد ماشين­هاي بردار پشتيبان، به منظور تعيين يک سيستم طبقه­بندي بهينه در فضاي با ابعاد بالاي تصاوير فرا طیفی، مي­بايست از يک تکنيک بهينه­سازي قدرتمند بهره برد [20]. الگوريتم­هاي فرا ابتکاری، تکنيک­هاي محاسباتي هستند که در يک پروسه تکراري با توجه به تابع هدفي که کيفيت راه­حل را بيان مي­کند، راه­حل­هاي کانديد را بهبود مي­بخشند (بدون پيش فرضي راجع به مسئله) و معمولاً در فضاي جستجوي بزرگ کارا عمل مي­کنند [24]. در نتيجه اين دسته الگوريتم­ها گزينه­اي مناسب در بهينه­سازي سيستم طبقه­بندي تصاوير فرا طیفی بر مبناي ماشين­هاي بردار پشتيبان باشند.

الگوريتم ژنتيک يک نمونه از الگوريتم­هاي فرا ابتکاری مي­باشد که با موفقيت در بسياري از مسائل بهينه­سازي در کاربردهاي مختلف به کار گرفته شده است [14, 20, 25] . اين الگوريتم، روشي جمعيت مبنا مي­باشد که در يک پروسه تکراري تکاملي کيفيت جمعيت را بهبود مي­بخشد. در اين الگوريتم ابتدا مي­بايست راه­حل را به صورت يک رشته باينري که کروموزم ناميده مي­شود، نمايش دهيم. در مرحله بعد جمعيت اوليه به صورت تصادفي ساخته و کيفيت آن به وسيله تابع هدف ارزيابي مي­شود.

سه عملگر اصلي در الگوريتم ژنتيک عبارتند از: انتخاب، تلفيق و جهش. پس از اندازه­گيري کيفيت اعضاء، احتمال انتخاب هر عضو براي شرکت در مرحله تلفيق مشخص مي­شود و با استفاده از چرخ گردان11 کروموزم­هاي منتخب مشخص و وارد نسل بعد مي­شود. انتقال نخبه12 هر مرحله که مستقيماً به مرحله بعد منتقل مي­شود نيز به منظور حفظ نتايج مطلوب در نظر گرفته شده است.

يک تکنيک رايج مرحله تلفيق13، روش تک نقطه‌ای14 مي­باشد که در اين تحقيق نيز مورد استفاده قرار گرفته است. تلفيق تک نقطه‌ای توسط انتخاب يک نقطه به صورت تصادفي در کروموزم و تعويض اطلاعات دو کروموزم والد از نقطه مشخص شده، صورت مي­پذيرد.

به منظور ارزيابي مناطق جديد در فضاي جستجو، از جهش15 استفاده مي­شود تا الگوريتم قابليت جستجوي تصادفي را نيز داشته باشد. عملگر جهش باينري16 با تغيير مقدار درایه‌هایی (0 را به 1 و بالعکس) که احتمال آنها از احتمال جهش بيشتر شده است، عمل مي­کند. اين پروسه تکرار مي­شود تا شرط توقف (حداکثر تکرار و يا عدم تغيير بهترين مقدار در طي تکرارهاي مشخص) برقرار شود [21].

با توجه به انعطاف پذيري الگوريتم ژنتيک نسبت به ديگر روش­هاي ديگر در زمينه بهينه­سازي فرا ابتکاری و حساسيت کمتر آن به تعريف پارامترهاي مبنايي، در اين تحقيق از الگوريتم ژنتيک به منظور انتخاب مدل، انتخاب ويژگي و حل همزمان اين دو مسئله استفاده گرديد.

4.1.       انتخاب مدل

در روش پيشنهادي اين تحقيق، با در نظر گرفتن عملگرهاي معمول در کدگذاري باينري و همچنين ذات باينري قسمت­هاي بعدي، از کدگذاري باينري استفاده شده است. همچنين هر کروموزم نمايشگر دو پارامتر تنظيم و کرنل مي­باشد که با يک رشته از صفر و يک تعريف مي­شود (شکل 2). طول کروموزم متناسب با محدوده تغييرات پارامترها و همچنين دقت مورد نياز مسئله تعيين مي­گردد.

      

0

1

...

1

0

1

0

...

0

1

شکل 2- نمايش باينري پارامترهاي ماشين­هاي بردار پشتيبان

براي ارزيابي کيفيت هر عضو، می‌بایست هر يک از دو قسمت کروموزم به عدد حقيقي تبديل شود. براي اين منظور، از رابطه (6) استفاده مي­کنيم.

img0(6)

 

که در اين رابطه، p مقدار حقيقي پارامتر، minp و maxp به ترتيب کمينه و بيشينه مقدار پارامتر، l تعداد بيت­هاي نمايشگر پارامتر و d مقدار عددي رشته باينري در پايه 10 مي­باشد.

 در مرحله بعد ماشين­هاي بردار پشتيبان به وسيله داده­هاي آموزشي و پارامترهاي محاسبه شده، آموزش ديده و ابر صفحه­هاي مورد نظر ساخته مي­شوند. سپس به منظور محاسبه تابع هدف، داده­هاي تست به وسيله ماشين­هاي بردار پشتيبان آموزش ديده، طبقه­بندي مي­شود و سپس ماتريس خطا تشکيل مي­شود. از ضريب کاپا به علت استفاده از تمام اطلاعات ماتريس خطا، به عنوان دقت طبقه­بندي و تابع هدف در اين بخش استفاده گرديد که با رابطه (7) تعريف مي­شود.

img0 

(7)

در اين رابطه، N تعداد کل نمونه‌ها، r تعداد کلاس‌ها، xii عناصر روي قطر اصلي ماتريس خطا، xi+ جمع حاشيه اي سطرها و x+iجمع حاشيه اي ستون‌ها مي­باشد. پس از ارزيابي اعضا، سه مرحله انتخاب، تلفيق و جهش بر روي فرمت باينري پارامترها انجام مي­شود و جمعيت جديد ساخته مي­شود و اين مراحل تکرار مي­شود تا شرط توقف برقرار شود (شکل 3).

4.2.       انتخاب ويژگي

انتخاب ويژگي يکي از مراحل تأثیرگذار در طبقه­بندي تصاوير فرا طیفی بر مبناي ماشين­هاي بردار پشتيبان می‌باشد که در آن با حذف باندهاي نامربوط و نويزي، عملکرد طبقه­بندي کننده را از لحاظ دقت و سرعت بهبود مي­بخشد.

در روش پيشنهادي اين تحقيق، انتخاب ويژگي بر مبناي الگوريتم ژنتيک با استفاده از تکنيک پوششي پياده­سازي شده است. در مرحله پيش پردازش روش پيشنهادي ابتدا با حضور همه باندها، مقادير در پروسه اصلي انتخاب ويژگي­هاي بهينه، از کدگذاري باينري پارامترهاي ماشين­هاي بردار پشتيبان با روش جستجوي شبکه­اي تعيين و اين مقادير در طول پروسه انتخاب ويژگي ثابت در نظر گرفته شدند.

 

 

شکل 3- فلوچارت تعيين مقادير بهينه پارامترهاي ماشين­هاي بردار پشتيبان بر مبناي الگوريتم ژنتيک

استفاده شد که در آن هر عضو جمعيت به وسيله يک رشته از 0 و 1 به طول تعداد باندهاي تصوير فرا طیفی نمايش داده مي­شود (شکل 4). در اين کروموزم، مقدار بيت 0 به معناي حذف باند متناظر و 1 به معناي انتخاب آن مي­باشد.

1

0

0

1

1

...

1

0

1

0

طول کروموزم به تعداد باندهاي تصوير فرا طیفی

 

شکل 4- نمايش کروموزم به منظور انتخاب ويژگي بر مبناي الگوريتم ژنتيک

به منظور تعريف معياري براي ارزيابي کيفيت زير مجموعه ويژگي­هاي انتخاب شده، مي­بايست دو پارامتر دقت طبقه­بندي و تعداد ويژگي­هاي انتخاب شده را در نظر گرفت. به عبارت ديگر، طبقه­بندي بر مبنای زیرمجموعه ويژگي­هاي مطلوب داراي دقت طبقه­بندي بالاتر و تعداد ويژگي­هاي انتخاب شده کمتر مي­باشد. لذا تابع هدف با قرار دادن این دو معيار در يک تابع تعريف مي­شود و مسئله به بيشينه سازي معادله (8) تبديل می‌شود.

img0(8)

 

در اين رابطه، f مقدار تابع هدف، w يک کميت ثابت در بازه ]1و0 [می‌باشد که وزن بين دقت طبقه­بندي و تعداد ويژگي­ها را مشخص مي­کند. همچنين accuracy، دقت طبقه­بندي مي­باشد که با رابطه (7) محاسبه مي­شود و Nf تعداد باند­هاي انتخاب شده مي­باشد.

پس از ارزيابي اعضاي جمعيت، سه عملگر انتخاب، تلفيق و جهش با توجه به کيفيت هر عضو عمل مي­کنند و مجدداً جمعيت ساخته شده توسط تابع هدف ارزيابي خواهد شد و اين پروسه تکرار مي­شود تا شرط توقف برقرار گردد (شکل 5).

 

شکل 5- فلوچارت انتخاب زير مجموعه بهينه باندها بر مبناي الگوريتم ژنتيک

4.3.       حل همزمان پارامتر و ويژگي

با توجه به هدف اين تحقيق که حل همزمان تعيين پارامتر و انتخاب ويژگي در اين بخش مي­باشد، در روش پيشنهادي ويژگي­ها و پارامترهاي کرنل در کروموزم به صورت باينري کدگذاري مي­شود. هر کروموزم از سه قسمت تشکيل شده است: ويژگي­ها، پارامتر تنظيم و پارامتر کرنل (شکل 6). طول قسمت اول به تعداد باندهاي تصوير و طول دو قسمت آخر به دقت مورد نياز براي پارامترها بستگي دارد.

 

1

0

...

0

1

0

...

1

1

...

0

 

 

شکل 6- نمايش کروموزم به منظور حل همزمان انتخاب ويژگي و پارامترهاي کرنل

در اين مرحله بعد از ساخت جمعيت اوليه به صورت تصادفي، به منظور ارزيابي اعضاي جمعيت، با توجه به قسمت اول کروموزم (ویژگی‌های انتخاب شده) در داده هاي آموزشي با باندهاي انتخاب شده استخراج مي­شود. سپس دو قسمت پارامترها با استفاده از رابطه (6) به مقدار حقيقي تبديل می‌شود و ماشين­هاي بردار پشتيبان با استفاده از داده هاي آموزشي با باندهاي منتخب و پارامترهاي بدست آمده، آموزش داده مي­شود. در مرحله بعد داده هاي تست توسط ماشین‌های بردار پشتيبان آموزش ديده طبقه­بندي مي­شوند و ماتريس خطا تشکيل و دقت طبقه­بندي با رابطه (7) محاسبه مي­شود. سپس با توجه به قسمت اول هر عضو که بيانگر تعداد باندهاي انتخابي است و دقت بدست آمده، مقدار تابع هدف با رابطه (8) محاسبه مي­شود. در ادامه مشابه مسائل قبل، مراحل انتخاب، تلفيق و جهش انجام و اين مراحل تکرار مي­شود تا شرط توقف برقرار شود (شکل 7).

 

شکل 7- فلوچارت تعيين مقادير بهينه پارامترهاي ماشين­هاي بردار پشتيبان و زيرمجموعه بهينه باندها بر مبناي الگوريتم ژنتيک

5.       نتايج عملي

به منظور ارزيابي توانايي روش­هاي ارائه شده در اين تحقيق، نسبت به پياده­سازي و به کارگيري آن­ها در طبقه­بندي تصوير فرا طیفی سنجنده AVIRIS اقدام گرديد. نتايج حاصل در قالب سه گروه: انتخاب پارامترهاي مدل، انتخاب ويژگي و حل همزمان هردو شرح داده شده است. در ماشين­هاي بردار پشتيبان از دو کرنل گوسين و پلي­نوميال و دو روش چند کلاسه «يک در مقابل يک» و «يک در مقابل مابقي» استفاده شده است. به منظور مقايسه نتايج بدست آمده، الگوريتم شبيه­سازي تبريد تدريجي نيز پياده­سازي شد.

5.1.       مشخصات داده

براي پياده سازي الگوريتم­هاي ارائه شده از تصوير فرا طیفی مربوط به منطقه اي کشاورزي-جنگلي که توسط سنجنده AVIRIS در سال 1992 از شمال شرقي ايالت اينديانا اخذ شده، استفاده گرديد. به دليل شباهت بين کلاس­ها، اين تصوير داراي پيچيدگي­هايي براي طبقه بندي است. اين تصوير داراي 220 باند مي­باشد که 15 باند نويزي و 20 باند جذبي آب حذف گرديد و در نهايت از 185 باند باقيمانده استفاده شد. تصوير داراي 145×145 پيکسل، دقت راديومتريک 8 بيت و داراي 16 کلاس می‌باشد که برخي از کلاس­ها به دليل کوچک بودن تعداد نمونه­هاي آموزشي براي ارزيابي مناسب نمي­باشد. به همين علت از 9 کلاس که بيشترين داده را در مقايسه با ديگر کلاس­ها داشتند، در اين تحقيق استفاده شده است.

5.2.       تنظيم پارامترها

به منظور تعيين پارامترهاي ماشين­هاي بردار پشتيبان و فضاي ويژگي، پارامترهاي الگوريتم ژنتيک مي­بايست تنظيم شوند. پارامترهاي مورد استفاده در الگوريتم ژنتيک به صورت تجربي و با آزمون و خطا طبق جدول 1 بدست آمدند.

تعداد بيت­هاي مورد نياز براي نمايش پارامتر تنظيم، پارامتر کرنل گوسين و درجه پلي­نوميال به ترتيب 20، 22 و 4 تعيين شدند. در پروسه انتخاب ويژگي و حل همزمان تعيين پارامترها و انتخاب ويژگي با در نظر گرفتن ابعاد بزرگ فضاي جستجو و به منظور تعيين جمعيت اوليه مناسب ابتدا يک جمعيت با ابعاد بزرگ به صورت اوليه ساخته مي­شود و سپس اعضاي برتر به عنوان جمعيت اوليه انتخاب مي­شود. همچنين در تابع هدف، مطابق معادله (8) با توجه به اهميت بيشتر دقت نسبت به تعداد ويژگي، w=0.8 در نظر گرفته شد.

جدول1- پارامترهاي الگوريتم ژنتيک

روش

پارامتر

مقدار

انتخاب مدل

سايز جمعيت

5

طول کروموزم (گوسين)

42

طول کروموزم (پلي­نوميال)

24

انتخاب ويژگي

سايز جمعيت اوليه

300

سايز جمعيت

30

طول کروموزم

185

حل همزمان تعيين پارامتر و انتخاب ويژگي

سايز جمعيت اوليه

500

سايز جمعيت

50

طول کروموزم (گوسين)

227

طول کروموزم (پلي­نوميال)

209

پارامترهای عمومی

نرخ تلفيق

5/0

نرخ جهش

05/0

حداکثر تکرار

300

 

 

 

پارامترهاي الگوريتم شبيه­سازي تبريد تدريجي نيز به گونه‌ای تنظيم شده­اند که داراي حجم محاسباتي يکسان با الگوريتم ژنتيک باشند. همچنين پارامتر دماي اوليه و نرخ کاهش دما، به ترتيب 1000 و 01/0 در نظر گرفته شد.

5.3.       ارزيابي نتايج

img0يکي از پارامترهاي تأثیرگذار در طبقه بندي، تعيين معياري براي ارزيابي نتايج مي­باشد. براي اين منظور ابتدا 50% داده­ها به صورت تصادفي به داده آموزشي و 50% باقيمانده به داده تست تخصيص داده شد. ماشين­هاي بردار پشتيبان بر روي داده­هاي آموزشي، آموزش ديده و ماتريس خطا با استفاده از داده­ تست تشکيل داده شد. دو معيار کلي ارزيابي دقت که از ماتريس خطا محاسبه مي­شوند، عبارتند از: ضريب کاپا که با رابطه (7) محاسبه و دقت کلي که به رابطه (9) محاسبه می‌گردد.

(9)

img0در اين رابطه، N تعداد کل نمونه‌ها، r تعداد کلاس‌ها و xii عناصر روي قطر اصلي ماتريس خطا مي­باشد معيار ديگري که براي بررسي نتايج استفاده گرديد، دقت براي هر کلاس می‌باشد که با رابطه (10) محاسبه می‌شود.

(10)

از آنجایی که ضريب کاپا و دقت کلي معيارهايي کلي براي طبقه­بندي مي­باشد، استفاده از دقت هر کلاس مي­تواند به صورت مناسب نمايانگر نحوه پخش خطا در بين کلاس­ها باشد. از این رو در اين تحقيق در کنار معيارهاي کلي، از دقت هر کلاس نيز استفاده گرديد. در ادامه نتايج بدست آمده در 3 رويکرد بيان شده، ارائه گرديده است.

5.3.1.                      نتايج انتخاب پارامترهاي بهينه مدل

به منظور ارزيابي اثر هر يک از پارامترهاي ماشين­هاي بردار پشتيبان (C, d,img0) بر روي دقت طبقه­بندي تصاوير فرا طیفی، روند ذيل انجام پذيرفت. ابتدا در کرنل گوسين، پارامتر کرنل ثابت در نظر گرفته شد و دقت طبقه­بندي بر اساس تغييرات پارامتر C محاسبه شد (شکل 8- الف). سپس با تغيير پارامترimg0 و ثابت نگه داشتن پارامتر C، اثر پارامتر کرنل گوسين اندازه­گيري شد (شکل 8- ب). در نهايت در کرنل پلي­نوميال، اثر درجه آن بر دقت طبقه­بندي بدست آمد (شکل 8- ج).

 

(الف)

 

(ب)

 

(ج)

شکل8- تأثیر پارامترهاي ماشين­هاي بردار بر دقت طبقه­بندي، الف) تأثیر پارامتر تنظيم ب) تأثیر پارامتر کرنل گوسين ج) تأثیر درجه پلي نوميال

همان طور که در شکل 8 ديده می‌شود، هر سه پارامتر تأثیر بسزايي بر عملکرد طبقه­بندي کننده دارند و در نتيجه تعيين مقدار بهينه اين پارامترها از تأثیر بسزايي در دقت طبقه­بندي برخوردار مي­باشد. از این رو در اين مرحله از جستجوي شبکه­اي، الگوريتم شبيه­سازي تبريد تدريجي و الگوريتم ژنتيک براي تعيين مقادير بهينه پارامترهاي دو کرنل گوسين و پلي­نوميال استفاده گرديد. به منظور تعيين پارامترهاي ماشين­هاي بردار پشتيبان مبتني بر اين سه روش، پارامترهاي img0و d به ترتيب در بازه­هاي img0، img0 و img0 در نظر گرفته شدند. نمودار همگرايي انتخاب مدل بر مبناي الگوريتم شبيه­سازي تبريد تدريجي و الگوريتم ژنتيک به ترتيب در شکل­هاي 9 و 10 نمايش داده شده است. نمودار همگرايي الگوريتم ژنتيک حاکي از همگرايي سريع آن (حداکثر 30 تکرار) به مقدار بهينه می‌باشد؛ در حالی که الگوريتم شبيه­سازي تبريد تدريجي نياز به تکرارهاي بيشتري براي همگرايي دارد.

به منظور مقايسه نتايج بدست آمده، روش کلاسيک جستجوي شبکه­اي پياده سازي گرديد. تغيير نمايي پارامترهاي تنظيم و کرنل گوسين در اين روش به صورت تجربي بدست آمده است. ابتدا دقت طبقه‌بندی با تمام زوج پارامترها در هر کرنل محاسبه و در نهايت، زوج پارامتر با بيشترين دقت طبقه­بندي به عنوان مقادير نهايي ماشين­هاي بردار پشتيبان انتخاب شدند. از آنجایی که الگوريتم جستجوي شبکه­اي به منظور تعيين مقادير بهينه پارامترها جستجوي جامع انجام می‌دهد، می‌توان انتظار داشت که دقت بدست آمده از اين روش، دقتي نزديک به بهينه باشد و در نتيجه معيار مناسبي به منظور مقايسه با الگوريتم ژنتيک و شبيه­سازي تبريد تدريجي باشد.

 

 

شکل 9- نمودار همگرايي تعيين پارامترهاي ماشين­هاي بردار پشتيبان بر مبناي الگوريتم شبيه­سازي تبريد تدريجي براي کرنل گوسين و پلي­نوميال در دو حالت يک در مقابل يک و يک در مقابل مابقي

 

شکل 10- نمودار همگرايي تعيين پارامترهاي ماشين­هاي بردار پشتيبان بر مبناي الگوريتم ژنتيک براي کرنل گوسين و پلي­نوميال در دو حالت يک در مقابل يک و يک در مقابل مابقي

مقادير بهينه پارامترها و دقت متناظر با آن، براي دو کرنل گوسين و پلي­نوميال در دو حالت چند کلاسه، يک در مقابل يک و يک در مقابل مابقي در جدول 2 ارائه شده است. همچنين دقت هر کلاس با رابطه (10) محاسبه و در جدول 2 ارائه شده است.

همان طور که در جدول2 نشان داده شده است، دقت کلي طبقه­بندي در روش­هاي الگوريتم ژنتيک، شبيه­سازي تبريد تدريجي و جستجوي شبکه­ای نزديک به هم مي­باشد. با توجه به حجم محاسباتي کمتر الگوريتم ژنتيک، سرعت همگرايي بالا و عدم جستجوي جامع، مي­تواند در زمان محاسباتي کمتر، به دقتي نزديک و يا بالاتر از الگوريتم جستجوي شبکه­اي و شبيه­سازي تبريد تدريجي برسد. ولي نحوه پخش خطا در سه روش متفاوت است. از این رو در برخي از کلاس­ها، دقت تعيين پارامتر بر مبناي الگوريتم ژنتيک، در برخي الگوريتم شبيه­سازي تبريد تدريجی و در برخي کلاس­ها الگوريتم جستجوي شبکه­اي به دقت بالاتري رسيده است.

 

 

 

[1]  1 Hughes phenomena

[2]  2 Over-fitting

[3]  3 Support Vector Machines

[4] 1 Meta-heuristic

[5] 2 Exploration

[6] 3 Exploitation

[7]  1Wrapper

[8]  2Filter

[9]  3Tabu Search

[10] 1 Parallelization

[11] 1 Roulette wheel

[12] 2 Elite

[13] 3 Crossover

[14] 4 Single Point

[15] 5 Mutation

[16] 6 Bit-Flip

جدول2- نتايج تعيين پارامترهاي بهينه بر مبناي الگوريتم ژنتيک، شبيه­سازي تبريد تدريجي و جستجوي شبکه­اي        

ضريب کلي

کاپا

کلاس 9

کلاس 8

کلاس 7

کلاس 6

کلاس 5

کلاس 4

کلاس 3

کلاس 2

کلاس 1

پارامتر کرنل

پارامتر تنظيم

تکنيک

83/84

82/0

594/0

872/0

868/0

569/0

982/0

653/0

1

1

816/0

2048

64

شبکه­اي

گوسين، يک در مقابل يک

47/85

828/0

562/0

882/0

869/0

642/0

982/0

702/0

1

1

77/0

2208

304/313

SA

47/85

828/0

595/0

872/0

868/0

642/0

982/0

7/0

1

1

785/0

61/2488

22/220

GA

62/84

819/0

725/0

819/0

912/0

492/0

1

79/0

1

1

722/0

4096

1024

شبکه­اي

گوسين، يک در مقابل مابقي

62/84

819/0

725/0

808/0

912/0

54/0

1

767/0

1

1

723/0

262/3852

044/932

SA

33/84

821/0

725/0

819/0

912/0

541/0

1

767/0

1

1

723/0

95/3891

93/950

GA

42/78

746/0

658/0

672/0

912/0

453/0

964/0

546/0

1

971/0

734/0

3

64

شبکه­اي

پلي­نوميال، يک در مقابل يک

42/78

746/0

658/0

672/0

912/0

453/0

964/0

546/0

1

971/0

734/0

3

02/65

SA

42/78

746/0

658/0

672/0

912/0

453/0

964/0

546/0

1

971/0

734/0

3

61/67

GA

44/72

677/0

657/0

489/0

736/0

518/0

1

517/0

1

941/0

597/0

8

512

شبکه­اي

پلي­نوميال، يک در مقابل مابقي

65/72

68/0

656/0

489/0

736/0

545/0

1

517/0

1

941/0

598/0

669/7

37/209

SA

65/72

68/0

656/0

489/0

736/0

545/0

1

517/0

1

941/0

598/0

6/7

661

GA

 

 

5.3.2.                      نتايج انتخاب ويژگي

در اين قسمت هدف يافتن زيرمجموعه­اي از ويژگي­هاي بهينه تصوير فرا طیفی به منظور طبقه­بندي با بيشترين کارایی مي­باشد. در اين قسمت پارامترهاي ماشين­هاي بردار پشتيبان، در حضور تمام باندها و با استفاده از الگوريتم جستجوي شبکه­اي بدست آمده و مقدار آن­ها در طول پروسه انتخاب ويژگي ثابت در نظر گرفته مي­شود.

شکل 11 و 12 به ترتيب نمودار همگرايي الگوريتم شبيه­سازي تبريد تدریجی و الگوريتم ژنتيک براي 4 مورد در نظر گرفته شده را نشان مي­دهد. همان طور که در اين دو شکل ديده مي­شود، انتخاب ويژگي موجب بهبود قابل توجهي بر دقت کرنل­هاي پلي­نوميال و گوسين مي­شود. با توجه به شکل­هاي 9 و 10، کرنل گوسين دقت بسيار بالاتري نسبت به کرنل پلي­نوميال دارد ولي پروسه انتخاب ويژگي با تأثیر بالايي که بر کرنل پلي­نوميال داشته، باعث نزديکي دو کرنل در دو حالت يک در مقابل يک و يک در مقابل مابقي گرديده است که حاکي از تأثیر بيشتر انتخاب ويژگي بر کرنل پلي­نوميال نسبت به کرنل گوسين مي­باشد. نکته ديگر تفاوت در سرعت همگرايي دو کرنل مي­باشد. با توجه به شکل 12، کرنل گوسين در تکرارهاي کمتري به دقت بهينه همگرا مي­شوند، از طرف مقابل دقت کرنل پلي­نوميال تا تکرارهاي پاياني افزايش پيدا مي­کند و به تکرارهاي بيشتري براي رسيدن به ثبات احتياج دارد. 

به منظور مقايسه دقيق­تر نتايج در سه حالتي که از همه باندها استفاده شده باشد و نتايج بعد از مرحله انتخاب ويژگي توسط الگوريتم شبيه­سازي تبريد تدريجي و ژنتيک، معيارهاي ضريب کاپا، دقت کلي و دقت هر کلاس، به کار گرفته شد (جدول 3). نتايج نشان مي­دهند با حذف ويژگي­هاي اضافي نه تنها سرعت طبقه­بندي بالا مي­رود بلکه دقت آن نيز افزايش مي­يابد.

 

شکل 11-نمودار همگرایی انتخاب ویژگی بر مبناي الگوريتم شبيه­سازي تبريد تدريجي براي کرنل گوسين و پلي­نوميال در دو حالت يک در مقابل يک و يک در مقابل مابقي

 

شکل 12-نمودار همگرايي انتخاب ویژگی بر مبناي الگوريتم ژنتيک براي کرنل گوسين و پلي­نوميال در دو حالت يک در مقابل يک و يک در مقابل مابقي

 

جدول3-نتايج حاصل از انتخاب ويژگي بر مبناي الگوريتم ژنتيک و شبيه­سازي تبريد تدريجي در مقايسه با حضور همه باندها

دقت کلي

ضريب کاپا

 

کلاس 9

کلاس 8

کلاس 7

کلاس 6

کلاس 5

کلاس 4

کلاس 3

کلاس 2

کلاس 1

تعداد باندها

تکنيک

83/84

82/0

 

594/0

872/0

868/0

569/0

982/0

653/0

1

1

816/0

185

همه باندها

گوسين، يک در مقابل يک

61/87

853/0

 

628/0

908/0

868/0

641/0

1

745/0

1

1

82/0

81

SA

46/88

864/0

 

694/0

887/0

868/0

717/0

1

723/0

1

1

851/0

102

GA

62/84

819/0

 

725/0

819/0

912/0

492/0

1

789/0

1

1

722/0

185

همه باندها

گوسين، يک در مقابل مابقي

04/85

823/0

 

725/0

83/0

912/0

469/0

1

747/0

1

1

783/0

82

SA

11/86

836/0

 

759/0

844/0

912/0

514/0

1

725/0

1

1

816/0

99

GA

42/78

746/0

 

658/0

672/0

912/0

453/0

964/0

546/0

1

971/0

734/0

185

همه باندها

پلي­نوميال، يک در مقابل يک

12/83

805/0

 

795/0

785/0

912/0

485/0

982/0

659/0

1

971/0

749/0

96

SA

04/85

825/0

 

827/0

773/0

912/0

636/0

1

633/0

1

1

797/0

94

GA

44/72

677/0

 

657/0

489/0

736/0

518/0

1

517/0

1

941/0

597/0

185

همه باندها

پلي­نوميال، يک در مقابل مابقي

62/81

796/0

 

691/0

744/0

823/0

559/0

982/0

614/0

1

941/0

783/0

103

SA

97/83

812/0

 

79/0

731/0

825/0

661/0

1

679/0

958/0

1

801/0

81

GA

 

 

در تمام موارد الگوريتم ژنتيک به دقتي بالاتر از الگوريتم شبيه­سازي تبريد تدريجي دست يافت. همچنين در نتايج بدست آمده از الگوريتم ژنتيک با کرنل گوسين در حالت يک در مقابل يک، مرحله انتخاب ويژگي با حذف 83 باند اضافي، توانست دقت طبقه بندي را نسبت به حالتی که تمام باندها حضور دارند، 4% بهبود ببخشد. در مورد کرنل گوسين و در حالت يک در مقابل همه، 86 باند اضافي حذف و دقتي 2% بالاتر از زمان حضور همه باندها حاصل گرديد.

کرنل پلي­نوميال با حذف باندهاي بيشتر، افزايش دقت بيشتري نسبت به کرنل گوسين حاصل نمود. در حالت چند کلاسه­ي يک در مقابل يک، دقت طبقه­بندي با حذف 91 باند اضافي، 7% افزايش يافت. در بين کرنل­هاي در نظر گرفته شده، کرنل پلي­نوميال در حالت يک در مقابل مابقي، با حذف بيشترين باندهاي اضافي، بالاترين افزايش دقت را داشت. در اين مورد، بيش از نيمي از باندها (104 باند) حذف گرديد و دقت 11% افزايش يافت. همچنين دقت هر کلاس هم پس از انتخاب ويژگي در اکثر موارد افزايش بهبود قابل توجهي نسبت به حضور همه باندها داشته است.

5.3.3.                      نتايج حل همزمان انتخاب مدل و ويژگي

با توجه به تأثیر مقدار پارامترها در نحوه انتخاب زيرمجموعه­ي بهينه ويژگي­ها و بالعکس، در اين مرحله نسبت به تعيين همزمان مقادير پارامترها و ويژگي­ها اقدام گرديد. شکل­هاي13 و 14 به ترتيب نمودار همگرايي الگوريتم شبيه­سازي تبريد تدريجي و الگوريتم ژنتيک را براي 4 وضعيت در نظر گرفته شده نشان می‌دهند. با توجه به اين دو شکل با در نظر گرفتن همزمان پارامترها و ويژگي­ها، دقت طبقه­بندي بدست آمده بيشتر تحت تأثیر نوع کرنل مي­باشد و تأثیر نوع روش چند کلاسه کاهش يافته است. از طرف ديگر با توجه به بزرگ بودن ابعاد فضاي جستجو در اين بخش، زمان يافتن جواب بهينه نيز در هر 4 وضعيت افزايش يافت.

به­منظور ارزيابي دقيق­تر نتايج، مقادير پارامترهاي ماشين­هاي بردار پشتيبان، تعداد باندهاي انتخابي، ضريب کاپا و دقت کلي به عنوان معيارهاي دقت کلي و دقت کلاس­ها به صورت مجزا در جدول 4 ارائه شده است.

 

شکل 13- نمودار همگرایی تعيين همزمان پارامترهاي ماشين­هاي بردار پشتيبان و زيرمجموعه بهينه ويژگي بر مبناي الگوريتم شبيه­سازي تبريد تدریجی براي کرنل گوسين و پلي­نوميال در دو حالت يک در مقابل يک و يک در مقابل مابقي

 

 

 

شکل 14-نمودار همگرايي تعيين همزمان پارامترهاي ماشين­هاي بردار پشتيبان و زير مجموعه بهينه ويژگي بر مبناي الگوريتم ژنتيک براي کرنل گوسين و پلي­نوميال در دو حالت يک در مقابل يک و يک در مقابل مابقي

 

جدول4- نتايج حاصل از حل همزمان تعيين پارامترها و انتخاب ويژگي بر مبناي الگوريتم ژنتيک و شبيه­سازي تبريد تدريجي

دقت کلي

ضريب کاپا

کلاس 9

کلاس 8

کلاس 7

کلاس 6

کلاس 5

کلاس 4

کلاس 3

کلاس 2

کلاس 1

پارامتر کرنل

پارامتر تنظيم

تعداد باندها

روش

وضعيت

96/86

846/0

626/0

885/0

868/0

691/0

982/0

747/0

1

1

788/0

51/1550

339/627

81

SA

گوسين- يک در مقابل يک

53/89

876/0

794/0

91/0

912/0

644/0

1

769/0

1

1

851/0

5/2057

16/181

90

GA

96/86

846/0

793/0

809/0

912/0

568/0

1

769/0

1

1

85/0

26/2829

753/289

78

SA

گوسين- يک در مقابل مابقي

1/89

871/0

725/0

887/0

913/0

69/0

1

768/0

1

1

852/0

23/2093

67/565

98

GA

62/81

784/0

727/0

705/0

912/0

657/0

964/0

522/0

1

97/0

798/0

196/5

339/627

93

SA

پلي­نوميال- يک در مقابل يک

47/85

829/0

828/0

831/0

912/0

689/0

1

611/0

1

971/0

737/0

6/4

1/404

89

GA

2/81

78/0

869/0

689/0

78/0

634/0

1

548/0

1

941/0

765/0

968/4

184/955

88

SA

پلي­نوميال- يک در مقابل مابقي

19/84

814/0

792/0

769/0

824/0

712/0

1

596/0

1

94/0

818/0

10

15/738

89

GA

 

 

مقايسه نتايج اين بخش با مراحل قبل، حاکي از رسيدن به دقت­هاي بالاتري در هر چهار وضعيت مي­باشد که نشان از بهينه بودن نتايج در حل همزمان مي­باشد. همچنين مقايسه نتايج حاصل از دو روش حاکي از برتري بيشتر الگوريتم شبيه­سازي تبريد تدريجي نسبت به الگوريتم ژنتيک مي­باشد که بيانگر توانايي الگوريتم ژنتيک در فضاي جستجوي پيچيده مي­باشد.

5.3.4.                      مقايسه نتايج

به منظور مقايسه بهتر بين نتايج بدست آمده، منحني همگرايي الگوريتم ژنتِکدر سه رويکرد ارائه شده (تعيين پارامترها، انتخاب ويژگي و حل همزمان هر دو) را بر روي 4 وضعيت در نظر گرفته شده، در شکل 15 نمايش داده شد. همان طور که در اين شکل ديده مي­شود، تعيين پارامترهاي بهينه ماشين­هاي بردار پشتيبان در تکرارهاي اوليه به همگرايي رسيده و نسبت به دو رويکرد ديگر بهبود کمتري در دقت ايجاد کرده است. در حالی که، انتخاب ويژگي با توجه به استفاده از پارامترهاي بدست آمده از جستجوي شبکه­اي دقت را نسبت به تعيين پارامترها افزايش داده است. در نهايت حل همزمان پارامترها و انتخاب ويژگي­ بالاترين دقت را در 4 وضعيت دارد. همچنين مي­توان از شکل 12 نتيجه گرفت با توجه به افزايش دقت بيشتر در حل همزمان براي کرنل گوسين، تأثیر پارامترها بر فضاي ورودي در اين کرنل بيشتر از کرنل پلي­نوميال مي­باشد.

6.       نتيجه گيري و پيشنهادات

در اين تحقيق سه رويکرد در ايجاد يک طبقه­بندي کننده بهينه مبتني بر ماشين­هاي بردار پشتيبان بر مبناي الگوريتم ژنتيک ارائه گرديد. نتايج حاصل در مقايسه با الگوريتم شبيه­سازي تبريد تدريجي، بيانگر برتري الگوريتم ژنتيک به خصوص با افزايش ابعاد فضاي جستجو مي­باشد. همچنين نتايج بهينه با به‌کارگیری الگوريتم ژنتيک در حل همزمان تعيين پارامتر و انتخاب ويژگي حاصل مي­شود که در آن با انتخاب باندهاي کمتر، دقت بالاتر حاصل شد. از این رو با استفاده از طبقه­بندي کننده­ي کارا و قدرتمند ماشین‌های بردار پشتيبان در کنار

الگوريتم بهينه سازي و فرا ابتکاری ژنتيک، مي­تواند يک سيستم طبقه­بندي ترکيبي بهينه براي تصاوير فرا طیفی طراحي کرد.

پيشنهاد مي­شود در تحقيقات آينده با توجه به بزرگ بودن فضاي جستجوي مسئله ارائه شده از الگوريتم­هاي فرا ابتکاری ديگر از قبيل روش­هاي مبني بر خرد جمعی به منظور بهينه­سازي ماشين­هاي بردار پشتيبان در تصاوير فرا طیفی استفاده گردد. همچنين بهينه­سازي اتوماتيک پارامترهاي الگوريتم ژنتيک که در اين نوشته با آزمون و خطا بدست آمد، از موضوعات ديگر پيش رو مي­باشد.

 

img0 

 

(ب)

(الف)

 

 

(ج)

(د)

 

شکل 15-مقايسه نتايج حاصل از الگوريتم ژنتيک در سه رويکرد ارائه شده بر روي الف) گوسين، يک در مقابل يک ب) گوسين، يک در مقابل مابقي ج) پلي­نوميال، يک در مقابل يک د) پلي­نوميال، يک در مقابل مابقي

 

مراجع

[1]. C. Chang, Hyperspectral data exploitation: theory and applications: Wiley-Blackwell, 2007.

[2]. G. Hughes, "On the mean accuracy of statistical pattern recognizers," IEEE Transactions on Information Theory, vol. 14, pp. 55-63, 2002.

[3]. G. Camps-Vallsand L. Bruzzone, "Kernel-based methods for hyperspectral image classification," IEEE Transactions on Geoscience and Remote Sensing, vol. 43, pp. 1351-1362, 2005.

[4]. P. Du, K. Tan, W. Zhang, and Z. Yan, "ANN Classification of OMIS Hyperspectral RemotelySensed Imagery: Experiments and Analysis," Congress on Image and Signal Processing, pp. 692-696, 2008.

[5]. T. Waheed, R. Bonnell, S. Prasher, and E. Paulet, "Measuring performance in precision agriculture: CART--A decision tree approach," Agricultural water management, vol. 84, pp. 173-185, 2006.

[6]. J. Ham, Y. Chen, M. Crawford, and J. Ghosh, "Investigation of the random forest framework for classification of hyperspectral data," IEEE Transactions on Geoscience and Remote Sensing, vol. 43, pp. 492-501, 2005.

[7]. F. Melgani and L. Bruzzone, "Classification of hyperspectral remote sensing images with support vector machines," IEEE Transactions on Geoscience and Remote Sensing, vol. 42, pp. 1778-1790, 2004.

 

 

 

[8]. C. Dai, X. Huang, and G. Dong, "Support Vector Machine for Classification of Hyperspectral Remote Sensing Imagery,"Fourth International Conference on Fuzzy System and Knowledge Discovery, pp. 77-80, 2007.

[9]. B. Guo, S. Gunn, R. Damper, and J. Nelson, "Customizing kernel functions for SVM-based hyperspectral image classification," IEEE Transactions onImage Processing, vol. 17, pp. 622-629, 2008.

[10]. P. Watanachaturaporn, M. Arora, and P. Varshney, "Hyperspectral image classification using support vector machines: A comparison with decision tree and neural network classifiers," 2006.

[11]. S. Arlot and A. Celisse, "A survey of cross-validation procedures for model selection," Statistics Surveys, vol. 4, pp. 40-79, 2010.

[12]. X. Zhang, X. Chen, and Z. He, "An ACO-based algorithm for parameter optimization of support vector machines," Expert systems with applications, 2010.

[13]. C. Wu, G. Tzeng, Y. Goo, and W. Fang, "A real-valued genetic algorithm to optimize the parameters of support vector machine for predicting bankruptcy," Expert systems with applications, vol. 32, pp. 397-408, 2007.

[14]. E. Huerta, B. Duval, and J. Hao, "A hybrid GA/SVM approach for gene selection and classification of microarray data," Applications of Evolutionary Computing, pp. 34-44, 2006.

[15]. L. Zhuo, J. Zheng, F. Wang, X. Li, B. Ai, and J. Qian, "A genetic algorithm based wrapper feature selection method for classification of hyperspectral images using support vector machine," The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, vol. 37, pp. 397-402, 2008.

[16]. T. Zhang, X. Fu, R. Goh, C. Kwoh, and G. Lee, "A GA-SVM feature selection model based on high performance computing techniques," IEEE International Conference on System, Man and Cybernetics, pp. 2653-2658, 2009.

[17]. C. Huang, "ACO-based hybrid classification system with feature subset selection and model parameters optimization," Neurocomputing, vol. 73, pp. 438-448, 2009.

[18]. S. Lin, Z. Lee, S. Chen, and T. Tseng, "Parameter determination of support vector machine and feature selection using simulated annealing approach," Applied soft computing, vol. 8, pp. 1505-1512, 2008.

[19]. S. Lin, K. Ying, S. Chen, and Z. Lee, "Particle swarm optimization for parameter determination and feature selection of support vector machines," Expert systems with applications, vol. 35, pp. 1817-1824, 2008.

[20]. C. Huang and C. Wang, "A GA-based feature selection and parameters optimizationfor support vectormachines," Expert systems with applications, vol. 31, pp. 231-240, 2006.

[21]. R. Haupt, S. Haupt, and J. Wiley, Practical genetic algorithms: Wiley Online Library, 1998.

[22]. V. Vapnik, The nature of statistical learning theory: Springer Verlag, 2000.

[23]. A. Lorena and A. de Carvalho, "Evolutionary tuning of SVM parameter values in multiclass problems," Neurocomputing, vol. 71, pp. 3326-3334, 2008.

[24]. T. Weise, "Global Optimization Algorithms–Theory and Application,", Abrufdatum, vol. 1, 2008.

[25]. U. Maulik, "Medical image segmentation using genetic algorithms," IEEE Transactions onInformation Technology in Biomedicine, vol. 13, pp. 166-173, 2009.

[26]. E. Pourbasheer, S. Riahi, M. Ganjali, and P. Norouzi, "Application of genetic algorithm-support vector machine (GA-SVM) for prediction of BK-channels activity," European journal of medicinal chemistry, vol. 44, pp. 5023-5028, 2009.

[27]. B. de Souza, A. de Carvalho, R. Calvo, and R. Ishii, "Multiclass SVM model selection using particle swarm optimization," 2006, p. 31.

[28]. C. Hsu, C. Chang, and C. Lin, "A practical guide to support vector classification," Citeseer, 2003.

[29]. I. Guyon and A. Elisseeff, "An introduction to variable and feature selection," The Journal of Machine Learning Research, vol. 3, pp. 1157-1182, 2003.

[30]. M. Tahir, A. Bouridane, F. Kurugollu, and A. Amira, "Feature selection using tabu search for improving the classification rate of prostate needle biopsies," Pattern Recognition, vol. 2, pp. 335-33, 2004.

[31]. C. Tu, L. Chuang, J. Chang, and C. Yang, "Feature selection using PSO-SVM," IAENG International journal of computer science, vol. 33, pp. 111-116, 2007.

[32]. D. Niu, Y. Wang, and D. Wu, "Power load forecasting using support vector machine and ant colony optimization," Expert systems with applications, vol. 37, pp. 2531-2539, 2010.

[33]. H. Frohlich, O. Chapelle, and B. Scholkopf, "Feature selection for support vector machines by means of genetic algorithm," 2003, pp. 142-148.

[34]. S. Bhatia, P. Prakash, and G. Pillai, "SVM Based Decision Support System for Heart Disease Classification with Integer-Coded Genetic Algorithm to Select Critical Features," 2008.

[35]. A.B. Santos, C.S.F. de S. Celes, A. de A. Araŭjo, D. Menotti, "Feature selection for classification of remote sensed hyperspectral images: A filter approach using genetic algorithm and cluster validity,"The 2012 International Conference on Image Processing, Computer Vision, and Pattern Recognition (IPCV’12), 2012.

[36]. Y. Bazi and F. Melgani, "Toward an optimal SVM classification system for hyperspectral remote sensing images," IEEE Transactions onGeoscience and Remote Sensing, vol. 44, pp. 3374-3385, 2006.

[37]. I. Mejía-Guevara and Ákuri-Morales, "Evolutionary feature and parameter selection in support vector regression," MICAI 2007: Advances inArtificial Intelligence, pp. 399-408, 2007.

[38]. E. Avci, "Selecting of the optimal feature subset and kernel parameters in digital modulation classification by using hybrid genetic algorithm-support vector machines: HGASVM," Expert systems with applications, vol. 36, pp. 1391-1402, 2009.

[39]. B. F. de Souza and A. P. d. L. F. de Carvalho, "Gene selection based on multi-class support vector machines and genetic algorithms," Genetics and Molecular Research, pp. 599-607, 2005.

[40]. M. Zhao, C. Fu, L. Ji, K. Tang, and M. Zhou, "Feature selection and parameter determination for support vector machines: A new approach based on genetic algorithm with feature chromosomes," Expert System with Applications, Vol. 38, No. 5, pp. 5197-5204, 2011.

[41]. N. Chen, B. Ribeiro, A. S. Vieira, J. Duarte, J. C. Neves, "A genetic algorithm-based approach to cost-sensitive bankruptcy prediction," Expert System with Application, Vol. 38, No. 10, pp. 12939-12945, 2011.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1 نویسنده عهده‌دار مکاتبات (hasani@ut.ac.ir)

 

 

رایمگ

سامانه رایمگ تمامی فرآیندهای دریافت، ارزیابی و داوری، ویراستاری، صفحه‌آرایی و انتشار الکترونیکی نشریات علمی را به انجام می‌رساند

پیوندهای سایت

مراکز مرتبط

پشتیبانی

صفحات رسمی

حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات رایمگ است.
حق نشر © 1403-1396

صفحه اصلی| عضویت/ ورود| درباره رایمگ| تماس با ما|
[English] [العربية] [en] [ar]