تشخيص موضع به زبان فارسی مبتنی بر طبقه بندهای چندگانه
محورهای موضوعی : فناوری اطلاعات و ارتباطات
مژگان فرهودی
1
,
عباس طلوعی اشلقی
2
1 - عضو هیات علمی
2 - دانشگاه آزاد اسلامی واحد علوم و تحقیقات
کلید واژه:
چکیده مقاله :
تشخيص موضع (که با عناوبن طبقه‌بندي موضع، تحليل موضع يا پيش‌بيني موضع نيز شناخته شده است) يک موضوع تحقيقاتي اخير است که به يک پارادايم نوظهور تبديل شده است. هدف از تشخيص موضع، شناسايي موضع نويسنده نسبت به يک موضوع يا ادعاي خاص بوده که به جزء کليدي کاربردهايي مانند تشخيص اخبار جعلي، اعتبارسنجي ادعا يا جستجوي استدلال تبديل شده است. در اين مقاله از سه رويکرد يادگيري ماشين، يادگيري عميق و يادگيري انتقالي براي تشخيص موضع فارسي استفاده شده و سپس با بکارگيری طبقهبندهای چندگانه، مدلی برای اخذ تصميم نهايي در مورد نتايج خروجي پيشنهاد گرديده است. برای اين منظور از روش اکثريت آرا مبتنی بر صحت طبقهبندهای انفرادی براي ترکيب نتايج آنها استفاده گرديد. نتايج آزمايش‌ها نشان داد که عملکرد مدل پيشنهادي نسبت به عملکرد طبقهبندهای انفرادی پيشرفت مناسبی داشته است.
Stance detection (also known as stance classification, stance prediction, and stance analysis) is a recent research topic that has become an emerging paradigm of the importance of opinion-mining. The purpose of stance detection is to identify the author's viewpoint toward a specific target, which has become a key component of applications such as fake news detection, claim validation, argument search, etc. In this paper, we applied three approaches including machine learning, deep learning and transfer learning for Persian stance detection. Then we proposed a framework of multi-classifier fusion for getting final decision on output results. We used a weighted majority voting method based on the accuracy of the classifiers to combine their results. The experimental results showed the performance of the proposed multi-classifier fusion method is better than individual classifiers.
Journal of Information and
Communication Technology
Volume 16, Issue 59-60, Spring and Summer 2024, pp. 293-304
Persian Stance Detection Based On Multi-Classifier Fusion
Mojgan Farhoodi1,21, Abbas Toloie Eshlaghy2
1 IT Faculty, ICT Research Institute (ITRC), Tehran, Iran
2 Department of Information Technology Management, Science and Research Branch, Islamic Azad University, Tehran, Iran
Received: 05 December 2022, Revised: 06 June 2023, Accepted: 09 June 2023
Paper type: Research
Abstract
Stance detection (also known as stance classification, stance prediction, and stance analysis) is a recent research topic that has become an emerging paradigm of the importance of opinion-mining. The purpose of stance detection is to identify the author's viewpoint toward a specific target, which has become a key component of applications such as fake news detection, claim validation, argument search, etc. In this paper, we applied three approaches including machine learning, deep learning and transfer learning for Persian stance detection. Then we proposed a framework of multi-classifier fusion for getting final decision on output results. We used a weighted majority voting method based on the accuracy of the classifiers to combine their results. The experimental results showed the performance of the proposed multi-classifier fusion method is better than individual classifiers.
Keywords: Stance Detection, Multi-classifier, Fusion, Machine Learning, Deep Learning, Transfer Learning.
تشخيص موضع به زبان فارسي مبتني بر طبقهبندهاي چندگانه
مژگان فرهودی 12، عباس طلوعی اشلقی2
1عضو هیات علمی پژوهشگاه ارتباطات و فناوری اطلاعات و
گروه مدیریت فناوری اطلاعات، دانشکده مدیریت و اقتصاد، واحد علوم و تحقيقات، دانشگاه آزاد اسلامي، تهران، ایران
2 عضو هيات علمي گروه مدیریت فناوری اطلاعات، دانشکده مدیریت و اقتصاد، واحد علوم و تحقيقات، دانشگاه آزاد اسلامي، تهران، ایران
تاریخ دریافت: 14/09/1401 تاریخ بازبینی: 16/03/1402 تاریخ پذیرش: 19/3/1402
نوع مقاله: پژوهشی
چکيده
تشخيص موضع (که با عناوبن طبقه‌بندي موضع، تحليل موضع يا پيش‌بيني موضع نيز شناخته شده است) يک موضوع تحقيقاتي اخير است که به يک پارادايم نوظهور تبديل شده است. هدف از تشخيص موضع، شناسايي موضع نويسنده نسبت به يک موضوع يا ادعاي خاص بوده که به جزء کليدي کاربردهايي مانند تشخيص اخبار جعلي، اعتبارسنجي ادعا يا جستجوي استدلال تبديل شده است. در اين مقاله از سه رويکرد يادگيري ماشين، يادگيري عميق و يادگيري انتقالي براي تشخيص موضع فارسي استفاده شده و سپس با بکارگيری طبقهبندهای چندگانه، مدلی برای اخذ تصميم نهايي در مورد نتايج خروجي پيشنهاد گرديده است. برای اين منظور از روش اکثريت آرا مبتنی بر صحت طبقهبندهای انفرادی براي ترکيب نتايج آنها استفاده گرديد. نتايج آزمايش‌ها نشان داد که عملکرد مدل پيشنهادي نسبت به عملکرد طبقهبندهای انفرادی پيشرفت مناسبی داشته است.
کلیدواژگان: تشخیص موضع، طبقهبند چندگانه، يادگيري ماشين، يادگيري عميق، يادگيري انتقالي.
[1] * Corresponding Author’s email: farhoodi@itrc.ac.ir
[2] * رایانامة نويسنده مسؤول: farhoodi@itrc.ac.ir
1- مقدمه
رسانه‌های اجتماعی نقش مهمی در دسترسی افراد به اخبار در طول دهه گذشته داشته‌اند. با افزایش دسترسی مردم به رسانه‌های اجتماعی، محتوای مشکوک و نادرست زیادی برای اهداف سودآور تولید و به اشتراک گذاشته می‌شود. امروزه مردم اغلب از رسانه‌های اجتماعی برای بیان موضع خود در مورد محتوای منتشر شده استفاده می‌کنند [1]. تجمیع این موضع‌گیری‌ها با یکدیگر میتواند اطلاعات ارزشمندی را برای به دست آوردن بینش و نگاه مردم نسبت به برخی اخبار یا شایعات مهم ارائه دهد. هدف از تشخیص موضع در رسانه‌های اجتماعی، شناسایی نظر یا دیدگاه یک فرد نسبت به یک موضوع یا ادعای خاص است که معمولا در یکی از سه حالت موافق، بی‌طرف یا مخالف بیان می‌شود [2]. تشخیص موضع به جزء کلیدی در کاربردهایی مانند تشخیص اخبار جعلی، اعتبارسنجی ادعا، جستجوی استدلال، پروفایل نویسنده و غیره تبدیل شده است [3].
از طرفی، تشخیص موضع یک مساله طبقهبندی می‌باشد. به طور کلی از طبقهبندها در کاربردهای مختلفی مانند شناسایی موضوع خبری، تشخیص اخبار جعلی و غیره استفاده می‌شود. اما نتایج این طبقهبندها معمولا متفاوت بوده و همچنین نمونه‌هایی که توسط آنها استفاده می‌شوند معمولاً در بسیاری از آزمایشها یکسان نیستند. این مشکل، از عوامل مختلفی نشأت می‌گیرد که عبارتند از: استفاده از مجموعه‌های آموزشی مختلف، استفاده از مجموعه ویژگی‌های مختلف و در نهایت استفاده از پارامترهای مختلف برای تنظیم الگوریتم مورد استفاده در هر یک از این طبقهبند1ها. برای رفع این چالش، میتوان از طبقهبندهای چندگانه2 استفاده نمود.
2- کارهای انجام شده
در پژوهش‌های اخیر، تشخیص موضع را میتوان به انواع مختلف زیر دسته‌بندی کرد:
1. تشخیص موضع مبتنی بر یک هدف خاص3: هدف شناسایی موضع یک فرد نسبت به یک هدف یا موضوع خاص (مانند یک شخص، یک سازمان، یک جنبش اجتماعی، یک محصول و یا یک رویداد) است [4]، که اغلب تحقیقات انجام شده بر روی این نوع رویکرد متمرکز شده‌اند [5، 6 و 7]. به عنوان مثال، [5] مجموعهای از منابع را در مورد موضوعات مرتبط با سیاست ارائه کرده و سپس ویژگی‌های مختلفی را بر اساس محتوای متنی توییت و نیز ویژگی‌های شبکه انتشار برای تشخیص موضع استفاده نموده است. مجموعه برچسب‌های مورد استفاده در این دسته اغلب عبارتند از: Favor، Against و Neither.
2. تشخیص موضع مبتنی بر چند هدف4: اخیراً، بدلیل اینکه اغلب مردم در مورد چندین موجودیت هدف در یک متن نظر می‌دهند، لذا بحث تشخیص موضع چند هدفی مطرح شد. هدف این روش، تشخیص موضع کاربران رسانه‌های اجتماعی نسبت به دو یا چند هدف است [8]. برچسب‌های این دسته نیز شبیه دسته قبلی می‌باشد.
3. تشخیص موضع مبتنی بر ادعا5: روشی مناسب برای تحلیل صحت و سقم یک شایعه یا خبر تلقی می‌شود که هدف آن تشخیص موضع در یک قطعه متن نسبت به یک ادعا است [9]. به همین دلیل، این روش اغلب برای اعتبارسنجی شایعات استفاده می‌شود که توجه پژوهش‌های متعددی را به خود جلب کرده است [10[، ]11[ و ]12]. به عنوان مثال، [12] مجموعهای از ادعاها را به ازای یک موضوع مشخص استخراج نموده و سپس درخصوص هر ادعا مشخص کرده است که آیا آن ادعا، موضوع مربوطه را پشتیبانی و یا رد می‌نماید. برچسب‌های مورد استفاده در این دسته اغلب عبارتند از: Agree، Disagree و Discuss و یا چهار دسته Support، Deny، Query و Comment.
از طرفی، بررسی‌ها نشان میدهد که مقالات موجود از رویکردهای مختلفی برای تشخیص موضع استفاده کرده‌اند. برخی از آنها از الگوریتم‌های یادگیری ماشین سنتی مانند رگرسیون لجستیک6، ماشین بردار پشتیبان7، درخت تصمیم8 و غیره استفاده کردند [13] و [14]. اغلب مقالات از تکنیک‌های یادگیری عمیق مانند شبکه‌های RNN9 یا LSTM10 استفاده کردند [15] تا [18]. در سال‌های اخیر پیشرفت قابل توجهی در فناوری پردازش زبان طبیعی به دلیل توسعه مدل‌های بزرگ زبانی با استفاده از جانمایی کلمه11 متنی مبتنی بر معماری ترانسفورمر12ها [19] صورت گرفته است، بنابراین بسیاری از تحقیقاتی که از یادگیری انتقالی استفاده نموده‌اند به بکارگیری ترانسفورمرهای از پیش آموزش‌دیده13 برای تشخیص موضع روی آورده‌اند [20، 21]. همچنین برخی از مطالعات نیز از یادگیری جمعی برای کار تشخیص موضع استفاده نموده‌اند [22].
از سوی دیگر، بیشتر مطالعات انجام شده در زمینه تشخیص موضع بر روی زبان انگلیسی تمرکز نموده‌اند. البته در سال‌های اخیر تحقیقات متعددی در مورد زبان‌های مختلف غیر از انگلیسی مانند روسی [23]، هندی [7]، ایتالیایی [24] و اخیراً فارسی [17، 20] نیز مورد توجه قرار گرفته است. [17] تنها مجموعه داده فارسی تشخیص موضع را منتشر کرد و مدل LSTM را بر روی آن اعمال نمود. پس از آن، [20] از یادگیری انتقال و نیز روش‌های داده‌افزایی14 بر روی این مجموعه استفاده کرد و به نتایج بهتری دست یافت.
در ادامه به وضعیت پژوهش‌های انجام شده در این حوزه و مزایا و معایب آنها می‌پردازیم:
· اغلب پژوهشها بر روی تشخیص موضع به زبان انگلیسی که حاوی دادگان غنی است پرداخته‌اند و بر روی زبان فارسی کار زیادی انجام نشده است. لذا در خصوص زبانهایی مانند فارسی که با کمبود دادگان مواجه هستیم فرایند آموزش سیستم و ایجاد مدل از کارایی خوبی برخوردار نخواهد بود.
· هیچیک از پژوهشها جز [20] از روش داده‌افزایی استفاده نکرده‌اند؛ شاید دلیل این امر، وجود دادگان غنی بوده است.
· تقریبا در تمام پژوهش‌های انجام شده از طبقهبندهای انفرادی برای یادگیری مدل استفاده شده و هیچیک از ترکیب نتایج روش‌ها یا مدل‌های مختلف یادگیری جهت تشخیص موضع استفاده نکرده‌اند. آن دسته از پژوهش‌هایی که از روش‌های جمعی استفاده نموده‌اند نیز تنها به ترکیب ویژگی‌های مختلف پرداخته و در نهایت یک یا چند مدل مجزا را بر روی این ویژگی‌ها اجرا نموده‌اند [25و 26].
· همچنین اغلب پژوهش‌های مذکور بر روی روش‌های بانظارت تمرکز کرده‌اند و تنها تعداد بسیار اندکی از روش‌های بدون نظارت برای تشخیص موضع استفاده نموده‌اند [28 ,27].
· تقریبا میتوان گفت تمام پژوهش‌های این حوزه بر روی محتوای متنی تمرکز کرده‌اند و از محتوای چندرسانه‌ای مانند تصویر و غیره استفاده نکرده‌اند.
· و در نهایت اغلب فعالیت‌های انجام شده بر روی بستر توییتر انجام شده است و بر روی شبکه‌های دیگر کار نشده است.
در مجموع نتایج مطالعات نشان میدهد که اکثر فعالیت‌ها بر روی زبان انگلیسی متمرکز شده‌اند و از آنجا که مجموعه دادگان با کیفیت و با حجم نسبتا مناسبی نیز در زبان انگلیسی ایجاد شده‌اند لذا با استفاده از روش‌های یادگیری ماشین و یا یادگیری عمیق که نیاز به داده‌های زیادی دارند میتوان به نتایج خوبی دست یافت؛ اما متاسفانه در زبانهایی مانند زبان فارسی که با کمبود و فقر مجموعه داده مواجه هستیم باید راهکارهای مناسبی را اتخاذ کرد تا بتوان وابستگی به دادگان را کاهش داد. لذا نوآوری این پژوهش، ترکیب تکنیک‌های مختلف یادگیری اعم از یادگیری ماشین، یادگیری عمیق و یادگیری انتقالی از طریق طبقهبندهای چندگانه استفاده شد. همچنین فرمولی جهت ترکیب نتایج این تکنیک‌ها ارائه شد که برای این منظور، از Accuracy هر یک از روش‌ها به عنوان وزنی جهت میزان اثرگذاری آن روش در اخذ تصمیم نهایی طبقهبند چندگانه استفاده گردید که نتایج حاکی از بهبود کارایی روش نسبت به طبقهبندهای انفرادی می‌باشد.
بسیاری از مطالعات در زمینه‌ها و کاربردهای دیگر نیز نشان داده‌اند که نتایج طبقهبندهای چندگانه میتواند حتی از بهترین طبقهبندهای انفرادی بهتر عمل کند و کارایی و استحکام یک سیستم را بهبود بخشد [25]. به عبارت دیگر، زمانی که تنوع بالایی در میان طبقهبندهای عضو وجود دارد، سیستم‌های طبقهبند چندگانه معمولاً می‌توانند به دقت بالاتری در مقایسه با طبقهبندهای انفرادی دست یابند [26]. در سال‌های اخیر، در بسیاری از حوزه‌های کاربردی مانند ردیابی شیء15 [29]، تشخیص عمل انسان16 [30]، تجزیه و تحلیل ریسک17 [31]، تشخیص خطا18 [32]، تشخیص چهره19 [33] و غیره از روش‌های ترکیب طبقهبندهای چندگانه استفاده شده است.
3- مدل پیشنهادی
در این مقاله، مدلی برای تشخیص موضع فارسی پیشنهاد شده است. ابتدا فرایند انجام کار که شامل مراحل مختلف است در شکل 1 نمایش داده شده و سپس در ادامه به توصیف هر گام پرداخته می‌شود.
[1] Classifier
[2] Multi-classifier
[3] Target-specific stance detection
[4] Multi-target stance detection
[5] Claim-based stance detection
[6] Logistic regression
[7] Support Vector Machine
[8] Decision Tree
[9] Recursive neural Network
[10] Long-Short Term Memory
[11] Word Embedding
[12] Transformer
[13] Pre-trained
[14] Data Augmentation
[15] Object tracking
[16] Human action recognition
[17] Risk analysis
[18] Fault diagnosis
[19] Face recognition
شکل 1. گامهای اجرای پژوهش
3-1- پیش‌پردازش
متن‌هایی که در فضای مجازی منتشر می‌شوند، از قبیل پست‌هایی که در شبکه‌های اجتماعی یا وب منتشر می‌شوند، حاوی نویز زیادی هستند. از آنجایی که عملکرد مدل‌های یادگیری ماشین علاوه بر کمیت و تنوع داده‌ها به کیفیت داده‌ها نیز بستگی دارد [34]، بنابراین پاکسازی و نرمالسازی داده‌ها امری ضروری است. در این فرآیند، پس از واحدسازی1 متن، توالی رشته‌هایی مانند اعداد، علائم نگارشی، فاصله‌های اضافی، ایست‌واژه‌ها2 و علائم غیرضروری از متن حذف شدند.
3-2- استخراج ویژگی
از آنجا که الگوریتم‌های یادگیری ماشین و یادگیری عمیق تنها قادر به درک داده‌های عددی به جای داده‌های متنی هستند، لازم است متن برای آنها معنادار شود. بنابراین، متون باید به صورت بردارهای عددی بیان شوند. برای این منظور برخی از الگوریتم‌ها مانند TF-IDF3 ، Word2Vec و غیره امکان نمایش عددی کلمات را برای حل چنین مسائلی فراهم می‌کنند. در این مقاله ما از دو تکنیک زیر برای استخراج ویژگی استفاده کردیم:
الف) مبتنی بر رخداد4: در این رویکرد، هر کلمه یا عبارت موجود در متن براساس رخداد آن نمایش داده می‌شود که الگوریتم‌های مختلفی برای این منظور وجود دارد مانند:
· کیسه کلمات5: وجود یا عدم وجود هر کلمه در متن را بدون توجه به ترتیب آن در متن نمایش میدهد [35].
· TF-IDF: یک معیار آماری است که برای تعیین اهمیت کلمات در اسناد براساس میزان رخداد آنها استفاده می‌شود [36].
ب) مبتنی بر جاسازی کلمات6: ایده اصلی این رویکرد، نمایش کلمات در یک فضای برداری پیوسته است. در این فضا، کلماتی که ارتباط معنایی یا نحوی با یکدیگر دارند در یک ناحیه قرار میگیرند [37]. برای این منظور، در این مقاله از دو مدل زیر استفاده شده:
· fastText: بر اساس مدل skip-gram است که بر اساس یک کلمه داده شده، کلمه هدف را پیشبینی میکند و هر کلمه را به عنوان مجموعهای از انگرام7های حرفی نشان دهد [38]. در این رویکرد به دلیل استفاده از انگرامهای حرفی میتوان برای کلماتی که از لحاظ نگارشی اشتباه هستند، همچنین برای کلمات نادر و یا کلماتی که در مجموعه آموزشی وجود ندارند، یک بردار تعیین نمود. این مدل توسط فیسبوک ارائه شد و با استفاده از ویکیپدیای نسخه 2017، مجموعه دادگان وب‌سایت UMBC و مجموعه دادگان خبری statmt.org که حاوی 16 میلیارد توکن است، آموزش داده شده است. ابعاد بردارهای fastText، 300 و مجموعه کلمات آن یک میلیون کلمه است [37].
· 8BERT: در حال حاضر یکی از قدرتمندترین بازنماییهای متن و کلمه است [39] که از ترانسفورمر9ها و مکانیزم توجه10 که روابط بین کلمات را در یک جمله مشخص میآموزد، استفاده میکند [40]. در این رویکرد، با توجه به متن، یک کلمه میتواند بردارهای متفاوتی داشته باشد. در برت11 نیز همانند fastText، امکان جانمایی کلمات کمیاب وجود دارد. در این مقاله از پارسبرت12 که یک مدل زبانی تک‌زبانه بر اساس معماری برت است استفاده شده است. این مدل روی مجموعه‌های بزرگ فارسی با بیش از 3.9 میلیون سند، 73 میلیون جمله و 1.3 میلیارد کلمه با سبک‌های نوشتاری متنوع و نیز موضوعات مختلف از قبل آموزش داده شده است [41].
3-3- مدلسازی
در این مرحله کارهای زیر انجام می‌شود:
· تقسیم مجموعه دادگان به دادگان آموزش و آزمون: در این راستا، 80 درصد از داده‌ها به عنوان داده‌های آموزشی و مابقی به عنوان داده‌های آزمون در نظر گرفته می‌شوند. همچنین از اعتبارسنجی k-fold با لحاظ کردن k=10 استفاده گردید. از طرفی با توجه به اینکه نمونه‌های موجود در داده‌ها به ازای برچسب‌ها و یا به عبارتی کلاس‌های مختلف یکسان نیستند، لذا از کتابخانه stratifiedKFold موجود در پایتون برای درهم‌سازی داده‌ها به صورت متعادل استفاده گردید.
o انتخاب مدل(های) طبقهبندی: در این پژوهش از سه نوع رویکرد برای مدلسازی استفاده شد که عبارتند از 1) یادگیری ماشین (مانند ماشین بردار پشتیبان، درخت تصمیم، رگرسیون لجستیک و غیره)، 2) یادگیری عمیق ( استفاده از LSTM) و 3) یادگیری انتقالی (استفاده از پارسبرت). در ادامه هر یک از این تکنیک‌ها بصورت خلاصه شرح داده خواهند شد.
o یادگیری ماشین: این تکنیک‌ها، سیستم‌ها را قادر می‌سازند تا بصورت خودکار از داده‌ها و تجارب قبلی یاد بگیرند و سپس بتوانند بر روی داده‌ها و نمونه‌های جدید پیشبینی انجام دهند. الگوریتم‌های متعددی در یادگیری ماشین استفاده می‌شوند که هر یک قصد دارند بهترین طبقهبندی را بین داده‌های موجود انجام دهند.
· یادگیری عمیق: یادگیری ماشین و یادگیری عمیق هر دو زیرمجموعه هوش مصنوعی هستند. یادگیری عمیق در واقع همان یادگیری ماشین است که در سطح عمیق‌تری انجام می‌شود و مدل‌های آن به لحاظ ریاضی پیچیده‌تر است. یادگیری عمیق الگوریتم‌های مختلفی دارد که یکی از مهم‌ترین و کاراترین آنها برای درک متن، الگوریتم LSTM می‌باشد که در واقع با داشتن یک حافظه بلندمدت علاوه بر پردازش جملات کوتاه، قادر به پردازش جملات با طول زیاد نیز می‌باشد.
· یادگیری انتقالی: یکی از روش‌های رایج در یادگیری عمیق است که بدین صورت کار میکند که ابتدا بر روی یک مجموعه داده خاص، مدلی را آموزش میدهد و سپس از این مدل آموزش‌دیده برای حل مسائل مشابهی که داده‌های متفاوت یا کمی دارند استفاده می‌نماید. به عبارتی از دانش و تجربه‌ای که از طریق حل یک مسئله با حجم بسیار زیادی داده بدست آورده میتواند برای حل مسائلی که داده ندارند و یا داده‌های آنها بسیار اندک است استفاده نماید.
· تنطیم پارامترهای مدل‌ها بر روی داده‌های آموزشی: در این مرحله مدل‌ها بر روی داده‌های آموزشی آموزش داده می‌شوند و براساس آن پارامترهای داخلی مدل‌ها به‌روزرسانی شده و برای پیشبینی آماده می‌گردند. از جمله این پارامترها میتوان به batch_size، epochs، نرخ یادگیری و غیره اشاره نمود.
3-4- طبقهبندی چندگانه
در این مرحله، مدل پیشنهادی تشخیص موضع فارسی مبتنی بر طبقهبندی چندگانه ارائه می‌شود. همانطور که قبلا ذکر شد، نتایج طبقهبندهای انفرادی به دلایل مختلفی از جمله استفاده از مجموعه‌های آموزشی مختلف، استفاده از ویژگی‌های متفاوت و یا پارامترهای مختلف برای تنظیم الگوریتم مورد استفاده، متفاوت است. در این صورت میتوان از ترکیب نتایج این طبقهبندها برای دستیابی به نتایج بهتر بهره برد [26]. طبقهبندهای چندگانه از روش‌های مختلفی برای ترکیب نتایج طبقهبندهای انفرادی استفاده می‌کنند، اما محبوب‌ترین و رایج‌ترین این روش‌ها، استفاده از روش حداکثر آرا13 است که در آن هر طبقهبند به ازای کلاس خاص «رای» میدهد و کلاسی که بیشترین آرا را دارد توسط طبقهبند چندگانه به عنوان نتیجه نهایی پیشبینی می‌شود [43]. در روش رای اکثریت، همه طبقهبندها از میزان «اقتدار» و یا به عبارتی تاثیرگذاری یکسانی برای طبقهبندی نهایی بدون توجه به عملکرد مربوطه‌شان برخوردار هستند [44]. برای حل این مشکل، از روش‌های وزن‌دهی ارائه شد که در آن، میزان اثرگذاری و یا به عبارتی وزن مربوط به «رأی» هر طبقهبند بسته به میزان عملکرد آن در مجموعه آموزشی تخمین زده می‌شود [42].
بدین ترتیب، در این مقاله نیز سعی شد تا از دو روش مذکور برای به دست آوردن نتایج نهایی استفاده شود. مدل پیشنهادی در شکل 2 نشان داده شده است. همانطور که در شکل مشخص است، ابتدا متون موجود در مجموعه داده مورد پیش پردازش قرار گرفته و سپس ویژگی‌های مربوطه استخراج می‌شوند. در مرحله بعد، از این ویژگی‌ها در طبقهبندهای انفرادی استفاده می‌گردد. همانطور که در شکل 2 نیز به آن اشاره شده است، در رویکرد یادگیری ماشین از الگوریتم ماشین بردار پشتیبان استفاده گردید، زیرا در مقایسه با دیگر الگوریتم‌های یادگیری ماشین نتایج بهتری دارد (به بخش 4-2 در این مقاله مراجعه شود). در رویکرد یادگیری عمیق از الگوریتم LSTM و در نهایت در رویکرد یادگیری انتقالی از پارسبرت استفاده شده است. در مرحله بعد، نتایج این سه طبقهبند با استفاده از دو روش «حداکثر آرا» و «حداکثر وزندار آرا» با هم ترکیب شده و در نهایت هر یک از این روش‌ها یک خروجی را به عنوان برچسب نهایی یا همان موضع برمی‌گرداند.
3-5- ارزیابی
برای ارزیابی عملکرد مدل پیشنهادی، از معیارهای Accuracy و F1 استفاده شده است که اولی، درصد پیش‌بینی‌های صحیح را نسبت به تعداد کل نمونه‌ها اندازه‌گیری میکند و معیار دوم، میانگین هارمونیک دقت و فراخوانی14 را تعیین میکند.
3-6- پیشبینی
پیشبینی، به خروجی یک الگوریتم پس از آموزش روی داده‌های آموزشی و اعمال آن روی داده‌های جدید اشاره دارد. در این راستا 20 درصد از مجموعه داده‌ها به عنوان داده‌های آزمون درنظر گرفته شده و الگوریتم‌های مربوطه روی آن اعمال می‌گردد. نتایج آزمایشات انجام شده در بخش بعدی ارائه شده است.
4- آزمایشها
برای آموزش و نیز آزمون مدل‌ها از زیرساخت colab15 استفاده گردید. این زیرساخت، توسط گوگل ارائه می‌شود و امکان استفاده از GPU (البته با ظرفیت محدود) را برای پژوهشگران فراهم می‌نماید. همچنین از زبان برنامه‌نویسی پایتون و کتابخانه‌های مربوطه برای توسعه مدل‌ها و نیز ارزیابی آنها بهره گرفته شد.
شکل 2. مدل پیشنهادی برای تشخیص موضع فارسی مبتنی بر طبقهبندهای چندگانه
4-1- مجموعه داده
مجموعه داده مورد استفاده در این مقاله شامل 534 ادعا است که از دو سایت Shayeaat و Fakenews جمع‌آوری شده‌اند و شامل دو بخش است [17]: بخش اول شامل ادعاها به همراه عناوین خبری و بخش دوم شامل ادعاها به همراه متن خبر. هر عنوان خبری یا متن خبر، برچسبی دریافت میکند که نشان‌دهنده این است که آیا آن خبر ادعا را حمایت میکند (برچسب Agree)، رد میکند (برچسب Disagree)، گزارش و یا در مورد آن بحث میکند (برچسب Discuss) و یا اینکه یک اظهار نظری است که هیچ ارتباطی به ادعا ندارد (برچسب Unrelated). بخش اول این مجموعه داده که شامل جفت (عنوان خبر، ادعا) است حاوی 2029 و بخش دوم که شامل جفت (متن خبر، ادعا) است حاوی 1997 نمونه می‌باشد. جدول 1 توزیع برچسب‌ها را نشان میدهد و در جدول 2 نمونه‌هایی از این مجموعه داده به همراه برچسب آنها آمده است.
4-2- نتایج
الف) رویکرد یادگیری ماشین
در این مرحله، از الگوریتم‌های مختلف بانظارت برای تشخیص موضع در دو بخش مجموعه داده استفاده شده است.
در جدول3 الگوریتم‌های مربوطه به همراه نتایج بدست آمده از هر یک آورده شده است. نتایج نشان میدهد که الگوریتم ماشین بردار پشتیبان دقت بالاتری را در بین سایر الگوریتم‌ها از خود نشان داده است.
ب) رویکرد یادگیری عمیق
یکی دیگر از رویکردهای مورد استفاده در پژوهش جاری، بهره‌گیری از یادگیری عمیق است. برای این منظور ما از الگوریتم LSTM استفاده نمودیم که در شکل 3، معماری شبکه پیشنهادی ارائه شده است. LSTM نوعی شبکه RNN است که بر مشکل محوشدگی گرادیان16 غلبه میکند و برای پردازش متوالی داده بویژه در وابستگی‌های دوربرد17 کارآمد است.
جدول 1. توزیع برچسب‌ها در مجموعه داده فارسی
داده | Agree | Disagree | Discuss | Unrelated | مجموع |
بخش اول دادگان | 405 | 164 | 802 | 658 | 2029 |
بخش دوم دادگان | 137 | 206 | 1068 | 586 | 1997 |
جدول 2. نمونه‌هایی از مجموعه دادگان
ادعا | عنوان خبر | موضع |
ملاقان کمال خرازی با جان کری در پاریس | دیدار کمال خرازی و جان کری در پاریس | موافق |
تکذیب خبر دیدار کمال خرازی با جان کری | مخالف | |
خبر دیداری خرازی با کری دروغ محض است. | بحث | |
کمال خرازی عنوان کرد که ایران به دنبال صلح و آرامش در منطقه است. | نامرتبط |
جدول 3. نتایج اعمال الگوریتم‌های یادگیری ماشین
داده الگوريتم | بخش اول (عنوان خبر، ادعا) | بخش دوم (متن خبر، ادعا) | ||||||||
BOW | TFIDF | BOW | TFIDF | |||||||
Acc. | F1 | Acc. | F1 | Acc. | F1 | Acc. | F1 | |||
رگرسيون لاجيستيک | 0.40 | 0.39 | 0.53 | 0.52 | 0.51 | 0.47 | 0.64 | 0.61 | ||
درخت تصميم | 0.41 | 0.40 | 0.52 | 0.53 | 0.49 | 0.48 | 0.44 | 0.44 | ||
ماشين بردار پشتيبان | 0.40 | 0.38 | 0.53 | 0.53 | 0.51 | 0.47 | 0.65 | 0.63 | ||
جنگل تصادفی | 0.40 | 0.39 | 0.51 | 0.52 | 0.49 | 0.47 | 0.50 | 0.46 | ||
k-نزديکترين همسايه | 0.39 | 0.36 | 0.40 | 0.38 | 0.49 | 0.45 | 0.49 | 0.46 | ||
آدابوست | 0.43 | 0.38 | 0.50 | 0.46 | 0.52 | 0.49 | 0.52 | 0.42 | ||
شکل 3. معماری پیشنهادی شبکه عصبی برای تشخیص موضع مبتنی بر یادگیری عمیق
از آنجا که در مجموعه داده ما، یک برچسب برای هر جفت (ادعا و عنوان خبر) یا (ادعا و بدنه خبر) اختصاص داده می‌شود، لذا شبکه عصبی در اینجا دو ورودی می‌گیرد. ابعاد این بردار ماکزیمم طول متن ورودی می‌باشد که این عدد برای حالت (عنوان خبر، ادعا) مساوی 60 است. در لایه بعدی، این ورودی‌ها به هم متصل شده و یک ورودی با ابعاد دوبرابری را ایجاد می‌نمایند. خروجی این لایه، وارد لایه Embedding می‌شود که در اینجا از همان FastText که پیشتر توضیح آن داده شد استفاده می‌شود (برای آزمون ابعاد مورد استفاده از FastText با اعداد 100، 200 و 300 تنظیم گردید). سپس در لایه بعدی از LSTM استفاده شده است. به دنبال آن یک شبکه کاملاً متصل برای نگاشت خروجی‌ها به فضای برچسب دنبال می‌شود. برای بهینه‌سازی مدل، از بهینه‌ساز Adam [45] با 50 تکرار18 استفاده می‌شود. Batch-size معادل 16 و embedding-dimension معادل 300 تنظیم گردید. برای پیاده‌سازی این مدل از کتابخانه TensorFlow [46] موجود در پایتون استفاده شد. فراپارامترها19 با ارزیابی روی مجموعه اعتبارسنجی تنظیم شدند تا بالاترین عملکرد را به دست آورند. مقادیر این فراپارامترها عبارتند از:
Batch Size = 16
MAX_NB_WORDS = 50000
EPOCHS = 50
VALIDATION_SPLIT = 0.2
نتایج اعمال این مدل بر روی مجموعه داده مربوطه در جدول 4 ارائه شده است.
ج) رویکرد یادگیری انتقالی
در این مقاله برای استفاده از یادگیری انتقالی از نسخه فارسی مدل برت با عنوان پارسبرت [37] استفاده شده است. معماری شبکه پیشنهادی در شکل 4 ارائه شده است.
مشابه مدل قبلی، در اینجا نیز از دو بردار ورودی برای شبکه عصبی استفاده شد. سپس از مدل پایه پارسبرت استفاده شد و پارامترهای آن با استفاده از مجموعه دادگان آموزشی مربوطه تنظیم گردید. در لایه بعدی از یک مدل کاملا متصل20 استفاده شد تا خروجی‌های پارس برت را در فضای برچسب‌ها نگاشت نماید. در این شبکه نیز از بهینه‌ساز Adam برای بهینه‌سازی مدل استفاده شد. مقادیر فراپارامترها پس از ارزیابی روی مجموعه اعتبارسنجی بصورت زیر تنظیم گردیدند:
validation split=0.2
Batch size= 16
Epoch =30
Max_length = 50
Learning_rate=5e-05
نتایج اعمال این مدل بر روی مجموعه داده مربوطه در جدول 5 ارائه شده است.
جدول 4. نتایج تشخیص موضع فارسی مبتنی بر یادگیری عمیق
داده الگوريتم | بخش اول (عنوان خبر، ادعا) | بخش دوم (متن خبر، ادعا) | ||
Acc. | F1 | Acc. | F1 | |
LSTM | 0.69 | 0.67 | 0.72 | 0.71 |
شکل 4. معماری پیشنهادی شبکه عصبی برای تشخیص موضع مبتنی بر یادگیری انتقالی
4-3- ترکیب نتایج طبقهبندها
در این بخش نتایج آزمایشات روی مدل پیشنهادی که در شکل 2 توضیح داده شد، ارائه می‌گردد. برای مقایسه بهتر در جدول 6، ابتدا نتایج آزمون هر یک از طبقهبندهای انفرادی و سپس عملکرد استفاده از طبقهبند چندگانه آورده شده است.
همانطور که مشخص است، در بین طبقهبندهای انفرادی، استفاده از روش‌های یادگیری انتقالی میتواند عملکرد خوبی را نشان دهد اما نسبت به دو روش دیگر نیاز به زمان یادگیری بیشتر و زیرساخت‌های پردازشی قوی‌تر دارد. از سوی دیگر، نتایج نشان میدهد که ترکیب نتایج طبقهبندها میتواند منجر به بهبود قابل توجهی در عملکرد تشخیص موضع شود. میزان این بهبود در هنگام استفاده از حداکثر وزندار آرا نمود بیشتری دارد، زیرا در این حالت برای طبقهبندی که دقت بالاتری دارد وزن بیشتری در نظر می‌گیرد و احتمال اثربخشی آن را در تصمیم‌گیری نهایی افزایش میدهد. در خصوص زمان پاسخ‌دهی روش پیشنهادی نیز باید گفت که بدلیل اینکه تکنیک‌های مورد استفاده بصورت برون‌خط آموزش می‌بینند لذا طولانی بودن زمان یادگیری این تکنیک‌ها تاثیر منفی در زمان پاسخ‌دهی طبقهبند مربوطه ندارد. در طبقهبند چندگانه تنها با اخذ نتایج این طبقهبندها و محاسبه یک فرمول ساده میتوان به نتیجه نهایی رسید.
جدول 5. نتایج تشخیص موضع فارسی مبتنی بر یادگیری انتقالی
داده الگوريتم | بخش اول (عنوان خبر، ادعا) | بخش دوم (متن خبر، ادعا) | ||||
Acc. | F1 | Acc. | F1 | |||
Pars-BERT | 0.72 | 0.73 | 0.75 | 0.74 | ||
جدول 6. مقایسه نتایج طبقهبندهای چندگانه نسبت به طبقهبندهای انفرادی
داده الگوريتم | بخش اول (عنوان خبر، ادعا) | بخش دوم (متن خبر، ادعا) | ||
Acc. | F1 | Acc. | F1 | |
طبقهبندهای انفرادی | ||||
SVM | 0.53 | 0.53 | 0.65 | 0.63 |
LSTM | 0.69 | 0.67 | 0.72 | 0.71 |
Pars-BERT | 0.72 | 0.73 | 0.75 | 0.74 |
طبقهبند چندگانه | ||||
حداکثر آرا | 0.76 | 0.77 | 0.78 | 0.77 |
حداکثر وزندار آرا | 0.78 | 0.77 | 0.79 | 0.79 |
4-4- مقایسه
همانطور که قبلا ذکر شد، [17] و [20] تنها کارهایی هستند که در زمینه تشخیص موضع فارسی فعالیت کرده‌اند. [17] از LSTM و [20] از یادگیری انتقال و نیز تکنیک‌های داده‌افزایی بر روی مجموعه داده‌ای که در این مقاله توضیح داده شده است، استفاده نموده‌اند.
در جدول 7، مقایسه عملکرد مدل پیشنهادی در این مقاله با بهترین مدل‌های دو پژوهش مذکور آورده شده است. همانطور که مشاهده می‌شود، ترکیب نتایج طبقهبندها تأثیر مطلوبی در بهبود وظیفه تشخیص موضع به زبان فارسی دارد.
از طرفی نتایج کلیه روش‌های استفاده شده در این بخش نشان داد که وقتی از متن خبر استفاده می‌شود نسبت به زمانی که تنها از عنوان خبر استفاده می‌شود مدل مربوطه کارایی بالاتری را دارد و این بدلیل استخراج و استفاده از اطلاعات بیشتر در فرایند یادگیری می‌باشد.
شکل 5 مقایسه روش پیشنهادی و فعالیت‌های مشابه را بر روی نمودار نشان میدهد. اعداد مندرج در شکل بیانگر میزان Accuracy مدل‌ها می‌باشند.
جدول 7. نتایح مقایسه کارایی طبقهبند چندگانه نسبت پژوهش‌های پیشین
مدل | بخش اول (عنوان خبر، ادعا) | بخش دوم (متن خبر، ادعا) | ||
Acc. | F1 | Acc. | F1 | |
[17] | 0.67 | 0.67 | 0.72 | 0.71 |
[20] | 0.75 | 0.75 | 0.76 | 0.76 |
مدل پیشنهادی | 0.78 | 0.77 | 0.79 | 0.79 |
شکل 5. مقایسه کارایی مدل پیشنهادی در پژوهش جاری با پژوهش‌های مشابه انجام شده
همانطور که در شکل نیز مشخص است، پژوهش [17] که تنها از روش LSTM استفاده کرده دقت نسبتا پایینی دارد. در [20]، برای بهبود مدل سعی شده است تا علاوه بر استفاده از روش داده‌افزایی از پارسبرت نیز استفاده شود که این امر منجر به افزایش عملکرد مدل شده است. در روش پیشنهادی تلاش شد تا از ترکیب معنادار الگوریتم‌های مختلف در قالب طبقهبندهای چندگانه استفاده شود. منظور از معناداربودن الگوریتم‌ها، استفاده از میزان اثرگذاری آنها در اخذ نتایج نهایی می‌باشد. نتایج حاکی از افزایش دقت مدل نسبت به مدل‌های پیشین دارد که یکی از مهم‌ترین دلایل آن، بهره‌گیری از مزایای هر یک از الگوریتم‌ها و به عبارتی ایجاد هم‌افزایی بین آنها است.
5- نتیجهگیری و کارهای آتی
در این مقاله مدلی مبتنی بر طبقهبندهای چندگانه برای تشخیص موضع فارسی پیشنهاد گردید که در آن علاوه بر استفاده از رویکردهای مختلف مانند یادگیری ماشینی، یادگیری عمیق و یادگیری انتقالی، به ترکیب نتایج این طبقهبندها پرداخته شد.
نتایج نشان داد که تکنیک‌های یادگیری ماشین میتواند منجر به نتایج نسبتا مناسبی شود. در این تکنیک‌ها زمان یادگیری سریعتر است و نیاز به زیرساخت‌های پردازشی قوی نمی‌باشد. این تکنیک‌ها نیاز به تعیین ویژگی دارند و لذا هرچه مجموعه دادگان موجود دارای تنوع حاشیه‌نویسی باشد میتوان از طیف گسترده‌ای از ویژگی‌ها استفاده کرد. استفاده از شبکه‌های عصبی پیچیده و به عبارتی یادگیری عمیق نشان داد که نتایج میتواند بهبود مناسبی را به ارمغان آورد ولی در این روش‌ها برخلاف روش‌های یادگیری ماشین هم زمان آموزش بیشتر است و هم نیاز به زیرساخت‌های پردازشی بیشتر و قوی‌تر می‌باشد. و در نهایت، استفاده از تکنیک‌های یادگیری انتقالی نیز برای مواقعی که حجم دادگان بسیار کمی داریم میتواند از یک طرف مشکل کمبود داده را کم کند و از طرف دیگر بدلیل اینکه معمولا این مدل‌ها بر روی حجم دادگان بسیار زیادی آموزش دیده‌اند و مدل‌های بهینه را ایجاد نموده‌اند، استفاده از آنها منجر به پیشرفت چشمگیری در کارایی سیستم پیاده‌سازی شده می‌شود. البته این روش‌ها نیز نیازمند زمان بیشتر و زیرساخت‌های پردازشی قوی می‌باشند.
از طرفی، برای تصمیم‌گیری نهایی در برچسب نهایی، از تکنیک حداکثر آرا استفاده شد و نتایج نشان داد که ترکیب نتایج طبقهبندها به مراتب میتواند بهتر از بهترین طبقهبندهای انفرادی عمل کند و دقت را بهبود بخشد. بنابراین، میتوان نتیجه گرفت که سیستم‌های طبقهبند چندگانه رویکرد خوبی برای تشخیص موضع می‌باشند. از طرفی اگر عملکرد طبقهبندها به عنوان عاملی مؤثر در تصمیم‌گیری نهایی تشخیص موضع در نظر گرفته شود، میتوان به بهبود قابل توجهی در نتایج دست یافت.
همچنین مدل پیشنهادی با سایر مدل‌های ارائه شده در زمینه تشخیص موضع فارسی مقایسه شد و نتایج نشان داد که مدل ارائه شده در این مقاله بهتر از آنها عمل نموده است.
از آنجا که درخصوص تشخیص موضع به زبان فارسی متاسفانه با مجموعه دادگان برچسب‌خورده کمی مواجه هستیم، لذا یکی از کارهایی که در آینده میتوان انجام داد، تقویت دادگان از طریق تکنیک‌های داده‌افزایی است تا بتوان بدون جمع‌آوری صریح داده‌های جدید، نمونه‌های موجود در مجموعه داده را افزایش داد. از طرفی، یکی از محدودیت‌های مدل پیشنهادی استفاده تنها از محتوا و ویژگی‌های آن است که البته این بدلیل محدودیت حاشیه‌نویسی‌ها در مجموعه دادگان موجود در زبان فارسی است، در حالی که میتوان از ویژگی‌های دیگر مانند ویژگی‌های کاربر، مدل انتشار و غیره نیز استفاده نمود. بنابراین، پروفایل کردن کاربر یا نویسنده پاسخ یکی از موضوعات مهمی است که در آینده میتوان به آن پرداخت. کار مهم دیگری که میتوان برای بهبود مدل انجام داد، تحلیل احساسات موجود در متن پاسخ یک توییت است که از آن بتوان به عنوان یکی از ویژگی‌های مورد استفاده در شناسایی موضع فرد استفاده کرد. همچنین استفاده از دیگر اطلاعات موجود در پاسخ‌ها و یا اظهارنظرهای ارائه شده نسبت به یک پست منتشر شده در شبکه اجتماعی مانند ایموجی‌ها، هشتگ‌ها و غیره و میزان اثرگذاری آن در عملکرد مدل میتواند از دیگر فعالیت‌هایی باشد که بتوان در آینده بر روی آنها تمرکز بیشتری داشت.
مراجع
[1] Sobhani, P. (2017). Stance detection and analysis in social media, Ph.D. dissertation, Universite d’Ottawa/University of Ottawa.
[2] Kucuk, D., & Can, F. (2022, February). A Tutorial on Stance Detection. In Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining (pp. 1626-1628).
[3] Schiller, B., Johannes, D., Iryna G. (2021). Stance detection benchmark: How robust is your stance detection? KI-Künstliche Intelligenz, 35 (3), (pp. 329-341)
[4] Du, J., Xu, R., He, Y., & Gui, L. (2017, August). Stance classification with target-specific neural attention networks. International Joint Conferences on Artificial Intelligence.
[5] Lai, M., Cignarella, A. T., Farías, D. I. H., Bosco, C., Patti, V., & Rosso, P. (2020). Multilingual stance detection in social media political debates. Computer Speech & Language, 63, 101075.
[6] Zotova, E., Agerri, R., Nuñez, M., & Rigau, G. (2020, May). Multilingual stance detection in tweets: The Catalonia independence corpus. In Proceedings of the 12th Language Resources and Evaluation Conference (pp. 1368-1375).
[7] Swami, S., Khandelwal, A., Singh, V., Akhtar, S. S., & Shrivastava, M. (2018). An english-hindi code-mixed corpus: Stance annotation and baseline system. arXiv preprint arXiv:1805.11868.
[8] Darwish, K., Magdy, W., & Zanouda, T. (2017, September). Trump vs. Hillary: What went viral during the 2016 US presidential election. In International conference on social informatics (pp. 143-161). Springer, Cham.
[9] Li, Y., He, H., Wang, S., Lau, F., & Song, Y. (2022). Improved Target-specific Stance Detection on Social Media Platforms by Delving into Conversation Threads. arXiv preprint arXiv:2211.03061.
[10] Derczynski, L., Bontcheva, K., Liakata, M., Procter, R., Hoi, G. W. S., & Zubiaga, A. (2017). SemEval-2017 Task 8: RumourEval: Determining rumour veracity and support for rumours. arXiv preprint arXiv:1704.05972.
[11] Yuan, C., Qian, W., Ma, Q., Zhou, W., & Hu, S. (2021, July). SRLF: a stance-aware reinforcement learning framework for content-based rumor detection on social media. In 2021 International Joint Conference on Neural Networks (IJCNN) (pp. 1-8). IEEE.
[12] Bar-Haim, R., Bhattacharya, I., Dinuzzo, F., Saha, A., & Slonim, N. (2017, April). Stance classification of context-dependent claims. In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers (pp. 251-261).
[13] Wojatzki, M., & Zesch, T. (2016, June). ltl. uni-due at semeval-2016 task 6: Stance detection in social media using stacked classifiers. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016) (pp. 428-433).
[14] Cignarella, A. T., Lai, M., Bosco, C., Patti, V., & Paolo, R. (2020). Sardistance@ evalita2020: Overview of the task on stance detection in italian tweets. EVALITA 2020 Seventh Evaluation Campaign of Natural Language Processing and Speech Tools for Italian, 1-10.
[15] Wei, P., Lin, J., & Mao, W. (2018, June). Multi-target stance detection via a dynamic memory-augmented network. In The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval (pp. 1229-1232).
[16] Tutek, M., Sekulić, I., Gombar, P., Paljak, I., Čulinović, F., Boltužić, F., ... & Šnajder, J. (2016, June). Takelab at semeval-2016 task 6: Stance classification in tweets using a genetic algorithm based ensemble. In Proceedings of the 10th international workshop on semantic evaluation (SemEval-2016) (pp. 464-468).
[17] Zarharan, M., Ahangar, S., Rezvaninejad, F. S., Bidhendi, M. L., Pilevar, M. T., Minaei, B., & Eetemadi, S. (2019). Persian Stance Classification Data Set. In TTO.
[18] Umer, M., Imtiaz, Z., Ullah, S., Mehmood, A., Choi, G. S., & On, B. W. (2020). Fake news stance detection using deep learning architecture (CNN-LSTM). IEEE Access, 8, 156695-156706.
[19] Vaswani, A., Bengio, S., Brevdo, E., Chollet, F., Gomez, A. N., Gouws, S., ... & Uszkoreit, J. (2018). Tensor2tensor for neural machine translation. arXiv preprint arXiv:1803.07416.
[20] Nasiri, H., & Analoui, M. (2022, February). Persian Stance Detection with Transfer Learning and Data Augmentation. In 2022 27th International Computer Conference, Computer Society of Iran (CSICC) (pp. 1-5). IEEE.
[21] Karande, H., Walambe, R., Benjamin, V., Kotecha, K., & Raghu, T. S. (2021). Stance detection with BERT embeddings for credibility analysis of information on social media. PeerJ Computer Science, 7, e467.
[22] Vychegzhanin, S., & Kotelnikov, E. (2021). A New Method for Stance Detection Based on Feature Selection Techniques and Ensembles of Classifiers. IEEE Access, 9, 134899-134915.
[23] Lozhnikov, N., Derczynski, L., & Mazzara, M. (2018, June). Stance prediction for russian: data and analysis. In International Conference in Software Engineering for Defence Applications (pp. 176-186). Springer, Cham.
[24] Cignarella, A. T., Lai, M., Bosco, C., Patti, V., & Paolo, R. (2020). Sardistance@ evalita2020: Overview of the task on stance detection in italian tweets. EVALITA 2020 Seventh Evaluation Campaign of Natural Language Processing and Speech Tools for Italian, 1-10.
[25] Mi, A., Wang, L., & Qi, J. (2016). A multiple classifier fusion algorithm using weighted decision templates. Scientific Programming, 2016.
[26] Liang, S. Y., Han, D. Q., & Han, C. Z. (2014). A novel diversity measure based on geometric relationship and its application to design of multiple classifier systems. Acta Automatica Sinica, 40(3), 449-458.
[27] Darwish, K., Stefanov, P., Aupetit, M., & Nakov, P. (2020, May). Unsupervised user stance detection on twitter. In Proceedings of the International AAAI Conference on Web and Social Media (Vol. 14, pp. 141-152).
[28] Rashed, A., Kutlu, M., Darwish, K., Elsayed, T., & Bayrak, C. (2021, May). Embeddings-based clustering for target specific stances: The case of a polarized turkey. In Proceedings of the International AAAI Conference on Web and Social Media (Vol. 15, pp. 537-548).
[29] Chen, S., Lu, X., Chen, X., Chen, M., Chen, J., Wang, D., & Zhu, S. (2020). Object Tracking with Multi-Classifier Fusion Based on Compressive Sensing and Multiple Instance Learning. Mathematical Problems in Engineering, 2020.
[30] Bagheri, M. A., Hu, G., Gao, Q., & Escalera, S. (2014, August). A framework of multi-classifier fusion for human action recognition. In 2014 22nd International Conference on Pattern Recognition (pp. 1260-1265). IEEE.
[31] Pan, Y., Zhang, L., Wu, X., & Skibniewski, M. J. (2020). Multi-classifier information fusion in risk analysis. Information Fusion, 60, 121-136.
[32] Huang, J. T., Wang, M. H., Li, W. J., & Gu, B. (2012). Multiple classifier fault diagnosis system based on dynamic weight. ACTA ELECTONICA SINICA, 40(4), 734.
[33] Yu, Z., Nam, M. Y., Sedai, S., & Rhee, P. K. (2009). Evolutionary fusion of a multi-classifier system for efficient face recognition. International Journal of Control, Automation and Systems, 7(1), 33-40.
[34] Maharana, K., Mondal, S., & Nemade, B. (2022). A Review: Data Pre-Processing and Data Augmentation Techniques. Global Transitions Proceedings.
[35] Qader, W. A., Ameen, M. M., & Ahmed, B. I. (2019, June). An overview of bag of words; importance, implementation, applications, and challenges. In 2019 International Engineering Conference (IEC) (pp. 200-204). IEEE.
[36] Aizawa, A. (2003). An information-theoretic perspective of tf–idf measures. Information Processing & Management, 39(1), 45-65.
[37] d'Sa, A. G., Illina, I., & Fohr, D. (2020, February). Bert and fasttext embeddings for automatic detection of toxic speech. In 2020 International Multi-Conference on:“Organization of Knowledge and Advanced Technologies”(OCTA) (pp. 1-5). IEEE.
[38] Joulin, A., Grave, E., Bojanowski, P., Douze, M., Jégou, H., & Mikolov, T. (2016). Fasttext. zip: Compressing text classification models. arXiv preprint arXiv:1612.03651.
[39] Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
[40] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.
[41] Farahani, M., Gharachorloo, M., Farahani, M., & Manthouri, M. (2021). Parsbert: Transformer-based model for persian language understanding. Neural Processing Letters, 53(6), 3831-3847.
[42] Kuncheva, L. I. (2014). Combining pattern classifiers: methods and algorithms. John Wiley & Sons.
[43] Moreno-Seco, F., Inesta, J. M., León, P. J., & Micó, L. (2006, August). Comparison of classifier fusion methods for classification in pattern recognition tasks. In Joint IAPR International Workshops on Statistical Techniques in Pattern Recognition (SPR) and Structural and Syntactic Pattern Recognition (SSPR) (pp. 705-713). Springer, Berlin, Heidelberg.
[44] Du, P., Xia, J., Zhang, W., Tan, K., Liu, Y., & Liu, S. (2012). Multiple classifier system for remote sensing image classification: A review. Sensors, 12(4), 4764-4792.
[45] Kingma, Diederik P., and Jimmy Ba. "Adam: A method for stochastic optimization." arXiv preprint arXiv:1412.6980, 2014
[46] Abadi, Martin, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, Craig Citro, Greg S. Corrado et al. Tensorow: Largescale machine learning on heterogeneous distributed systems, arXiv preprint arXiv:1603.04467, 2016
[1] Tokenization
[2] Stop words
[3] Term Frequency-Inverted Document Frequency
[4] Frequency-based
[5] Bag of Words (BOW)
[6] Embedding-based
[7] N-gram
[8] Bidirectional Encoder Representations from Transformers
[9] Transformer
[10] Attention Mechanism
[11] BERT
[12] ParsBERT
[13] Majority voting
[14] Recall
[15] https://colab.research.google.com/
[16] vanishing gradient
[17] long-range dependencies
[18] Epoch
[19] Hyper-parameter
[20] Fully connected
