UsERQA: سیستم پاسخگویی به پرسش‌های انجمن آگاه به کاربر مبتنی بر مدل‌های زبانی بزرگ
الموضوعات :
سیده زهرا آفتابی
1
,
سعید فرضی
2
1 - دانشکده مهندسی کامپیوتر، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران
2 - دانشکده مهندسی کامپیوتر، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران
الکلمات المفتاحية: سیستم‌های پاسخگویی به پرسش‌های انجمن, تولید پاسخ, شناسایی پرسش‌های متضمن, مدلسازی کاربر, خلاصه‌سازی چندسندی متمرکز بر پرسمان,
ملخص المقالة :
در عصر حاضر، انجمن‌های پرسش و پاسخ، به بستر‌هایی پویا برای تبادل دانش بدل شده‌اند. سالانه میلیون‌ها پرسش به امید دریافت پاسخ از متخصصین، راهی این انجمن‌ها می‌شوند. اما شمار زیادی از آنها به دلیل محدودیت زمان و منابع متخصصین یا داشتن محتوای تکراری، از دریافت پاسخ صحیح و زودهنگام بی‌نصیب می‌مانند. در این راستا، مطالعات بسیاری به شناسایی پرسش‌های با مضمون مشابه پرسش ورودی در بایگانی انجمن و بهره‌مندی از پاسخ‌های تأییدشده آنها جهت رفع نیاز اطلاعاتی پرسش پرداخته‌اند. عمده این پژوهش‌ها، از تطابق ویژگی‌های نحوی و معنایی زوج پرسش استفاده نموده و برای درک بهتر پرسش‌ها، به تزریق دانش خارجی یا افزایش پیچیدگی مدل متوسل شده‌اند. در این میان، نقش کلیدی دایره موضوعات مورد مطالعه پرسشگر در رفع ابهام از محتوای پرسش مغفول مانده‌است. پژوهش حاضر با ارائه یک سیستم مولد بازیابی‌افزوده برای پاسخگویی به پرسش‌ها موسوم به UsERQA که مبتنی بر مدلسازی دانش پرسشگر است، به رفع این شکاف تحقیقاتی می‌پردازد. UsERQA با بهره‌گیری از مدل‌های زبانی بزرگ، دانش پرسشگر را به‌صورت دنباله‌ای از برچسب‌های موضوعی توصیف نموده و شرط همسو بودن پرسش‌های متضمن با دانش پرسشگر را به فرآیند شناسایی پرسش‌های متضمن که یک فرآیند پسابازیابی است می‌افزاید. سپس، یک مدل زبانی دیگر، به تولید پاسخی واحد بر پایه برترین پاسخ‌ها مبادرت می‌ورزد. به موجب این فرآیند می‌توان از سبک نوشتاری و دانش نهفته در پاسخ‌های انسانی، جهت تولید پاسخِ باکیفیت، الگوبرداری کرد. نتایج آزمایشها روی دادگان CQAD-ReQuEST، عملکرد موفق UsERQA در مدلسازی کاربر و بهبود کیفیت پاسخ‌ها نسبت به مدل مستقل از کاربر را نشان داد.
[1] B. Patra, ‘A survey of Community Question Answering’, CoRR, abs/1705.04009, May 2017.
[2] D. Hoogeveen, L. Wang, T. Baldwin, and K. M. Verspoor, ‘Real and Misflagged Duplicate Question Detection in Community Question-Answering’, 2018.
[3] A. Figueroa, ‘Automatically generating effective search queries directly from community question-answering questions for finding related questions’, Expert Syst. Appl., vol. 77, pp. 11–19, Jul. 2017.
[4] I. Srba and M. Bielikova, ‘A Comprehensive Survey and Classification of Approaches for Community Question Answering’, ACM Trans. Web, vol. 10, no. 3, pp. 1–63, Aug. 2016.
[5] M. Sulír and M. Regeci, ‘Software Engineers’ Questions and Answers on Stack Exchange’, in 2022 IEEE 16th International Scientific Conference on Informatics (Informatics), Nov. 2022, pp. 304–310.
[6] M. Asaduzzaman, A. S. Mashiyat, C. K. Roy, and K. A. Schneider, ‘Answering questions about unanswered questions of Stack Overflow’, in 2013 10th Working Conference on Mining Software Repositories (MSR), May 2013, pp. 97–100.
[7] S. A. Bhaskar, R. Rungta, J. Route, E. Nyberg, and T. Mitamura, ‘Sieg at MEDIQA 2019: Multi-task Neural Ensemble for Biomedical Inference and Entailment’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 462–470.
[8] A. Merchant, N. Shenoy, A. Bharali, and A. K. M, ‘Identifying Similar Questions in the Medical Domain Using a Fine-tuned Siamese-BERT Model’, in 2022 IEEE 19th India Council International Conference (INDICON), Nov. 2022, pp. 1–6.
[9] A. B. Abacha and D. Demner-Fushman, ‘A question-entailment approach to question answering’, BMC Bioinformatics, vol. 20, no. 1, Dec. 2019.
[10] Z. Xu and H. Yuan, ‘Forum Duplicate Question Detection by Domain Adaptive Semantic Matching’, IEEE Access, vol. 8, pp. 56029–56038, 2020.
[11] L. Wang, L. Zhang, and J. Jiang, ‘Duplicate Question Detection With Deep Learning in Stack Overflow’, IEEE Access, vol. 8, pp. 25964–25975, 2020.
[12] D. D. Koswatte and S. Hettiarachchi, ‘Optimized Duplicate Question Detection in Programming Community Q&A Platforms using Semantic Hashing’, in 2021 10th International Conference on Information and Automation for Sustainability (ICIAfS), Aug. 2021, pp. 375–380.
[13] V.-T. Nguyen, A.-C. Le, and H.-N. Nguyen, ‘A Model of Convolutional Neural Network Combined with External Knowledge to Measure the Question Similarity for Community Question Answering Systems’, Int. J. Mach. Learn. Comput., vol. 11, no. 3, pp. 194–201, May 2021.
[14] R. Zhang, Q. Zhou, B. Wu, W. Li, and T. Mo, ‘What do questions exactly ask? mfae: duplicate question identification with multi-fusion asking emphasis’, in Proceedings of the 2020 SIAM International Conference on Data Mining, SDM 2020, 2020, pp. 226–234.
[15] D. Hoogeveen, A. Bennett, Y. Li, K. Verspoor, and T. Baldwin, ‘Detecting Misflagged Duplicate Questions in Community Question-Answering Archives’, Proc. Int. AAAI Conf. Web Soc. Media, vol. 12, no. 1, pp. 112–120, Jun. 2018.
[16] P. K. Roy, S. Saumya, J. P. Singh, S. Banerjee, and A. Gutub, ‘Analysis of community question‐answering issues via machine learning and deep learning: State‐of‐the‐art review’, CAAI Trans. Intell. Technol., vol. 8, no. 1, pp. 95–117, Mar. 2023.
[17] N. Othman, R. Faiz, and K. Smaïli, ‘Enhancing Question Retrieval in Community Question Answering Using Word Embeddings’, Procedia Comput. Sci., vol. 159, pp. 485–494, 2019.
[18] G. Zhou, L. Cai, J. Zhao, and K. Liu, ‘Phrase-based translation model for question retrieval in community question answer archives’, ACL-HLT 2011 - Proc. 49th Annu. Meet. Assoc. Comput. Linguist. Hum. Lang. Technol., vol. 1, pp. 653–662, 2011.
[19] K. Mrini et al., ‘A Gradually Soft Multi-Task and Data-Augmented Approach to Medical Question Understanding’, in Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2021, pp. 1505–1515.
[20] N. S. Tawfik and M. R. Spruit, ‘Evaluating sentence representations for biomedical text: Methods and experimental results’, J. Biomed. Inform., vol. 104, no. February, p. 103396, Apr. 2020.
[21] M. Faseeh, M. A. Khan, N. Iqbal, F. Qayyum, A. Mehmood, and J. Kim, ‘Enhancing User Experience on Q&A Platforms: Measuring Text Similarity Based on Hybrid CNN-LSTM Model for Efficient Duplicate Question Detection’, IEEE Access, vol. 12, no. January, pp. 34512–34526, 2024.
[22] V. Nguyen, S. Karimi, and Z. Xing, ‘Combining Shallow and Deep Representations for Text-Pair Classification’, ALTA 2021 - Proc. 19th Work. Australas. Lang. Technol. Assoc., pp. 68–78, 2021.
[23] S. Ghasemi and A. Shakery, ‘Harnessing the Power of Metadata for Enhanced Question Retrieval in Community Question Answering’, IEEE Access, vol. 12, no. May, pp. 65768–65779, 2024.
[24] A. M. Monea, ‘Medical Question Entailment based on Textual Inference and Fine-tuned BioMed-RoBERTa’, in 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), 2021, pp. 319–326.
[25] S. Yadav, V. Pallagani, and A. Sheth, ‘Medical Knowledge-enriched Textual Entailment Framework’, in Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 1795–1801.
[26] T. R. Goodwin and D. Demner-Fushman, ‘Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge’, CoRR abs/1910.07429, Oct. 2019.
[27] A. B. Abacha, D. Demner-fushman, and U. S. N. Library, ‘Recognizing Question Entailment for Medical Question Answering’, in AMIA Annual Symposium Proceedings, 2016, pp. 310–318.
[28] T. Baldwin, H. Liang, B. Salehi, D. Hoogeveen, Y. Li, and L. Duong, ‘UniMelb at SemEval-2016 Task 3: Identifying Similar Questions by combining a CNN with String Similarity Measures’, in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), 2016, pp. 851–856.
[29] A. B. Abacha and D. Demner-Fushman, ‘On the Summarization of Consumer Health Questions’, in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019, pp. 2228–2234.
[30] C. dos Santos, L. Barbosa, D. Bogdanova, and B. Zadrozny, ‘Learning Hybrid Representations to Retrieve Semantically Equivalent Questions’, in Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), 2015, vol. 2, no. 1, pp. 694–699.
[31] D. A. Prabowo and G. Budi Herwanto, ‘Duplicate Question Detection in Question Answer Website using Convolutional Neural Network’, in 2019 5th International Conference on Science and Technology (ICST), Jul. 2019, no. 1, pp. 1–6.
[32] A. Agrawal, R. Anil George, S. S. Ravi, S. Kamath S, and A. Kumar, ‘ARS_NITK at MEDIQA 2019:Analysing Various Methods for Natural Language Inference, Recognising Question Entailment and Medical Question Answering System’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 533–540.
[33] N. Tawfik and M. Spruit, ‘UU_TAILS at MEDIQA 2019: Learning Textual Entailment in the Medical Domain’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 493–499.
[34] V. Nguyen, S. Karimi, and Z. Xing, ‘ANU-CSIRO at MEDIQA 2019: Question Answering Using Deep Contextual Knowledge’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 478–487.
[35] D. Bandyopadhyay, B. Gain, T. Saikh, and A. Ekbal, ‘IITP at MEDIQA 2019: Systems Report for Natural Language Inference, Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 517–522.
[36] K. Mrini, F. Dernoncourt, W. Chang, E. Farcas, and N. Nakashole, ‘Joint Summarization-Entailment Optimization for Consumer Health Question Understanding’, in Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, 2021, pp. 58–65.
[37] W. Zhu et al., ‘PANLP at MEDIQA 2019: Pre-trained Language Models, Transfer Learning and Knowledge Distillation’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 380–388.
[38] M. Sarrouti, A. B. Abacha, and D. Demner-Fushman, ‘Multi-Task Transfer Learning with Data Augmentation for Recognizing Question Entailment in the Medical Domain’, in 2021 IEEE 9th International Conference on Healthcare Informatics (ICHI), Aug. 2021, pp. 339–346.
[39] H. Zhou, X. Li, W. Yao, C. Lang, and S. Ning, ‘DUT-NLP at MEDIQA 2019: An Adversarial Multi-Task Network to Jointly Model Recognizing Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 437–445.
[40] A. Shang, X. Zhu, M. Danner, and M. Rätsch, ‘Unsupervised question-retrieval approach based on topic keywords filtering and multi-task learning’, Comput. Speech Lang., vol. 87, no. March, p. 101644, Aug. 2024.
[41] K. Jiang, G. Jin, Z. Zhang, R. Cui, and Y. Zhao, ‘Incorporating external knowledge for text matching model’, Comput. Speech Lang., vol. 87, no. March, p. 101638, Aug. 2024.
[42] Y. Sun and J. Song, ‘Research on question retrieval method for community question answering’, Multimed. Tools Appl., vol. 82, pp. 24309–24325, 2023.
[43] D. Hoogeveen, K. M. Verspoor, and T. Baldwin, ‘CQADupStack: A Benchmark Data Set for Community Question-Answering Research’, in Proceedings of the 20th Australasian Document Computing Symposium, Dec. 2015, pp. 1–8.
[44] S. Z. Aftabi, S. M. Seyyedi, M. Maleki, and S. Farzi, ‘ReQuEST: A Small-Scale Multi-Task Model for Community Question-Answering Systems’, IEEE Access, vol. 12, pp. 17137–17151, 2024.
[45] C. Y. Lin, ‘Rouge: A package for automatic evaluation of summaries’, Proc. Work. text Summ. branches out (WAS 2004), no. 1, pp. 25–26, 2004, [Online].
[46] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, ‘BERTScore: Evaluating Text Generation with BERT’, CoRR abs/1904.09675, pp. 1–43, Apr. 2019.
[47] K. Song, X. Tan, T. Qin, J. Lu, and T.-Y. Liu, ‘MPNet: Masked and Permuted Pre-training for Language Understanding’, Adv. Neural Inf. Process. Syst., vol. 2020-Decem, no. NeurIPS, pp. 1–11, Apr. 2020.
دوفصلنامه
فناوری اطلاعات و ارتباطات ایران
سال هفدهم، شماره 65، مهر 1404، شمارة ویژة «هوش مصنوعی و تحلیل داده»، صفحه 20 الی 40
UsERQA: An LLM-Driven User-Aware Community Question Answering System
Seyyede Zahra Aftabi1, Saeed Farzi11
1 Faculty of Computer Engineering, K. N. Toosi University of Technology, Tehran, Iran
Received: 09 September 2024, Revised: 05 February 2025, Accepted: 16 February 2025
Paper type: Research
Abstract
In the present era, question-and-answer communities have become vibrant platforms for sharing knowledge. Every year, millions of questions are posted on these forums with the hope of receiving answers from human experts. Nonetheless, many of these questions fail to receive timely or accurate answers due to experts' limited time or being duplicates. In recent years, a large body of research has focused on identifying entailed questions within community archives and using their accepted answers to fulfill the information needs of newly posed questions. Most of these studies match questions syntactically and semantically while resorting to external knowledge injection or increased model complexity to enhance question understanding. However, the critical role that the topics typically explored by questioners play in disambiguating their queries has been overlooked. This research addresses this gap by introducing UsERQA, a novel retrieval-augmented generation (RAG)-based question-answering system incorporating user knowledge. UsERQA utilizes large language models to represent the questioner's knowledge as a sequence of topical tags. In addition, it employs a question entailment recognition process as a post-retrieval strategy, with a new constraint, mandating the alignment between entailed questions and the questioner's knowledge. Afterward, another large language model generates the final answer using the accepted answers of top entailed questions as context. The goal is to imitate human writing patterns and leverage the knowledge contained in human responses to produce high-quality answers. Experimental results on the CQAD-ReQuEST dataset indicate the efficiency of UsERQA in modeling user knowledge and producing more accurate responses than its user-agnostic counterpart.
Keywords: Community question answering systems, Answer generation, Recognizing question entailment, User modeling, Query-focused multi-document summarization.
UsERQA: سیستم پاسخگویی به پرسش‌های انجمن آگاه به کاربر مبتنی بر مدل‌های زبانی بزرگ
سیده زهرا آفتابی1، سعید فرضی12
1 دانشکده مهندسی کامپیوتر، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران
تاریخ دریافت: 19/06/1403 تاریخ بازبینی: 17/11/1403 تاریخ پذیرش: 28/11/1403
نوع مقاله: پژوهشی
چکيده
در عصر حاضر، انجمن‌های پرسش و پاسخ، به بستر‌هایی پویا برای تبادل دانش بدل شده‌اند. سالانه میلیون‌ها پرسش به امید دریافت پاسخ از متخصصین، راهی این انجمن‌ها می‌شوند. اما شمار زیادی از آنها به دلیل محدودیت زمان و منابع متخصصین یا داشتن محتوای تکراری، از دریافت پاسخ صحیح و زودهنگام بی‌نصیب می‌مانند. در این راستا، مطالعات بسیاری به شناسایی پرسش‌های با مضمون مشابه پرسش ورودی در بایگانی انجمن و بهره‌مندی از پاسخ‌های تأییدشده آنها جهت رفع نیاز اطلاعاتی پرسش پرداخته‌اند. عمده این پژوهش‌ها، از تطابق ویژگی‌های نحوی و معنایی زوج پرسش استفاده نموده و برای درک بهتر پرسش‌ها، به تزریق دانش خارجی یا افزایش پیچیدگی مدل متوسل شده‌اند. در این میان، نقش کلیدی دایره موضوعات مورد مطالعه پرسشگر در رفع ابهام از محتوای پرسش مغفول مانده‌است. پژوهش حاضر با ارائه یک سیستم مولد بازیابی‌افزوده برای پاسخگویی به پرسش‌ها موسوم به UsERQA که مبتنی بر مدلسازی دانش پرسشگر است، به رفع این شکاف تحقیقاتی می‌پردازد. UsERQA با بهره‌گیری از مدل‌های زبانی بزرگ، دانش پرسشگر را به‌صورت دنباله‌ای از برچسب‌های موضوعی توصیف نموده و شرط همسو بودن پرسش‌های متضمن با دانش پرسشگر را به فرآیند شناسایی پرسش‌های متضمن که یک فرآیند پسابازیابی است می‌افزاید. سپس، یک مدل زبانی دیگر، به تولید پاسخی واحد بر پایه برترین پاسخ‌ها مبادرت می‌ورزد. به موجب این فرآیند می‌توان از سبک نوشتاری و دانش نهفته در پاسخ‌های انسانی، جهت تولید پاسخِ باکیفیت، الگوبرداری کرد. نتایج آزمایشها روی دادگان CQAD-ReQuEST، عملکرد موفق UsERQA در مدلسازی کاربر و بهبود کیفیت پاسخ‌ها نسبت به مدل مستقل از کاربر را نشان داد.
کلیدواژگان: سیستم‌های پاسخگویی به پرسش‌های انجمن، تولید پاسخ، شناسایی پرسش‌های متضمن، مدلسازی کاربر، خلاصه‌سازی چندسندی متمرکز بر پرسمان.
[1] * Corresponding Author’s email: saeedfarzi@kntu.ac.ir
[2] * رایانامة نويسنده مسؤول: saeedfarzi@kntu.ac.ir
1- مقدمه
در دو دهه گذشته، با ظهور و توسعه انجمن‌های پرسش و پاسخ، تحول شگرفی در عرصه بازیابی اطلاعات و تبادل دانش به وجود آمده است. از جمله انجمن‌های محبوب در زبان انگلیسی می‌توان Stack Overflow، Quora و iCliniq را نام برد. کاربران این انجمن‌ها قادرند نیاز اطلاعاتی خود را در قالب پرسش‌هایی به زبان طبیعی مطرح نموده و پاسخ‌ها و دیدگاه‌های مختلف را از سایر کاربران انجمن، که از این پس با عنوان متخصص از آنها یاد می‌شود، دریافت نمایند [1]. به محض آنکه پرسشگر، یکی از پاسخ‌های دریافتی را به‌عنوان بهترین پاسخ تأیید نماید، پرسش، حل‌شده1 تلقی شده و در بایگانی2 انجمن ذخیره می‌شود [1–4]. به این ترتیب، با گذر زمان، بایگانی انجمن به مخزنی غنی از اطلاعات مبدل می‌گردد.
بقای یک انجمن پرسش و پاسخ در گرو جلب رضایت کاربران و ترغیب آنها به مشارکت بیشتر است. در این راستا، سرعت حصول پاسخ و صحت پاسخ، دو رکن اصلی برای رضایت کاربران محسوب می‌شوند. این در حالیست که مطابق آمار منتشر شده از انجمن‌های مختلف، سالانه شمار زیادی از پرسش‌ها از دریافت پاسخ بی‌بهره می‌مانند [5، 6]. حال آنکه برای بسیاری از پرسش‌های جدیدالورود، پرسش‌های متضمنی3 در بایگانی انجمن وجود دارند که پیش‌تر، پاسخ صحیحی دریافت نموده‌اند [7، 8]. یک پرسش متضمن، پرسشی با معنای مشابه است که پاسخ صحیح ارائه‌شده برای آن می‌تواند به عنوان یک پاسخ صحیح کامل یا بخشی از پاسخ صحیح برای پرسش جدید نیز ارائه گردد [9]. از این رو، انجمن‌ها، کاربرانشان را به جستجو برای پرسش‌های متضمن و مطالعه پاسخ‌های آنها پیش از اقدام به ثبت یک پرسش جدید تشویق می‌کنند. با این وجود، بسیاری از کاربران، علیرغم صرف زمان قابل توجه برای جستجو، در دستیابی به پاسخ ناکام مانده و با این باور که پرسش آنها منحصر به فرد است، به ثبت پرسش‌های تکراری4 مبادرت می‌ورزند [10، 11]. انباشت تدریجی پرسش‌های تکراری نیز تلاش مضاعف متخصصین برای پاسخگویی و افزایش زمان انتظار کاربران برای دریافت پاسخ را در پی دارد. به همین علت، ساخت و توسعه سیستم‌های شناسایی پرسش‌های متضمن5 (RQE) که قادر باشند در سریعترین زمان ممکن، فهرستی از پرسش‌های متضمن را بازیابی نمایند، به یکی از حوزه‌های تحقیقاتی پرمخاطب مبدل گشته است [8، 10–16].
شناسایی پرسش‌های متضمن در میان انبوه پرسش‌های بایگانی، به این دلیل که افراد مختلف، پرسش‌های مشابه را با واژگان و ساختارهای زبانی متفاوت بیان می‌کنند [10، 17، 18]، فرآیندی سخت و پیچیده است. مثال 2 در جدول 1، دو پرسش را نمایش می‌دهد که فاقد همپوشانی واژگانی6 بوده اما از نظر معنایی، متضمن یکدیگر می‌باشند. در حالتی دیگر، مطابق مثال 3، دو پرسش ممکن است با وجود همپوشانی واژگانی، متضمن یکدیگر نباشند. در این راستا، اکثر پژوهش‌ها از مقایسه واژگان و ساختارهای نحوی زوج پرسش فراتر رفته و تمرکز خود را بر درک عمیق‌تر معانی، با تکیه بر اطلاعات بافتاری7 [19–22] و منابع دانش خارجی [23–26] معطوف نموده‌اند. با این وجود، مروری بر مطالعات انجام شده در این حوزه، وجود یک شکاف تحقیقاتی، مبنی بر نادیده گرفته شدن دانش و علایق کاربران در فرآیند بازیابی پرسش‌های متضمن را هویدا می‌سازد.
جدول 1. نمونه‌هایی از زوج پرسش‌های متضمن و غیرمتضمن |
مثال1. برچسب: متضمن 1. Why did they cut out the expanding granuloma which was due to Coccidiomycosis immitis, rather than just treat it medically? 2. Why did they cut out the Coccidiomycosis granuloma rather than treat it medically? |
مثال2. برچسب: متضمن 1. Is this statement: "the letters have been troubling me since over a year" grammatically, correct? Or should I instead use: "...for over a year". 2. Since is used to refer to a point of time in the past and for is used with time interval. However I've come across this phrase: "I haven't seen you since ages." Is this a correct usage of "since" since ages denotes an interval of time? |
مثال3. برچسب: غیرمتضمن 1. Is this statement: "the letters have been troubling me since over a year" grammatically correct? Or should I instead use: "...for over a year". 2. My student writes a statement like this: "She hasn't gone out with him since one year ago." so, I want to know if this sentence is correct or wrong grammatically. |
پژوهش حاضر بر آن است تا از زمینه‌های موضوعی مورد علاقه پرسشگر که به‌طور مکرر به جستجو پیرامون آنها می‌پردازد، به عنوان دانش کمکی جهت شناسایی دقیق‌تر پرسش‌های متضمن بهره‌مند گشته و بدین وسیله، صحت پاسخ‌های تولید شده برای کاربر را بهبود بخشد. برای این منظور، یک سیستم جامع پاسخگویی به پرسش با نام UsERQA8، متشکل از زنجیره‌ای از مدل‌های زبانی بزرگ، ارائه شده‌است. این سیستم در چهار مؤلفه اصلی خود به مدلسازی دانش پرسشگر براساس سوابق فعالیت‌های وی در انجمن، بازیابی فهرستی از پرسش‌های مرتبط با پرسش ورودی، شناسایی برترین پرسش‌های متضمن در میان پرسش‌های بازیابی‌شده و در پایان، ارائه یک پاسخ صحیح و یکپارچه به پرسشگر بر پایه پاسخ‌های تأییدشده9 برای پرسش‌های متضمن می‌پردازد. در واقع، سیستم پیشنهادی پژوهش حاضر، یک سیستم مولد بازیابی‌افزوده10 (RAG) توسعه‌یافته است که به یک مؤلفه پسابازیابی11 مجهز گشته است. این سیستم نه تنها از دانش جهانی12 مدل‌های زبانی بزرگ برای تولید پاسخ‌هایی مشابه پاسخ‌های انسانی بهره می‌برد، بلکه از چالش‌هایی نظیر تولید پاسخ‌های غیرواقعی13 که گریبان‌گیر این مدل‌ها است مصون می‌ماند. افزون بر این، با تکیه بر دانش و علایق پرسشگر، از ورود پاسخ‌های کاندید نامرتبط با نیاز اطلاعاتی به مرحله تولید پاسخ ممانعت نموده و اعتبار، دقت و صحت بالاتر را در پاسخگویی به ارمغان می‌آورد.
به‌طورکلی، نوآوری‌های مطالعه حاضر به شرح زیر است:
1. ارائه سیستمی برای پاسخگویی خودکار و سریع به پرسش‌های انجمن و بهبود صحت و کیفیت پاسخ‌ها با کاهش خطا در مؤلفه‌های بازیابی پرسش و شناسایی پرسش‌های متضمن
2. بهبود فرآیند شناسایی پرسش‌های متضمن از طریق افزودن شرط همسویی پرسش‌های کاندید با دانش و علایق پرسشگر
3. مدلسازی دانش پرسشگر در قالب دنباله‌ای از برچسب‌های موضوعی با تکیه بر سوابق پرسش‌های وی در انجمن
ادامه این مقاله به شرح زیر سازمان‌دهی شده است. در بخش دوم مروری بر کارهای پیشین در حوزه شناسایی پرسش‌های متضمن ارائه می‌گردد. در بخش سوم، سیستم پیشنهادی و عملکرد هریک از مؤلفه‌های آن تشریح می‌شود. بخش چهارم به معرفی دادگان، تنظیمات سیستم، نتایج آزمایشها و بحث پیرامون آنها پرداخته و بخش پنجم، با جمع‌بندی و ارائه پیشنهادات به آن خاتمه می‌دهد.
2- کارهای مرتبط
با معرفی وظیفه تشخیص تضمن پرسش‌ها (RQE) توسط آباچا و همکاران در سال 2016 [27]، مطالعات بسیاری، به ارائه مدل‌های RQE و ارتقاء عملکرد آنها از زوایای مختلف پرداختند.
بطور کلی، مدل‌های RQE از منظر روش تولید بازنمایی‌های14 برداری به دو دسته ”مبتنی بر ویژگی15“ و ”مبتنی بر تعبیه16“ قابل تقسیم هستند. در دسته اول، مجموعه‌ای از ویژگی‌ها به صورت دستی از پرسش‌ها استخراج می‌شوند [28، 29]. مهمترین نقطه ضعف این رویکردها را می‌توان ناتوانی معیارهای شباهت سنتی، در تشخیص هم‌ارزی‌های معنایی عنوان کرد [30، 31]. در دسته دوم، مهندسی ویژگی‌ها به مدل‌های شبکه عصبی سپرده می‌شود. تعدادی از پژوهش‌ها، بردارهای تعبیه را در سطح کلمه17 [9، 31، 32] و تعدادی در سطح جمله18 [33] تولید نموده‌اند. در این میان، تحلیل خطاها از ناتوانی مدل‌های تعبیه ایستا19 در مواجهه با چالش‌هایی نظیر چندمعنایی20، اصطلاحات تخصصی و واژگان خارج از لغت‌نامه حکایت داشته‌است. از این رو، با پیدایش مدل‌های تعبیه بافتاری، بسیاری از محققین به استفاده از آنها گرایش یافتند.
گروهی از پژوهش‌ها تلاش نمودند تا با تزریق دانش از طرق مختلف، بازنمایی‌های برداری را غنی‌تر نمایند. استفاده از مدل‌های پیش‌آموزش‌دیده21 روی داده‌های خاص-دامنه22، یکی از راهکارهایی است که محققین برای تزریق دانش تخصصی پیشنهاد کردند. نگوین و همکاران [34] با هدف رفع ابهام از اصطلاحات تخصصی و اختصارات23 در دامنه پزشکی، بهره‌برداری همزمان از تعبیه خاص-دامنه Bio-BERT و تعبیه حاصل از مدلِ دامنه-باز BERT24 را پیشنهاد نمودند. محققین در [35]، کیفیت تعبیه Word2vec در یک شبکه مبتنی بر Bi-LSTM25 را با تعبیه حاصل از Bio-BERT در یک شبکه عصبی چندلایه مقایسه نموده و عملکرد برتر Word2vec را شاهد بودند. دادهافزایی26، دیگر راهکاری است که پژوهشگران به منظور افزایش تعمیم‌پذیری بازنمایی‌ها، جلوگیری از بیش‌برازش27 و تأمین داده برای آموزش مدل‌های زبانی به آن رجوع کردند. مرینی و همکاران [36] با اثبات رابطه هم‌ارزی میان وظایف RQE و خلاصه‌سازی پرسش، رویکردی برای دادهافزایی جهت تسهیل یادگیری چندوظیفه‌ای28 پیشنهاد دادند. آنها از هر زوج پرسش در دادگان خلاصه‌سازی، یک زوج معادل برای دادگان RQE تولید نمودند. برخی محققین نیز استفاده از یادگیری انتقالی29 را توصیه کردند. زو و همکاران [37]، تنظیم دقیق30 مدل MT-DNN31 برای وظیفه استنتاج زبان طبیعی32 را در بهبود عملکرد آن در وظیفه RQE مؤثر یافتند.
گروه دیگری از پژوهش‌ها، تقویت معماری مدل را در پیش گرفتند. به همین علت، گذار تدریجی از مدل‌های سنتی یادگیری ماشین [28، 29، 32–34] به سمت مدل‌های پیشرفته یادگیری عمیق را شاهد هستیم. به عنوان نمونه، فصیح و همکاران [21] از ظرفیت شبکه‌های حافظه طولانی کوتاه‌مدت33 و شبکه‌های عصبی پیچشی34 (CNN) برای دریافت همزمان وابستگی‌های بلندمدت و محلی بهره‌مند شدند. بازنمایی‌های زوج پرسش، پس از تولید توسط مدل‌های فوق، برای دسته‌بندی به یک مدل پرسپترون35 ارائه شدند.
برخی مطالعات با ارائه مدل‌های پیچیده چندوظیفه‌ای، درصدد تزریق دانش به مدل برآمدند. یادگیری چندوظیفه‌ای، از طریق لایه‌های اشتراکی، امکان تبادل دانش بین وظایف مرتبط را فراهم می‌آورد [38]. ژو و همکاران [39] یک شبکه تخاصمی36 برای وظایف RQE و پاسخگویی به پرسش، شامل یک رمزگذار37 مشترک، یک متمایزگر38 وظیفه و دو دسته‌بند طراحی نمودند. در این شبکه، متمایزگر با تشخیص نوع وظیفه، رمزگذار را بر حذف ویژگی‌های خاص-وظیفه39 از بازنمایی‌ها ترغیب می‌نمود. ناتوانی در درک پرسش‌های مبهم و اختصارات را می‌توان از نقاط ضعف روش پیشنهادی آنها برشمرد. شانگ و همکاران [40] از یادگیری بدون‌نظارت40 چندوظیفه‌ای با یک رمزگذار مشترک، به‌منظور ارتقاء کیفیت بازنمایی‌ها بهره جستند. آنها وظایف تولید کلیدواژه برای پرسش و بازنمایی پرسش را به‌صورت توأم آموزش دادند. اگرچه آزمایشها از عملکرد مؤثر مدل آنها در برخورد با پرسش‌های کوتاه حکایت دارد، اما کارایی آن برای پرسش‌های طولانی و پیچیده، مورد سؤال است. مرینی و همکاران [19] یک مدل مبتنی بر BART41 شامل وظایف خلاصه‌سازی پرسش و RQE پیشنهاد نمودند. نوآوری اصلی آنها تعریف دو مؤلفه رمزگشا42 با اشتراک تدریجی-نرم43 در کنار یک رمزگذار مشترک بود. نتایج تجربی آنها مؤید نقش مؤثر خلاصه‌سازی پرسش در تقویت عملکرد RQE بود.
به عقیده برخی محققین، مدل‌های عمیق موجود در زمینه RQE، به دلیل اتکاء صرف بر دانش داخلی، فاقد جامعیت و ناتوان در استدلال در سطوح عمیق هستند [41]. به همین علت، در ادبیات پژوهش می‌توان مطالعاتی را نیز یافت که به تزریق دانش دامنه‌ای یا عمومی از طریق گراف‌های دانش44 پرداخته‌اند. گودوین و همکاران [26] از گراف دانش ConceptNet برای کسب دانش مستقل از وظیفه45 بهره‌مند گشتند. یاداو و همکاران [25] یک روش رمزگذاری دوگانه46 مبتنی بر گراف دانش را معرفی کردند که در آن، همزمان با استخراج اطلاعات بافتاری محلی توسط مدل‌های زبانی، اطلاعات عمومی نیز در سه گام، شامل ساخت گراف هم‌آیندی47 کلمات، تکمیل آن به کمک گراف‌های دانشِ خاص-دامنه و تولید تعبیه گرافی با استفاده از شبکه‌های پیچشی گرافی، استخراج می‌شد. آنگاه، یک مدل ترانسفورمر48، دو تعبیه مذکور را در هم آمیخته و بازنمایی حاصل به یک شبکه عصبی ارسال می‌شد. نتایج آنها توانایی این مدل در درک بهتر پرسش‌ها در دامنه پزشکی را نشان داد. اگرچه، پیچیدگی، تعمیم‌پذیری و مقیاس‌پذیری را می‌توان سه چالش مهم در مطالعه آنها دانست. جیانگ و همکاران [41] از گراف ConceptNet، پایگاه دانش Wiktionary و مدل تعبیه BERT برای تولید بازنمایی دانش، و از یک مدل متشکل از چندین شبکه CNN و لایه‌های توجه49 برای تولید بازنمایی زوج پرسش استفاده نمودند. سپس بازنمایی‌های حاصل را با بهره‌گیری از یک مکانیزم گِیت50 با یکدیگر تلفیق کردند. آزمایشها اثربخشی و مقیاس‌پذیری روش پیشنهادی آنها روی دادگان مختلف را تأیید نموده است اما تحلیلی بر پیچیدگی مدل ارائه نشده است.
گروهی از محققین از فراداده‌های51 پرسش به عنوان یک منبع دانش تکمیلی استفاده نمودند. برای مثال، از دیدگاه سان و همکاران [42]، کیفیت پاسخ پرسش‌های کاندید، عامل مهمی است که باید در کنار شباهت‌های نحوی و معنایی، برای رتبه‌بندی پرسش‌ها لحاظ گردد. آنها پس از بازیابی پرسش‌های مرتبط به کمک نمایه معکوس52 و TF-IDF53، کیفیت پاسخ هر پرسش مرتبط را توسط یک مدل مبتنی بر ELMo54 سنجیده و این امتیاز را به همراه سایر امتیازات، به الگوریتم رتبه‌بندی ارائه نمودند. یافته‌های آنها، صرف‌نظر از افزایش حجم محاسباتِ زمان واقعی، مؤثر بودن ویژگی‌های منتخب را به اثبات رساند. قاسمی و شاکری [23] یک مدل زبانی مبتنی بر ترجمه را برای وظیفه بازیابی پرسش ارائه دادند بطوریکه، علاوه بر بدنه پرسش، موضوع، عنوان و پاسخ‌ها نیز در آن مشارکت داشتند. بنای اصلی رویکرد آنها بر دو مدل BERT و GPT، به ترتیب برای پیش‌بینی دسته موضوعی پرسش جدید و مبسوط نمودن آن از طریق تولید و الحاق پاسخ، استوار بود. به این ترتیب، مدل مبتنی بر ترجمه، پرسش‌های کاندید را براساس شباهتشان به پرسش بسط‌یافته رتبه‌بندی می‌کرد. اگرچه مدل آنها در اختصاص رتبه‌های بالاتر به پرسش‌های مرتبط، موفق عمل کرد، اما سربار محاسباتی برخط، یکی از معایب آن به شمار می‌آید. جدول 2 به مرور اجمالی مطالعات پیشین می‌پردازد.
[1] Resolved
[2] Archive
[3] Entailed questions
[4] Duplicate questions
[5] Recognizing question entailment (RQE)
[6] Word overlap
[7] Contextual
[8] User-aware Entailment Recognition-based Question Answering
[9] Accepted answers
[10] Retrieval-augmented generation (RAG)
[11] Post-retrieval
[12] (Parametric) world knowledge
[13] Hallucination
[14] Representation
[15] Feature-based approaches
[16] Embedding-based approaches
[17] Word embedding
[18] Sentence-level embedding
[19] Static
[20] Polysemy
[21] Pre-trained
[22] Domain-specific
[23] Abbreviations
[24] Bidirectional Encoder Representations from Transformers
[25] Bidirectional Long Short-Term memory
[26] Data augmentation
[27] Overfitting
[28] Multi-task learning
[29] Transfer learning (TL)
[30] Fine-tune
[31] Multi-task Deep Neural Network
[32] Natural Language Inference (NLI)
[33] Long Short-Term Memory network (LSTM)
[34] Convolutional Neural Network (CNN)
[35] Multi-Layer Perceptron (MLP)
[36] Adversarial
[37] Encoder
[38] Discriminator
[39] Task-specific
[40] Unsupervised
[41] Bidirectional Auto-Regressive Transformers
[42] Decoder
[43] Gradually-soft
[44] Knowledge Graph (KG)
[45] Task-agnostic
[46] Dual-encoding
[47] Co-occurrence
[48] Transformer
[49] Attention layers
[50] Gating mechanism
[51] Metadata
[52] Inverted index
[53] Term Frequency-Inverse Document Frequency
[54] Embeddings from Language Models
جدول 2. مروری بر کارهای پیشین در حوزه شناسایی متون متضمن | ||||||||
مرجع | وظیفه | پیش‌پردازش | روش بازنمایی | مدل یادگیری | دادگان | دانش | نتایج | |
[9] | RQE | حذف کلمات توقف، | Feature-based، GloVe | MLP، LR | Multi-NLI، SNLI، | پرسش | برتری مدل LR، اثربخشی روش ترکیبی شامل بازیابی با روش‌های سنتی و رتبه‌بندی مجدد براساس نتایج RQE | |
[32] | RQE | حذف کلمات توقف، | Feature-based، BioBERT | AdaBoost، SVM، NB، XGBoost، LR، KNN | MediQA-RQE | پرسش | برتری مدل‌های ترکیبی نظیر AdaBoost و XGBoost بر مدل‌های محض | |
[28] | ISQ | بن‌یابی | Feature-based، Word2vec | MLP، SVM، NB، CNN | SemEval (2016) | پرسش، عنوان | عملکرد برتر مدل CNN نسبت به مدل‌های سنتی، افت نتایج در استفاده از رای اکثریت | |
[31] | DQD | - | GloVe | Siamese-CNN، MLP | Quora | پرسش | برتری قابل توجه CNN بر MLP | |
[33] | RQE | - | USE | MLP، LR | MediQA-RQE | پرسش | کیفیت قابل قبول تعبیه‌های USE با وجود سادگی مدل MLP | |
[20] | RQE | - | FastText، ELMO، InferSent، GloVe، BioBERT،SciBERT | LR | MediQA-RQE | پرسش | برتری تعبیه در سطح جمله نسبت به تعبیه در سطح کلمه، برتری مدل‌های تعبیه خاص دامنه پزشکی بر مدل‌های عمومی | |
[34] | RQE | - | BERT، BioBERT | SVM | MediQA-RQE | پرسش | تأثیر مثبت ترکیب مدل‌های خاص-دامنه با مدل‌های عمومی در رفع نقاط ضعف آنها | |
[35] | RQE | - | Word2vec،BioBERT | Siamese-BiLSTM، MLP | MediQA-RQE | پرسش | عملکرد برتر مدل Siamese با تعبیه‌های word2vec نسبت به مدل‌های خاص-دامنه | |
[37] | RQE | گسترش اختصارات | BioBERT،SciBERT ، GloVe، MT-DNN | BERT، ESIM، RCNN-NLI، سایر | MediQA-RQE | پرسش، UMLS | حذف ویژگی‌های خاص-وظیفه و ارتقاء کیفیت بازنمایی‌ها با یادگیری تخاصمی | |
[23] | DQD | حذف کلمات توقف، | BERT | BERT، GPT-2، GPT-3، GPT-4 | SemEval (2017) | پرسش، پاسخ، | اثبات اهمیت فراداده‌ها، کارآمدی گسترش پرسش توسط LLMها در دقت بازیابی | |
[21] | DQD | حذف کلمات توقف و علائم نشانه‌گذاری، ریشه‌یابی | Word2vec، GloVe | CNN + BiLSTM، AdaBoost،BERT، MLP، SVM، سایر | Stack Overflow | پرسش | مؤثر بودن الحاق بازنمایی‌های LSTM و CNN در مدلسازی الگوهای پیچیده در داده و برتری این روش نسبت به BERT | |
[40] | QR | حذف کلمات توقف | BERT، RoBERTa، LDA، سایر | - | TREC-50، FAQIR، | پرسش | تولید بازنمایی‌های برداری غنی‌تر از طریق تولید کلید واژه برای پرسش‌ها و یادگیری چندوظیفه‌ای بدون ناظر بر پایه کلیدواژه‌ها | |
[41] | QR | - | CNN + attention، BERT | MLP | SNLI، MedNLI، | پرسش، | کارایی ادغام دانش خارجی در بازنمایی‌های برداری و بهره‌گیری از مکانیزم توجه در ارتقاء درک معانی، ضمن حفظ قابلیت تعمیم مدل | |
[26] | RQE | - | BERT | BERT | MediQA-RQE، | پرسش، | مؤثر بودن تزریق دانش دامنه‌ای و جهانی درباره موجودیت‌ها به بازنمایی موجودیت‌ها | |
[25] | RQE | - | BERT + GCN + attention، BioBERT،ClinicalBERT | MLP | MediQA-RQE | پرسش، UMLS، | بهبود درک محلی و سراسری با ترکیب مدل‌های عمومی و منابع دانش خاص-دامنه | |
[42] | QR | حذف کلمات توقف و | Feature-based،Word2vec، BiLSTM + attention | Ranking SVM | SemEval | پرسش، پاسخ | بهبود رتبه‌بندی پرسش‌های کاندید با نگاه به کیفیت پاسخ‌های آنها | |
[19] |
| - | BART | BART | iCliniq، MeQSum، | پرسش | تولید بازنمایی‌های غنی‌تر از طریق یادگیری توأمان وظایف مرتبط | |
اختصارات: BERT: بازنمایی‌های رمزگذار دوسویه از ترانسفورمرها، BART: ترانسفورمر دوسویه خودبازگشتی، CNN: شبکه عصبی پیچشی، DQD: شناسایی پرسش‌های تکراری، GCN: شبکه پیچشی گرافی، GPT: ترانسفورمر پیش‌آموزش‌دیده مولد، ISQ: شناسایی پرسش‌های مشابه، KNN: k-نزدیکترین همسایه، LR: رگرسیون لجستیک، BiLSTM: شبکه حافظه طولانی کوتاه‌مدت دوسویه، MAP: میانگین متوسط دقت، MLP: پرسپترون چند لایه، MRR: میانگین معکوس رتبه، NB: بیز محض، QR: بازیابی پرسش، RCNN-NLI: شبکه عصبی بازگشتی پیچشی برای استنتاج زبان طبیعی، RQE: شناسایی پرسش‌های متضمن، SVM: ماشین بردار پشتیبان، UMLS: سیستم یکپارچه زبان پزشکی، USE: رمزگذار جهانی جملات | ||||||||
3- سیستم پیشنهادی
UsERQA یک سیستم هوشمند مولد پاسخ برای انجمن‌های پرسشوپاسخ است که با استفاده از زنجیره‌ای از مدل‌های زبانی بزرگ، به تحلیل علاقمندی‌های پرسشگر پرداخته و پاسخی جامع به زبان طبیعی برای تأمین نیاز اطلاعاتی وی ارائه می‌دهد. این سیستم، مطابق شکل 1، از چهار مؤلفه اصلی شامل مدلسازی کاربر، بازیابی پرسش، شناسایی پرسش‌های متضمن و تولید پاسخ تشکیل شده است. در نخستین گام پس از ثبت یک پرسش جدید در انجمن، شناسه کاربری پرسشگر در اختیار مؤلفه مدلسازی کاربر قرار می‌گیرد تا با تحلیل سوابق فعالیت‌های این کاربر، دانش و علایق وی در قالب یک دنباله متنی، حاوی تعدادی عنوان1 کلیدی، توصیف گردد. به‌طور همزمان، مؤلفه بازیابی پرسش نیز با دریافت بدنه پرسش، اقدام به سنجش شباهت آن با پرسش‌های حل‌شده در بایگانی انجمن نموده و فهرستی از پرسش‌های مشابه را بازیابی می‌نماید. خروجی‌های این دو مؤلفه در گام بعد در اختیار مؤلفه شناسایی پرسش‌های متضمن قرار می‌گیرند. این مؤلفه با آگاهی از دانش و علایق پرسشگر، پرسش‌های مشابه را غربال2 نموده و پرسش‌هایی که پتانسیل ارائه یک پاسخ صحیحِ کامل یا جزئی به پرسش جدید را دارند شناسایی می‌کند. در گام آخر، پاسخ‌های تأییدشده برای برترین پرسش‌های متضمن، به مؤلفه تولید پاسخ ارائه می‌گردند تا در یک پاسخ واحد به زبان طبیعی، متمرکز بر نیاز پرسش، تجمیع گردند. در ادامه، عملکرد هر مؤلفه از سیستم، با جزئیات تشریح می‌شود.
[1] Topic
[2] Filter
|
شکل 1. نمایی کلی از سیستم پیشنهادی پژوهش (UsERQA) |
3-1- مدلسازی کاربر
مؤلفه مدلسازی کاربر را می‌توان اصلی‌ترین نوآوری پژوهش جاری دانست. این مؤلفه مبتنی بر یک مدل زبانی بزرگ است که با بررسی سوابق فعالیت‌های یک کاربر، بر استنباط دانش پیش‌زمینه و موضوعات مورد علاقه وی اهتمام می‌ورزد. گام‌های اتخاذ شده در این فرآیند، در الگوریتم (1) ارائه شده است.
Algorithm 1: User knowledge modeling | |||||||||||||
Inputs: User id Output: User knowledge | |||||||||||||
|
| ||||||||||||
foreach |
| ||||||||||||
if |
| ||||||||||||
end |
| ||||||||||||
|
| ||||||||||||
foreach |
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
end |
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
return |
| ||||||||||||
Algorithm 2: Similar question retrieval | |||||||||||||
Inputs: Newly submitted question Output: Top most similar questions | |||||||||||||
|
| ||||||||||||
|
| ||||||||||||
foreach |
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
end |
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
foreach |
| ||||||||||||
append |
| ||||||||||||
end |
| ||||||||||||
return |
| ||||||||||||
(1) |
| ||||||||||||
(2) |
| ||||||||||||
(3) |
| ||||||||||||
(4) |
| ||||||||||||
Algorithm 3: Answer generation | |||||||||||||
Inputs: Newly submitted question Output: Final answer | |||||||||||||
|
| ||||||||||||
foreach |
| ||||||||||||
if |
| ||||||||||||
append |
| ||||||||||||
end |
| ||||||||||||
end |
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
|
| ||||||||||||
return |
| ||||||||||||
جدول 3. مقدار پارامترهای مورد استفاده | |||||||||||||
داده مشخصات آماری | دادگان آموزش | دادگان آزمون | دادگان اعتبارسنجی | ||||||||||
میانگین تعداد نشانه‌ها15 در پرسش‌های | 113 | 116 | 88 | ||||||||||
میانگین تعداد نشانه‌ها در پرسش‌های | 112 | 103 | 90 | ||||||||||
میانگین طول دنباله برچسب‌های | 6 | 6 | - | ||||||||||
بیشینه طول دنباله برچسب‌های | 27 | 23 | - | ||||||||||
میانگین طول پاسخ‌های تأییدشده برای | 243 | 253 | - | ||||||||||
تعداد زوج‌های متضمن | 3988 | 1012 | 250 | ||||||||||
تعداد زوج‌های غیرمتضمن | 4012 | 988 | 250 | ||||||||||
جدول 4. مقدار ابرپارامترهای مورد استفاده | |||||
شماره مؤلفه نام پارامتر | 1 | 2 | 3 | 4 | |
max_epochs | 10 | - | 10 | - | |
learning_rate | 2×10-4 | - | 3×10-5 | - | |
Batch_size | 32 | - | 32 | - | |
max_seq_length | 256 | - | 512 | 4096 | |
max_new_tokens | 30 | - | 1 | 240 | |
lora_r | 64 | - | 64 | - | |
lora_alpha | 16 | - | 16 | - | |
lora_dropout | 1/0 | - | 3/0 | - | |
temperature | 97/0 | - | 97/0 | 0 | |
4- or 8-bit quantization | خیر | - | خیر | خیر | |
k | 10 | 50 | - | 5، 3 | |
4-3- معیارهای ارزیابی
در این مطالعه، شباهت نحوی و معنایی یک دنباله تولیدشده توسط سیستم پیشنهادی (
) نسبت به دنباله هدف (
)، به ترتیب براساس معیارهای استاندارد Rouge [45] و BERTScore [46] ارزیابی می‌شود.
Rouge: برای محاسبه این معیار کافیست مطابق رابطه (5) همپوشانی18 
-گرام‌های دنباله تولیدشده و دنباله هدف را بر تعداد کل -گرام‌های دنباله هدف تقسیم نمود. خروجی این رابطه، عددی در بازه ]1,0[ است بطوریکه، نزدیکتر بودن آن به مقدار 1، بر همپوشانی واژگانی بیشتر و کیفیت بالاتر دنباله‌های تولیدشده دلالت دارد.
(5) |
| ||||||||||||
(6) |
| ||||||||||||
(7) |
| ||||||||||||
|
شکل 2. الگوی اعلان مورد استفاده برای تنظیم مؤلفه مدلسازی کاربر |
| خطای آموزش |
تکرار آموزش |
|
شکل 3. روند تغییرات تابع خطا در زمان آموزش مؤلفه مدلسازی کاربر | |
نتایج حاصل از اعمال مدل Llama2 روی مجموعه آزمون نیز در جدول 5 گزارش شده است. حصول مقادیر بالای 90% برای BERTScore بیانگر آن است که برچسب‌های تولیدشده از نظر معنایی، تا حد زیادی با برچسب‌های هدف مطابقت دارند. بعلاوه، بالا بودن همزمان معیارهای Rouge-L و Rouge-1 بر توانمندی مدل در بازیابی بخش قابل‌توجهی از نشانه‌ها در برچسب‌های هدف، ضمن رعایت ترتیب رخدادشان دلالت دارد. شایان ذکر است که مدل تولید برچسب دارای 6/33 میلیون پارامتر قابل آموزش است و متوسط زمان تولید برچسب برای هر پرسش، 421/1 ثانیه می‌باشد.
جدول 5. ارزیابی عملکرد مدل Llama2 در مدلسازی دانش کاربر روی دادگان آزمون CQAD-ReQuEST | |||
نام معیار | مبتنی بر فراخوانی | مبتنی بر F1 | |
Rouge-1 | 628/0 | 624/0 | |
Rouge-2 | 418/0 | 416/0 | |
Rouge-L | 626/0 | 622/0 | |
BERTScore | 940/0 | 940/0 | |
4-4-2- مقایسه کارایی مدل‌های مختلف بازنمایی متن در بازیابی پرسش‌های مشابه
سنجش شباهت میان زوج پرسش‌ها مستلزم نگاشت آنها به بردارهایی در فضای چندبعدی است؛ فرآیندی که به آن بازنمایی برداری متن گفته می‌شود. هرچه این بردارها روابط عمیق معنایی میان واژگان را بهتر منعکس نموده و در مدلسازی مفاهیم انتزاعی موفق‌تر عمل کنند، شباهت میان زوج پرسش‌ها نیز با دقت بیشتری سنجیده شده و کیفیت بازیابی بهبود می‌یابد. در این بخش از آزمایشات، 5 مدل مختلف بازنمایی مورد مقایسه قرار گرفته‌اند. برای این منظور، تعداد پرسش‌های ورودی که حداقل یکی از پرسش‌های تکراری آنها در فهرست 
پرسش برتر بازیابی‌شده برایشان ظاهر شده است، شمارش شده‌اند. شکل 4 به گزارش این نتایج می‌پردازد. جدول 6 نیز میانگین زمان موردنیاز برای تولید بازنمایی برداری یک پرسش توسط هر مدل را ارائه می‌کند. اگرچه در سیستم پیشنهادی، زمان لازم برای تولید بازنمایی‌های برداری پرسش‌های بایگانی، به دلیل امکان انجام آن به‌صورت کاملاً برون‌خط، اهمیت چندانی ندارد.
| تعداد بازیابی‌های موفق | ||||||||||||
تعداد پرسش‌های منتخب | |||||||||||||
| |||||||||||||
شکل 4. مقایسه مدل‌های مختلف بازنمایی برداری بر اساس تعداد پرسش‌هایی که حداقل یک پرسش تکراری در میان | |||||||||||||
جدول 6. مقایسه مدل‌های مختلف بازنمایی برداری براساس میانگین زمان تولید بازنمایی یک پرسش | |
نام مدل | زمان (s) |
TF-IDF | 03/1×10-4 |
paraphrase-MiniLM-L6-v2 | 63/9×10-4 |
paraphrase-multilingual-MiniLM-L12-v2 | 71/1×10-3 |
BERT-base-cased | 89/2×10-2 |
all-mpnet-base-v2 | 97/3×10-2 |
مدل TF-IDF را نیز می‌توان بهینه‌ترین مدل از نظر زمان اجرا معرفی کرد؛ ضمن اینکه مطابق شکل 4، کیفیت عملکرد آن نسبت به مدل‌های تعبیه بافتاری، قابل قبول ارزیابی می‌شود. در این میان، مدل‌هایی که برای وظیفه تشخیص بازنویسی21 آموزش دیده‌اند از نظر میانگین زمان بازنمایی، سریعتر از مدل mpnet عمل کرده و از نظر کیفیت بازنمایی‌ها، در رده متوسط قرار گرفته‌اند.
4-4-3- سنجش میزان اثربخشی مدلسازی کاربر در فرآیند شناسایی پرسش‌های متضمن
این بخش از آزمایشات، نخست به تنظیم ابرپارامترها برای آموزش مؤلفه شناسایی پرسش‌های متضمن پرداخته و سپس، با مقایسه عملکرد این مؤلفه در حضور و عدم حضور دانشِ مدل‌شده برای کاربر، به سومین پرسش پژوهشی پاسخ می‌دهد. برای این منظور، مدل Llama2 براساس زوج پرسش‌های برچسب‌خورده در دادگان آموزش CQAD-ReQuEST تنظیم دقیق می‌شود. شکل 5، الگوی اعلان را برای دو حالت آگاه به کاربر و مستقل از کاربر نمایش می‌دهد. در شکل 6 نیز تغییرات خطای آموزش و اعتبارسنجی به ازای مقادیر مختلف ابرپارامترها به تصویر کشیده شده است. در این آزمایشها، به دلیل محدودیت منابع محاسباتی و گستردگی فضای حالت، فرآیند آموزش به سه تکرار محدود شده است. به‌طور کلی، مقادیر ارائه شده در جدول 4، به عنوان پیکربندی پایه در نظر گرفته شده و در هر آزمایش، تنها یکی از ابرپارامترها تغییر داده شده است تا تأثیر مستقل آن بر عملکرد مدل ارزیابی گردد. خطای اعتبارسنجی نیز به منظور پایش دقیق‌تر رفتار مدل، پس از هر 10 گام بروزرسانی پارامترهای مدل، محاسبه شده است. لازم به ذکر است، تعداد پارامترهای قابل آموزش در مدل شناسایی پرسش‌های متضمن برابر با 6/33 میلیون و متوسط زمان پیش‌بینی برچسب برای هر زوج پرسش، حدود 425/0 ثانیه است.
|
(الف) |
|
(ب) |
شکل 5. الگوی اعلان مورد استفاده برای تنظیم مؤلفه شناسایی پرسش‌های متضمن (الف) آگاه به کاربر (ب) مستقل از کاربر |
نتایج ارائه شده در شکل 6 (الف)، گویای آن است که افزایش مقادیر 
و 
، افزایش ظرفیت مدل برای یادگیری و تسریع همگرایی را به همراه دارد. براساس این نتایج، مقادیر 64 و 16 به عنوان مقادیر بهینه برای این دو پارامتر انتخاب می‌شوند. شکل 6 (ب) تأثیر مقادیر مختلف نرخ حذف نورون‌ها بر عملکرد مدل را نشان می‌دهد. همانطور که ملاحظه می‌شود، در مراحل اولیه آموزش، مقادیر 1/0 و 2/0 کمترین خطای اعتبارسنجی را داشته‌اند. با این حال در ادامه، مدل مبتنی بر 3/0 توانسته است با شیب نزولی بیشتر، از آنها پیشی گرفته و جایگاه نخست را به خود اختصاص دهد. در مقابل، مقدار 4/0 به کم‌برازش مدل انجامیده و در جایگاه آخر قرار گرفته است.
[1] Prompt
[2] Tags
[3] Frequency
[4] Offline
[5] Drift
[6] Binary classification
[7] Text generation
[8] Lexical overlap
[9] Peripheral details
[10] Link
[11] Thread
[12] Prompt engineering
[13] Instruction
[14] Question-focused multi-answer summarization
[15] Tokens
[16] https://huggingface.co/meta-llama/Llama-2-7b-chat-hf
[17] https://chat.openai.com/
[18] Overlap
[19] Longest common sequence of words (LCS)
[20] Permutation
[21] Paraphrase
| خطای آموزش |
| خطای اعتبارسنجی |
(الف) | |||
| خطای آموزش |
| خطای اعتبارسنجی |
(ب) | |||
| خطای آموزش |
| خطای اعتبارسنجی |
تکرار آموزش |
| گام |
|
(ج) | |||
شکل 6. مقایسه تغییرات تابع خطای آموزش و اعتبارسنجی در طول فرآیند آموزش مدل برای مقادیر مختلف پارامترهای (الف) r و | |||
در شکل 6 (ج)، عملکرد مدل به ازای مقادیر مختلف نرخ یادگیری نشان داده شده است. به‌طور کلی، افزایش نرخ یادگیری سبب تسریع همگرایی در مراحل اولیه آموزش می‌گردد و همزمان، احتمال وقوع بیش‌برازش در مراحل آتی نیز بیشتر می‌شود. در این آزمایش، نرخ یادگیری 105×4، علیرغم آنکه شروع بهتری را رقم زده است با گذشت زمان، ناپایدار گشته و بر مدل مبتنی بر نرخ 105×3 مغلوب گشته است. بنابراین، نرخ یادگیری 105×3 با حفظ فاصله معنادار از سایر رقبا، به عنوان مقدار بهینه برای آزمایش‌های بعدی انتخاب می‌شود.
شکل 7 مقایسه تغییرات تابع خطا در طول فرآیند آموزش در دو اجرای مذکور را نمایش می‌دهد. در این نمودار، محور افقی مبین تکرارهای آموزش و محور عمودی نشان‌دهنده میزان خطای آموزش است. همانطور که ملاحظه می‌شود، رقابت تنگاتنگی میان دو مدل شکل گرفته است. تا تکرار هفتم آموزش، روند همگرایی دو مدل تقریباً یکسان بوده و هیچ‌کدام از آنها نتوانسته‌اند بر رقیب خود فائق آیند. اما با ادامه یافتن فرآیند آموزش و افزایش ناگهانی خطای مدلِ مستقل از دانش کاربر در تکرار هشتم، نتیجه به نفع مدل متمرکز بر دانش کاربر تغییر می‌کند. در واقع، چنین استنباط می‌شود که هر دو مدل در برخورد با اکثریت زوج پرسش‌ها که فاقد ابهام بوده‌اند، عملکرد یکسانی ارائه داده‌اند؛ اما مدل مبتنی بر دانش کاربر توانسته است با تصمیم‌گیری دقیق‌تر برای اقلیت مبهم پرسش‌ها، برتری خود را به اثبات رساند. ارزیابی عملکرد این دو مدل روی دادگان آزمون که نتایج آن در جدول 7 ارائه شده است نیز استدلال فوق را تأیید می‌کند. به این ترتیب، مدل متمرکز بر کاربر با کسب 1% دقت بالاتر، به عنوان مؤلفه پیشنهادی برای شناسایی پرسش‌های متضمن در سیستم پژوهش به کار گرفته می‌شود.
| خطای آموزش |
تکرار آموزش | |
| |
شکل 7. تغییرات خطا در فرآیند آموزش مؤلفه شناسایی پرسش‌های متضمن در دو حالت آگاه به کاربر و مستقل از آن | |
جدول 7. مقایسه عملکرد دو مدل شناسایی پرسش‌های متضمن آگاه به کاربر و مستقل از کاربر روی دادگان آزمون CQAD-ReQuEST | |||||
مدل | صحت | F1 | دقت | فراخوانی | |
مستقل از کاربر | 8/94% | 8/94% | 7/94% | 0/95% | |
متمرکز بر کاربر | 4/95% | 4/95% | 7/95% | 1/95% | |
سؤالی که ممکن است به ذهن خطور کند این است که ”1% بهبود در دقت مؤلفه پیشنهادی برای شناسایی پرسش‌های متضمن، تا چه اندازه می‌تواند در بهبود کیفیت پاسخ‌های نهایی سیستم اثرگذار باشد؟“ برای پاسخ به این پرسش، مدل‌های مذکور را بر روی 50 پرسش مشابهی که برای هر پرسش ورودی بازیابی شده بودند اعمال نموده و 
پرسش متضمن برتر را پس از شناسایی، به مؤلفه تولید پاسخ ارسال نمودیم. در جدول 8، تعداد کل پرسش‌هایی که برچسب متضمن یا غیرمتضمن دریافت نموده‌اند، به تفکیک مدلِ مورد استفاده برای بازنمایی، گزارش شده است. همچنین، به ازای هریک از مقادیر 3 و 5 برای متغیر ، تعداد پرسش‌هایی که بطور مشابه توسط هر دو مدلِ آگاه به کاربر و مستقل از کاربر، به عنوان یک پرسش متضمنِ برتر شناسایی شده‌اند، شمارش شده است. همانطور که در جدول 8 مشاهده می‌شود، مدل آگاه به کاربر در تمام اجراها، نسبت به مدل مستقل از کاربر، تعداد کمتری از پرسش‌ها را به عنوان متضمن شناسایی کرده است. این نتیجه می‌تواند ناشی از افزودن شرط همسویی پرسش کاندید با دانش پرسشگر بوده و تأییدی بر دقت بالاتر مدل پیشنهادی تلقی شود. ذکر این نکته ضروری است که هر دو مدل، دارای محدودیت در طول زوج پرسش ورودی بوده و این محدودیت، در مدل آگاه به کاربر، به دلیل اضافه شدن شرط تطابق با دانش کاربر، بیشتر است. به همین علت است که جمع تعداد پرسش‌های متضمن و غیرمتضمن در تمامی اجراها کمتر از 7400 است.
با مقایسه مدل‌های مختلف بازنمایی از نظر تعداد پرسش‌های متضمن شناسایی‌شده توسط مدل آگاه به کاربر، می‌توان به اهمیت کیفیت بازنمایی در دقت بازیابی پرسش‌های مشابه پی برد. نتایج نشان می‌دهند که هرچه مدل بازنمایی پیچیده‌تر بوده و توانایی بیشتری در درک روابط عمیق معنایی و بافتاری داشته باشد، کاندیداهای شایسته‌تری انتخاب شده و به تبع آن، تعداد بیشتری، برچسب متضمن را دریافت می‌کنند. بنابراین، مدل‌های TF-IDF و paraphrase-MiniLM-L6-v2 نیز از چرخه ارزیابی‌ها کنار گذاشته می‌شوند. در تمام اجراها، بیش از 83% پرسش‌های منتخب دو مدل، مشترک بوده و این اشتراک، با کاهش پارامتر افزایش می‌یابد. این شواهد نشان می‌دهند که دو مدل، غالباً در تصمیم‌گیری برای پرسش‌های ابتدا و انتهای فهرستِ پرسش‌های مشابه، اتفاق‌نظر دارند و اختلاف آنها، در میانه لیست که پرسش‌ها شباهت کمتری به پرسش جدید دارند برجسته‌تر می‌شود.
جدول 8. توزیع برچسب‌های پیش‌بینی‌شده توسط دو مدل شناسایی پرسش‌های متضمن آگاه به کاربر و مستقل از کاربر | |||||||||||||
برچسب پیش‌بینی‌شده مدل بازنمایی | مدل آگاه به کاربر | مدل مستقل از کاربر | اشتراک | ||||||||||
متضمن | غیرمتضمن | متضمن | غیرمتضمن |
|
| ||||||||
TF-IDF | 5065 | 2245 | 6039 | 1311 | 387 (2/87%) | 615 (1/83%) | |||||||
paraphrase-MiniLM-L6-v2 | 5061 | 1729 | 6072 | 844 | 383 (3/86%) | 624 (3/84%) | |||||||
paraphrase-multilingual-MiniLM-L12-v2 | 5306 | 1484 | 6127 | 782 | 396 (2/89%) | 651 (0/88%) | |||||||
all-mpnet-base-v2 | 6322 | 954 | 6807 | 470 | 420 (6/94%) | 695 (9/93%) | |||||||
تعداد کل زوج پرسش‌ها | 7400 | 444 | 740 | ||||||||||
جدول 9. تحلیل کیفی عملکرد مدل شناسایی پرسش‌های متضمن آگاه به کاربر و مدل مستقل از کاربر | |||||||
مثال 1 | پرسش 1 | Why do we use their instead of his in this sentence? another driver flashes their lights. | |||||
پرسش 2 | Is there a pronoun I can use as a gender-neutral pronoun? Each student should save his questions until the end. Each student should save her questions until the end. | ||||||
دانش کاربر | meaning, word choice, grammar, single word requests | ||||||
برچسب هدف | متضمن | پیش‌بینی مدل آگاه به کاربر: | متضمن | پیش‌بینی مدل مستقل از کاربر: | غیرمتضمن | ||
مثال 2 | پرسش 1 | I am writing my thesis and I am experiencing a problem with the space between numbering and the image name. You can see the problem in the picture I include in this question. It starts from 3.10. How can I fix that? | |||||
پرسش 2 | I'm preparing a document using the book class. In the table of contents, the indentation before the subsection title is too long. How to reduce it? | ||||||
دانش کاربر | tikz pgf, tables, table of contents | ||||||
برچسب هدف | متضمن | پیش‌بینی مدل آگاه به کاربر: | متضمن | پیش‌بینی مدل مستقل از کاربر: | غیرمتضمن | ||
مثال 3 | پرسش 1 | I have the border points of a 2-D body and wish to fill its interior with a solid color. Let us say I have N such points stacked in the N×2 matrix A so that the first column indicates the x co-ordinates and the second column denotes the corresponding y co-ordinates. | |||||
پرسش 2 | How can I get the co-ordinates of the convex hull of a piece of Text? | ||||||
دانش کاربر | graphics, functions, qgis, arcgis desktop | ||||||
برچسب هدف | متضمن | پیش‌بینی مدل آگاه به کاربر: | متضمن | پیش‌بینی مدل مستقل از کاربر: | غیرمتضمن | ||
پرسش 1 | How do i multiply 2 array index variables given the following foo=(1 2) bar=(0.1 0.2) foobar=$((foo[1]*price[1])) # this is wrong echo "$foobar" Current output : 0 Correct/Expected output : 0.4 | ||||||
پرسش 2 | Using echo "20+5" literally produces the text "20+5". What command can I use to get the numeric sum, 25 in this case? Also, what's the easiest way to do it just using bash for floating point? For example, echo $((3224/3807.0)) prints 0 :(. I am looking for answers using either the basic command shell ('command line') itself or through using languages that are available from the command line. | ||||||
دانش کاربر | linux, bash, shell script, graphics, functions, programming, ubuntu, programming languages | ||||||
برچسب هدف | متضمن | پیش‌بینی مدل آگاه به کاربر: | متضمن | پیش‌بینی مدل مستقل از کاربر: | غیرمتضمن | ||
مثال 5 | پرسش 1 | For instance: For as long as it takes... but For as long we have a future... I know how to use them because I heard them being used, but I don't know whether there is a rule or not. | |||||
پرسش 2 | I' would like to know whether or not the following sentences are correct and why: I have been sick since last week. I have been sick since the last week. I have been sick for the last week. | ||||||
دانش کاربر | meaning, word choice, grammar | ||||||
برچسب هدف | غیرمتضمن | پیش‌بینی مدل آگاه به کاربر: | متضمن | پیش‌بینی مدل مستقل از کاربر: | غیرمتضمن | ||
مطالعه موردی. اگرچه ارزیابی کمی عملکرد مؤلفه شناسایی پرسش‌های متضمن، برتری مدل آگاه به کاربر را نشان می‌دهد، تحلیل کیفی نیز می‌تواند مهر تأییدی بر این نتایج باشد. جدول 9، در مثال‌های 1 تا 4، نمونه‌هایی را نشان می‌دهد که در آنها، آگاهی از دانش کاربر، به تشخیص صحیح ارتباط میان زوج پرسش انجامیده است. زوج پرسش مثال 1، علیرغم عدم اشتراک واژگانی، مضمونی کاملا مشابه یکدیگر دارند. در این حالت، تأکید بر موضوعاتی نظیر گرامر، معنا و گزینش کلمات در دانش کاربر، مدل را از تمرکز صرف بر تطابق واژگانی فراتر برده و آن را به درک عمیق‌تر مفهوم پرسش‌ها سوق داده است. البته، در موارد نادری نظیر مثال ۵، نادیده گرفتن تطابق واژگانی ممکن است نتیجه‌ای معکوس در پی داشته و موجب گمراهی مدل شود. به عنوان نمونه‌ای دیگر، پرسش اول در مثال 4، اصلاح یک قطعه برنامه را از متخصصین طلب نموده است. این در حالیست که هیچ یک از کلمات linux، shell یا command به طور مستقیم در پرسش ذکر نشده‌اند. دانش کاربر، این شکاف واژگانی را پر نموده و پل ارتباطی میان زوج پرسش را برقرار کرده است.
|
شکل 8. الگوی اعلان مورد استفاده برای تولید پاسخ |
4-4-4- تحلیل عملکرد سیستم پیشنهادی در تولید پاسخ
در آخرین مؤلفه از سیستم پیشنهادی، پاسخ‌های تأییدشده متناظر با برترین پرسش‌های متضمن، به یک مدل زبانی مولد پاسخ ارسال می‌شوند. شکل 8 الگوی اعلان ورودی به مدل زبانی را نمایش می‌دهد. جدول 10 نیز نتایج ارزیابی پاسخ‌های تولیدشده نسبت به پاسخ‌های تأییدشده برای پرسش‌های ورودی را گزارش می‌کند. این نتایج به وضوح بر برتری مدل آگاه به کاربر دلالت دارند. بطور خاص، اجراهایی که از GPT-4o mini به عنوان مدل تولید‌کننده پاسخ و از all-mpnet-base-v2 برای تولید بازنمایی استفاده کرده‌اند، به ازای 3 پاسخ کاندید به بهبود 07/1% و به ازای 5 پاسخ کاندید به بهبود 79/3% در معیار Rouge-1 مبتنی بر فراخوانی دست یافته‌اند. این اختلاف در معیارهای Rouge-2 و Rouge-L نیز قابل توجه است.
مطالعه موردی. با توجه به آنکه تعداد نمونه‌های آزمون برای مؤلفه تولید پاسخ محدود است، تنها تعداد انگشت‌شماری از پرسش‌ها را می‌توان یافت که پاسخ متفاوتی را از دو مدل آگاه به کاربر و مستقل از کاربر دریافت نموده‌اند. جدول 11، یک نمونه از پرسش‌های آزمون و پاسخ‌های دریافتی‌اش را نمایش می‌دهد. در این مثال از یک مدل all-mpnet-base-v2 برای تولید بازنمایی و از GPT-4o mini برای تولید پاسخ استفاده شده و مقدار پارامتر برابر با 5 در نظر گرفته شده است. مدل‌های مذکور، در دو مورد از پنج پاسخ کاندید بازیابی شده، اشتراک داشته و مابقی پاسخ‌های کاندید متفاوت بوده‌اند. از آنجا که پرسش ورودی شامل چند پرسش کوتاه‌تر در مورد موضوعات مختلف است، می‌توان آن را نسبتا پیچیده دانست. همانطور که مشاهده می‌شود پاسخ ارائه شده توسط مدل آگاه به کاربر از ساختار منطقی و منسجم‌تری برخوردار بوده و تحلیل صحیحی در مورد ساختار گرامری جمله ارائه داده است. حال آنکه پاسخ ارائه شده توسط مدل مستقل از کاربر، ناکامل بوده و دارای توضیحات سطحی است.
جدول 10. ارزیابی کیفی پاسخ‌های تولیدشده نسبت به پاسخ‌های تأییدشده در دادگان پژوهش، به تفکیک مدل بازنمایی و مدل مولد پاسخ | |||||||||||||
مدل تولید پاسخ | مدل بازنمایی | مدل شناسایی | معیار ارزیابی (%) | ||||||||||
R1-r | R1-f | R2-r | R2-f | RL-r | RL-f | BS-r | BS-f | ||||||
| LLAMA2 | paraphrase-multilingual-MiniLM-L12-v2 | آگاه به کاربر | 16/35 | 75/23 | 41/7 | 70/4 | 15/22 | 76/13 | 70/82 | 61/82 | ||
مستقل از کاربر | 08/35 | 70/23 | 38/7 | 67/4 | 97/21 | 63/13 | 73/82 | 57/82 | |||||
تفاوت | p 08/0 | p 05/0 | p 02/0 | p 03/0 | p 17/0 | p 13/0 | s 03/0 | p 04/0 | |||||
all-mpnet-base-v2 | آگاه به کاربر | 54/32 | 96/23 | 27/7 | 06/5 | 86/20 | 32/14 | 57/82 | 89/82 | ||||
مستقل از کاربر | 21/32 | 80/23 | 99/6 | 92/4 | 56/20 | 14/14 | 51/82 | 84/82 | |||||
تفاوت | p 34/0 | p 16/0 | p 28/0 | p 14/0 | p 30/0 | p 18/0 | p 07/0 | p 04/0 | |||||
GPT-4o mini | paraphrase-multilingual-MiniLM-L12-v2 | آگاه به کاربر | 86/39 | 85/22 | 27/9 | 58/4 | 29/24 | 59/12 | 98/82 | 56/82 | |||
مستقل از کاربر | 41/37 | 17/23 | 67/7 | 23/4 | 54/22 | 51/12 | 69/82 | 56/82 | |||||
تفاوت | p 45/2 | s 32/0 | p 61/1 | p 35/0 | p 74/1 | p 08/0 | p 29/0 | ▬ 00/0 | |||||
all-mpnet-base-v2 | آگاه به کاربر | 83/42 | 41/24 | 00/10 | 54/5 | 66/26 | 65/13 | 64/83 | 96/82 | ||||
مستقل از کاربر | 75/41 | 96/23 | 52/9 | 06/5 | 71/25 | 24/13 | 55/83 | 85/82 | |||||
تفاوت | p 07/1 | p 46/0 | p 48/0 | p 48/0 | p 95/0 | p 41/0 | p 09/0 | p 11/0 | |||||
| LLAMA2 | paraphrase-multilingual-MiniLM-L12-v2 | آگاه به کاربر | 76/35 | 06/23 | 61/7 | 56/4 | 87/22 | 51/13 | 61/82 | 52/82 | ||
مستقل از کاربر | 31/35 | 11/23 | 06/7 | 46/4 | 25/22 | 39/13 | 60/82 | 46/82 | |||||
تفاوت | p 45/0 | s 05/0 | p 55/0 | p 10/0 | p 62/0 | p 11/0 | p 01/0 | p 06/0 | |||||
all-mpnet-base-v2 | آگاه به کاربر | 22/33 | 99/22 | 75/6 | 48/4 | 91/20 | 34/13 | 30/82 | 53/82 | ||||
مستقل از کاربر | 28/33 | 00/23 | 73/6 | 47/4 | 04/21 | 45/13 | 36/82 | 60/82 | |||||
تفاوت | s 06/0 | s 02/0 | p 02/0 | p 01/0 | s 13/0 | s 11/0 | s 06/0 | s 07/0 | |||||
GPT-4o mini | paraphrase-multilingual-MiniLM-L12-v2 | آگاه به کاربر | 23/43 | 14/22 | 49/9 | 42/4 | 53/26 | 94/11 | 16/83 | 29/82 | |||
مستقل از کاربر | 84/39 | 17/23 | 96/8 | 48/4 | 28/24 | 61/12 | 90/82 | 51/82 | |||||
تفاوت | p 40/3 | s02/1 | p 53/0 | s 06/0 | p 25/2 | s 67/0 | p 26/0 | s 22/0 | |||||
all-mpnet-base-v2 | آگاه به کاربر | 68/42 | 50/23 | 67/9 | 86/4 | 23/26 | 81/12 | 34/83 | 53/82 | ||||
مستقل از کاربر | 89/38 | 15/23 | 58/7 | 27/4 | 75/23 | 59/12 | 91/82 | 49/82 | |||||
تفاوت | p 79/3 | p 35/0 | p 10/2 | p 59/0 | p 48/2 | p 22/0 | p 43/0 | p 04/0 | |||||
جدول 11. مقایسه کیفیت پاسخ‌های ارائه شده در حضورو عدم حضور دانش کاربر | |
پرسش
| Happy Holi to You and Your Family. Play Safe! Is anything grammatically wrong in above sentences? In which category does the second sentence fall? Can we replace Play Safe! with Play Safely! Are they equally true and depict same meaning? Is the usage of exclamation with both safe and safely correct? |
پاسخ مدل RAG آگاه به کاربر | The second sentence, "Play Safe!", is grammatically correct but falls under an imperative mood, where it gives a directive. The phrase "Play Safely!" can replace "Play Safe!", but the meaning is slightly different: "Play Safely!" is an adverbial form that explicitly describes the manner of playing, whereas "Play Safe!" uses an adjective and has a more informal, idiomatic feel. Both versions are understood in the context of wishing someone a safe experience, but "Play Safe!" is more colloquial. Regarding the exclamation, both "Safe!" and "Safely!" can be used with an exclamation mark to emphasize urgency or excitement, though "Play Safe!" is the more commonly accepted version. |
پاسخ مدل RAG مستقل از کاربر
| The second sentence, "Play Safe!" is grammatically correct but uses an imperative verb with an adverbial expression. It falls into the category of an imperative sentence, where a command or suggestion is given. While "Play Safely!" can also be used, it is slightly more formal or precise, as "safely" is an adverb, describing the manner of playing. Both "Play Safe!" and "Play Safely!" convey the same general meaning, but "Play Safe!" may feel more informal. The usage of an exclamation mark with both is acceptable, as it emphasizes the message, although it may be seen as more common in informal contexts with "Play Safe!" |
پاسخ مدل GPT-40 mini | The sentence "Happy Holi to You and Your Family. Play Safe!" is almost grammatically correct, but it can be refined for smoother flow. The second sentence, "Play Safe!" is an imperative sentence, giving a command or instruction. While "Play Safe!" and "Play Safely!" are both grammatically acceptable, there is a subtle difference in usage. "Play Safe!" is more idiomatic and commonly used in casual speech, often implying a general sense of caution or safety, while "Play Safely!" is the technically correct form, with "safely" being the proper adverb to describe how one should play. Both phrases convey nearly the same meaning, with "Play Safe!" being more informal and colloquial. The usage of the exclamation mark with both "safe" and "safely" is appropriate, as both are commands or encouragements, but "Play Safe!" is more often used with the exclamation mark in everyday language. Therefore, while both versions are acceptable, the choice between them depends on the tone you want to convey—informal and idiomatic or more formal and precise. |
پاسخ تأیید شده | Happy Holi! Well, first of all, in the English language, most words are not capitalized unless they are at the beginning of a sentence, or in the case of a "title", of sorts. Proper names are capitalized, but "you", "your", and "family" are not proper nouns. The one exception to this is if you are making a card of some sort. If you want it to stand out on a greeting card, then the capitalization may be appropriate. In that situation, it is a matter of personal choice. However, in most day-to-day conversations (or a post on someone's Facebook wall), it's generally best to avoid capitalizing words that would not be capitalized in a book. Happy Holi to you and your family! As for the second part, I'm not entirely sure that either of those phrases reflect your intended meaning. First of all, I am assuming by, "In which category does the second sentence fall?" you are asking about what type of sentence it is. The sentence seems to be what is called an imperative sentence. An imperative sentence is, essentially, a command. The subject of the sentence is implied to be "you", the one to whom the sentence is spoken. As for the meanings of the phrases, the imperative sentence, "Play safely," would be the type of warning you would give to a child, to remind him or her to avoid doing anything overly dangerous. The reason I say child, specifically, is because it is generally considered condescending to tell adults to play in most contexts, as "play" is widely considered to be a childish activity. On the other hand, the imperative sentence, "Play safe," is a (slightly-off) variation of an idiomatic expression, "Play it safe," and it has an entirely different meaning. To "play it safe" is to avoid taking risks, rather than to just be safe. Basically, you are telling the individual to go out of their way to make sure that there is as little damage done to them as possible. For the sake of clarity, telling someone to "play it safe" is not considered condescending, as it is an idiom which has little to do with the modern meaning of the word "play", but it is the wrong phrase for the meaning you likely wish to convey. If you wish to offer someone a wish of good health, and safety is the concern (or if you simply want to wish someone luck in staying safe), then the sentence I would recommend would be a simpler phrase: Happy Holi to you and your family! Be safe! This avoids the questionable use of "play" (as well as the grammar issues regarding the word "safe" not being an adverb; only adverbs can describe verbs), and makes the meaning clear. It is another imperative, telling "you" to be safe. Totally lovely. |
5- نتیجه‌گیری و کارهای آتی
این مقاله، سیستمی با نام UsERQA برای پاسخگویی به پرسش‌ها در انجمن‌های پرسش و پاسخ معرفی نموده‌است. این سیستم بر پایه شناخت پرسشگر از طریق تحلیل سوابق پرسش‌های وی در انجمن استوار است تا به واسطه آن، به درک عمیق‌تری از موضوع اصلی پرسش ورودی دست یافته و فهرست پرسش‌های متضمن را با دقت بالاتری از بایگانی انجمن بازیابی نماید. UsERQA به مدد زنجیره‌ای از مدل‌های زبانی بزرگ، دانش پرسشگر را به‌صورت دنباله‌ای از برچسب‌های موضوعی، مدلسازی نموده و با دریافت یک زوج پرسش، وجود یا عدم وجود رابطه تضمن میان آنها را پیش‌بینی می‌کند. سپس، برترین پاسخ‌های کاندید را با تمرکز بر پرسش ورودی، در یک پاسخ واحد تجمیع می‌نماید. طبق بهترین دانش ما، استفاده از دانش کاربر در شناسایی پرسش‌های متضمن، موضوعی است که تاکنون در ادبیات پژوهش به آن پرداخته نشده است. نتایج آزمایشها روی دادگان CQAD-ReQuEST، عملکرد مطلوب سیستم پیشنهادی و بهبود کیفیت پاسخ‌ها را نشان داد. در مطالعات آتی می‌توان عملکرد سیستم پیشنهادی پژوهش را در پلتفرم‌های پاسخگویی به پرسش‌های خاص-دامنه همچون پزشکی و اقتصاد، که اعتبار و صحت پاسخ‌ها در آنها اهمیت دوچندان می‌یابد، ارزیابی نمود. علاوه‌براین، طراحی مؤلفه شناسایی پرسش‌های متضمن بین‌زبانی به منظور بهره‌گیری از پاسخ‌های ارائه شده در سایر زبان‌ها، آموزش مدل‌های زبانی بزرگ برای خلاصه‌سازی چند پاسخ متمرکز بر پرسش، تنظیم نرم اعلان1 و مدیریت شروع سرد2 و پویایی کاربر از موضوعات تحقیقاتی بالقوه برای پژوهش‌های آتی به‌شمار می‌آیند.
مراجع
[1] B. Patra, ‘A survey of Community Question Answering’, CoRR, abs/1705.04009, May 2017, [Online]. Available: http://arxiv.org/abs/1705.04009.
[2] D. Hoogeveen, L. Wang, T. Baldwin, and K. M. Verspoor, ‘Real and Misflagged Duplicate Question Detection in Community Question-Answering’, 2018.
[3] A. Figueroa, ‘Automatically generating effective search queries directly from community question-answering questions for finding related questions’, Expert Syst. Appl., vol. 77, pp. 11–19, Jul. 2017, doi: 10.1016/j.eswa.2017.01.041.
[4] I. Srba and M. Bielikova, ‘A Comprehensive Survey and Classification of Approaches for Community Question Answering’, ACM Trans. Web, vol. 10, no. 3, pp. 1–63, Aug. 2016, doi: 10.1145/2934687.
[5] M. Sulír and M. Regeci, ‘Software Engineers’ Questions and Answers on Stack Exchange’, in 2022 IEEE 16th International Scientific Conference on Informatics (Informatics), Nov. 2022, pp. 304–310, doi: 10.1109/Informatics57926.2022.10083403.
[6] M. Asaduzzaman, A. S. Mashiyat, C. K. Roy, and K. A. Schneider, ‘Answering questions about unanswered questions of Stack Overflow’, in 2013 10th Working Conference on Mining Software Repositories (MSR), May 2013, pp. 97–100, doi: 10.1109/MSR.2013.6624015.
[7] S. A. Bhaskar, R. Rungta, J. Route, E. Nyberg, and T. Mitamura, ‘Sieg at MEDIQA 2019: Multi-task Neural Ensemble for Biomedical Inference and Entailment’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 462–470, doi: 10.18653/v1/W19-5049.
[8] A. Merchant, N. Shenoy, A. Bharali, and A. K. M, ‘Identifying Similar Questions in the Medical Domain Using a Fine-tuned Siamese-BERT Model’, in 2022 IEEE 19th India Council International Conference (INDICON), Nov. 2022, pp. 1–6, doi: 10.1109/INDICON56171.2022.10040144.
[9] A. B. Abacha and D. Demner-Fushman, ‘A question-entailment approach to question answering’, BMC Bioinformatics, vol. 20, no. 1, Dec. 2019, doi: 10.1186/s12859-019-3119-4.
[10] Z. Xu and H. Yuan, ‘Forum Duplicate Question Detection by Domain Adaptive Semantic Matching’, IEEE Access, vol. 8, pp. 56029–56038, 2020, doi: 10.1109/ACCESS.2020.2982268.
[11] L. Wang, L. Zhang, and J. Jiang, ‘Duplicate Question Detection With Deep Learning in Stack Overflow’, IEEE Access, vol. 8, pp. 25964–25975, 2020, doi: 10.1109/ACCESS.2020.2968391.
[12] D. D. Koswatte and S. Hettiarachchi, ‘Optimized Duplicate Question Detection in Programming Community Q&A Platforms using Semantic Hashing’, in 2021 10th International Conference on Information and Automation for Sustainability (ICIAfS), Aug. 2021, pp. 375–380, doi: 10.1109/ICIAfS52090.2021.9606030.
[13] V.-T. Nguyen, A.-C. Le, and H.-N. Nguyen, ‘A Model of Convolutional Neural Network Combined with External Knowledge to Measure the Question Similarity for Community Question Answering Systems’, Int. J. Mach. Learn. Comput., vol. 11, no. 3, pp. 194–201, May 2021, doi: 10.18178/ijmlc.2021.11.3.1035.
[14] R. Zhang, Q. Zhou, B. Wu, W. Li, and T. Mo, ‘What do questions exactly ask? mfae: duplicate question identification with multi-fusion asking emphasis’, in Proceedings of the 2020 SIAM International Conference on Data Mining, SDM 2020, 2020, pp. 226–234, doi: 10.1137/1.9781611976236.26.
[15] D. Hoogeveen, A. Bennett, Y. Li, K. Verspoor, and T. Baldwin, ‘Detecting Misflagged Duplicate Questions in Community Question-Answering Archives’, Proc. Int. AAAI Conf. Web Soc. Media, vol. 12, no. 1, pp. 112–120, Jun. 2018, doi: 10.1609/icwsm.v12i1.15011.
[16] P. K. Roy, S. Saumya, J. P. Singh, S. Banerjee, and A. Gutub, ‘Analysis of community question‐answering issues via machine learning and deep learning: State‐of‐the‐art review’, CAAI Trans. Intell. Technol., vol. 8, no. 1, pp. 95–117, Mar. 2023, doi: 10.1049/cit2.12081.
[17] N. Othman, R. Faiz, and K. Smaïli, ‘Enhancing Question Retrieval in Community Question Answering Using Word Embeddings’, Procedia Comput. Sci., vol. 159, pp. 485–494, 2019, doi: 10.1016/j.procs.2019.09.203.
[18] G. Zhou, L. Cai, J. Zhao, and K. Liu, ‘Phrase-based translation model for question retrieval in community question answer archives’, ACL-HLT 2011 - Proc. 49th Annu. Meet. Assoc. Comput. Linguist. Hum. Lang. Technol., vol. 1, pp. 653–662, 2011.
[19] K. Mrini et al., ‘A Gradually Soft Multi-Task and Data-Augmented Approach to Medical Question Understanding’, in Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2021, pp. 1505–1515, doi: 10.18653/v1/2021.acl-long.119.
[20] N. S. Tawfik and M. R. Spruit, ‘Evaluating sentence representations for biomedical text: Methods and experimental results’, J. Biomed. Inform., vol. 104, no. February, p. 103396, Apr. 2020, doi: 10.1016/j.jbi.2020.103396.
[21] M. Faseeh, M. A. Khan, N. Iqbal, F. Qayyum, A. Mehmood, and J. Kim, ‘Enhancing User Experience on Q&A Platforms: Measuring Text Similarity Based on Hybrid CNN-LSTM Model for Efficient Duplicate Question Detection’, IEEE Access, vol. 12, no. January, pp. 34512–34526, 2024, doi: 10.1109/ACCESS.2024.3358422.
[22] V. Nguyen, S. Karimi, and Z. Xing, ‘Combining Shallow and Deep Representations for Text-Pair Classification’, ALTA 2021 - Proc. 19th Work. Australas. Lang. Technol. Assoc., pp. 68–78, 2021.
[23] S. Ghasemi and A. Shakery, ‘Harnessing the Power of Metadata for Enhanced Question Retrieval in Community Question Answering’, IEEE Access, vol. 12, no. May, pp. 65768–65779, 2024, doi: 10.1109/ACCESS.2024.3395449.
[24] A. M. Monea, ‘Medical Question Entailment based on Textual Inference and Fine-tuned BioMed-RoBERTa’, in 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), 2021, pp. 319–326, doi: 10.1109/ICCP53602.2021.9733687.
[25] S. Yadav, V. Pallagani, and A. Sheth, ‘Medical Knowledge-enriched Textual Entailment Framework’, in Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 1795–1801, doi: 10.18653/v1/2020.coling-main.161.
[26] T. R. Goodwin and D. Demner-Fushman, ‘Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge’, CoRR abs/1910.07429, Oct. 2019, [Online]. Available: http://arxiv.org/abs/1910.07429.
[27] A. B. Abacha, D. Demner-fushman, and U. S. N. Library, ‘Recognizing Question Entailment for Medical Question Answering’, in AMIA Annual Symposium Proceedings, 2016, pp. 310–318.
[28] T. Baldwin, H. Liang, B. Salehi, D. Hoogeveen, Y. Li, and L. Duong, ‘UniMelb at SemEval-2016 Task 3: Identifying Similar Questions by combining a CNN with String Similarity Measures’, in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), 2016, pp. 851–856, doi: 10.18653/v1/S16-1131.
[29] A. B. Abacha and D. Demner-Fushman, ‘On the Summarization of Consumer Health Questions’, in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019, pp. 2228–2234, doi: 10.18653/v1/P19-1215.
[30] C. dos Santos, L. Barbosa, D. Bogdanova, and B. Zadrozny, ‘Learning Hybrid Representations to Retrieve Semantically Equivalent Questions’, in Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), 2015, vol. 2, no. 1, pp. 694–699, doi: 10.3115/v1/P15-2114.
[31] D. A. Prabowo and G. Budi Herwanto, ‘Duplicate Question Detection in Question Answer Website using Convolutional Neural Network’, in 2019 5th International Conference on Science and Technology (ICST), Jul. 2019, no. 1, pp. 1–6, doi: 10.1109/ICST47872.2019.9166343.
[32] A. Agrawal, R. Anil George, S. S. Ravi, S. Kamath S, and A. Kumar, ‘ARS_NITK at MEDIQA 2019:Analysing Various Methods for Natural Language Inference, Recognising Question Entailment and Medical Question Answering System’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 533–540, doi: 10.18653/v1/W19-5059.
[33] N. Tawfik and M. Spruit, ‘UU_TAILS at MEDIQA 2019: Learning Textual Entailment in the Medical Domain’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 493–499, doi: 10.18653/v1/W19-5053.
[34] V. Nguyen, S. Karimi, and Z. Xing, ‘ANU-CSIRO at MEDIQA 2019: Question Answering Using Deep Contextual Knowledge’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 478–487, doi: 10.18653/v1/W19-5051.
[35] D. Bandyopadhyay, B. Gain, T. Saikh, and A. Ekbal, ‘IITP at MEDIQA 2019: Systems Report for Natural Language Inference, Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 517–522, doi: 10.18653/v1/W19-5056.
[36] K. Mrini, F. Dernoncourt, W. Chang, E. Farcas, and N. Nakashole, ‘Joint Summarization-Entailment Optimization for Consumer Health Question Understanding’, in Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, 2021, pp. 58–65, doi: 10.18653/v1/2021.nlpmc-1.8.
[37] W. Zhu et al., ‘PANLP at MEDIQA 2019: Pre-trained Language Models, Transfer Learning and Knowledge Distillation’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 380–388, doi: 10.18653/v1/W19-5040.
[38] M. Sarrouti, A. B. Abacha, and D. Demner-Fushman, ‘Multi-Task Transfer Learning with Data Augmentation for Recognizing Question Entailment in the Medical Domain’, in 2021 IEEE 9th International Conference on Healthcare Informatics (ICHI), Aug. 2021, pp. 339–346, doi: 10.1109/ICHI52183.2021.00058.
[39] H. Zhou, X. Li, W. Yao, C. Lang, and S. Ning, ‘DUT-NLP at MEDIQA 2019: An Adversarial Multi-Task Network to Jointly Model Recognizing Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 437–445, doi: 10.18653/v1/W19-5046.
[40] A. Shang, X. Zhu, M. Danner, and M. Rätsch, ‘Unsupervised question-retrieval approach based on topic keywords filtering and multi-task learning’, Comput. Speech Lang., vol. 87, no. March, p. 101644, Aug. 2024, doi: 10.1016/j.csl.2024.101644.
[41] K. Jiang, G. Jin, Z. Zhang, R. Cui, and Y. Zhao, ‘Incorporating external knowledge for text matching model’, Comput. Speech Lang., vol. 87, no. March, p. 101638, Aug. 2024, doi: https://doi.org/10.1016/j.csl.2024.101638.
[42] Y. Sun and J. Song, ‘Research on question retrieval method for community question answering’, Multimed. Tools Appl., vol. 82, pp. 24309–24325, 2023, doi: https://doi.org/10.1007/s11042-023-14458-2.
[43] D. Hoogeveen, K. M. Verspoor, and T. Baldwin, ‘CQADupStack: A Benchmark Data Set for Community Question-Answering Research’, in Proceedings of the 20th Australasian Document Computing Symposium, Dec. 2015, pp. 1–8, doi: 10.1145/2838931.2838934.
[44] S. Z. Aftabi, S. M. Seyyedi, M. Maleki, and S. Farzi, ‘ReQuEST: A Small-Scale Multi-Task Model for Community Question-Answering Systems’, IEEE Access, vol. 12, pp. 17137–17151, 2024, doi: 10.1109/ACCESS.2024.3358287.
[45] C. Y. Lin, ‘Rouge: A package for automatic evaluation of summaries’, Proc. Work. text Summ. branches out (WAS 2004), no. 1, pp. 25–26, 2004, [Online]. Available: papers2://publication/uuid/5DDA0BB8-E59F-44C1-88E6-2AD316DAEF85.
[46] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, ‘BERTScore: Evaluating Text Generation with BERT’, CoRR abs/1904.09675, pp. 1–43, Apr. 2019, [Online]. Available: http://arxiv.org/abs/1904.09675.
[47] K. Song, X. Tan, T. Qin, J. Lu, and T.-Y. Liu, ‘MPNet: Masked and Permuted Pre-training for Language Understanding’, Adv. Neural Inf. Process. Syst., vol. 2020-Decem, no. NeurIPS, pp. 1–11, Apr. 2020, [Online]. Available: http://arxiv.org/abs/2004.09297.
[1] Soft prompt tuning
[2] Cold start
پیوست 1
جدول الف. نمونه‌هایی از زوج پرسش‌های متضمن و غیرمتضمن در دادگان پژوهش | ||||||||
مثال1. برچسب: متضمن | ||||||||
مشخصات پرسش 1 | شناسه پرسش € | شناسه پرسشگر € | تاریخ ثبت € | شناسه نظرات € | پاسخ‌ها € | تعداد علاقمندان € | امتیاز € | |
169707 | 18495 | 2014-04-05T09:54:34.967 | 390655-390656-390730 | 169708 | 0 | 1 | ||
تعداد ملاقات‌ها € | پرسش‌های تکراری € | پرسش‌های مرتبط € | برچسب‌ها € | شناسه پاسخ تأییدشده € | نام انجمن € |
| ||
77 | 82993 | 82993 | memoir, chapters, naming | 169708 | Tex |
| ||
عنوان | | Replace the text 'Chapter' with custom text in Memoir | |||||||
بدنه | | How can I replace the word 'Chapter' with some other text string in Memoir class? So, instead of Chapter 1, it appears as, say, MyChapter 1. Also, the text is in Devanagari script so MyChapter will be some Devanagari text string. | |||||||
پاسخ تأییدشده | | Use <code>\renewcommand{\chaptername}{MyChapter} </code> at any position before you the first chapter which should get another chapter name. If you want to rename all chapter names, put the command in the preamble. | |||||||
مشخصات پرسش 2 | شناسه پرسش € | شناسه پرسشگر € | تاریخ ثبت € | شناسه نظرات € | پاسخ‌ها € | تعداد علاقمندان € | امتیاز € | |
82993 | 510 | 2012-11-16T14:24:57.050 | - | 82994-88330-83021 | 50 | 70 | ||
تعداد ملاقات‌ها € | پرسش‌های تکراری € | پرسش‌های مرتبط € | برچسب‌ها € | شناسه پاسخ تأییدشده € | نام انجمن € |
| ||
10361 | 54819 | 82960-62213-36575-54819 | naming | 82994 | Tex |
| ||
عنوان | | How to change the name of document elements like Figure Contents Bibliography etc. | |||||||
بدنه | | I'd like to modify the names used to typeset some of my document elements. For example, the caption of figure floats should change from "Figure" to "Fig.", and my \tableofcontents sectioning heading shouldn't read "Contents", but "Table of Contents". How can I do that? <code>\documentclass{article} % \usepackage[english]{babel} \begin{document} \tableofcontents \section{foo} \begin{figure}[h] \centering \rule{1cm}{1cm}% placeholder for graphic \caption{A figure} \end{figure} \end{document} </code> | |||||||
پاسخ تأییدشده | | The answer depends on whether or not you use the <code>babel</code> [….] To change the formatting of the "Contents" heading, either [.…] For captions, the <code>caption</code> package offers a host of customization possibilities. | |||||||
مثال2. برچسب: غیرمتضمن | ||||||||
مشخصات پرسش 1 | شناسه پرسش € | شناسه پرسشگر € | تاریخ ثبت € | شناسه نظرات € | پاسخ‌ها € | تعداد علاقمندان € | امتیاز € | |
153778 | 24072 | 2014-01-13T05:30:01.237 | 422525 | 153790 | 2 | 3 | ||
تعداد ملاقات‌ها € | پرسش‌های تکراری € | پرسش‌های مرتبط € | برچسب‌ها € | شناسه پاسخ تأییدشده € | نام انجمن € |
| ||
295 | - | - | fonts | - | Tex |
| ||
عنوان | | Open dyslexic font | |||||||
بدنه | | Is it straight forward to use the OpenDyslexic font in a latex document? What steps would be required? | |||||||
پاسخ تأییدشده | | - | |||||||
مشخصات پرسش 2 | شناسه پرسش € | شناسه پرسشگر € | تاریخ ثبت € | شناسه نظرات € | پاسخ‌ها € | تعداد علاقمندان € | امتیاز € | |
13865 | 4322 | 2011-03-19T09:20:17.147 | 25475-25476-25490- ... | 13868 | 21 | 35 | ||
تعداد ملاقات‌ها € | پرسش‌های تکراری € | پرسش‌های مرتبط € | برچسب‌ها € | شناسه پاسخ تأییدشده € | نام انجمن € |
| ||
8811 | - | 3797 | online | 13868 | Tex |
| ||
عنوان | | How to use LaTeX on blogspot? | |||||||
بدنه | | I'm trying to use LaTeX on my blog, but I could not figure out how. Has anyone done it before? Any feedback or related information would be greatly appreciated. | |||||||
You can put a <code>\strut</code> just before <code>c</code> to enlarge the depth of your equation and if you still find the curly bracket too close, you can also define your own "strut":</p> <code> [….] <code> | ||||||||
رایمگ
الروابط
المراكز ذات الصلة
دعامة
الصفحات الرسمية
حقوق هذا الموقع الإلكتروني مملوكة لنظام Rimag Press Management. © 1438-1447