Manuscript ID : 1403061947950 Visit : 111 Page: -

Article Type: Original Research

UsERQA: An LLM-Driven User-Aware Community Question Answering System

Subject Areas : AI and Robotics

1 - Faculty of Computer Engineering, K. N. Toosi University of Technology, Tehran, Iran
2 - Faculty of Computer Engineering, K. N. Toosi University of Technology, Tehran, Iran

Received: 2024-09-09 Accepted : 2025-02-16 Published : 2025-10-17

Keywords: Community question answering systems, Answer generation, Recognizing question entailment, User modeling, Query-focused multi-document summarization,

Abstract :

In the present era, question-and-answer communities have become vibrant platforms for sharing knowledge. Every year, millions of questions are posted on these forums with the hope of receiving answers from human experts. Nonetheless, many of these questions fail to receive timely or accurate answers due to experts' limited time or being duplicates. In recent years, a large body of research has focused on identifying entailed questions within community archives and using their accepted answers to fulfill the information needs of newly posed questions. Most of these studies match questions syntactically and semantically while resorting to external knowledge injection or increased model complexity to enhance question understanding. However, the critical role that the topics typically explored by questioners play in disambiguating their queries has been overlooked. This research addresses this gap by introducing UsERQA, a novel retrieval-augmented generation (RAG)-based question-answering system incorporating user knowledge. UsERQA utilizes large language models to represent the questioner's knowledge as a sequence of topical tags. In addition, it employs a question entailment recognition process as a post-retrieval strategy, with a new constraint, mandating the alignment between entailed questions and the questioner's knowledge. Afterward, another large language model generates the final answer using the accepted answers of top entailed questions as context. The goal is to imitate human writing patterns and leverage the knowledge contained in human responses to produce high-quality answers. Experimental results on the CQAD-ReQuEST dataset indicate the efficiency of UsERQA in modeling user knowledge and producing more accurate responses than its user-agnostic counterpart.

References:

[1] B. Patra, ‘A survey of Community Question Answering’, CoRR, abs/1705.04009, May 2017.
[2] D. Hoogeveen, L. Wang, T. Baldwin, and K. M. Verspoor, ‘Real and Misflagged Duplicate Question Detection in Community Question-Answering’, 2018.
[3] A. Figueroa, ‘Automatically generating effective search queries directly from community question-answering questions for finding related questions’, Expert Syst. Appl., vol. 77, pp. 11–19, Jul. 2017.
[4] I. Srba and M. Bielikova, ‘A Comprehensive Survey and Classification of Approaches for Community Question Answering’, ACM Trans. Web, vol. 10, no. 3, pp. 1–63, Aug. 2016.
[5] M. Sulír and M. Regeci, ‘Software Engineers’ Questions and Answers on Stack Exchange’, in 2022 IEEE 16th International Scientific Conference on Informatics (Informatics), Nov. 2022, pp. 304–310.
[6] M. Asaduzzaman, A. S. Mashiyat, C. K. Roy, and K. A. Schneider, ‘Answering questions about unanswered questions of Stack Overflow’, in 2013 10th Working Conference on Mining Software Repositories (MSR), May 2013, pp. 97–100.
[7] S. A. Bhaskar, R. Rungta, J. Route, E. Nyberg, and T. Mitamura, ‘Sieg at MEDIQA 2019: Multi-task Neural Ensemble for Biomedical Inference and Entailment’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 462–470.
[8] A. Merchant, N. Shenoy, A. Bharali, and A. K. M, ‘Identifying Similar Questions in the Medical Domain Using a Fine-tuned Siamese-BERT Model’, in 2022 IEEE 19th India Council International Conference (INDICON), Nov. 2022, pp. 1–6.
[9] A. B. Abacha and D. Demner-Fushman, ‘A question-entailment approach to question answering’, BMC Bioinformatics, vol. 20, no. 1, Dec. 2019.
[10] Z. Xu and H. Yuan, ‘Forum Duplicate Question Detection by Domain Adaptive Semantic Matching’, IEEE Access, vol. 8, pp. 56029–56038, 2020.
[11] L. Wang, L. Zhang, and J. Jiang, ‘Duplicate Question Detection With Deep Learning in Stack Overflow’, IEEE Access, vol. 8, pp. 25964–25975, 2020.
[12] D. D. Koswatte and S. Hettiarachchi, ‘Optimized Duplicate Question Detection in Programming Community Q&A Platforms using Semantic Hashing’, in 2021 10th International Conference on Information and Automation for Sustainability (ICIAfS), Aug. 2021, pp. 375–380.
[13] V.-T. Nguyen, A.-C. Le, and H.-N. Nguyen, ‘A Model of Convolutional Neural Network Combined with External Knowledge to Measure the Question Similarity for Community Question Answering Systems’, Int. J. Mach. Learn. Comput., vol. 11, no. 3, pp. 194–201, May 2021.
[14] R. Zhang, Q. Zhou, B. Wu, W. Li, and T. Mo, ‘What do questions exactly ask? mfae: duplicate question identification with multi-fusion asking emphasis’, in Proceedings of the 2020 SIAM International Conference on Data Mining, SDM 2020, 2020, pp. 226–234.
[15] D. Hoogeveen, A. Bennett, Y. Li, K. Verspoor, and T. Baldwin, ‘Detecting Misflagged Duplicate Questions in Community Question-Answering Archives’, Proc. Int. AAAI Conf. Web Soc. Media, vol. 12, no. 1, pp. 112–120, Jun. 2018.
[16] P. K. Roy, S. Saumya, J. P. Singh, S. Banerjee, and A. Gutub, ‘Analysis of community question‐answering issues via machine learning and deep learning: State‐of‐the‐art review’, CAAI Trans. Intell. Technol., vol. 8, no. 1, pp. 95–117, Mar. 2023.
[17] N. Othman, R. Faiz, and K. Smaïli, ‘Enhancing Question Retrieval in Community Question Answering Using Word Embeddings’, Procedia Comput. Sci., vol. 159, pp. 485–494, 2019.
[18] G. Zhou, L. Cai, J. Zhao, and K. Liu, ‘Phrase-based translation model for question retrieval in community question answer archives’, ACL-HLT 2011 - Proc. 49th Annu. Meet. Assoc. Comput. Linguist. Hum. Lang. Technol., vol. 1, pp. 653–662, 2011.
[19] K. Mrini et al., ‘A Gradually Soft Multi-Task and Data-Augmented Approach to Medical Question Understanding’, in Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2021, pp. 1505–1515.
[20] N. S. Tawfik and M. R. Spruit, ‘Evaluating sentence representations for biomedical text: Methods and experimental results’, J. Biomed. Inform., vol. 104, no. February, p. 103396, Apr. 2020.
[21] M. Faseeh, M. A. Khan, N. Iqbal, F. Qayyum, A. Mehmood, and J. Kim, ‘Enhancing User Experience on Q&A Platforms: Measuring Text Similarity Based on Hybrid CNN-LSTM Model for Efficient Duplicate Question Detection’, IEEE Access, vol. 12, no. January, pp. 34512–34526, 2024.
[22] V. Nguyen, S. Karimi, and Z. Xing, ‘Combining Shallow and Deep Representations for Text-Pair Classification’, ALTA 2021 - Proc. 19th Work. Australas. Lang. Technol. Assoc., pp. 68–78, 2021.
[23] S. Ghasemi and A. Shakery, ‘Harnessing the Power of Metadata for Enhanced Question Retrieval in Community Question Answering’, IEEE Access, vol. 12, no. May, pp. 65768–65779, 2024.
[24] A. M. Monea, ‘Medical Question Entailment based on Textual Inference and Fine-tuned BioMed-RoBERTa’, in 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), 2021, pp. 319–326.
[25] S. Yadav, V. Pallagani, and A. Sheth, ‘Medical Knowledge-enriched Textual Entailment Framework’, in Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 1795–1801.
[26] T. R. Goodwin and D. Demner-Fushman, ‘Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge’, CoRR abs/1910.07429, Oct. 2019.
[27] A. B. Abacha, D. Demner-fushman, and U. S. N. Library, ‘Recognizing Question Entailment for Medical Question Answering’, in AMIA Annual Symposium Proceedings, 2016, pp. 310–318.
[28] T. Baldwin, H. Liang, B. Salehi, D. Hoogeveen, Y. Li, and L. Duong, ‘UniMelb at SemEval-2016 Task 3: Identifying Similar Questions by combining a CNN with String Similarity Measures’, in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), 2016, pp. 851–856.
[29] A. B. Abacha and D. Demner-Fushman, ‘On the Summarization of Consumer Health Questions’, in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019, pp. 2228–2234.
[30] C. dos Santos, L. Barbosa, D. Bogdanova, and B. Zadrozny, ‘Learning Hybrid Representations to Retrieve Semantically Equivalent Questions’, in Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), 2015, vol. 2, no. 1, pp. 694–699.
[31] D. A. Prabowo and G. Budi Herwanto, ‘Duplicate Question Detection in Question Answer Website using Convolutional Neural Network’, in 2019 5th International Conference on Science and Technology (ICST), Jul. 2019, no. 1, pp. 1–6.
[32] A. Agrawal, R. Anil George, S. S. Ravi, S. Kamath S, and A. Kumar, ‘ARS_NITK at MEDIQA 2019:Analysing Various Methods for Natural Language Inference, Recognising Question Entailment and Medical Question Answering System’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 533–540.
[33] N. Tawfik and M. Spruit, ‘UU_TAILS at MEDIQA 2019: Learning Textual Entailment in the Medical Domain’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 493–499.
[34] V. Nguyen, S. Karimi, and Z. Xing, ‘ANU-CSIRO at MEDIQA 2019: Question Answering Using Deep Contextual Knowledge’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 478–487.
[35] D. Bandyopadhyay, B. Gain, T. Saikh, and A. Ekbal, ‘IITP at MEDIQA 2019: Systems Report for Natural Language Inference, Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 517–522.
[36] K. Mrini, F. Dernoncourt, W. Chang, E. Farcas, and N. Nakashole, ‘Joint Summarization-Entailment Optimization for Consumer Health Question Understanding’, in Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, 2021, pp. 58–65.
[37] W. Zhu et al., ‘PANLP at MEDIQA 2019: Pre-trained Language Models, Transfer Learning and Knowledge Distillation’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 380–388.
[38] M. Sarrouti, A. B. Abacha, and D. Demner-Fushman, ‘Multi-Task Transfer Learning with Data Augmentation for Recognizing Question Entailment in the Medical Domain’, in 2021 IEEE 9th International Conference on Healthcare Informatics (ICHI), Aug. 2021, pp. 339–346.
[39] H. Zhou, X. Li, W. Yao, C. Lang, and S. Ning, ‘DUT-NLP at MEDIQA 2019: An Adversarial Multi-Task Network to Jointly Model Recognizing Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 437–445.
[40] A. Shang, X. Zhu, M. Danner, and M. Rätsch, ‘Unsupervised question-retrieval approach based on topic keywords filtering and multi-task learning’, Comput. Speech Lang., vol. 87, no. March, p. 101644, Aug. 2024.
[41] K. Jiang, G. Jin, Z. Zhang, R. Cui, and Y. Zhao, ‘Incorporating external knowledge for text matching model’, Comput. Speech Lang., vol. 87, no. March, p. 101638, Aug. 2024.
[42] Y. Sun and J. Song, ‘Research on question retrieval method for community question answering’, Multimed. Tools Appl., vol. 82, pp. 24309–24325, 2023.
[43] D. Hoogeveen, K. M. Verspoor, and T. Baldwin, ‘CQADupStack: A Benchmark Data Set for Community Question-Answering Research’, in Proceedings of the 20th Australasian Document Computing Symposium, Dec. 2015, pp. 1–8.
[44] S. Z. Aftabi, S. M. Seyyedi, M. Maleki, and S. Farzi, ‘ReQuEST: A Small-Scale Multi-Task Model for Community Question-Answering Systems’, IEEE Access, vol. 12, pp. 17137–17151, 2024.
[45] C. Y. Lin, ‘Rouge: A package for automatic evaluation of summaries’, Proc. Work. text Summ. branches out (WAS 2004), no. 1, pp. 25–26, 2004, [Online].
[46] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, ‘BERTScore: Evaluating Text Generation with BERT’, CoRR abs/1904.09675, pp. 1–43, Apr. 2019.
[47] K. Song, X. Tan, T. Qin, J. Lu, and T.-Y. Liu, ‘MPNet: Masked and Permuted Pre-training for Language Understanding’, Adv. Neural Inf. Process. Syst., vol. 2020-Decem, no. NeurIPS, pp. 1–11, Apr. 2020.

Full-Text:

$G:\دوفصلنامه ارتباطات و فناوری اطلاعات\ITRC-Logo\Farsi - v2.png$ دوفصلنامه

فناوری اطلاعات و ارتباطات ایران

سال هفدهم، شماره 65، مهر 1404، شمارة ویژة «هوش مصنوعی و تحلیل داده»، صفحه 20 الی 40

UsERQA: An LLM-Driven User-Aware Community Question Answering System

Seyyede Zahra Aftabi1, Saeed Farzi1 ¹

1 Faculty of Computer Engineering, K. N. Toosi University of Technology, Tehran, Iran

Received: 09 September 2024, Revised: 05 February 2025, Accepted: 16 February 2025

Paper type: Research

Abstract

Keywords: Community question answering systems, Answer generation, Recognizing question entailment, User modeling, Query-focused multi-document summarization.

UsERQA: سیستم پاسخ‌گویی به پرسش‌های انجمن آگاه به کاربر مبتنی بر مدل‌های زبانی بزرگ

سیده زهرا آفتابی1، سعید فرضی1²

1 دانشکده مهندسی کامپیوتر، دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران

تاریخ دریافت: 19/06/1403 تاریخ بازبینی: 17/11/1403 تاریخ پذیرش: 28/11/1403

نوع مقاله: پژوهشی

چکيده

در عصر حاضر، انجمن‌های پرسش و پاسخ، به بستر‌هایی پویا برای تبادل دانش بدل شده‌اند. سالانه میلیون‌ها پرسش به امید دریافت پاسخ از متخصصین، راهی این انجمن‌ها می‌شوند. اما شمار زیادی از آنها به دلیل محدودیت زمان و منابع متخصصین یا داشتن محتوای تکراری، از دریافت پاسخ صحیح و زودهنگام بی‌نصیب می‌مانند. در این راستا، مطالعات بسیاری به شناسایی پرسش‌های با مضمون مشابه پرسش ورودی در بایگانی انجمن و بهره‌مندی از پاسخ‌های تأییدشده آنها جهت رفع نیاز اطلاعاتی پرسش پرداخته‌اند. عمده این پژوهش‌ها، از تطابق ویژگی‌های نحوی و معنایی زوج پرسش استفاده نموده‌ و برای درک بهتر پرسش‌ها، به تزریق دانش خارجی یا افزایش پیچیدگی مدل متوسل شده‌اند. در این میان، نقش کلیدی دایره موضوعات مورد مطالعه پرسشگر در رفع ابهام از محتوای پرسش مغفول مانده‌است. پژوهش حاضر با ارائه یک سیستم مولد بازیابی‌افزوده برای پاسخگویی به پرسش‌ها موسوم به UsERQA که مبتنی بر مدلسازی دانش پرسشگر است، به رفع این شکاف تحقیقاتی می‌پردازد. UsERQA با بهره‌گیری از مدل‌های زبانی بزرگ، دانش پرسشگر را به‌صورت دنباله‌ای از برچسب‌های موضوعی توصیف نموده و شرط همسو بودن پرسش‌های متضمن با دانش پرسشگر را به فرآیند شناسایی پرسش‌های متضمن که یک فرآیند پسابازیابی است می‌افزاید. سپس، یک مدل زبانی دیگر، به تولید پاسخی واحد بر پایه برترین پاسخ‌ها مبادرت می‌ورزد. به موجب این فرآیند می‌توان از سبک نوشتاری و دانش نهفته در پاسخ‌های انسانی، جهت تولید پاسخِ باکیفیت، الگوبرداری کرد. نتایج آزمایش‌ها روی دادگان CQAD-ReQuEST، عملکرد موفق UsERQA در مدلسازی کاربر و بهبود کیفیت پاسخ‌ها نسبت به مدل مستقل از کاربر را نشان داد.

کلیدواژگان: سیستم‌های پاسخگویی به پرسش‌های انجمن، تولید پاسخ، شناسایی پرسش‌های متضمن، مدلسازی کاربر، خلاصه‌سازی چندسندی متمرکز بر پرسمان.

[1] * Corresponding Author’s email: saeedfarzi@kntu.ac.ir

[2] * رایانامة نويسنده مسؤول: saeedfarzi@kntu.ac.ir

1- مقدمه

در دو دهه گذشته، با ظهور و توسعه انجمن‌های پرسش و پاسخ، تحول شگرفی در عرصه بازیابی اطلاعات و تبادل دانش به وجود آمده است. از جمله انجمن‌های محبوب در زبان انگلیسی می‌توان Stack Overflow‌، Quora‌ و iCliniq را نام برد. کاربران این انجمن‌ها قادرند نیاز اطلاعاتی خود را در قالب پرسش‌هایی به زبان طبیعی مطرح نموده و پاسخ‌ها و دیدگاه‌های مختلف را از سایر کاربران انجمن، که از این پس با عنوان متخصص از آنها یاد می‌شود، دریافت نمایند ‏[‏‏1‏‏]‏. به محض آنکه پرسشگر، یکی از پاسخ‌های دریافتی را به‌عنوان بهترین پاسخ تأیید نماید، پرسش، حل‌شده¹ تلقی شده و در بایگانی² انجمن ذخیره می‌شود ‏[‏‏1‏–‏4‏‏]‏. به این ترتیب، با گذر زمان، بایگانی انجمن به مخزنی غنی از اطلاعات مبدل می‌گردد.

بقای یک انجمن پرسش و پاسخ در گرو جلب رضایت کاربران و ترغیب آنها به مشارکت بیشتر است. در این راستا، سرعت حصول پاسخ و صحت پاسخ، دو رکن اصلی برای رضایت کاربران محسوب می‌شوند. این در حالیست که مطابق آمار منتشر شده از انجمن‌های مختلف، سالانه شمار زیادی از پرسش‌ها از دریافت پاسخ بی‌بهره می‌مانند ‏[‏‏5‏، ‏6‏‏]‏. حال آنکه برای بسیاری از پرسش‌های جدیدالورود، پرسش‌های متضمنی³ در بایگانی انجمن وجود دارند که پیش‌تر، پاسخ صحیحی دریافت نموده‌اند ‏[‏‏7‏، ‏8‏‏]‏. یک پرسش متضمن، پرسشی با معنای مشابه است که پاسخ صحیح ارائه‌شده برای آن می‌تواند به عنوان یک پاسخ صحیح کامل یا بخشی از پاسخ صحیح برای پرسش جدید نیز ارائه گردد ‏[‏‏9‏‏]‏. از این رو، انجمن‌ها، کاربرانشان را به جستجو برای پرسش‌های متضمن و مطالعه پاسخ‌های آنها پیش از اقدام به ثبت یک پرسش جدید تشویق می‌کنند. با این وجود، بسیاری از کاربران، علیرغم صرف زمان قابل توجه برای جستجو، در دستیابی به پاسخ ناکام مانده و با این باور که پرسش آنها منحصر به فرد است، به ثبت پرسش‌های تکراری⁴ مبادرت می‌ورزند ‏[‏‏10‏، ‏11‏‏]‏. انباشت تدریجی پرسش‌های تکراری نیز تلاش مضاعف متخصصین برای پاسخگویی و افزایش زمان انتظار کاربران برای دریافت پاسخ را در پی دارد. به همین علت، ساخت و توسعه‌ سیستم‌های شناسایی پرسش‌های متضمن⁵ (RQE) که قادر باشند در سریعترین زمان ممکن، فهرستی از پرسش‌های متضمن را بازیابی نمایند، به یکی از حوزه‌های تحقیقاتی پرمخاطب مبدل گشته است ‏[‏‏8‏، ‏10‏–‏16‏‏]‏.

شناسایی پرسش‌های متضمن در میان انبوه پرسش‌های بایگانی، به این دلیل که افراد مختلف، پرسش‌های مشابه را با واژگان و ساختارهای زبانی متفاوت بیان می‌کنند ‏[‏‏10‏، ‏17‏، ‏18‏‏]‏، فرآیندی سخت و پیچیده است. مثال 2 در جدول 1، دو پرسش را نمایش می‌دهد که فاقد همپوشانی واژگانی⁶ بوده اما از نظر معنایی، متضمن یکدیگر می‌باشند. در حالتی دیگر، مطابق مثال 3، دو پرسش ممکن است با وجود همپوشانی واژگانی، متضمن یکدیگر نباشند. در این راستا، اکثر پژوهش‌ها از مقایسه واژگان و ساختارهای نحوی زوج پرسش فراتر رفته و تمرکز خود را بر درک عمیق‌تر معانی، با تکیه بر اطلاعات بافتاری⁷ ‏[‏‏19‏–‏22‏‏]‏ و منابع دانش خارجی ‏[‏‏23‏–‏26‏‏]‏ معطوف نموده‌اند. با این وجود، مروری بر مطالعات انجام شده در این حوزه، وجود یک شکاف تحقیقاتی، مبنی بر نادیده گرفته شدن دانش و علایق کاربران در فرآیند بازیابی پرسش‌های متضمن را هویدا می‌سازد.

جدول 1. نمونه‌هایی از زوج پرسش‌های متضمن و غیرمتضمن

مثال1. برچسب: متضمن

1. Why did they cut out the expanding granuloma which was due to Coccidiomycosis immitis, rather than just treat it medically?

2. Why did they cut out the Coccidiomycosis granuloma rather than treat it medically?

مثال2. برچسب: متضمن

1. Is this statement: "the letters have been troubling me since over a year" grammatically, correct? Or should I instead use: "...for over a year".

2. Since is used to refer to a point of time in the past and for is used with time interval. However I've come across this phrase: "I haven't seen you since ages." Is this a correct usage of "since" since ages denotes an interval of time?

مثال3. برچسب: غیرمتضمن

1. Is this statement: "the letters have been troubling me since over a year" grammatically correct? Or should I instead use: "...for over a year".

2. My student writes a statement like this: "She hasn't gone out with him since one year ago." so, I want to know if this sentence is correct or wrong grammatically.

پژوهش حاضر بر آن است تا از زمینه‌های موضوعی مورد علاقه پرسشگر که به‌طور مکرر به جستجو پیرامون آنها می‌پردازد، به عنوان دانش کمکی جهت شناسایی دقیق‌تر پرسش‌های متضمن بهره‌مند گشته و بدین وسیله، صحت پاسخ‌های تولید شده برای کاربر را بهبود بخشد. برای این منظور، یک سیستم جامع پاسخگویی به پرسش با نام UsERQA‌⁸‌، متشکل از زنجیره‌ای از مدل‌های زبانی بزرگ، ارائه شده‌است‌. این سیستم در چهار مؤلفه اصلی خود به مدلسازی دانش پرسشگر براساس سوابق فعالیت‌های وی در انجمن، بازیابی فهرستی از پرسش‌های مرتبط با پرسش ورودی، شناسایی برترین پرسش‌های متضمن در میان پرسش‌های بازیابی‌شده و در پایان، ارائه یک پاسخ صحیح و یکپارچه به پرسشگر بر پایه پاسخ‌های تأیید‌شده⁹ برای پرسش‌های متضمن می‌پردازد. در واقع، سیستم پیشنهادی پژوهش حاضر، یک سیستم مولد بازیابی‌افزوده¹⁰ (RAG) توسعه‌یافته است که به یک مؤلفه پسا‌بازیابی¹¹ مجهز گشته است. این سیستم نه تنها از دانش جهانی¹² مدل‌های زبانی بزرگ برای تولید پاسخ‌هایی مشابه پاسخ‌های انسانی بهره می‌برد، بلکه از چالش‌هایی نظیر تولید پاسخ‌های غیرواقعی¹³ که گریبان‌گیر این مدل‌ها است مصون می‌ماند. افزون بر این، با تکیه بر دانش و علایق پرسشگر، از ورود پاسخ‌های کاندید نامرتبط با نیاز اطلاعاتی به مرحله تولید پاسخ ممانعت نموده و اعتبار، دقت و صحت بالاتر را در پاسخگویی به ارمغان می‌آورد.

به‌طورکلی، نوآوری‌های مطالعه حاضر به شرح زیر است:

1. ارائه سیستمی برای پاسخگویی خودکار و سریع به پرسش‌های انجمن و بهبود صحت و کیفیت پاسخ‌ها با کاهش خطا در مؤلفه‌های بازیابی پرسش و شناسایی پرسش‌های متضمن

2. بهبود فرآیند شناسایی پرسش‌های متضمن از طریق افزودن شرط همسویی پرسش‌های کاندید با دانش و علایق پرسشگر

3. مدلسازی دانش پرسشگر در قالب دنباله‌ای از برچسب‌های موضوعی با تکیه بر سوابق پرسش‌های وی در انجمن

ادامه این مقاله به شرح زیر سازمان‌دهی شده است. در بخش دوم مروری بر کارهای پیشین در حوزه‌ شناسایی پرسش‌های متضمن ارائه می‌گردد. در بخش سوم، سیستم پیشنهادی و عملکرد هریک از مؤلفه‌های آن تشریح می‌شود. بخش چهارم به معرفی دادگان، تنظیمات سیستم، نتایج آزمایش‌ها و بحث پیرامون آنها پرداخته و بخش پنجم، با جمع‌بندی و ارائه پیشنهادات به آن خاتمه می‌دهد.

2- کارهای مرتبط

با معرفی وظیفه تشخیص تضمن پرسش‌ها (RQE) توسط آباچا و همکاران در سال 2016 ‏[‏‏27‏‏]‏، مطالعات بسیاری، به ارائه مدل‌های RQE و ارتقاء عملکرد آنها از زوایای مختلف پرداختند.

بطور کلی، مدل‌های RQE از منظر روش تولید بازنمایی‌های¹⁴ برداری به دو دسته ”مبتنی بر ویژگی¹⁵“ و ”مبتنی بر تعبیه¹⁶“ قابل تقسیم هستند. در دسته اول، مجموعه‌ای از ویژگی‌ها به صورت دستی از پرسش‌ها استخراج می‌شوند ‏[‏‏28‏، ‏29‏‏]‏. مهمترین نقطه ضعف این رویکردها را می‌توان ناتوانی معیارهای شباهت سنتی، در تشخیص هم‌ارزی‌های معنایی عنوان کرد ‏[‏‏30‏، ‏31‏‏]‏. در دسته دوم، مهندسی ویژگی‌ها به مدل‌های شبکه عصبی سپرده می‌شود. تعدادی از پژوهش‌ها، بردارهای تعبیه را در سطح کلمه¹⁷ ‏[‏‏9‏، ‏31‏، ‏32‏‏]‏ و تعدادی در سطح جمله¹⁸ ‏[‏‏33‏‏]‏ تولید نموده‌اند. در این میان، تحلیل خطاها از ناتوانی مدل‌های تعبیه ایستا¹⁹ در مواجهه با چالش‌هایی نظیر چندمعنایی²⁰، اصطلاحات تخصصی و واژگان خارج از لغت‌نامه حکایت داشته‌است. از این رو، با پیدایش مدل‌های تعبیه بافتاری، بسیاری از محققین به استفاده از آنها گرایش یافتند.

گروهی از پژوهش‌ها تلاش نمودند تا با تزریق دانش از طرق مختلف، بازنمایی‌های برداری را غنی‌تر نمایند. استفاده از مدل‌های پیش‌آموزش‌دیده²¹ روی داده‌های خاص-دامنه²²، یکی از راهکارهایی است که محققین برای تزریق دانش تخصصی پیشنهاد کردند. ‌نگوین و همکاران ‏[‏‏34‏‏]‏ با هدف رفع ابهام از اصطلاحات تخصصی و اختصارات²³ در دامنه پزشکی، بهره‌برداری همزمان از تعبیه خاص-دامنه‌‌ Bio-BERT و تعبیه حاصل از مدلِ دامنه-باز BERT‌²⁴ را پیشنهاد نمودند. محققین در ‏[‏‏35‏‏]‏، کیفیت تعبیه Word2vec در یک شبکه مبتنی بر Bi-LSTM‌‌²⁵ را با تعبیه حاصل از Bio-BERT در یک شبکه عصبی چندلایه مقایسه نموده و عملکرد برتر Word2vec را شاهد بودند. داده‌افزایی²⁶، دیگر راهکاری است که پژوهشگران به منظور افزایش تعمیم‌پذیری بازنمایی‌ها، جلوگیری از بیش‌برازش²⁷ و تأمین داده برای آموزش مدل‌های زبانی به آن رجوع کردند. مرینی و همکاران ‏[‏‏36‏‏]‏ با اثبات رابطه هم‌ارزی میان وظایف RQE و خلاصه‌سازی پرسش، رویکردی برای داده‌‌افزایی جهت تسهیل یادگیری چندوظیفه‌ای²⁸ پیشنهاد دادند. آنها از هر زوج پرسش در دادگان خلاصه‌سازی، یک زوج معادل برای دادگان RQE تولید نمودند. برخی محققین نیز استفاده از یادگیری انتقالی²⁹ را توصیه کردند. زو و همکاران ‏[‏‏37‏‏]‏، تنظیم دقیق³⁰ مدل MT-DNN‌³¹ برای وظیفه استنتاج زبان طبیعی³² را در بهبود عملکرد آن در وظیفه RQE مؤثر یافتند.

گروه دیگری از پژوهش‌ها، تقویت معماری مدل را در پیش گرفتند. به همین علت، گذار تدریجی از مدل‌های سنتی یادگیری ماشین ‏[‏‏28‏، ‏29‏، ‏32‏–‏34‏‏]‏ به سمت مدل‌های پیشرفته یادگیری عمیق را شاهد هستیم. به عنوان نمونه، فصیح و همکاران ‏[‏‏21‏‏]‏ از ظرفیت شبکه‌های حافظه طولانی کوتاه‌مدت³³ و شبکه‌های عصبی پیچشی³⁴ (CNN) برای دریافت همزمان وابستگی‌های بلندمدت و محلی بهره‌مند شدند. بازنمایی‌های زوج پرسش، پس از تولید توسط مدل‌های فوق، برای دسته‌بندی به یک مدل پرسپترون³⁵ ارائه ‌شدند.

برخی مطالعات با ارائه مدل‌های پیچیده چندوظیفه‌ای، درصدد تزریق دانش به مدل برآمدند. یادگیری چندوظیفه‌ای، از طریق لایه‌های اشتراکی، امکان تبادل دانش بین وظایف مرتبط را فراهم می‌آورد ‏[‏‏38‏‏]‏. ژو و همکاران ‏[‏‏39‏‏]‏ یک شبکه تخاصمی³⁶ برای وظایف RQE و پاسخگویی به پرسش، شامل یک رمزگذار³⁷ مشترک، یک متمایزگر³⁸ وظیفه و دو دسته‌بند طراحی نمودند. در این شبکه، متمایزگر با تشخیص نوع وظیفه، رمزگذار را بر حذف ویژگی‌های خاص-وظیفه³⁹ از بازنمایی‌ها ترغیب می‌نمود. ناتوانی در درک پرسش‌های مبهم و اختصارات را می‌توان از نقاط ضعف روش پیشنهادی آنها برشمرد. شانگ و همکاران ‏[‏‏40‏‏]‏ از یادگیری بدون‌نظارت⁴⁰ چندوظیفه‌ای با یک رمزگذار مشترک، به‌منظور ارتقاء کیفیت بازنمایی‌ها بهره جستند. آنها وظایف تولید کلیدواژه برای پرسش و بازنمایی پرسش را به‌صورت توأم آموزش دادند. اگرچه آزمایش‌ها از عملکرد مؤثر مدل آنها در برخورد با پرسش‌های کوتاه حکایت دارد، اما کارایی آن برای پرسش‌های طولانی و پیچیده، مورد سؤال است. مرینی و همکاران ‏[‏‏19‏‏]‏ یک مدل مبتنی بر BART‌⁴¹ شامل وظایف خلاصه‌سازی پرسش و RQE پیشنهاد نمودند. نوآوری اصلی آنها تعریف دو مؤلفه‌ رمزگشا⁴² با اشتراک تدریجی-نرم⁴³ در کنار یک رمزگذار مشترک بود. نتایج تجربی آنها مؤید نقش مؤثر خلاصه‌سازی پرسش در تقویت عملکرد RQE بود.

به عقیده برخی محققین، مدل‌های عمیق موجود در زمینه RQE، به دلیل اتکاء صرف بر دانش داخلی، فاقد جامعیت و ناتوان در استدلال در سطوح عمیق هستند ‏[‏‏41‏‏]‏. به همین علت، در ادبیات پژوهش می‌توان مطالعاتی را نیز یافت که به تزریق دانش دامنه‌ای یا عمومی از طریق گراف‌های دانش⁴⁴ پرداخته‌اند. گودوین و همکاران ‏[‏‏26‏‏]‏ از گراف‌ دانش ConceptNet برای کسب دانش مستقل از وظیفه⁴⁵ بهره‌مند گشتند. یاداو و همکاران ‏[‏‏25‏‏]‏ یک روش رمزگذاری دوگانه⁴⁶ مبتنی بر گراف دانش را معرفی کردند که در آن، همزمان با استخراج اطلاعات بافتاری محلی توسط مدل‌های زبانی، اطلاعات عمومی نیز در سه گام، شامل ساخت گراف هم‌آیندی⁴⁷ کلمات، تکمیل آن به کمک گراف‌های دانشِ خاص-دامنه و تولید تعبیه گرافی با استفاده از شبکه‌های پیچشی گرافی، استخراج می‌شد. آنگاه، یک مدل ترانسفورمر⁴⁸، دو تعبیه مذکور را در هم آمیخته و بازنمایی حاصل به یک شبکه عصبی ارسال می‌شد. نتایج آنها توانایی این مدل در درک بهتر پرسش‌ها در دامنه پزشکی را نشان داد. اگرچه، پیچیدگی، تعمیم‌پذیری و مقیاس‌پذیری را می‌توان سه چالش مهم در مطالعه آنها دانست. جیانگ و همکاران ‏[‏‏41‏‏]‏ از گراف ConceptNet، پایگاه دانش Wiktionary و مدل تعبیه BERT برای تولید بازنمایی دانش، و از یک مدل متشکل از چندین شبکه CNN و لایه‌های توجه⁴⁹ برای تولید بازنمایی زوج پرسش استفاده نمودند. سپس بازنمایی‌های حاصل را با بهره‌گیری از یک مکانیزم گِیت⁵⁰ با یکدیگر تلفیق کردند. آزمایش‌ها اثربخشی و مقیاس‌پذیری روش پیشنهادی آنها روی دادگان مختلف را تأیید نموده است اما تحلیلی بر پیچیدگی مدل ارائه نشده است.

گروهی از محققین از فراداده‌های⁵¹ پرسش به عنوان یک منبع دانش تکمیلی استفاده نمودند. برای مثال، از دیدگاه سان و همکاران ‏[‏‏42‏‏]‏، کیفیت پاسخ پرسش‌های کاندید، عامل مهمی است که باید در کنار شباهت‌های نحوی و معنایی، برای رتبه‌بندی پرسش‌ها لحاظ گردد. آنها پس از بازیابی پرسش‌های مرتبط به کمک نمایه معکوس⁵² و TF-IDF‌⁵³، کیفیت پاسخ هر پرسش مرتبط را توسط یک مدل مبتنی بر ELMo‌⁵⁴ سنجیده و این امتیاز را به همراه سایر امتیازات، به الگوریتم رتبه‌بندی ارائه نمودند. یافته‌های آنها، صرف‌نظر از افزایش حجم محاسباتِ زمان واقعی، مؤثر بودن ویژگی‌های منتخب را به اثبات رساند. قاسمی و شاکری ‏[‏‏23‏‏]‏ یک مدل زبانی مبتنی بر ترجمه را برای وظیفه بازیابی پرسش ارائه دادند بطوریکه، علاوه بر بدنه پرسش، موضوع، عنوان و پاسخ‌ها نیز در آن مشارکت داشتند. بنای اصلی رویکرد آنها بر دو مدل BERT و GPT، به ترتیب برای پیش‌بینی دسته موضوعی پرسش جدید و مبسوط نمودن آن از طریق تولید و الحاق پاسخ، استوار بود. به این ترتیب، مدل مبتنی بر ترجمه، پرسش‌های کاندید را براساس شباهتشان به پرسش بسط‌یافته رتبه‌بندی می‌کرد. اگرچه مدل آنها در اختصاص رتبه‌های بالاتر به پرسش‌های مرتبط، موفق عمل کرد، اما سربار محاسباتی برخط، یکی از معایب آن به شمار می‌آید. جدول 2 به مرور اجمالی مطالعات پیشین می‌پردازد.

[1] Resolved

[2] Archive

[3] Entailed questions

[4] Duplicate questions

[5] Recognizing question entailment (RQE)

[6] Word overlap

[7] Contextual

[8] User-aware Entailment Recognition-based Question Answering

[9] Accepted answers

[10] Retrieval-augmented generation (RAG)

[11] Post-retrieval

[12] (Parametric) world knowledge

[13] Hallucination

[14] Representation

[15] Feature-based approaches

[16] Embedding-based approaches

[17] Word embedding

[18] Sentence-level embedding

[19] Static

[20] Polysemy

[21] Pre-trained

[22] Domain-specific

[23] Abbreviations

[24] Bidirectional Encoder Representations from Transformers

[25] Bidirectional Long Short-Term memory

[26] Data augmentation

[27] Overfitting

[28] Multi-task learning

[29] Transfer learning (TL)

[30] Fine-tune

[31] Multi-task Deep Neural Network

[32] Natural Language Inference (NLI)

[33] Long Short-Term Memory network (LSTM)

[34] Convolutional Neural Network (CNN)

[35] Multi-Layer Perceptron (MLP)

[36] Adversarial

[37] Encoder

[38] Discriminator

[39] Task-specific

[40] Unsupervised

[41] Bidirectional Auto-Regressive Transformers

[42] Decoder

[43] Gradually-soft

[44] Knowledge Graph (KG)

[45] Task-agnostic

[46] Dual-encoding

[47] Co-occurrence

[48] Transformer

[49] Attention layers

[50] Gating mechanism

[51] Metadata

[52] Inverted index

[53] Term Frequency-Inverse Document Frequency

[54] Embeddings from Language Models

جدول 2. مروری بر کارهای پیشین در حوزه شناسایی متون متضمن
مرجع	وظیفه	پیش‌پردازش	روش بازنمایی	مدل یادگیری	دادگان	دانش	نتایج
‏[‏‏9‏‏]‏	RQE	حذف کلمات توقف، ریشه‌یابی	Feature-based، GloVe	MLP، LR	Multi-NLI، SNLI، Quora، ClinicalQE	پرسش	برتری مدل LR، اثربخشی روش ترکیبی شامل بازیابی با روش‌های سنتی و رتبه‌بندی مجدد براساس نتایج RQE
‏[‏‏32‏‏]‏	RQE	حذف کلمات توقف، ریشه‌یابی	Feature-based، BioBERT	AdaBoost، SVM، NB، XGBoost، LR، KNN	MediQA-RQE	پرسش	برتری مدل‌های ترکیبی نظیر AdaBoost و XGBoost بر مدل‌های محض
‏[‏‏28‏‏]‏	ISQ	بن‌یابی	Feature-based، Word2vec	MLP، SVM، NB، CNN	SemEval (2016)	پرسش، عنوان	عملکرد برتر مدل CNN نسبت به مدل‌های سنتی، افت نتایج در استفاده از رای اکثریت
‏[‏‏31‏‏]‏	DQD	-	GloVe	Siamese-CNN، MLP	Quora	پرسش	برتری قابل توجه CNN بر MLP
‏[‏‏33‏‏]‏	RQE	-	USE	MLP، LR	MediQA-RQE	پرسش	کیفیت قابل قبول تعبیه‌های USE با وجود سادگی مدل MLP
‏[‏‏20‏‏]‏	RQE	-	FastText، ELMO، InferSent، GloVe، BioBERT،SciBERT	LR	MediQA-RQE	پرسش	برتری تعبیه در سطح جمله نسبت به تعبیه در سطح کلمه، برتری مدل‌های تعبیه خاص دامنه پزشکی بر مدل‌های عمومی
‏[‏‏34‏‏]‏	RQE	-	BERT، BioBERT	SVM	MediQA-RQE	پرسش	تأثیر مثبت ترکیب مدل‌های خاص-دامنه با مدل‌های عمومی در رفع نقاط ضعف آنها
‏[‏‏35‏‏]‏	RQE	-	Word2vec،BioBERT	Siamese-BiLSTM، MLP	MediQA-RQE	پرسش	عملکرد برتر مدل Siamese با تعبیه‌های word2vec نسبت به مدل‌های خاص-دامنه
‏[‏‏37‏‏]‏	RQE	گسترش اختصارات	BioBERT،SciBERT ، GloVe، MT-DNN	BERT، ESIM، RCNN-NLI، سایر	MediQA-RQE	پرسش، UMLS	حذف ویژگی‌های خاص-وظیفه و ارتقاء کیفیت بازنمایی‌ها با یادگیری تخاصمی
‏[‏‏23‏‏]‏	DQD	حذف کلمات توقف، ریشه‌یابی	BERT	BERT، GPT-2، GPT-3، GPT-4	SemEval (2017)	پرسش، پاسخ، رده موضوعی	اثبات اهمیت فراداده‌ها، کارآمدی گسترش پرسش توسط LLM‌ها در دقت بازیابی
‏[‏‏21‏‏]‏	DQD	حذف کلمات توقف و علائم نشانه‌گذاری، ریشه‌یابی	Word2vec، GloVe	CNN + BiLSTM، AdaBoost،BERT، MLP، SVM، سایر	Stack Overflow (2019)	پرسش	مؤثر بودن الحاق بازنمایی‌های LSTM و CNN در مدلسازی الگوهای پیچیده در داده و برتری این روش نسبت به BERT
‏[‏‏40‏‏]‏	QR	حذف کلمات توقف	BERT، RoBERTa، LDA، سایر	-	TREC-50، FAQIR، Stack Overflow، StackFAQ	پرسش	تولید بازنمایی‌های برداری غنی‌تر از طریق تولید کلید واژه‌ برای پرسش‌ها و یادگیری چندوظیفه‌ای بدون ناظر بر پایه کلیدواژه‌ها
‏[‏‏41‏‏]‏	QR	-	CNN + attention، BERT	MLP	SNLI، MedNLI، Quora، SICK، سایر	پرسش، ConceptNet، Wiktionary	کارایی ادغام دانش خارجی در بازنمایی‌های برداری و بهره‌گیری از مکانیزم توجه در ارتقاء درک معانی، ضمن حفظ قابلیت تعمیم مدل
‏[‏‏26‏‏]‏	RQE	-	BERT	BERT	MediQA-RQE، CoPA، سایر	پرسش، ConceptNet	مؤثر بودن تزریق دانش دامنه‌ای و جهانی درباره موجودیت‌ها به بازنمایی موجودیت‌ها
‏[‏‏25‏‏]‏	RQE	-	BERT + GCN + attention، BioBERT،ClinicalBERT	MLP	MediQA-RQE	پرسش، UMLS، ICD-10، سایر	بهبود درک محلی و سراسری با ترکیب مدل‌های عمومی و منابع دانش خاص-دامنه
‏[‏‏42‏‏]‏	QR	حذف کلمات توقف و علائم نشانه‌گذاری	Feature-based،Word2vec، BiLSTM + attention	Ranking SVM	SemEval (2016, 2017)	پرسش، پاسخ	بهبود رتبه‌بندی پرسش‌های کاندید با نگاه به کیفیت پاسخ‌های آنها
‏[‏‏19‏‏]‏		-	BART	BART	iCliniq، MeQSum، MediQA-RQE، سایر	پرسش	تولید بازنمایی‌های غنی‌تر از طریق یادگیری توأمان وظایف مرتبط
اختصارات: BERT: بازنمایی‌های رمزگذار دوسویه از ترانسفورمرها، BART: ترانسفورمر دوسویه خودبازگشتی، CNN: شبکه عصبی پیچشی، DQD: شناسایی پرسش‌های تکراری، GCN: شبکه پیچشی گرافی، GPT: ترانسفورمر پیش‌آموزش‌دیده مولد، ISQ: شناسایی پرسش‌های مشابه، KNN: k-نزدیکترین همسایه، LR: رگرسیون لجستیک، BiLSTM: شبکه حافظه طولانی کوتاه‌مدت دوسویه، MAP: میانگین متوسط دقت، MLP: پرسپترون چند لایه، MRR: میانگین معکوس رتبه، NB: بیز محض، QR: بازیابی پرسش، RCNN-NLI: شبکه عصبی بازگشتی پیچشی برای استنتاج زبان طبیعی، RQE: شناسایی پرسش‌های متضمن، SVM: ماشین بردار پشتیبان، UMLS: سیستم یکپارچه زبان پزشکی، USE: رمزگذار جهانی جملات

3- سیستم پیشنهادی

UsERQA‌ یک سیستم هوشمند مولد پاسخ برای انجمن‌های پرسش‌وپاسخ است که با استفاده از زنجیره‌ای‌ از مدل‌های زبانی بزرگ، به تحلیل علاقمندی‌های پرسشگر پرداخته و پاسخی جامع‌ به زبان طبیعی برای تأمین نیاز اطلاعاتی وی ارائه می‌دهد. این سیستم، مطابق شکل 1، از چهار مؤلفه اصلی شامل مدلسازی کاربر، بازیابی پرسش‌، شناسایی پرسش‌های متضمن و تولید پاسخ تشکیل شده است. در نخستین گام پس از ثبت یک پرسش جدید در انجمن، شناسه کاربری پرسشگر در اختیار مؤلفه مدلسازی کاربر قرار می‌گیرد تا با تحلیل سوابق فعالیت‌های این کاربر، دانش و علایق وی در قالب یک دنباله متنی، حاوی تعدادی عنوان¹ کلیدی، توصیف گردد. به‌طور همزمان، مؤلفه بازیابی پرسش‌ نیز با دریافت بدنه پرسش، اقدام به سنجش شباهت آن با پرسش‌های حل‌شده در بایگانی انجمن نموده و فهرستی از پرسش‌های مشابه را بازیابی می‌نماید. خروجی‌های این دو مؤلفه در گام بعد در اختیار مؤلفه شناسایی پرسش‌های متضمن قرار می‌گیرند. این مؤلفه با آگاهی از دانش و علایق پرسشگر، پرسش‌های مشابه را غربال² نموده و پرسش‌هایی که پتانسیل ارائه یک پاسخ صحیحِ کامل یا جزئی به پرسش جدید را دارند شناسایی می‌کند. در گام آخر، پاسخ‌های تأییدشده برای برترین پرسش‌های متضمن، به مؤلفه تولید پاسخ ارائه می‌گردند تا در یک پاسخ واحد به زبان طبیعی، متمرکز بر نیاز پرسش، تجمیع گردند. در ادامه، عملکرد هر مؤلفه‌‌ از سیستم، با جزئیات تشریح می‌شود.

[1] Topic

[2] Filter

شکل 1. نمایی کلی از سیستم پیشنهادی پژوهش (UsERQA)

3‏-1‏-‏‏ مدلسازی کاربر

مؤلفه مدلسازی کاربر را می‌توان اصلی‌ترین نوآوری پژوهش جاری دانست. این مؤلفه مبتنی بر یک مدل زبانی بزرگ است که با بررسی سوابق فعالیت‌های یک کاربر، بر استنباط دانش پیش‌زمینه و موضوعات مورد علاقه وی اهتمام می‌ورزد. گام‌های اتخاذ شده در این فرآیند، در الگوریتم (1) ارائه شده است.

مطابق الگوریتم (1)، انجمنی متشکل از مجموعه کاربران را در نظر بگیرید بطوریکه مجموعه ، مجموعه تمام پرسش‌های ثبت‌شده در این انجمن باشد. چنانچه کاربر ، پرسش جدید را در انجمن مطرح سازد، مؤلفه مدلسازی کاربر، در نخستین گام، کلیه پرسش‌هایی را که وی از بدو عضویتش تا به اکنون ثبت کرده است واکشی می‌نماید (خطوط 1 تا 4). در اینجا، معرف تاریخچه پرسش‌های ثبت‌شده توسط کاربر است. پس از بازیابی سوابق کاربر، هریک از پرسش‌های، به یک اعلان ¹ با الگویی مشخص تبدیل شده و متعاقباً، به یک مدل زبانی Llama2 ارسال می‌شوند تا به ازای هر پرسش، یک دنباله متنی از برچسب‌ها² که توصیفگر موضوعات محوری آن پرسش هستند تولید گردد (خطوط 5 تا 8). لازم به ذکر است که مدل Llama2، پیش‌تر برای وظیفه تولید برچسب‌های موضوعی، تنظیم دقیق می‌شود. در گام بعد، دنباله‌های‌ تولید‌شده که با نماد نمایش داده شده‌اند، به برچسب‌هایشان تفکیک شده و از اجتماع آنها، مجموعه از برچسب‌ها شکل می‌گیرد (خط 9). این برچسب‌ها براساس بسامد ³ و ترتیب وقوعشان مرتب شده و برچسب نخست، به عنوان مدل نهایی دانش کاربر () انتخاب می‌گردند (خطوط 11 تا 14).

عدم وابستگی مؤلفه مدلسازی کاربر به پرسش ورودی را می‌توان از مهمترین نقاط قوت آن برشمرد. به عبارت دیگر، انجمن قادر خواهد بود با استفاده از این مؤلفه، زمینه‌های دانش همه کاربرانش را به‌صورت کاملا برون‌خط⁴، استنتاج نموده و در صورت نیاز، به‌طور دوره‌ای آن را بروزرسانی کند. بعلاوه، با تعریف بازه‌های زمانی روی سوابق کاربر یا محدود نمودن این فرآیند به استفاده از جدیدترین پرسش‌های کاربر، می‌توان مسئله گذار تدریجی⁵ علایق کاربران را نیز مدیریت نمود.

3‏-2‏-‏‏ بازیابی پرسش

به مجموعه‌ تمامی پرسش‌های دارای پاسخ تأیید‌شده در انجمن، بایگانی انجمن می‌گویند. هدف اصلی پژوهش جاری، تولید پاسخ‌هایی صحیح و جامع برای پرسش‌های ورودی، برگرفته از پاسخ‌های تأیید‌شده برای پرسش‌های متضمنِ آنها در بایگانی انجمن است. از‌این‌رو، سرعت و کیفیت پاسخگویی، در گرو شناسایی سریع و دقیق پرسش‌های متضمن در بایگانی می‌باشد. این در حالی است که بایگانی انجمن‌ها، غالباً حجمی بالغ بر هزاران یا میلیون‌ها پرسش را در بر می‌گیرند. به این ترتیب، ضروریست که فضای جستجو، پیش از اقدام به شناسایی پرسش‌های متضمن، محدود گردد. در سیستم پیشنهادی پژوهش جاری، این وظیفه بر عهده مؤلفه بازیابی پرسش گذاشته شده است. الگوریتم (2) به شرح وظایف این مؤلفه می‌پردازد.

Algorithm 1: User knowledge modeling
Inputs: User id , Community questions , Number of topical tags Output: User knowledge

foreach in do
if append to
end

foreach in do



end



return

مطابق الگوریتم (2)، مؤلفه بازیابی پرسش موظف است بازنمایی‌های برداری متناظر با پرسش ورودی و یکایک پرسش‌های بایگانی را تولید نموده و شباهت میان آنها را در فضای برداری یکسان، اندازه‌گیری نماید (خطوط 1 تا 6). در پژوهش جاری، معیار شباهت کسینوسی، که توسط رابطه (1) فرموله شده است، مورد استفاده قرار می‌گیرد.

Algorithm 2: Similar question retrieval
Inputs: Newly submitted question , Community archive , Number of similar questions Output: Top most similar questions


foreach in do


end


foreach in do
append to
end
return

پس از سنجش شباهت، پرسشی که بیشترین شباهت را به پرسش ورودی دارند در خروجی ارائه می‌شوند (خطوط 7 تا 12).

3‏-3‏-‏‏ شناسایی پرسش‌های متضمن

مطابق تعریف ارائه شده توسط آباچا و همکاران در ‏[‏‏9‏‏]‏، پرسش یک پرسش متضمن برای پرسش نامیده می‌شود () اگر هر پاسخ‌ صحیح ارائه شده برای پرسش ، یک پاسخ صحیح کامل یا جزئی برای پرسش نیز محسوب شود. لذا، شناسایی پرسش‌های متضمن، نیازمند یک مدل دسته‌بند دودویی ⁶ است که مطابق رابطه (2) عمل کند.

(1)

مطالعه جاری، مدل زبانی بزرگ Llama2 را جایگزین مدل‌های دسته‌بند سنتی نموده و فرآیند شناسایی پرسش‌های متضمن را در قالب فرآیند تولید متن⁷، مطابق رابطه (3)، مدلسازی نموده‌است.

(2)

اگرچه بررسی ویژگی‌های متنی پرسش‌های و می‌تواند تا حد زیادی وجود رابطه تضمن میان آنها را آشکار سازد، اما زوج پرسش‌هایی که خیلی کوتاه، مبهم، فاقد اشتراک واژگانی⁸، خیلی طولانی یا دربرگیرنده اطلاعات جانبی⁹ باشند ممکن است با تشخیص اشتباه مدل مواجه شوند ‏[‏‏15‏‏]‏. پژوهش حاضر، اطلاع از زمینه‌های دانش و علایق کاربران را در برجسته نمودن موضوعات اصلی پرسش‌ها و رفع ابهام از آنها، راهگشا دانسته و دومین نوآوری خود را بر این اساس بنا می‌نهد. در این راستا، مؤلفه شناسایی پرسش‌های متضمن، علاوه بر پرسش جدید و پرسش کاندید ، دانش مدل‌شده برای پرسشگر، یعنی را نیز در ورودی دریافت می‌کند. ورودی‌های مذکور پس از تبدیل شدن به یک اعلان با ساختار مشخص ()، برای یک مدل Llama2 که پیش‌تر برای این وظیفه آموزش دیده است ارسال می‌شوند. به این ترتیب، طبق رابطه (4)، چنانچه پرسش ، مرتبط با دامنه تخصصی پرسشگر بوده و از پاسخ‌های صحیح آن بتوان برای پاسخگویی به پرسش استفاده کرد، عبارت ”متضمن“ و درغیراینصورت، عبارت ”غیرمتضمن“ توسط مدل زبانی تولید می‌گردد.

(3)

3‏-4‏-‏‏ تولید پاسخ

بقای یک انجمن پرسش‌و‌پاسخ در گرو جلب حداکثری رضایت کاربران آن است. برای این منظور، در سیستم پیشنهادی این پژوهش، مؤلفه تولید پاسخ مطابق الگوریتم (3)، تعبیه شده است تا به جای آنکه پرسشگر، با ارائه‌ چند پیوند ¹⁰، به ریسه¹¹ پرسش‌های متضمن هدایت شود، یک پاسخ صحیح، جامع و موجز را به‌طور مستقیم دریافت نماید.

(4)

سومین مدل زبانی بزرگ در سیستم پیشنهادی، در مؤلفه تولید پاسخ به کار گرفته می‌شود. در اولین گام از الگوریتم (3)، پاسخ‌های تأیید‌شده متناظر با پرسشی که بیشترین شباهت را به پرسش ورودی داشته و برچسب متضمن دریافت کرده‌اند، واکشی می‌شوند (خطوط 1 تا 7). در اینجا، معرف پاسخ تأیید‌شده برای پرسش می‌باشد. همچنین، یادآور می‌گردد که پرسش‌های مجموعه ، قبلاً براساس میزان شباهتشان به پرسش ورودی، به صورت نزولی مرتب شده‌اند (الگوریتم 2، خطوط 7 تا 11). در گام دوم، پرسش ورودی همراه با پاسخ‌های کاندید، به یک اعلان با الگوی مشخص تبدیل شده و برای یک مدل زبانی پیش‌آموزش‌دیده، نظیر Llama2 یا GPT-4o mini، ارسال می‌شوند (خطوط 8 تا 10). در این مرحله، مهندسی اعلان¹² به منظور ارائه بهترین دستورالعمل¹³ جهت انجام وظیفه خلاصه‌سازی چند پاسخی متمرکز بر پرسش¹⁴، امری ضروری است.

4- آزمایش‌ها و تحلیل نتایج

اصلی‌ترین پرسش‌های پژوهشی مطالعه حاضر به شرح زیر هستند:

1. مؤلفه مدلسازی کاربر تا چه اندازه در تشخیص موضوعاتی که کاربر بطور متناوب دنبال می‌کند کارآمد است؟

2. استفاده از کدام مدل بازنمایی برداری، دقت بالاتری را در بازیابی پرسش‌های مشابه به ارمغان می‌آورد؟

3. مدلسازی دانش کاربر چه اندازه در بهبود فرآیند شناسایی پرسش‌های متضمن مؤثر است؟

4. برتری مؤلفه شناسایی پرسش‌های متضمن آگاه به کاربر نسبت به شناسایی پرسش‌های متضمن مستقل از کاربر، در دستیابی به پاسخ‌های صحیح و جامع، چه میزان برآورد می‌شود؟

در ادامه، دادگان پژوهش، تنظیمات اولیه سیستم و معیارهای ارزیابی تبیین می‌گردند. سپس، شرح کاملی از نتایج آزمایش‌های انجام‌شده جهت ارزیابی عملکرد سیستم پیشنهادی ارائه می‌شود.

4‏-1‏-‏‏ ‏مجموعه داده

آموزش مؤلفه‌های سیستم پیشنهادی و ارزیابی عملکرد آنها با استفاده از دادگان CQADupStack ‏[‏‏43‏‏]‏ و نسخه کوچکتر و تغییریافته آن، CQAD-ReQuEST ‏[‏‏44‏‏]‏ انجام می‌پذیرد. دادگان CQADupStack، اطلاعات 470,344 پرسش، نظیر مشخصات پرسشگر، عنوان، برچسب‌ها، تاریخ ثبت، آراء مثبت و منفی، پاسخ‌های دریافتی و پاسخ تأییدشده برای هرکدام (در صورت وجود) را در 12 شاخه موضوعی مختلف، شامل شده است. از این پرسش‌ها، 248,426 مورد (حدود 8/52‌‌%) دارای پاسخ تأییدشده می‌باشند که در سیستم پیشنهادی پژوهش، با عنوان بایگانی انجمن از آنها یاد می‌شود.

دادگان CQAD-ReQuEST شامل 8000 زوج پرسش () در بخش آموزش و 2000 زوج در بخش آزمون است. پرسش‌های و برچسب‌های متناظر آنها در دادگان آموزش، برای تنظیم دقیق مؤلفه مدلسازی کاربر و کلیه زوج پرسش‌های آموزش، برای تنظیم دقیق مؤلفه شناسایی پرسش‌های متضمن استفاده می‌شوند. در پژوهش جاری همچنین، یک دادگان اعتبارسنجی، مشتمل بر 500 زوج پرسش از دادگان CQADupStack، با هدف تنظیم پارامترها برای آموزش مؤلفه شناسایی پرسش‌های متضمن، استخراج شده است. این مجموعه داده با دادگان آزمون همپوشانی نداشته و از نظر توزیع مشابه آنها می‌باشد. برخی جزئیات آماری در مورد دادگان پژوهش در جدول 3 ارائه شده است.

Algorithm 3: Answer generation
Inputs: Newly submitted question , Similar questions , Number of candidate answers Output: Final answer

foreach in do
if do
append to
end
end



return

تعداد 1101 مورد از پرسش‌های در بخش آزمون، دارای پاسخ تأییدشده هستند که از این تعداد، تنها 148 پرسش توسط کاربران انجمن به عنوان پرسش تکراری تشخیص داده شده‌اند. این مجموعه از پرسش‌ها برای ارزیابی عملکرد مؤلفه تولید پاسخ مورد استفاده قرار می‌گیرند. جدول الف در پیوست 1 دو نمونه از داده‌های مطالعه را نشان می‌دهد.

4‏-2‏-‏‏ پیکربندی و پارامترهای اجرا

آزمایش‌های این پژوهش با استفاده از زبان پایتون، بر بستر Google Colab با GB 83.5 رم سیستم و یک پردازنده‌ گرافیکی NVIDIA A100-SXM4-40GB انجام شده است. برای پیاده‌سازی مدل زبانی Llama2 از نسخه‌ 7 بیلیون پارامتری آن در کتابخانه‌ ‌Hugging face‌‌¹⁶ و برای GPT-4o mini از پلتفرم برخط آن¹⁷ استفاده شده است. جدول 4، مقادیر ابرپارامترهای مورد استفاده در این مطالعه را گزارش می‌کند.

بیشینه طول دنباله ورودی در مؤلفه مدلسازی کاربر، با در نظر گرفتن مجموع سه مقدار، شامل تعداد نشانه‌ها در اعلان ورودی (شکل 2)، میانگین تعداد نشانه‌ها در پرسش‌های (جدول 3) و بیشینه طول دنباله برچسب‌های (جدول 3)، برابر با 256 تنظیم شده است. بیشترین تعداد نشانه‌های جدید نیز براساس بیشینه طول دنباله برچسب‌های و با احتساب حداقل سه علامت کاما (,) در میان برچسب‌ها، برابر با 30 تعیین شده‌است. این دو ابرپارامتر در مؤلفه تولید پاسخ نیز به ترتیب، براساس پیکربندی پیش‌فرض Llama2 و میانگین طول پاسخ‌های تأیید‌شده برای (جدول 3)، با مقادیر 4096 و 240 مقداردهی شده‌اند.

تنظیم ابرپارامترهای مربوط به آموزش مؤلفه شناسایی پرسش‌های متضمن براساس داده‌های اعتبارسنجی انجام شده است که در بخش 3-4-4 به آن پرداخته می‌شود. علاوه‌براین، بیشینه طول دنباله ورودی در این مؤلفه، با در نظر گرفتن طول اعلان ورودی (شکل 5)، میانگین طول پرسش‌های و (جدول 3)، حداکثر 100 نشانه برای دانش کاربر و پنج نشانه برای برچسب خروجی، برابر با 512 تنظیم شده است. به‌منظور جلوگیری از سوگیری ناشی از تفاوت در طول برچسب‌های خروجی، به‌جای برچسب‌های "Entailed" و "Not-entailed" که به ترتیب دارای سه و چهار نشانه هستند، برچسب‌های "positive" و "negative" که دارای طول یکسان (یک نشانه) هستند به عنوان خروجی مدل استفاده شده‌اند.

جدول 3. مقدار پارامترهای مورد استفاده
داده مشخصات آماری	دادگان آموزش	دادگان آزمون	دادگان اعتبارسنجی
میانگین تعداد نشانه‌ها¹⁵ در پرسش‌های	113	116	88
میانگین تعداد نشانه‌ها در پرسش‌های	112	103	90
میانگین طول دنباله برچسب‌های	6	6	-
بیشینه طول دنباله برچسب‌های	27	23	-
میانگین طول پاسخ‌های تأیید‌شده برای	243	253	-
تعداد زوج‌های متضمن	3988	1012	250
تعداد زوج‌های غیرمتضمن	4012	988	250

جدول 4. مقدار ابرپارامترهای مورد استفاده
شماره مؤلفه نام پارامتر	1	2	3	4
max_epochs	10	-	10	-
learning_rate	2×10-4	-	3×10-5	-
Batch_size	32	-	32	-
max_seq_length	256	-	512	4096
max_new_tokens	30	-	1	240
lora_r	64	-	64	-
lora_alpha	16	-	16	-
lora_dropout	1/0	-	3/0	-
temperature	97/0	-	97/0	0
4- or 8-bit quantization	خیر	-	خیر	خیر
k	10	50	-	5، 3

4‏-3‏-‏‏ ‏معیارهای ارزیابی

در این مطالعه، شباهت نحوی و معنایی یک دنباله تولیدشده توسط سیستم پیشنهادی () نسبت به دنباله هدف ()، به ترتیب براساس معیارهای استاندارد Rouge ‏[‏‏45‏‏]‏ و BERTScore ‏[‏‏46‏‏]‏ ارزیابی می‌شود.

Rouge: برای محاسبه‌ این معیار کافیست مطابق رابطه (5) همپوشانی¹⁸ -گرام‌های دنباله تولید‌‌شده و دنباله هدف را بر تعداد کل -گرام‌های دنباله هدف تقسیم نمود. خروجی این رابطه، عددی در بازه‌ ]1,0[ است بطوریکه، نزدیکتر بودن آن به مقدار 1، بر همپوشانی واژگانی بیشتر و کیفیت بالاتر دنباله‌های تولید‌شده دلالت دارد.

در مواردی که ترتیب -گرام‌ها نیز حائز اهمیت است استفاده از ROUGE-L که طبق رابطه‌ (6)، بزرگترین دنباله‌ مشترک¹⁹ را ملاک قرار می‌دهد، توصیه می‌گردد.

(5)

BERTScore: برخلاف معیار Rouge که شباهت واژگانی را اندازه‌گیری می‌کند، معیار BERTScore بر سنجش شباهت معنایی میان دنباله هدف و دنباله تولید‌شده متمرکز است. برای این منظور، ابتدا هر دو دنباله، به یک مدل ترانسفورمر مبتنی بر BERT ارائه شده و بردارهای تعبیه‌ و تولید می‌شوند. سپس، براساس رابطه (7)، امتیاز شباهت کسینوسی بردار تعبیه‌ هر نشانه از دنباله هدف نسبت به یکایک نشانه‌های دنباله تولید‌شده محاسبه شده و در پایان، با انجام یک تطابق حریصانه (تابع بیشینه) امتیاز نهایی در خروجی ارائه می‌شود.

(6)

در این رابطه، و مبین بردارهای تعبیه‌ –امین نشانه در دنباله‌های و هستند.

4‏-4‏-‏‏ تحلیل نتایج

در این بخش تحلیل نتایج آزمایش‌ها در چهار سناریو، متناظر با چهار پرسش اصلی پژوهش، ارائه می‌گردد.

4‏-4‏-1‏-‏‏ ارزیابی عملکرد مؤلفه مدلسازی کاربر

مدل‏ زبانی Llama2 در مؤلفه مدلسازی کاربر موظف است برای هر پرسش از سوابق پرسشگر، دنباله‌ای از برچسب‌های موضوعی را تولید نماید. برای تحقق این امر، ابتدا مدل Llama2 با استفاده از دادگان آموزش CQAD-ReQuEST تنظیم می‌گردد. شکل 2، الگوی اعلان ورودی و شکل 3، سیر تغییرات تابع خطا در جریان آموزش را نشان می‌دهد. روند نزولی خطا در این نمودار، شاهدی بر آموزش موفق مدل Llama2 و بهبود تدریجی عملکرد آن است. ضمن اینکه به نظر می‌رسد با افزایش تعداد تکرارهای آموزش بتوان به نتایج دقیق‌تر و پایدارتری دست یافت.

(7)

شکل 2. الگوی اعلان مورد استفاده برای تنظیم مؤلفه مدلسازی کاربر

	خطای آموزش
تکرار آموزش
شکل 3. روند تغییرات تابع خطا در زمان آموزش مؤلفه مدلسازی کاربر

نتایج حاصل از اعمال مدل Llama2 روی مجموعه آزمون نیز در جدول 5 گزارش شده‌ است. حصول مقادیر بالای 90% برای BERTScore بیانگر آن است که برچسب‌های تولید‌شده از نظر معنایی، تا حد زیادی با برچسب‌های هدف مطابقت دارند. بعلاوه، بالا بودن همزمان معیارهای Rouge-L و Rouge-1 بر توانمندی مدل در بازیابی بخش قابل‌توجهی از نشانه‌ها در برچسب‌های هدف، ضمن رعایت ترتیب رخدادشان دلالت دارد. شایان ذکر است که مدل تولید برچسب دارای 6/33 میلیون پارامتر قابل آموزش است و متوسط زمان تولید برچسب برای هر پرسش، 421/1 ثانیه می‌باشد.

جدول 5. ارزیابی عملکرد مدل Llama2 در مدلسازی دانش کاربر روی دادگان آزمون CQAD-ReQuEST
نام معیار	مبتنی بر فراخوانی	مبتنی بر F1
Rouge-1	628/0	624/0
Rouge-2	418/0	416/0
Rouge-L	626/0	622/0
BERTScore	940/0	940/0

4‏-4‏-2‏-‏‏ مقایسه کارایی مدل‌های مختلف بازنمایی متن در بازیابی پرسش‌های مشابه

سنجش شباهت میان زوج پرسش‌ها مستلزم نگاشت آن‌ها به بردارهایی در فضای چندبعدی است؛ فرآیندی که به آن بازنمایی برداری متن گفته می‌شود. هرچه این بردارها روابط عمیق معنایی میان واژگان را بهتر منعکس نموده و در مدل‌سازی مفاهیم انتزاعی موفق‌تر عمل کنند، شباهت میان زوج پرسش‌ها نیز با دقت بیشتری سنجیده شده و کیفیت بازیابی بهبود می‌یابد. در این بخش از آزمایشات، 5 مدل مختلف بازنمایی مورد مقایسه قرار گرفته‌اند. برای این منظور، تعداد پرسش‌های ورودی که حداقل یکی از پرسش‌های تکراری آن‌ها در فهرست پرسش برتر بازیابی‌شده برایشان ظاهر شده است، شمارش شده‌اند. شکل 4 به گزارش این نتایج می‌پردازد. جدول 6 نیز میانگین زمان موردنیاز برای تولید بازنمایی برداری یک پرسش توسط هر مدل را ارائه می‌کند. اگرچه در سیستم پیشنهادی، زمان لازم برای تولید بازنمایی‌های برداری پرسش‌های بایگانی، به دلیل امکان انجام آن به‌صورت کاملاً برون‌خط، اهمیت چندانی ندارد.

شواهد ارائه‌شده در شکل 4، مؤید افزایش تعداد بازیابی‌های موفق، همزمان با افزایش مقدار است. بر همین اساس، در ادامه آزمایشات این پژوهش، مقدار برابر با 50 در نظر گرفته شده است تا از انتشار آبشاری خطا به مؤلفه‌های بعدی جلوگیری شده و امکان بررسی تعداد بیشتری از پرسش‌های تکراری در مؤلفه شناسایی پرسش‌های متضمن فراهم گردد.

مطابق شکل 4، مدل BERT با اختلاف زیاد نسبت به سایر رقبا، بدترین عملکرد را ارائه داده و از چرخه آزمایش‌‌ها خارج می‌شود. در مقابل، مدل ترانسفورمر all-mpnet-base-v2 با تولید تعبیه‌های برداری در سطح جمله، جایگاه نخست را به خود اختصاص داده است. برتری این مدل را می‌توان ناشی از مدیریت بهتر جایگشت²⁰ کلمات در جمله و در نتیجه درک بهتر روابط بافتاری دانست ‏[‏‏47‏‏]‏.

	تعداد بازیابی‌های موفق
تعداد پرسش‌های منتخب

شکل 4. مقایسه مدل‌های مختلف بازنمایی برداری بر اساس تعداد پرسش‌هایی که حداقل یک پرسش تکراری در میان پرسش برتر بازیابی‌شده دارند

جدول 6. مقایسه مدل‌های مختلف بازنمایی برداری براساس میانگین زمان تولید بازنمایی یک پرسش
نام مدل	زمان (s)
TF-IDF	03/1×10-4
paraphrase-MiniLM-L6-v2	63/9×10-4
paraphrase-multilingual-MiniLM-L12-v2	71/1×10-3
BERT-base-cased	89/2×10-2
all-mpnet-base-v2	97/3×10-2

مدل TF-IDF را نیز می‌توان بهینه‌ترین مدل از نظر زمان اجرا معرفی کرد؛ ضمن اینکه مطابق شکل 4، کیفیت عملکرد آن نسبت به مدل‌های تعبیه بافتاری، قابل قبول ارزیابی می‌شود. در این میان، مدل‌هایی که برای وظیفه تشخیص بازنویسی²¹ آموزش دیده‌اند از نظر میانگین زمان بازنمایی، سریعتر از مدل mpnet عمل کرده و از نظر کیفیت بازنمایی‌ها، در رده متوسط قرار گرفته‌اند.

4‏-4‏-3‏-‏‏ سنجش میزان اثربخشی مدلسازی کاربر در فرآیند شناسایی پرسش‌های متضمن

این بخش از آزمایشات، نخست به تنظیم ابرپارامترها برای آموزش مؤلفه شناسایی پرسش‌های متضمن پرداخته و سپس، با مقایسه عملکرد این مؤلفه در حضور و عدم حضور دانشِ مدل‌شده برای کاربر، به سومین پرسش پژوهشی پاسخ می‌دهد. برای این منظور، مدل Llama2 براساس زوج پرسش‌های برچسب‌خورده در دادگان آموزش CQAD-ReQuEST تنظیم دقیق می‌شود. شکل 5، الگوی اعلان را برای دو حالت آگاه به کاربر و مستقل از کاربر نمایش می‌دهد. در شکل 6 نیز تغییرات خطای آموزش و اعتبارسنجی به ازای مقادیر مختلف ابرپارامترها به تصویر کشیده شده است. در این آزمایش‌ها، به دلیل محدودیت منابع محاسباتی و گستردگی فضای حالت، فرآیند آموزش به سه تکرار محدود شده است. به‌طور کلی، مقادیر ارائه شده در جدول 4، به عنوان پیکربندی پایه در نظر گرفته شده و در هر آزمایش، تنها یکی از ابرپارامترها تغییر داده شده است تا تأثیر مستقل آن بر عملکرد مدل ارزیابی گردد. خطای اعتبارسنجی نیز به منظور پایش دقیق‌تر رفتار مدل، پس از هر 10 گام بروزرسانی پارامترهای مدل، محاسبه شده است. لازم به ذکر است، تعداد پارامترهای قابل آموزش در مدل شناسایی پرسش‌های متضمن برابر با 6/33 میلیون و متوسط زمان پیش‌بینی برچسب برای هر زوج پرسش، حدود 425/0 ثانیه است.

(الف)

(ب)

شکل 5. الگوی اعلان مورد استفاده برای تنظیم مؤلفه شناسایی پرسش‌های متضمن (الف) آگاه به کاربر (ب) مستقل از کاربر

نتایج ارائه شده در شکل 6 (الف)، گویای آن است که افزایش مقادیر و ، افزایش ظرفیت مدل برای یادگیری و تسریع همگرایی را به همراه دارد. براساس این نتایج، مقادیر 64 و 16 به عنوان مقادیر بهینه برای این دو پارامتر انتخاب می‌شوند. شکل 6 (ب) تأثیر مقادیر مختلف نرخ حذف نورون‌ها بر عملکرد مدل را نشان می‌دهد. همانطور که ملاحظه می‌شود، در مراحل اولیه آموزش، مقادیر 1/0 و 2/0 کمترین خطای اعتبارسنجی را داشته‌اند. با این حال در ادامه، مدل مبتنی بر 3/0 توانسته است با شیب نزولی بیشتر، از آنها پیشی گرفته و جایگاه نخست را به خود اختصاص دهد. در مقابل، مقدار 4/0 به کم‌برازش مدل انجامیده و در جایگاه آخر قرار گرفته است.

[1] Prompt

[2] Tags

[3] Frequency

[4] Offline

[5] Drift

[6] Binary classification

[7] Text generation

[8] Lexical overlap

[9] Peripheral details

[10] Link

[11] Thread

[12] Prompt engineering

[13] Instruction

[14] Question-focused multi-answer summarization

[15] Tokens

[16] https://huggingface.co/meta-llama/Llama-2-7b-chat-hf

[17] https://chat.openai.com/

[18] Overlap

[19] Longest common sequence of words (LCS)

[20] Permutation

[21] Paraphrase

	خطای آموزش		خطای اعتبارسنجی
(الف)
	خطای آموزش		خطای اعتبارسنجی
(ب)
	خطای آموزش		خطای اعتبارسنجی
تکرار آموزش		گام
(ج)
شکل 6. مقایسه تغییرات تابع خطای آموزش و اعتبارسنجی در طول فرآیند آموزش مدل برای مقادیر مختلف پارامترهای (الف) r و در lora، (ب) نرخ حذف نورون‌ها و (ج) نرخ یادگیری

در شکل 6 (ج)، عملکرد مدل به ازای مقادیر مختلف نرخ یادگیری نشان داده شده است. به‌طور کلی، افزایش نرخ یادگیری سبب تسریع همگرایی در مراحل اولیه آموزش می‌گردد و همزمان، احتمال وقوع بیش‌برازش در مراحل آتی نیز بیشتر می‌شود. در این آزمایش، نرخ یادگیری 10‌5×4، علیرغم آنکه شروع بهتری را رقم زده است با گذشت زمان، ناپایدار گشته و بر مدل مبتنی بر نرخ 10‌5×3 مغلوب گشته است. بنابراین، نرخ یادگیری 10‌5×3 با حفظ فاصله معنادار از سایر رقبا، به عنوان مقدار بهینه برای آزمایش‌های بعدی انتخاب می‌شود.

شکل 7 مقایسه تغییرات تابع خطا در طول فرآیند آموزش در دو اجرای مذکور را نمایش می‌دهد. در این نمودار، محور افقی مبین تکرارهای آموزش و محور عمودی نشان‌دهنده میزان خطای آموزش است. همانطور که ملاحظه می‌شود، رقابت تنگاتنگی میان دو مدل شکل گرفته است. تا تکرار هفتم آموزش، روند همگرایی دو مدل تقریباً یکسان بوده و هیچ‌کدام از آنها نتوانسته‌اند بر رقیب خود فائق آیند. اما با ادامه یافتن فرآیند آموزش و افزایش ناگهانی خطای مدلِ مستقل از دانش کاربر در تکرار هشتم، نتیجه به نفع مدل متمرکز بر دانش کاربر تغییر می‌کند. در واقع، چنین استنباط می‌شود که هر دو مدل در برخورد با اکثریت زوج پرسش‌ها که فاقد ابهام بوده‌اند، عملکرد یکسانی ارائه داده‌اند؛ اما مدل مبتنی بر دانش کاربر توانسته است با تصمیم‌گیری دقیق‌تر برای اقلیت مبهم پرسش‌ها، برتری خود را به اثبات رساند. ارزیابی عملکرد این دو مدل روی دادگان آزمون که نتایج آن در جدول 7 ارائه شده است نیز استدلال فوق را تأیید می‌کند. به این ترتیب، مدل متمرکز بر کاربر با کسب 1% دقت بالاتر، به عنوان مؤلفه پیشنهادی برای شناسایی پرسش‌های متضمن در سیستم پژوهش به کار گرفته می‌شود.

	خطای آموزش
تکرار آموزش

شکل 7. تغییرات خطا در فرآیند آموزش مؤلفه شناسایی پرسش‌های متضمن در دو حالت آگاه به کاربر و مستقل از آن

جدول 7. مقایسه عملکرد دو مدل شناسایی پرسش‌های متضمن آگاه به کاربر و مستقل از کاربر روی دادگان آزمون CQAD-ReQuEST
مدل	صحت	F1	دقت	فراخوانی
مستقل از کاربر	8/94‏%	8/94‏%	7/94‏%	0/95‏%
متمرکز بر کاربر	4/95‏%	4/95‏%	7/95‏%	1/95‏%

سؤالی که ممکن است به ذهن خطور ‌کند این است که ”1% بهبود در دقت مؤلفه پیشنهادی برای شناسایی پرسش‌های متضمن، تا چه اندازه می‌تواند در بهبود کیفیت پاسخ‌های نهایی سیستم اثرگذار باشد؟“ برای پاسخ به این پرسش، مدل‌های مذکور را بر روی 50 پرسش مشابهی که برای هر پرسش ورودی بازیابی شده بودند اعمال نموده و پرسش متضمن برتر را پس از شناسایی، به مؤلفه تولید پاسخ ارسال نمودیم. در جدول 8، تعداد کل پرسش‌هایی که برچسب متضمن یا غیرمتضمن دریافت نموده‌اند، به تفکیک مدلِ مورد استفاده برای بازنمایی، گزارش شده است. همچنین، به ازای هریک از مقادیر 3 و 5 برای متغیر ، تعداد پرسش‌هایی که بطور مشابه توسط هر دو مدلِ آگاه به کاربر و مستقل از کاربر، به عنوان یک پرسش متضمنِ برتر شناسایی شده‌اند، شمارش شده است. همان‌طور که در جدول 8 مشاهده می‌شود، مدل آگاه به کاربر در تمام اجراها، نسبت به مدل مستقل از کاربر، تعداد کمتری از پرسش‌ها را به عنوان متضمن شناسایی کرده است. این نتیجه می‌تواند ناشی از افزودن شرط همسویی پرسش کاندید با دانش پرسشگر بوده و تأییدی بر دقت بالاتر مدل پیشنهادی تلقی شود. ذکر این نکته ضروری است که هر دو مدل، دارای محدودیت در طول زوج پرسش ورودی بوده و این محدودیت، در مدل آگاه به کاربر، به دلیل اضافه شدن شرط تطابق با دانش کاربر، بیشتر است. به همین علت است که جمع تعداد پرسش‌های متضمن و غیرمتضمن در تمامی اجراها کمتر از 7400 است.

با مقایسه مدل‌های مختلف بازنمایی از نظر تعداد پرسش‌های متضمن شناسایی‌شده توسط مدل آگاه به کاربر، می‌توان به اهمیت کیفیت بازنمایی در دقت بازیابی پرسش‌های مشابه پی برد. نتایج نشان می‌دهند که هرچه مدل بازنمایی پیچیده‌تر بوده و توانایی بیشتری در درک روابط عمیق معنایی و بافتاری داشته باشد، کاندیداهای شایسته‌تری انتخاب شده و به تبع آن، تعداد بیشتری، برچسب متضمن را دریافت می‌کنند. بنابراین، مدل‌های TF-IDF و paraphrase-MiniLM-L6-v2 نیز از چرخه ارزیابی‌ها کنار گذاشته می‌شوند. در تمام اجراها، بیش از 83% پرسش‌های منتخب دو مدل، مشترک بوده و این اشتراک، با کاهش پارامتر افزایش می‌یابد. این شواهد نشان می‌دهند که دو مدل، غالباً در تصمیم‌گیری برای پرسش‌های ابتدا و انتهای فهرستِ پرسش‌های مشابه، اتفاق‌نظر دارند و اختلاف آنها، در میانه لیست که پرسش‌ها شباهت کمتری به پرسش جدید دارند برجسته‌تر می‌شود.

جدول 8. توزیع برچسب‌های پیش‌بینی‌شده توسط دو مدل شناسایی پرسش‌های متضمن آگاه به کاربر و مستقل از کاربر
برچسب پیش‌بینی‌شده مدل بازنمایی	مدل آگاه به کاربر		مدل مستقل از کاربر		اشتراک
برچسب پیش‌بینی‌شده مدل بازنمایی	متضمن	غیرمتضمن	متضمن	غیرمتضمن
TF-IDF	5065	2245	6039	1311	387 (2/87‏%)	615 (1/83‏%)
paraphrase-MiniLM-L6-v2	5061	1729	6072	844	383 (3/86‏%)	624 (3/84‏%)
paraphrase-multilingual-MiniLM-L12-v2	5306	1484	6127	782	396 (2/89‏%)	651 (0/88‏%)
all-mpnet-base-v2	6322	954	6807	470	420 (6/94‏%)	695 (9/93‏%)
تعداد کل زوج پرسش‌ها	7400				444	740

جدول 9. تحلیل کیفی عملکرد مدل شناسایی پرسش‌های متضمن آگاه به کاربر و مدل مستقل از کاربر
مثال 1	پرسش 1	Why do we use their instead of his in this sentence? another driver flashes their lights.
	پرسش 2	Is there a pronoun I can use as a gender-neutral pronoun? Each student should save his questions until the end. Each student should save her questions until the end.
	دانش کاربر	meaning, word choice, grammar, single word requests
	برچسب هدف	متضمن	پیش‌بینی مدل آگاه به کاربر:	متضمن	پیش‌بینی مدل مستقل از کاربر:	غیرمتضمن
مثال 2	پرسش 1	I am writing my thesis and I am experiencing a problem with the space between numbering and the image name. You can see the problem in the picture I include in this question. It starts from 3.10. How can I fix that?
	پرسش 2	I'm preparing a document using the book class. In the table of contents, the indentation before the subsection title is too long. How to reduce it?
	دانش کاربر	tikz pgf, tables, table of contents
	برچسب هدف	متضمن	پیش‌بینی مدل آگاه به کاربر:	متضمن	پیش‌بینی مدل مستقل از کاربر:	غیرمتضمن
مثال 3	پرسش 1	I have the border points of a 2-D body and wish to fill its interior with a solid color. Let us say I have N such points stacked in the N×2 matrix A so that the first column indicates the x co-ordinates and the second column denotes the corresponding y co-ordinates.
	پرسش 2	How can I get the co-ordinates of the convex hull of a piece of Text?
	دانش کاربر	graphics, functions, qgis, arcgis desktop
	برچسب هدف	متضمن	پیش‌بینی مدل آگاه به کاربر:	متضمن	پیش‌بینی مدل مستقل از کاربر:	غیرمتضمن
مثال 4	پرسش 1	How do i multiply 2 array index variables given the following foo=(1 2) bar=(0.1 0.2) foobar=$((foo[1]*price[1])) # this is wrong echo "$foobar" Current output : 0 Correct/Expected output : 0.4
	پرسش 2	Using echo "20+5" literally produces the text "20+5". What command can I use to get the numeric sum, 25 in this case? Also, what's the easiest way to do it just using bash for floating point? For example, echo $((3224/3807.0)) prints 0 :(. I am looking for answers using either the basic command shell ('command line') itself or through using languages that are available from the command line.
	دانش کاربر	linux, bash, shell script, graphics, functions, programming, ubuntu, programming languages
	برچسب هدف	متضمن	پیش‌بینی مدل آگاه به کاربر:	متضمن	پیش‌بینی مدل مستقل از کاربر:	غیرمتضمن
مثال 5	پرسش 1	For instance: For as long as it takes... but For as long we have a future... I know how to use them because I heard them being used, but I don't know whether there is a rule or not.
	پرسش 2	I' would like to know whether or not the following sentences are correct and why: I have been sick since last week. I have been sick since the last week. I have been sick for the last week.
	دانش کاربر	meaning, word choice, grammar
	برچسب هدف	غیرمتضمن	پیش‌بینی مدل آگاه به کاربر:	متضمن	پیش‌بینی مدل مستقل از کاربر:	غیرمتضمن

مطالعه موردی. اگرچه ارزیابی کمی عملکرد مؤلفه شناسایی پرسش‌های متضمن، برتری مدل آگاه به کاربر را نشان می‌دهد، تحلیل کیفی نیز می‌تواند مهر تأییدی بر این نتایج باشد. جدول 9، در مثال‌های 1 تا 4، نمونه‌هایی را نشان می‌دهد که در آنها، آگاهی از دانش کاربر، به تشخیص صحیح ارتباط میان زوج پرسش انجامیده است. زوج پرسش مثال 1، علیرغم عدم اشتراک واژگانی، مضمونی کاملا مشابه یکدیگر دارند. در این حالت، تأکید بر موضوعاتی نظیر گرامر، معنا و گزینش کلمات در دانش کاربر، مدل را از تمرکز صرف بر تطابق واژگانی فراتر برده و آن را به درک عمیق‌تر مفهوم پرسش‌ها سوق داده است. البته، در موارد نادری نظیر مثال ۵، نادیده گرفتن تطابق واژگانی ممکن است نتیجه‌ای معکوس در پی داشته و موجب گمراهی مدل شود. به عنوان نمونه‌ای دیگر، پرسش اول در مثال 4، اصلاح یک قطعه برنامه را از متخصصین طلب نموده است. این در حالیست که هیچ یک از کلمات linux، shell یا command به طور مستقیم در پرسش ذکر نشده‌اند. دانش کاربر، این شکاف واژگانی را پر نموده و پل ارتباطی میان زوج پرسش را برقرار کرده است.

شکل 8. الگوی اعلان مورد استفاده برای تولید پاسخ

4‏-4‏-4‏-‏‏ تحلیل عملکرد سیستم پیشنهادی در تولید پاسخ

در آخرین مؤلفه از سیستم پیشنهادی، پاسخ‌های تأیید‌شده متناظر با برترین پرسش‌های‌ متضمن، به یک مدل زبانی مولد پاسخ ارسال می‌شوند. شکل 8 الگوی اعلان ورودی به مدل زبانی را نمایش می‌دهد. جدول 10 نیز نتایج ارزیابی پاسخ‌های تولیدشده نسبت به پاسخ‌های تأییدشده برای پرسش‌های ورودی را گزارش می‌کند. این نتایج به وضوح بر برتری مدل آگاه به کاربر دلالت دارند. بطور خاص، اجراهایی که از GPT-4o mini به عنوان مدل تولید‌کننده پاسخ و از all-mpnet-base-v2 برای تولید بازنمایی استفاده کرده‌اند، به ازای 3 پاسخ کاندید به بهبود 07/1‏% و به ازای 5 پاسخ کاندید به بهبود 79/3‏% در معیار Rouge-1 مبتنی بر فراخوانی دست یافته‌اند. این اختلاف در معیارهای Rouge-2 و Rouge-L نیز قابل توجه است.

مطالعه موردی. با توجه به آنکه تعداد نمونه‌های آزمون برای مؤلفه تولید پاسخ محدود است، تنها تعداد انگشت‌شماری از پرسش‌ها را می‌توان یافت که پاسخ متفاوتی را از دو مدل آگاه به کاربر و مستقل از کاربر دریافت نموده‌اند. جدول 11، یک نمونه از پرسش‌های آزمون و پاسخ‌های دریافتی‌اش را نمایش می‌دهد. در این مثال از یک مدل all-mpnet-base-v2 برای تولید بازنمایی و از GPT-4o mini برای تولید پاسخ استفاده شده و مقدار پارامتر برابر با 5 در نظر گرفته شده است. مدل‌های مذکور، در دو مورد از پنج پاسخ کاندید بازیابی شده، اشتراک داشته و مابقی پاسخ‌های کاندید متفاوت بوده‌اند. از آنجا که پرسش ورودی شامل چند پرسش کوتاه‌تر در مورد موضوعات مختلف است، می‌توان آن را نسبتا پیچیده دانست. همانطور که مشاهده می‌شود پاسخ ارائه شده توسط مدل آگاه به کاربر از ساختار منطقی و منسجم‌تری برخوردار بوده و تحلیل صحیحی در مورد ساختار گرامری جمله ارائه داده است. حال آنکه پاسخ ارائه شده توسط مدل مستقل از کاربر، ناکامل بوده و دارای توضیحات سطحی است.

جدول 10. ارزیابی کیفی پاسخ‌های تولیدشده نسبت به پاسخ‌های تأییدشده در دادگان پژوهش، به تفکیک مدل بازنمایی و مدل مولد پاسخ

مدل تولید پاسخ

مدل بازنمایی

مدل شناسایی
پرسش‌های متضمن

معیار ارزیابی (%)

R1-r

R1-f

R2-r

R2-f

RL-r

RL-f

BS-r

BS-f

LLAMA2

paraphrase-multilingual-MiniLM-L12-v2

آگاه به کاربر

16/35‏

75/23‏

41/7‏

70/4‏

15/22‏

76/13‏

70/82‏

61/82‏

مستقل از کاربر

08/35‏

70/23‏

38/7‏

67/4‏

97/21‏

63/13‏

73/82‏

57/82‏

تفاوت

p 08/0‏

p 05/0‏

p 02/0‏

p 03/0‏

p 17/0‏

p 13/0‏

s 03/0‏

p 04/0‏

all-mpnet-base-v2

آگاه به کاربر

54/32‏

96/23‏

27/7‏

06/5‏

86/20‏

32/14‏

57/82‏

89/82‏

مستقل از کاربر

21/32‏

80/23‏

99/6‏

92/4‏

56/20‏

14/14‏

51/82‏

84/82‏

تفاوت

p 34/0‏

p 16/0‏

p 28/0‏

p 14/0‏

p 30/0‏

p 18/0‏

p 07/0‏

p 04/0‏

GPT-4o mini

paraphrase-multilingual-MiniLM-L12-v2

آگاه به کاربر

86/39‏

85/22‏

27/9‏

58/4‏

29/24‏

59/12‏

98/82‏

56/82‏

مستقل از کاربر

41/37‏

17/23‏

67/7‏

23/4‏

54/22‏

51/12‏

69/82‏

56/82‏

تفاوت

p 45/2‏

s 32/0‏

p 61/1‏

p 35/0‏

p 74/1‏

p 08/0‏

p 29/0‏

▬ 00/0‏

all-mpnet-base-v2

آگاه به کاربر

83/42‏

41/24‏

00/10‏

54/5‏

66/26‏

65/13‏

64/83‏

96/82‏

مستقل از کاربر

75/41‏

96/23‏

52/9‏

06/5‏

71/25‏

24/13‏

55/83‏

85/82‏

تفاوت

p 07/1‏

p 46/0‏

p 48/0‏

p 95/0‏

p 41/0‏

p 09/0‏

p 11/0‏

LLAMA2

paraphrase-multilingual-MiniLM-L12-v2

آگاه به کاربر

76/35‏

06/23‏

61/7‏

56/4‏

87/22‏

51/13‏

61/82‏

52/82‏

مستقل از کاربر

31/35‏

11/23‏

06/7‏

46/4‏

25/22‏

39/13‏

60/82‏

46/82‏

تفاوت

p 45/0‏

s 05/0‏

p 55/0‏

p 10/0‏

p 62/0‏

p 11/0‏

p 01/0‏

p 06/0‏

all-mpnet-base-v2

آگاه به کاربر

22/33‏

99/22‏

75/6‏

48/4‏

91/20‏

34/13‏

30/82‏

53/82‏

مستقل از کاربر

28/33‏

00/23‏

73/6‏

47/4‏

04/21‏

45/13‏

36/82‏

60/82‏

تفاوت

s 06/0‏

s 02/0‏

p 02/0‏

p 01/0‏

s 13/0‏

s 11/0‏

s 06/0‏

s 07/0‏

GPT-4o mini

paraphrase-multilingual-MiniLM-L12-v2

آگاه به کاربر

23/43‏

14/22‏

49/9‏

42/4‏

53/26‏

94/11‏

16/83‏

29/82‏

مستقل از کاربر

84/39‏

17/23‏

96/8‏

48/4‏

28/24‏

61/12‏

90/82‏

51/82‏

تفاوت

p 40/3‏

s02/1‏

p 53/0‏

s 06/0‏

p 25/2‏

s 67/0‏

p 26/0‏

s 22/0‏

all-mpnet-base-v2

آگاه به کاربر

68/42‏

50/23‏

67/9‏

86/4‏

23/26‏

81/12‏

34/83‏

53/82‏

مستقل از کاربر

89/38‏

15/23‏

58/7‏

27/4‏

75/23‏

59/12‏

91/82‏

49/82‏

تفاوت

p 79/3‏

p 35/0‏

p 10/2‏

p 59/0‏

p 48/2‏

p 22/0‏

p 43/0‏

p 04/0‏

جدول 11. مقایسه کیفیت پاسخ‌های ارائه شده در حضورو عدم حضور دانش کاربر
پرسش	Happy Holi to You and Your Family. Play Safe! Is anything grammatically wrong in above sentences? In which category does the second sentence fall? Can we replace Play Safe! with Play Safely! Are they equally true and depict same meaning? Is the usage of exclamation with both safe and safely correct?
پاسخ مدل RAG آگاه به کاربر	The second sentence, "Play Safe!", is grammatically correct but falls under an imperative mood, where it gives a directive. The phrase "Play Safely!" can replace "Play Safe!", but the meaning is slightly different: "Play Safely!" is an adverbial form that explicitly describes the manner of playing, whereas "Play Safe!" uses an adjective and has a more informal, idiomatic feel. Both versions are understood in the context of wishing someone a safe experience, but "Play Safe!" is more colloquial. Regarding the exclamation, both "Safe!" and "Safely!" can be used with an exclamation mark to emphasize urgency or excitement, though "Play Safe!" is the more commonly accepted version.
پاسخ مدل RAG مستقل از کاربر	The second sentence, "Play Safe!" is grammatically correct but uses an imperative verb with an adverbial expression. It falls into the category of an imperative sentence, where a command or suggestion is given. While "Play Safely!" can also be used, it is slightly more formal or precise, as "safely" is an adverb, describing the manner of playing. Both "Play Safe!" and "Play Safely!" convey the same general meaning, but "Play Safe!" may feel more informal. The usage of an exclamation mark with both is acceptable, as it emphasizes the message, although it may be seen as more common in informal contexts with "Play Safe!"
پاسخ مدل GPT-40 mini	The sentence "Happy Holi to You and Your Family. Play Safe!" is almost grammatically correct, but it can be refined for smoother flow. The second sentence, "Play Safe!" is an imperative sentence, giving a command or instruction. While "Play Safe!" and "Play Safely!" are both grammatically acceptable, there is a subtle difference in usage. "Play Safe!" is more idiomatic and commonly used in casual speech, often implying a general sense of caution or safety, while "Play Safely!" is the technically correct form, with "safely" being the proper adverb to describe how one should play. Both phrases convey nearly the same meaning, with "Play Safe!" being more informal and colloquial. The usage of the exclamation mark with both "safe" and "safely" is appropriate, as both are commands or encouragements, but "Play Safe!" is more often used with the exclamation mark in everyday language. Therefore, while both versions are acceptable, the choice between them depends on the tone you want to convey—informal and idiomatic or more formal and precise.
پاسخ تأیید شده	Happy Holi! Well, first of all, in the English language, most words are not capitalized unless they are at the beginning of a sentence, or in the case of a "title", of sorts. Proper names are capitalized, but "you", "your", and "family" are not proper nouns. The one exception to this is if you are making a card of some sort. If you want it to stand out on a greeting card, then the capitalization may be appropriate. In that situation, it is a matter of personal choice. However, in most day-to-day conversations (or a post on someone's Facebook wall), it's generally best to avoid capitalizing words that would not be capitalized in a book. Happy Holi to you and your family! As for the second part, I'm not entirely sure that either of those phrases reflect your intended meaning. First of all, I am assuming by, "In which category does the second sentence fall?" you are asking about what type of sentence it is. The sentence seems to be what is called an imperative sentence. An imperative sentence is, essentially, a command. The subject of the sentence is implied to be "you", the one to whom the sentence is spoken. As for the meanings of the phrases, the imperative sentence, "Play safely," would be the type of warning you would give to a child, to remind him or her to avoid doing anything overly dangerous. The reason I say child, specifically, is because it is generally considered condescending to tell adults to play in most contexts, as "play" is widely considered to be a childish activity. On the other hand, the imperative sentence, "Play safe," is a (slightly-off) variation of an idiomatic expression, "Play it safe," and it has an entirely different meaning. To "play it safe" is to avoid taking risks, rather than to just be safe. Basically, you are telling the individual to go out of their way to make sure that there is as little damage done to them as possible. For the sake of clarity, telling someone to "play it safe" is not considered condescending, as it is an idiom which has little to do with the modern meaning of the word "play", but it is the wrong phrase for the meaning you likely wish to convey. If you wish to offer someone a wish of good health, and safety is the concern (or if you simply want to wish someone luck in staying safe), then the sentence I would recommend would be a simpler phrase: Happy Holi to you and your family! Be safe! This avoids the questionable use of "play" (as well as the grammar issues regarding the word "safe" not being an adverb; only adverbs can describe verbs), and makes the meaning clear. It is another imperative, telling "you" to be safe. Totally lovely.

5- نتیجه‌گیری و کارهای آتی

این مقاله، سیستمی با نام UsERQA برای پاسخگویی به پرسش‌ها در انجمن‌های پرسش و پاسخ معرفی نموده‌است. این سیستم بر پایه شناخت پرسشگر از طریق تحلیل سوابق پرسش‌های وی در انجمن استوار است تا به واسطه آن، به درک عمیق‌تری از موضوع اصلی پرسش ورودی دست یافته و فهرست پرسش‌های متضمن را با دقت بالاتری از بایگانی انجمن بازیابی نماید. UsERQA به مدد زنجیره‌ای از مدل‌های زبانی بزرگ، دانش پرسشگر را به‌صورت دنباله‌ای از برچسب‌های موضوعی، مدلسازی نموده و با دریافت یک زوج پرسش، وجود یا عدم وجود رابطه تضمن میان آنها را پیش‌بینی می‌کند. سپس، برترین پاسخ‌های کاندید را با تمرکز بر پرسش ورودی، در یک پاسخ واحد تجمیع می‌نماید. طبق بهترین دانش ما، استفاده از دانش کاربر در شناسایی پرسش‌های متضمن، موضوعی است که تاکنون در ادبیات پژوهش به آن پرداخته نشده است. نتایج آزمایش‌ها روی دادگان CQAD-ReQuEST، عملکرد مطلوب سیستم پیشنهادی و بهبود کیفیت پاسخ‌ها را نشان داد. در مطالعات آتی می‌توان عملکرد سیستم پیشنهادی پژوهش را در پلتفرم‌های پاسخگویی به پرسش‌های خاص-دامنه همچون پزشکی و اقتصاد، که اعتبار و صحت پاسخ‌ها در آنها اهمیت دوچندان می‌یابد، ارزیابی نمود. علاوه‌براین، طراحی مؤلفه شناسایی پرسش‌های متضمن بین‌زبانی به منظور بهره‌گیری از پاسخ‌های ارائه شده در سایر زبان‌ها، آموزش مدل‌های زبانی بزرگ برای خلاصه‌سازی چند پاسخ متمرکز بر پرسش، تنظیم نرم اعلان¹ و مدیریت شروع سرد² و پویایی کاربر از موضوعات تحقیقاتی بالقوه برای پژوهش‌های آتی به‌شمار می‌آیند.

مراجع

[1] B. Patra, ‘A survey of Community Question Answering’, CoRR, abs/1705.04009, May 2017, [Online]. Available: http://arxiv.org/abs/1705.04009.

[2] D. Hoogeveen, L. Wang, T. Baldwin, and K. M. Verspoor, ‘Real and Misflagged Duplicate Question Detection in Community Question-Answering’, 2018.

[3] A. Figueroa, ‘Automatically generating effective search queries directly from community question-answering questions for finding related questions’, Expert Syst. Appl., vol. 77, pp. 11–19, Jul. 2017, doi: 10.1016/j.eswa.2017.01.041.

[4] I. Srba and M. Bielikova, ‘A Comprehensive Survey and Classification of Approaches for Community Question Answering’, ACM Trans. Web, vol. 10, no. 3, pp. 1–63, Aug. 2016, doi: 10.1145/2934687.

[5] M. Sulír and M. Regeci, ‘Software Engineers’ Questions and Answers on Stack Exchange’, in 2022 IEEE 16th International Scientific Conference on Informatics (Informatics), Nov. 2022, pp. 304–310, doi: 10.1109/Informatics57926.2022.10083403.

[6] M. Asaduzzaman, A. S. Mashiyat, C. K. Roy, and K. A. Schneider, ‘Answering questions about unanswered questions of Stack Overflow’, in 2013 10th Working Conference on Mining Software Repositories (MSR), May 2013, pp. 97–100, doi: 10.1109/MSR.2013.6624015.

[7] S. A. Bhaskar, R. Rungta, J. Route, E. Nyberg, and T. Mitamura, ‘Sieg at MEDIQA 2019: Multi-task Neural Ensemble for Biomedical Inference and Entailment’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 462–470, doi: 10.18653/v1/W19-5049.

[8] A. Merchant, N. Shenoy, A. Bharali, and A. K. M, ‘Identifying Similar Questions in the Medical Domain Using a Fine-tuned Siamese-BERT Model’, in 2022 IEEE 19th India Council International Conference (INDICON), Nov. 2022, pp. 1–6, doi: 10.1109/INDICON56171.2022.10040144.

[9] A. B. Abacha and D. Demner-Fushman, ‘A question-entailment approach to question answering’, BMC Bioinformatics, vol. 20, no. 1, Dec. 2019, doi: 10.1186/s12859-019-3119-4.

[10] Z. Xu and H. Yuan, ‘Forum Duplicate Question Detection by Domain Adaptive Semantic Matching’, IEEE Access, vol. 8, pp. 56029–56038, 2020, doi: 10.1109/ACCESS.2020.2982268.

[11] L. Wang, L. Zhang, and J. Jiang, ‘Duplicate Question Detection With Deep Learning in Stack Overflow’, IEEE Access, vol. 8, pp. 25964–25975, 2020, doi: 10.1109/ACCESS.2020.2968391.

[12] D. D. Koswatte and S. Hettiarachchi, ‘Optimized Duplicate Question Detection in Programming Community Q&A Platforms using Semantic Hashing’, in 2021 10th International Conference on Information and Automation for Sustainability (ICIAfS), Aug. 2021, pp. 375–380, doi: 10.1109/ICIAfS52090.2021.9606030.

[13] V.-T. Nguyen, A.-C. Le, and H.-N. Nguyen, ‘A Model of Convolutional Neural Network Combined with External Knowledge to Measure the Question Similarity for Community Question Answering Systems’, Int. J. Mach. Learn. Comput., vol. 11, no. 3, pp. 194–201, May 2021, doi: 10.18178/ijmlc.2021.11.3.1035.

[14] R. Zhang, Q. Zhou, B. Wu, W. Li, and T. Mo, ‘What do questions exactly ask? mfae: duplicate question identification with multi-fusion asking emphasis’, in Proceedings of the 2020 SIAM International Conference on Data Mining, SDM 2020, 2020, pp. 226–234, doi: 10.1137/1.9781611976236.26.

[15] D. Hoogeveen, A. Bennett, Y. Li, K. Verspoor, and T. Baldwin, ‘Detecting Misflagged Duplicate Questions in Community Question-Answering Archives’, Proc. Int. AAAI Conf. Web Soc. Media, vol. 12, no. 1, pp. 112–120, Jun. 2018, doi: 10.1609/icwsm.v12i1.15011.

[16] P. K. Roy, S. Saumya, J. P. Singh, S. Banerjee, and A. Gutub, ‘Analysis of community question‐answering issues via machine learning and deep learning: State‐of‐the‐art review’, CAAI Trans. Intell. Technol., vol. 8, no. 1, pp. 95–117, Mar. 2023, doi: 10.1049/cit2.12081.

[17] N. Othman, R. Faiz, and K. Smaïli, ‘Enhancing Question Retrieval in Community Question Answering Using Word Embeddings’, Procedia Comput. Sci., vol. 159, pp. 485–494, 2019, doi: 10.1016/j.procs.2019.09.203.

[18] G. Zhou, L. Cai, J. Zhao, and K. Liu, ‘Phrase-based translation model for question retrieval in community question answer archives’, ACL-HLT 2011 - Proc. 49th Annu. Meet. Assoc. Comput. Linguist. Hum. Lang. Technol., vol. 1, pp. 653–662, 2011.

[19] K. Mrini et al., ‘A Gradually Soft Multi-Task and Data-Augmented Approach to Medical Question Understanding’, in Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 2021, pp. 1505–1515, doi: 10.18653/v1/2021.acl-long.119.

[20] N. S. Tawfik and M. R. Spruit, ‘Evaluating sentence representations for biomedical text: Methods and experimental results’, J. Biomed. Inform., vol. 104, no. February, p. 103396, Apr. 2020, doi: 10.1016/j.jbi.2020.103396.

[21] M. Faseeh, M. A. Khan, N. Iqbal, F. Qayyum, A. Mehmood, and J. Kim, ‘Enhancing User Experience on Q&A Platforms: Measuring Text Similarity Based on Hybrid CNN-LSTM Model for Efficient Duplicate Question Detection’, IEEE Access, vol. 12, no. January, pp. 34512–34526, 2024, doi: 10.1109/ACCESS.2024.3358422.

[22] V. Nguyen, S. Karimi, and Z. Xing, ‘Combining Shallow and Deep Representations for Text-Pair Classification’, ALTA 2021 - Proc. 19th Work. Australas. Lang. Technol. Assoc., pp. 68–78, 2021.

[23] S. Ghasemi and A. Shakery, ‘Harnessing the Power of Metadata for Enhanced Question Retrieval in Community Question Answering’, IEEE Access, vol. 12, no. May, pp. 65768–65779, 2024, doi: 10.1109/ACCESS.2024.3395449.

[24] A. M. Monea, ‘Medical Question Entailment based on Textual Inference and Fine-tuned BioMed-RoBERTa’, in 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP), 2021, pp. 319–326, doi: 10.1109/ICCP53602.2021.9733687.

[25] S. Yadav, V. Pallagani, and A. Sheth, ‘Medical Knowledge-enriched Textual Entailment Framework’, in Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 1795–1801, doi: 10.18653/v1/2020.coling-main.161.

[26] T. R. Goodwin and D. Demner-Fushman, ‘Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge’, CoRR abs/1910.07429, Oct. 2019, [Online]. Available: http://arxiv.org/abs/1910.07429.

[27] A. B. Abacha, D. Demner-fushman, and U. S. N. Library, ‘Recognizing Question Entailment for Medical Question Answering’, in AMIA Annual Symposium Proceedings, 2016, pp. 310–318.

[28] T. Baldwin, H. Liang, B. Salehi, D. Hoogeveen, Y. Li, and L. Duong, ‘UniMelb at SemEval-2016 Task 3: Identifying Similar Questions by combining a CNN with String Similarity Measures’, in Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), 2016, pp. 851–856, doi: 10.18653/v1/S16-1131.

[29] A. B. Abacha and D. Demner-Fushman, ‘On the Summarization of Consumer Health Questions’, in Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019, pp. 2228–2234, doi: 10.18653/v1/P19-1215.

[30] C. dos Santos, L. Barbosa, D. Bogdanova, and B. Zadrozny, ‘Learning Hybrid Representations to Retrieve Semantically Equivalent Questions’, in Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), 2015, vol. 2, no. 1, pp. 694–699, doi: 10.3115/v1/P15-2114.

[31] D. A. Prabowo and G. Budi Herwanto, ‘Duplicate Question Detection in Question Answer Website using Convolutional Neural Network’, in 2019 5th International Conference on Science and Technology (ICST), Jul. 2019, no. 1, pp. 1–6, doi: 10.1109/ICST47872.2019.9166343.

[32] A. Agrawal, R. Anil George, S. S. Ravi, S. Kamath S, and A. Kumar, ‘ARS_NITK at MEDIQA 2019:Analysing Various Methods for Natural Language Inference, Recognising Question Entailment and Medical Question Answering System’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 533–540, doi: 10.18653/v1/W19-5059.

[33] N. Tawfik and M. Spruit, ‘UU_TAILS at MEDIQA 2019: Learning Textual Entailment in the Medical Domain’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 493–499, doi: 10.18653/v1/W19-5053.

[34] V. Nguyen, S. Karimi, and Z. Xing, ‘ANU-CSIRO at MEDIQA 2019: Question Answering Using Deep Contextual Knowledge’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 478–487, doi: 10.18653/v1/W19-5051.

[35] D. Bandyopadhyay, B. Gain, T. Saikh, and A. Ekbal, ‘IITP at MEDIQA 2019: Systems Report for Natural Language Inference, Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 517–522, doi: 10.18653/v1/W19-5056.

[36] K. Mrini, F. Dernoncourt, W. Chang, E. Farcas, and N. Nakashole, ‘Joint Summarization-Entailment Optimization for Consumer Health Question Understanding’, in Proceedings of the Second Workshop on Natural Language Processing for Medical Conversations, 2021, pp. 58–65, doi: 10.18653/v1/2021.nlpmc-1.8.

[37] W. Zhu et al., ‘PANLP at MEDIQA 2019: Pre-trained Language Models, Transfer Learning and Knowledge Distillation’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 380–388, doi: 10.18653/v1/W19-5040.

[38] M. Sarrouti, A. B. Abacha, and D. Demner-Fushman, ‘Multi-Task Transfer Learning with Data Augmentation for Recognizing Question Entailment in the Medical Domain’, in 2021 IEEE 9th International Conference on Healthcare Informatics (ICHI), Aug. 2021, pp. 339–346, doi: 10.1109/ICHI52183.2021.00058.

[39] H. Zhou, X. Li, W. Yao, C. Lang, and S. Ning, ‘DUT-NLP at MEDIQA 2019: An Adversarial Multi-Task Network to Jointly Model Recognizing Question Entailment and Question Answering’, in Proceedings of the 18th BioNLP Workshop and Shared Task, 2019, pp. 437–445, doi: 10.18653/v1/W19-5046.

[40] A. Shang, X. Zhu, M. Danner, and M. Rätsch, ‘Unsupervised question-retrieval approach based on topic keywords filtering and multi-task learning’, Comput. Speech Lang., vol. 87, no. March, p. 101644, Aug. 2024, doi: 10.1016/j.csl.2024.101644.

[41] K. Jiang, G. Jin, Z. Zhang, R. Cui, and Y. Zhao, ‘Incorporating external knowledge for text matching model’, Comput. Speech Lang., vol. 87, no. March, p. 101638, Aug. 2024, doi: https://doi.org/10.1016/j.csl.2024.101638.

[42] Y. Sun and J. Song, ‘Research on question retrieval method for community question answering’, Multimed. Tools Appl., vol. 82, pp. 24309–24325, 2023, doi: https://doi.org/10.1007/s11042-023-14458-2.

[43] D. Hoogeveen, K. M. Verspoor, and T. Baldwin, ‘CQADupStack: A Benchmark Data Set for Community Question-Answering Research’, in Proceedings of the 20th Australasian Document Computing Symposium, Dec. 2015, pp. 1–8, doi: 10.1145/2838931.2838934.

[44] S. Z. Aftabi, S. M. Seyyedi, M. Maleki, and S. Farzi, ‘ReQuEST: A Small-Scale Multi-Task Model for Community Question-Answering Systems’, IEEE Access, vol. 12, pp. 17137–17151, 2024, doi: 10.1109/ACCESS.2024.3358287.

[45] C. Y. Lin, ‘Rouge: A package for automatic evaluation of summaries’, Proc. Work. text Summ. branches out (WAS 2004), no. 1, pp. 25–26, 2004, [Online]. Available: papers2://publication/uuid/5DDA0BB8-E59F-44C1-88E6-2AD316DAEF85.

[46] T. Zhang, V. Kishore, F. Wu, K. Q. Weinberger, and Y. Artzi, ‘BERTScore: Evaluating Text Generation with BERT’, CoRR abs/1904.09675, pp. 1–43, Apr. 2019, [Online]. Available: http://arxiv.org/abs/1904.09675.

[47] K. Song, X. Tan, T. Qin, J. Lu, and T.-Y. Liu, ‘MPNet: Masked and Permuted Pre-training for Language Understanding’, Adv. Neural Inf. Process. Syst., vol. 2020-Decem, no. NeurIPS, pp. 1–11, Apr. 2020, [Online]. Available: http://arxiv.org/abs/2004.09297.

[1] Soft prompt tuning

[2] Cold start

پیوست 1

جدول الف. نمونه‌هایی از زوج پرسش‌های متضمن و غیرمتضمن در دادگان پژوهش
مثال1. برچسب: متضمن
مشخصات پرسش 1	شناسه پرسش €	شناسه پرسشگر €	تاریخ ثبت €	شناسه نظرات €	پاسخ‌ها €	تعداد علاقمندان €	امتیاز €
	169707	18495	2014-04-05T09:54:34.967	390655-390656-390730	169708	0	1
	تعداد ملاقات‌ها €	پرسش‌های تکراری €	پرسش‌های مرتبط €	برچسب‌ها €	شناسه پاسخ تأییدشده €	نام انجمن €
	77	82993	82993	memoir, chapters, naming	169708	Tex
	عنوان \|	Replace the text 'Chapter' with custom text in Memoir
	بدنه \|	How can I replace the word 'Chapter' with some other text string in Memoir class? So, instead of Chapter 1, it appears as, say, MyChapter 1. Also, the text is in Devanagari script so MyChapter will be some Devanagari text string.
	پاسخ تأییدشده \|	Use <code>\renewcommand{\chaptername}{MyChapter} </code> at any position before you the first chapter which should get another chapter name. If you want to rename all chapter names, put the command in the preamble.
مشخصات پرسش 2	شناسه پرسش €	شناسه پرسشگر €	تاریخ ثبت €	شناسه نظرات €	پاسخ‌ها €	تعداد علاقمندان €	امتیاز €
	82993	510	2012-11-16T14:24:57.050	-	82994-88330-83021	50	70
	تعداد ملاقات‌ها €	پرسش‌های تکراری €	پرسش‌های مرتبط €	برچسب‌ها €	شناسه پاسخ تأییدشده €	نام انجمن €
	10361	54819	82960-62213-36575-54819	naming	82994	Tex
	عنوان \|	How to change the name of document elements like Figure Contents Bibliography etc.
	بدنه \|	I'd like to modify the names used to typeset some of my document elements. For example, the caption of figure floats should change from "Figure" to "Fig.", and my \tableofcontents sectioning heading shouldn't read "Contents", but "Table of Contents". How can I do that? <code>\documentclass{article} % \usepackage[english]{babel} \begin{document} \tableofcontents \section{foo} \begin{figure}[h] \centering \rule{1cm}{1cm}% placeholder for graphic \caption{A figure} \end{figure} \end{document} </code>
	پاسخ تأییدشده \|	The answer depends on whether or not you use the <code>babel</code> [….] To change the formatting of the "Contents" heading, either [.…] For captions, the <code>caption</code> package offers a host of customization possibilities.
مثال2. برچسب: غیرمتضمن
مشخصات پرسش 1	شناسه پرسش €	شناسه پرسشگر €	تاریخ ثبت €	شناسه نظرات €	پاسخ‌ها €	تعداد علاقمندان €	امتیاز €
	153778	24072	2014-01-13T05:30:01.237	422525	153790	2	3
	تعداد ملاقات‌ها €	پرسش‌های تکراری €	پرسش‌های مرتبط €	برچسب‌ها €	شناسه پاسخ تأییدشده €	نام انجمن €
	295	-	-	fonts	-	Tex
	عنوان \|	Open dyslexic font
	بدنه \|	Is it straight forward to use the OpenDyslexic font in a latex document? What steps would be required?
	پاسخ تأییدشده \|	-
مشخصات پرسش 2	شناسه پرسش €	شناسه پرسشگر €	تاریخ ثبت €	شناسه نظرات €	پاسخ‌ها €	تعداد علاقمندان €	امتیاز €
	13865	4322	2011-03-19T09:20:17.147	25475-25476-25490- ...	13868	21	35
	تعداد ملاقات‌ها €	پرسش‌های تکراری €	پرسش‌های مرتبط €	برچسب‌ها €	شناسه پاسخ تأییدشده €	نام انجمن €
	8811	-	3797	online	13868	Tex
	عنوان \|	How to use LaTeX on blogspot?
	بدنه \|	I'm trying to use LaTeX on my blog, but I could not figure out how. Has anyone done it before? Any feedback or related information would be greatly appreciated.
	پاسخ تأییدشده \|	You can put a <code>\strut</code> just before <code>c</code> to enlarge the depth of your equation and if you still find the curly bracket too close, you can also define your own "strut":</p> <code> [….] <code>

Share To

Article Url

UsERQA: An LLM-Driven User-Aware Community Question Answering System

Rimag

Links

Related Centers

Technical Support

Official pages