• Home
  • Proposing an Information Retrieval Model Using Interval Numbers

Share To

Article Url


Manuscript ID : A-10-354-24 Visit : 7374 Page: 71 - 94

20.1001.1.27170411.1399.12.45.9.9

Article Type: Original Research

Proposing an Information Retrieval Model Using Interval Numbers

Subject Areas :

Hooman Tahayori 1 , farzad ghahremani 2

1 - Associate Professor
2 - Doctoral student of Shiraz University

Received: 2021-06-15 Accepted : 2021-06-15 Published : 2021-06-15

Keywords: Textual information retrieval, Documentt ranking, Term weighting, Interval numbers, Interval weight,

Abstract :

Recent expansions of web demands for more capable information retrieval systems that more accurately address the users' information needs. Weighting the words and terms in documents plays an important role in any information retrieval system. Various methods for weighting the words are proposed, however, it is not straightforward to assert which one is more effective than the others. In this paper, we have proposed a method that calculates the weights of the terms in documents and queries as interval numbers. The interval numbers are derived by aggregating the crisp weights that are calculated by exploiting the existing weighting methods. The proposed method, calculates an interval number as the overall relevancy of each document with the given query. We have discussed three approaches for ranking the interval relevancy numbers. In the experiments we have conducted on Cranfield and Medline datasets, we have studied the effects of weight normalization, use of variations of term and document frequency and have shown that appropriate selection of basic term weighting methods in conjunction with their aggregation into an interval number would considerably improve the information retrieval performance. Through appropriate selection of basic weighting methods we have reached the MAP of 0.43323 and 0.54580 on the datasets, respectively. Obtained results show that he proposed method, outperforms the use of any single basic weighting method and other existing complicated weighting methods.

References:

[1] S. Marrara, G. Pasi and M. Viviani, "Aggregation operators in information retrieval," Fuzzy Sets and Systems, vol. 324, pp. 3-19, 2017.
[2] D. H. Kraft and E. Colvin, Fuzzy Information Retrieval, North Carolina: Morgan and Claypool, 2017.
[3] D. H. Kraft, E. Colvin, G. Bordogna and G. Pasi, "Fuzzy information retrieval systems: A historical perspective," in Fifty Years of Fuzzy Logic and its Applications, Springer, Cham, 2015, pp. 267-296.
[4] H. P. Luhn, "The automatic creation of literature abstracts," IBM Journal of research and development, vol. 2, no. 2, pp. 159-165, 1958.
[5] P. Switzer, "Vector Images in Document Retrieval," in Statistical Association Methods for Mechanized Documentation: Symposium Proceedings, Washington, 1964.
[6] G. Salton and C. Buckley, "Term-weighting approaches in automatic text retrieval," Information processing & management, vol. 24, no. 5, pp. 513-523, 1988.
[7] R. Cummins, The evolution and analysis of term-weighting schemes in information retrieval, Galway: National University of Ireland, 2008.
[8] O. A. S. Ibrahim and D. Landa-Silva, "Term frequency with average term occurrences for textual information retrieval," Soft Computing, vol. 20, no. 8, pp. 3045-3061, 2016.
[9] K. Goslin and M. Hofmann, "A Wikipedia powered state-based approach to automatic search query enhancement," Information Processing & Management, vol. 54, no. 4, pp. 726-739, 2018.
[10] K. Chen, Z. Zhang, J. Long and H. Zhang, "Turning from TF-IDF to TF-IGM for term weighting in text classification," Expert Systems with Applications, vol. 66, pp. 245-260, 2016.
[11] S. Plansangket, New weighting schemes for document ranking and ranked query suggestion, PhD diss., University of Essex, 2017.
[12] D. Kandé, R. M. Marone, S. Ndiaye and F. Camara, "A Novel Term Weighting Scheme Model," in Proceedings of the 4th International Conference on Frontiers of Educational Technologies(ICFET 18), Moscow, 2018.
[13] T. Dogan and A. K. Uysal, "Improved inverse gravity moment term weighting for text classification," Expert Systems with Applications, vol. 130 , pp. 45-59, 2019.
[14] S. Balbi, M. Misuraca and G. Scepi, "Combining different evaluation systems on social media for measuring user satisfaction," Information Processing & Management, vol. 54, no. 4, pp. 674-685, 2018.
[15] H. Li, "Learning to rank for information retrieval and natural language processing," Synthesis Lectures on Human Language Technologies, vol. 4, no. 1, pp. 1-113, 2011.
[16] S. Gugnani, T. Bihany and R. K. Roul, "A complete survey on web document ranking," International Journal of Computer Applications (975 8887), vol. ICACEA, no. 2, pp. 1-7, 2014.
[17] A. H. Keyhanipour, M. Piroozmand and K. Badie, "A GP-adaptive web ranking discovery framework based on combinative content and context features," Journal of Informetrics, vol. 3, no. 1, pp. 78-89, 2009.
[18] E. Goldberg, "Statistical machine". U.S. Patent 183 838 929-1931, 1931.
[19] J. E. Holmstrom, "Section III. Opening plenary session," in The Royal Society Scientific Information Conference, London, U.K., 1948.
[20] H. F. Mitchell Jr, "The use of the univ AC FAC-tronic system in the library reference field," American Documentation, vol. 4, no. 1, pp. 16-17, 1953.
[21] M. Taube, C. D. Gull and I. S. Wachtel, "Unit terms in coordinate indexing," American Documentation, vol. 3, no. 4, pp. 213-218, 1952.
[22] H. P. Luhn, "A statistical approach to mechanized encoding and searching of literary information," IBM Journal of research and development, vol. 1, no. 4, pp. 309-317, 1957.
[23] K. S. Jones, Information retrieval experiment, Newton, MA: Butterworth-Heinemann, 1981.
[24] S. E. Robertson, "The probability ranking principle in IR," Journal of documentation, vol. 33, no. 4, pp. 294-304, 1977.
[25] M. Sanderson and W. B. Croft, "The history of information retrieval research," Proceedings of the IEEE, vol. 100, no. Special Centennial Issue, pp. 1444-1451, 2012.
[26] H. F. Witschel, "Global term weights in distributed environments," Information Processing & Management, vol. 44, no. 3, pp. 1049-1061, 2008.
[27] Y. Gupta, A. Saini and A. K. Saxena, "A new fuzzy logic based ranking function for efficient information retrieval system," Expert Systems with Applications, vol. 42, no. 3, pp. 1223-1234, 2015.
[28] A. I. Kadhim, "Term Weighting for Feature Extraction on Twitter: A Comparison Between BM25 and TF-IDF," in International Conference on Advanced Science and Engineering (ICOASE), 2019.
[29] C. Kamphuis, A. P. de Vries, L. Boytsov and J. Lin, "Which BM25 Do You Mean? A Large-Scale Reproducibility Study of Scoring Variants," in European Conference on Information Retrieval, Cham, 2020.
[30] J. M. Ponte and W. B. Croft, "A language modeling approach to information retrieval," in In Proceedings of the 21st annual international ACM SIGIR conference on Research and development in information retrieval, 1998.
[31] C. Zhai and J. Lafferty, "A study of smoothing methods for language models applied to information retrieval," ACM Transactions on Information Systems (TOIS), vol. 22, no. 2, pp. 179-214, 2004.
[32] R. Cummins, Modelling Word Burstiness in Natural Language: A Generalised Polya Process for Document Language Models in Information Retrieval, arXiv preprint arXiv:1708.06011, 2017.
[33] R. Cummins, J. H. Paik and Y. Lv, "A Pólya urn document language model for improved information retrieval," ACM Transactions on Information Systems (TOIS), vol. 33, no. 4, p. 21, 2015.
[34] G. Salton, Automatic Information Organization and Retrieval, New York: McGraw-Hill, 1968.
[35] K. Sparck Jones, "A statistical interpretation of term specificity and its application in retrieval," Journal of documentation, vol. 28, no. 1, pp. 11-21., 1972.
[36] G. Salton and C.-S. Yang, "On the specification of term values in automatic indexing," Journal of documentation, vol. 29, no. 4, pp. 351-372, 1973.
[37] G. Salton, A. Wong and C.-S. Yang, "A vector space model for automatic indexing," Communications of the ACM, vol. 18, no. 11, pp. 613-620, 1975.
[38] F. S. Al-Anzi, D. AbuZeina and S. Hasan, "Utilizing standard deviation in text classification weighting schemes," Int J Innov Comput Inf Control, vol. 13, no. 4, pp. 1385-1398, 2017.
[39] J. Beel, S. Langer and B. Gipp, "Tf-iduf: A novel term-weighting scheme for user modeling based on users’ personal document collections," in iConference 2017, Wuhan, China, 2017.
[40] L. Bernauer, E. J. Han and S. Y. Sohn, "Term discrimination for text search tasks derived from negative binomial distribution," Information Processing & Management, vol. 54, no. 3, pp. 370-379, 2018.
[41] R. Lakshmi and S. Baskar, "Novel Term Weighting Schemes for Document Representation based on Ranking of Terms and Fuzzy Logic with Semantic Relationship of Terms," Expert Systems with Applications, vol. 137, pp. 493-503, 2019.
[42] F. Carvalho and G. P. Guedes, TF-IDFC-RF: A Novel Supervised Term Weighting Scheme, arXiv preprint arXiv:2003.07193, 2020.
[43] W. B. Frakes and R. Baeza-Yates, Eds., Information retrieval: Data structures & algorithms, vol. 331, Englewood Cliffs, NJ: prentice Hall, 1992.
[44] G. Bordogna and G. Pasi, "Controlling retrieval through a user-adaptive representation of documents," International Journal of Approximate Reasoning, vol. 12, no. 3-4, pp. 317-339, 1995.
[45] D. H. Kraft, G. Bordogna and G. Pasi, "An extended fuzzy linguistic approach to generalize Boolean information retrieval," Information Sciences-Applications, vol. 2, no. 3, pp. 119-134, 1995.
[46] Y. Y. Yao, "Interval-set algebra for qualitative knowledge representation," in Proceedings of ICCI'93: 5th International Conference on Computing and Information, 1993.
[47] J. M. Mendel and D. Wu, Perceptual computing: Aiding people in making subjective judgments, vol. 13, John Wiley & Sons, 2010.
[48] J. Han, J. Pei and M. Kamber, Data mining: concepts and techniques, Elsevier, 2011.
[49] A. Turpin and F. Scholer, "User performance versus precision measures for simple search tasks," in In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, 2006.
[50] R. Baeza-Yates and B. Ribeiro-Neto, Modern Information Retrieval: the concepts and technology behind search, 2 ed., Harlow: England: Pearson Education Ltd., 2011.
Full-Text:


 

دو فصلنامه علمي

فناوري اطلاعات و ارتباطات ایران

سال دوازدهم، شماره‌هاي 45 و 46، پاییز و زمستان1399

صص: 71-94

E:\E Drive\logo\iicta Logo0.JPG 

ارائه مدلی برای بازیابی اطلاعات متنی  با استفاده از اعداد فاصله­ای

فرزاد قهرمانی*        هومان تحیری**

* دانشجوی دکتری بخش مهندسی و علوم کامپیوتر و فناوری اطلاعات، دانشکده مهندسی برق و کامپیوتر، دانشگاه شیراز

** استادیار بخش مهندسی و علوم کامپیوتر و فناوری اطلاعات، دانشکده برق مهندسی و کامپیوتر، دانشگاه شیراز

تاریخ دریافت: 07/06/1399                تاریخ پذیرش:02/10/1399

نوع مقاله: پژوهشی 

 

چکیده

با گسترش و توسعه وب و افزایش محتوای آنلاین، اهمیت سیستم­های بازیابی اطلاعات که بتوانند با دقت بالاتری به نیازهای اطلاعاتی کاربران پاسخ دهند، بیشتر از پیش مشخص است. یک بخش مهم در طراحی هر سیستم بازیابی اطلاعات، انتخاب روشی مناسب برای مدل کردن آن سیستم است که در این راستا تعیین روش وزن­دهی به لغات جهت بیان میزان اهمیت آنها در اسناد و پرس­وجوها، نقش به سزائی دارد. روش­های مختلفی در خصوص چگونگی وزن­دهی به لغات ارائه شده که غالباً یک وزن عددی را تخصیص می­دهند اما نمی­توان با قطعیت گفت که بهترین روش وزن­دهی کدام است. با توجه به ابهام و عدم قطعیتی که در این زمینه وجود دارد، در این مقاله مدلی ارائه شده که به جای استفاده از یک مقدار وزنی، با استفاده از وزن­های بدست آمده از تعدادی روش وزن­دهی پایه که به دقت انتخاب شده­اند،  برای هر لغت بازه­ای از وزن­ها را به عنوان یک وزن فاصله­ای محاسبه می­کند. در این مدل با انجام تجمیع مناسب، میزان ارتباط هر سند با پرس­وجوی ورودی نیز به صورت یک وزن فاصله­ای تعیین شده و برحسب آنها می­توان با استفاده از یکی از سه روش پیشنهادی، اسناد را رتبه­بندی کرد. در آزمایش­های انجام شده بر روی مجموعه داده­های معتبر Cranfield و Medline، اثرات نرما­ل­سازی طول بردار وزن­های پایه، استفاده از مؤلفه­های مختلف در فاکتور فرکانس لغت و فاکتور فرکانس مجموعه مورد مطالعه و بحث قرار گرفته است و مشخص شد که انتخاب مجموعه­ای مناسب از روش­های وزن­دهی پایه برای اعمال روش پیشنهادی، به همراه استفاده از روش رتبه­بندی مناسب، تأثیر به سزائی در بهبود بازدهی سیستم خواهد داشت. با انتخاب­های مناسب، برای دو مجموعه داده مذکور به ترتیب MAP با مقادیر 0.43323 و 0.54580 بدست آمد. این نتایج نشان داد که روش پیشنهادی نه تنها باعث بهبود نسبت به هر یک از روش­های وزن­دهی پایه می­شود، بلکه در مقایسه با چند روش وزن­دهی پیچیده اخیر نیز بهتر عمل می­کند. 

واژگان کلیدی: بازیابی اطلاعات متنی، رتبه­بندی اسناد، وزن­دهی لغات، اعداد فاصله­ای، وزن فاصله­ای

 

1.       مقدمه

 

توسعه روزافزون وب به همراه قابلیت دسترسی به حجم زیادی از محتوای آنلاین، باعث شده که تحقیقات زیادی در زمینه­ی موتورهای جستجو1 یا سیستم­های بازیابی اطلاعات)2(IRS صورت گیرد. خصوصاً هدف یک موتور جستجوی وب، بازیابی صفحاتی از وب است که به نیازهای اطلاعاتی کاربر که برحسب تعدادی کلمه کلیدی در یک پرس­وجو3 بیان شده، مرتبط باشند [1]. در واقع هدف یک سیستم IR این است که از بین اطلاعات جمع­آوری شده، اقلام مرتبط4 با پرس­وجوی کاربر را استخراج کرده و اقلام ناخواسته و غیرمرتبط را فیلتر کرده و کنار بگذارد. در این راستا، سیستم IR با نمایش، ذخیره­سازی و دسترسی به اسنادی5 سر و کار دارد که می­توانند شامل متون، تصاویر، انیمیشن، صوت، اقلام چندرسانه­ای، صفحات وب، توئیت، وبلاگ و دیگر قطعات اطلاعاتی باشند [2]، هرچند در این مقاله اسنادی که به صورت متنی و نوشتاری هستند، مورد توجه می­باشند.

مساله اصلی در تمام سیستم های IR، تطبیق دادن اسناد با پرس­وجو و پیش­بینی این موضوع است که کاربر کدام اسناد را مرتبط با خواست خود خواهد دانست [3]. در نمایش اسناد و پرس­وجوها غالباً با نگاشتی از لغات به آنها کار داریم، که طبق [2] لغات یا کلمات کلیدی مجموعه را به ترتیب به "اسناد" و "پرس­وجوها" نگاشت می­کنند و این غالباً با نسبت دادن وزن به این لغات صورت می­گیرد که بیانگر میزان اهمیت آنها در سند یا پرس­وجوی مربوطه است.

در طول عمری که از بازیابی اطلاعات می­گذرد، روش­های مختلفی در خصوص چگونگی وزن­دهی به لغات در اسناد و پرس­وجوها ارائه شده است، از جمله [4] تا [9]. علاوه بر IR، وزن­دهی به لغات در حوزه­های دیگری مانند طبقه­بندی متون6 [10] تا [13] و تحلیل احساسات7 [14]، نیز کاربرد داشته و نقش مهمی بازی می­کند. اهمیت وزن­دهی مناسب، و تأثیر زیاد آن در بهبود نتایج نهایی در تمامی این مطالعات مشهود بوده است [6]، [7]، و [12].

یادگیری رتبه­بندی8 زمینه دیگری از تحقیقات است که یادگیری ماشین، بازیابی اطلاعات، و پردازش زبان طبیعی را با یکدیگر درمی­آمیزد. یادگیری رتبه­بندی در معنای عام و گسترده، اشاره به استفاده از هر روش یادگیری ماشین برای رتبه­بندی دارد. در معنای خاص و محدود، یادگیری رتبه­بندی به تکنیک­های یادگیری ماشین برای ساخت مدل رتبه­بندی، در ایجاد رتبه­بندی و تجمیع رتبه­بندی اشاره دارد [15]. استفاده از یادگیری ماشین در IR و طبقه­بندی متون و غیره، فقط محدود به رتبه­بندی نبوده و در مرحله وزن­دهی به لغات نیز کاربرد دارد. بطورکلی دو نوع اصلی وزن­دهی به لغات وجود دارد. یکی وزن­دهی لغت معنایی، که از معانی دسته­ها و لغات موجود در پایگاه­های دانشی مانند WordNet بهره می­برد؛ دوم وزن­دهی لغت آماری، که به چگونگی ظهور یک لغت در یک سند یا گروهی از اسناد از نقطه­نظر آماری مرتبط است و خود به دو دسته با ناظر و بدون ناظر تقسیم می­شود. روش­های وزن­دهی لغت با ناظر که از اطلاعات عضویت کلاس اسناد آموزشی در گروه­های از قبل تعریف­شده استفاده می­کنند، عمدتاً از تکنیک­های یادگیری ماشین استفاده می­کنند [11]. در این تحقیق روش­های رتبه­بندی و روش­های وزن­دهی آماری بدون یادگیری مدنظر می­باشند.

در برخی از روش­های بازیابی اطلاعات متنی، کاربر به طریقی میزان اهمیت لغات مورد جستجو را وارد می­کند که نهایتاً به عنوان یک وزن عددی محاسبه و برای لغات منظور می­شود؛ در برخی دیگر کاربر فقط پرس­وجوی خود را در قالب یک متن یا چند لغت وارد کرده و سیستم IR به طریقی مشابه با وزنی که برای لغات اسناد محاسبه می­کند، وزنی عددی نیز برای لغات پرس­وجو محاسبه می نماید. اگر به وزن­های تخصیص داده شده به لغات پرس­وجوها و اسناد طبق روش­های مختلف وزن­دهی توجه شود، مشاهده می­شود که این وزن­ها برای یک لغت مقادیر مختلفی را در بر گرفته که ممکن است نزدیک به هم بوده یا از هم دور باشند، و سؤالی که پیش می­آید این است که واقعاً وزن درنظرگرفته شده توسط کدام روش مناسب­تر بوده و میزان اهمیت آن لغت را بهتر نشان می­دهد؟ همچنین آیا کاربر از اطلاعاتی/مقادیری که به عنوان وزن و میزان اهمیت وارد کرده مطمئن بوده است؟ با توجه به نداشتن پاسخی قطعی در خصوص سؤالات مذکور، در این مقاله به جای استفاده از یک مقدار وزنی، به طریقی ساده و به صورت آفلاین، برای هر لغت بازه­ای از وزن­ها به عنوان یک وزن فاصله­ای9 در نظر گرفته می­شود که بدون افزایش پیچیدگی می­تواند منجر به افزایش دقت شود. در واقع استفاده از یک بازه یا فاصله به عنوان وزن لغات پرس­وجو و اسناد،  عدم قطعیت و عدم اطمینان موجود در انتساب وزن عددی به لغات را تعدیل ساخته و می­تواند به محاسبه میزان ارتباط دقیق­تر بین اسناد و پرس­وجوها کمک کند.

روش پیشنهادی در این مقاله برای تخصیص دادن وزن فاصله­ای به لغات، استفاده از وزن­های محاسبه شده توسط تعدادی روش وزن­دهی مختلف می­باشد. بدین منظور ابتدا تعدادی از روش­های وزن­دهی موجود را مورد مطالعه قرار داده و با درنظر گرفتن ویژگی­های بکار رفته در آنها، زیرمجموعه­ای از آنها به عنوان روش­های وزن­دهی پایه10 انتخاب می­شوند؛ سپس بر اساس وزن­های تعیین شده برای هر لغت توسط این روش­های پایه و انجام پردازش­های لازم، یک وزن فاصله­ای برای آن لغت تعیین می­شود. با توجه به لغات درون هر پرس­وجو و با انجام تجمیع مناسب بر روی وزن­های فاصله­ای این لغات، میزان ارتباط هر سند با پرس­وجوی ورودی نیز به صورت یک وزن فاصله­ای تعیین شده و برحسب آنها می­توان با استفاده از یکی از سه روش پیشنهاد شده در مقاله، اسناد را رتبه­بندی11 کرد. در اینجا ضمن اجرای روش پیشنهادی بر روی دو مجموعه­داده معتبر، در آزمایش­ها نشان داده شده که انتخاب زیرمجموعه­ای مناسب از روش­های وزن­دهی پایه برای اعمال روش پیشنهادی، به همراه استفاده از روش رتبه­بندی مناسب، تأثیر به سزائی در بهبود بازدهی سیستم خواهد داشت؛ لذا در آزمایش­های صورت گرفته بر روی 24 روش وزن­دهی پایه، تأثیر سه دسته از معیارها در انتخاب زیرمجموعه­های وزنی مورد مطالعه قرار گرفته و نهایتاً مناسب­ترین ترکیب معیارها در انتخاب زیرمجموعه­های وزنی، در کنار مناسب­ترین روش رتبه­بندی تعیین شده است.

در ادامه، در بخش 2 مروری بر کارهای مرتبط و مبانی نظری خواهد شد. در بخش 3 مقدمات لازم در خصوص اعداد فاصله­ای، و در بخش 4 روش وزن­دهی پیشنهادی تشریح شده است. آزمایش­های انجام شده و نتایج بدست­آمده در بخش 5 مورد بحث قرار گرفته، و نهایتاً بخش 6 مربوط به نتیجه­گیری است.

2.       کارهای مرتبط و  مبانی نظری

در وب، رتبه­بندی اسناد به سه دسته کلی مبتنی بر محتوا12، مبتنی بر پیوند13، و مبتنی بر پیوند-محتوا14 تقسیم می­شود [11]. در رتبه­بندی مبتنی بر محتوا، برای بازیابی صفحات وب مرتبط با یک پرس­وجو از محتوای صفحات به عنوان ویژگی­هایی برای رتبه­بندی استفاده می­شود. رتبه­بندی مبتنی بر پیوند یا اتصال، بر روی اطلاعات ساختاری مانند تعداد پیوندهای اشاره شده به یک صفحه وب یا تعداد لینک­های خروجی تمرکز دارد که نشان از محبوبیت صفحات دارند. از جمله روش­های متعارف در این زمینه می­توان به روش­های HITS15 و Page Rank اشاره کرد؛ در [16] الگوریتم­های مختلف در این زمینه مرور شده و مورد مقایسه قرار گرفته­اند. روش رتبه­بندی مبتنی بر پیوند-محتوا، برای یافتن تعادل مناسب بین دو مورد قبل مطرح شده است که مقاله [17] نمونه­ای از این روش است که با استفاده از ویژگی­های نسبتاً ساده اسناد وب، رتبه­بندی مناسبی را با استفاده از معماری برنامه­نویسی ژنتیکی ارائه می­دهد. تحقیق پیش رو جزء دسته مبتنی بر محتوا بوده و بر روی روش­های وزن­دهی لغات در بازیابی اطلاعات متنی تمرکز دارد؛ به همین دلیل، در این بخش با تکیه بر روش­های وزن­دهی، به معرفی مدل­های مرسوم IR، خصوصیات آنها و توسعه­هایی که از جنبه مفاهیم مختلف صورت گرفته­است، پرداخته می­شود.

2،1                      مدل بولی16

مدل بولی از نخستین مدل­های بازیابی اطلاعات است که حتی می­توان روش کار نخستین دستگاه مکانیکی [18]، و استفاده­های اولیه از کامپیوتر برای بازیابی اطلاعات [19[ تا [21]، را جزء آن دانست. بطورکلی در مدل بولی اسناد و پرس­وجوها به صورت مجموعه­ای از لغات شاخص دیده می­شوند که به آن "کیسه لغات17" گفته می­شود. در جستجوی بولی وزن لغات در هر سند یا پرس­وجو، 0 یا 1 است؛ یعنی در صورتی که در سند یا پرس­وجو هیچ تطابقی از لغت وجود نداشته باشد، درجه تطابق 0، و در صورتی که بطور کامل مطابقت داشته باشد، درجه تطابق 1 درنظر گرفته می­شود. مدل بولی در بازیابی اطلاعات مبتنی بر محاسبات منطق بولی است. با یک OR بولی، یک سند برای برآورده کردن یک پرس­وجو باید یکی از لغات پرس­وجو را داشته باشد. در صورتیکه برای پرس­وجوی AND بولی، سند باید شامل تمامی لغات پرس­وجو باشد تا پرس­وجو برآورده شده و 1 را برگرداند. این مدل به دلیل سادگی و درک مستقیم آن، به طور گسترده­ای در سیستم­های اولیه پذیرفته و استفاده شد. مشکل این مدل آن است که تطابق­ها رتبه­بندی نمی­شوند و مشخص نمی­کند کدام سند بیشترین رخداد از لغت را دارد. برای OR بولی، هیچ ارجحیتی بین لغات پرس­وجو وجود ندارد و همگی وزن یکسانی دارند. بنابراین اسناد با تطابق برابر در لیست برگشتی ممکن است حاوی لغات متفاوتی باشند [2].

2،2                      مدل احتمالی18

نخستین بار لان19 در سال 1957 پیشنهاد نسبت دادن امتیازی به اسناد بر اساس روش احتمالاتی و اهمیت کلمات کلیدی در اسناد را داد بطوریکه این امتیاز نشان­دهنده میزان ارتباط اسناد با پرس­وجو باشد [22]. او همچنین در سال 1958 پیشنهاد استفاده از فرکانس رویداد کلمه را به عنوان اندازه­گیری مفیدی از ارزش کلمه، مطرح کرد که بعداً به عنوان وزن فرکانس لغت (20TF) شناخته شد [4]. مؤثر بودن این روش نسبت به جستجوی بولی در آزمایش­های زیادی نشان داده شده است [23]. با توسعه ایده­های اولیه، در [24] اصولی برای رتبه­بندی احتمالاتی تعریف شد که مشخص می­کرد چگونه اسناد بطور بهینه بر اساس معیارهای احتمالاتی و با توجه به معیارهای ارزیابی تعریف شده، رتبه­بندی می­شوند. از آن زمان تحقیقات زیادی انجام شده و مانند مدل­های دیگر، نسخه­های متعددی از این مدل نیز ارائه شده است که بخشی از آنها در [25] آمده است.

نمایش­های دیگری از مدل احتمالاتی وجود دارد که شامل مدل­های BM1، BM11، BM15، BM25 هستند. این مدل­ها شبیه هم و طرفدار بهترین تطابق21 هستند که BM25 معمولترین آنها بوده و به دلیل نتایج خوبی که داشته، در تحقیقات زیادی به عنوان مبنای مقایسه22 استفاده شده است [7] و [26] تا [28]. از این روش که با عنوان Okapi-BM25 نیز نام برده می­شود، انواع مختلفی ارائه شده است که در [29] با انجام یک مطالعه تکرارپذیری23 بر روی هشت نوع مختلف آن نشان داده است که تفاوت معنی­داری بین آنها وجود ندارد.

مدل­سازی زبانی سند24 یک رویکرد مهم دیگر در روش­های آماری برای بازیابی اطلاعات است [30] و [31]. این نوع روش­ها ذاتاً مولد25 هستند، تا آنجا که هدف آنها تخمین مدلی از فرایند تولید سند است. در بازیابی اطلاعات، زمانی که مدل­های سند تخمین زده شدند، اسناد می­توانند بر اساس احتمال مدل سندشان در تولید پرس­وجو، رتبه­بندی شوند [32]. مدل­های زبانی سندی که از طریق یک فرآیند Pólya چندمتغیره، یک ویژگی خودتقویت­کننده26 را ارائه می­دهند، به طور قابل توجهی اثربخشی بازیابی را افزایش می­دهند [33]. کامینز [32] این روش را بیشتر بکار گرفته و فرآیند کلی­تری برای مدل­سازی سند آماری ارائه داده است. او با ارائه روش­های جدیدی در تخمین پارامترهای فرآیند Pólya، مدل­های  و  را معرفی کرد که در آنها کارآیی بازیابی در مقایسه با مدل­های قبلی افزایش یافت.

2،3                      مدل فضای برداری27

مدل معمول دیگر در IR مدل فضای برداری است. نخستین بار سوئیتزر28 [5] بود که به اسناد و پرس­وجوها به صورت بردارهایی n بعدی از لغات منحصربفرد مجموعه نگاه کرد. در اینجا به جای سیستم تطابق/عدم تطابق مدل بولی، از وزن لغات برای نشان دادن میزان اهمیت آنها در سند یا پرس­وجوی مربوطه استفاده می­شود. تابع تطابق، معیار فاصله بردار پرس­وجو از بردار سند است، و بر اساس این میزان فاصله می­توان یک لیست رتبه­بندی شده در خروجی ارائه داد [2]. سالتون در [34] ایده استفاده از کسینوس زاویه بین بردارهای سند و پرس­وجو را به عنوان معیار شباهت میان آنها مطرح کرد که یکی از معیارهای مهم در این زمینه است [25]. اسپارک جونز در سال 1972، ایده استفاده از فرکانس سند معکوس (IDF29) را مطرح کرد که به لغاتی که در تعداد اسناد کمتری مشاهده می­شدند وزن بیشتری می­داد [35]. به دنبال آن ایده ترکیب دو وزن TF و IDF (یعنی TF-IDF30) خیلی سریع مطرح شد که از جمله می­توان به [36] اشاره کرد که حاصلضرب آن دو را به عنوان وزن لغات در نظر گرفت. سالتون و همکاران در سال 1975 یک مدل فضای برداری را برای شاخص­بندی خودکار ارائه دادند [37]. 

با توجه به اهمیت انتخاب وزن مناسب برای لغات در بازیابی اطلاعات از اسناد متنی با روش فضای برداری، سالتون و باکلی در [6] به اهمیت سه فاکتور در وزن­دهی لغات اشاره کردند که از ضرب آنها در یکدیگر می­توان وزن هر لغت را تعیین کرد، این فاکتورها عبارتند از: فرکانس لغت (TF)، فرکانس سند معکوس (IDF) (یا فرکانس مجموعه معکوس31)، و فاکتور نرمال­سازی طول بردار32. آنها برای هر یک از فاکتورها، مؤلفه­های وزن­دهی نشان­داده شده در جدول 1 را در نظر گرفتند تا با انتخاب یکی از مؤلفه­ها برای هر فاکتور، و ضرب آنها در یکدیگر بتوان به یک روش وزن­دهی لغت رسید. بدین­ترتیب امکان انتخاب ترکیبات متنوعی برای وزن­دهی لغات اسناد یا پرس­وجوها وجود داشت که برحسب مؤلفه­های بکار رفته برای فاکتورها در هر روش، آن روش با یک نام سه­جزئی33 معرفی می­گردد. با توجه به اینکه روش­های وزن­دهی درنظرگرفته شده برای لغات اسناد و لغات پرس­وجو می­تواند متفاوت باشد، آنها در آزمایش­های خود، ترکیبات وزنی مختلف را توسط دو سه­جزئی نشان دادند که این دو به ترتیب روش­های درنظرگرفته شده برای وزن­دهی لغات اسناد و وزن­دهی لغات پرس­وجو را نشان می­دادند (مثلاً ترکیب وزنی tfc.nfx به معنی در نظر گرفتن وزن   برای لغات اسناد و وزن  برای لغات پرس­وجو می­باشد). آنها در آزمایش­های زیادی که بر روی چند مجموعه داده انجام دادند، به مقایسه نتایج استفاده از ترکیبات مختلف پرداخته و ترکیباتی را به عنوان روش­های برتر وزن­دهی لغات معرفی کردند.

[1] نویسنده مسئول: هومان تحیری tahayori@shirazu.ac.ir

 Search engines

[2]  Information Retrieval Systems

[3]  

[4]  Relevant

[5]  Documents

[6]  Text Classification

[7]  Sentiment Analysis

[8]  Learning to rank

[9]  Interval Weight

[10]  Basic Weighting Methods

[11]  Ranked

[12]  Content-based ranking

[13]  Hyperlink-based ranking

[14]  Hyperlink-content-based ranking

[15]  Hyperlink Induced Topic Search

[16]  Boolean model

[17]  Bag of terms

[18]  Probability model

[19]  Luhn

[20]  Term Frequency

[21]  Best match

[22]  Baseline

[23]  Reproducibility

[24]  Document Language Modelling

[25]  Generative

[26]  Self-reinforcing

[27]  Vector space model

[28]  Switzer

[29]  Inverse Document Frequency

[30]  Term Frequency-Inverse Document Frequency

[31]  Inverse Collection Frequency

[32]  Vector Length Normalization

[33]  Triple

 

جدول 1. مؤلفه­های وزن­دهی لغت [6] 

 

[1]  Augmented

ابراهیم و لاندا-سیلوا [8] برای بهبود وزن­دهی لغات، از روش وزن­دهی فرکانس لغت همراه با میانگین رویداد لغت (TF-ATO1) استفاده کردند که در آن وزن هر لغت در هر سند، از تقسیم TF آن لغت در سند بر میانگین رویداد لغات موجود در آن سند بدست می­آید. آنها همچنین از یک روش متمایزکننده (DA2) بر پایه بردار مرکز ثقل اسناد، به منظور حذف وزن­های کم ارزش از اسناد، استفاده کردند و در آزمایش­های خود تأثیر مثبت هر یک از این دو ایده جدید وزن­دهی را در دو حالت با حذف کلمات توقف3 و بدون حذف کلمات توقف نشان دادند.

تحقیقات زیاد دیگری نیز در راستای بهبود روش TF-IDF انجام شده است که با درنظر گرفتن فاکتورها و مؤلفه­هایی دیگر سعی بر این مهم داشته­اند، از جمله این تحقیقات می­توان به [10]، [13]، و [38] تا [42] اشاره کرد.

2،4                      مدل­های بازیابی فازی

مدل­های بازیابی فازی یا مدلهای بولی توسعه­یافته که بر پایه مجموعه­های فازی تعریف شده­اند، به منظور رسیدگی به ابهام و عدم دقت کاربران (که در پرس­وجوهای آنها انعکاس می­یابد) و ارتباط جزئی بین اسناد و پرس­وجوها پیشنهاد شدند [3]. این مدل­های توسعه­یافته، وزن­های لغت و توابع عضویت یک مدل مجموعه فازی را ترکیب کرده و تطابق­هایی که به دقت یک مدل بولی هستند را برمی­گردانند. از جمله این مدل­ها می­توان به MMM4، Paice، و P-Norm اشاره کرد [43]. توسعه­های فازی سیستم­های IR و تعمیم­های فازی مدل بازیابی بولی در [44] و [45] نیز مرور شده است.

3.       مقدمات

در این بخش برخی از مفاهیم اولیه که در مقاله مورد استفاده قرار گرفته است تعریف خواهد شد.

3،1                      اعداد فاصله­ای5

عدد فاصله­ای  Aزیرمجموعه­ای از اعداد حقیقی است که یک محدوده پیوسته و متصل به هم را در بر می­گیرد.

(1)        

 و  به ترتیب حدود چپ (پایین) و راست (بالا) این عدد هستند و  ؛ همانطور که مشاهده می­شود تمامی مقادیر بین این دو کرانه متعلق به A می باشند.

بطورکلی اگر A و B دو عدد فاصله­ای با مقادیر  و  باشند، برخی از مفاهیم لازم به صورت زیر تعریف می­شوند [46]:

·       پهنا یا وسعت یک عدد فاصله­ای:

(2)        

·       نقطه میانی یا مرکز یک عدد فاصله­ای:

(3)        

·       جمع دو عدد فاصله­ای:

(4)        

·       تفریق دو عدد فاصله­ای:

(5)        

·       ضرب دو عدد فاصله­ای:

(6)        

·       تقسیم دو عدد فاصله­ای:

(7)               

توجه شود که بجز پهنا و نقطه میانی یک عدد فاصله­ای که حاصل آنها یک عدد حقیقی است، در بقیه موارد حاصل هر یک از عملیات نیز یک عدد فاصله­ای خواهد بود.

3،2                      میانگین وزنی فاصله­ای (IWA6)

این نوع میانگین­گیری شبیه به میانگین­گیری وزنی معمولی است که در آن برای داده­ها و وزن آنها، به جای اعداد حقیقی از اعداد فاصله­ای استفاده می­شود و نتیجه میانگین وزنی نهایی آن نیز نه یک عدد، بلکه یک بازه عددی (عدد فاصله­ای) خواهد بود. فرض کنید مجموعه­های X و W هر یک شامل N عدد فاصله­ای باشند که به ترتیب داده­ها و وزن­های متناظر هر یک را در بر می­گیرند [47]:

(8)        

 

در اینصورت میانگین وزنی فاصله­ای xi های مختلف، عدد فاصله­ای Y بوده و به صورت زیر محاسبه می­شود:

(9)        

در رابطه (9) نیاز به انجام عملیات ضرب، جمع، و تقسیم بین اعداد فاصله­ای می­باشد که جهت انجام آنها از روابط (3) تا (7) استفاده می­شود.

4.       روش پیشنهادی وزن­دهی

در این مقاله که بر پایه مدل فضای برداری عمل می­شود، روش پیشنهادی کلی این است که بر اساس وزن­های مختلفی که از چند روش مختلف وزن­دهی برای یک لغت بدست آمده­اند، یک وزن فاصله­ای (بازه­ای) برای آن لغت محاسبه شود تا بدین­ترتیب هر یک از وزن­های اولیه بتوانند به نحوی استفاده شده و اثرگذار باشند. در اینجا ماژول تطابق نیز در محاسبات خود بر اساس اصول اعداد فاصله­ای عمل کرده و نهایتاً میزان ارتباط اسناد مختلف با هر پرس­وجو را در قالب یک سری اعداد فاصله­ای ارائه می­دهد که بر مبنای آنها اسناد رتبه­بندی می­شوند. مراحل روش پیشنهادی و جزئیات بیشتر در ادامه شرح داده شده است.

4،1                      پیش­پردازش داده­ها

جهت پالایش اولیه مستندات، از معمول­ترین عملیات در مرحله پیش­پردازش استفادمی گردد: حذف کلمات توقف7(کلماتی که بی­معنی بوده و تاثیری در برآورد میزان ارتباط اسناد و پرس­وجوها ندارند)، انجام ریشه­یابی8(یکسان گرفتن کلماتی که ریشه مشترکی دارند)، و نادیده گرفتن بزرگ و کوچک بودن حروف9.

4،2                      انتخاب روش­های وزن­دهی پایه10

همانطور که اشاره شد روش­های وزن­دهی مختلفی در تحقیقات پیشین معرفی شده­اند. در این مرحله بایستی تعدادی از این روش­ها را به عنوان روش­های وزن­دهی پایه انتخاب کرد تا از آنها جهت ساخت وزن­های فاصله­ای لغات فرهنگ بدست­آمده، استفاده نمود. با توجه به اینکه روش­های وزن­دهی مختلف مطرح­شده در [6] که در بخش قبل شرح داده شدند از تنوع زیادی برخوردار بوده و پایه خیلی از روشهای وزن­دهی در تحقیقات بعدی بوده­اند، در این تحقیق نیز از آنها به عنوان روش­های وزن­دهی پایه استفاده شده است. البته در اینجا به مؤلفه­های فاکتور فرکانس لغت در جدول 1، مؤلفه دیگری تحت عنوان مؤلفه فرکانس لغت نرمال­شده (معمولی، نه افزایش­یافته) با فرمول  (و با نماد z) اضافه شده تا توسط آن بتوان مقدار فاکتور TF لغات هر سند را با توجه به ماکزیمم TF لغات آن سند بین 0 و 1 محدود کرد. در این صورت امکان ایجاد 24 ترکیب متنوع به عنوان روش­های وزن­دهی پایه برای لغات اسناد یا پرس­وجوها بوجود خواهد آمد که در جدول 3 قابل مشاهده هستند.

واضح است که انتخاب روش­های وزن­دهی اولیه مناسب، از اهمیت بالایی در بهبود نتایج نهایی برخوردار بوده و ممکن است در نظر گرفتن تمامی این 24 روش وزن­دهی، جهت انجام بقیه مراحل روی آنها لازم نباشد و انتخاب زیرمجموعه­ای مناسب از آنها کفایت کند. در بخش 5 آزمایشهای مختلفی در این خصوص انجام شده و انتخاب زیرمجموعه­های مختلفی مورد بحث و بررسی قرار گرفته است.

4،3                      محاسبه وزن­های پایه

در این مرحله با استفاده از روش­های مختلف وزن­دهی پایه که در مرحله قبل انتخاب شده­اند، برای هر لغت تعدادی وزن پایه و اولیه تعیین می­شود. بدین ترتیب اگر پس از انجام پیش­پردازش­ها، تعداد  لغت منحصربفرد در فرهنگ لغات وجود داشته باشد، می­توان هر سند d را در روش وزن­دهی m به صورت برداری از وزن لغات به فرم زیر نمایش داد:

(10)                 

که در آن ، تعداد اسناد در مجموعه، ، تعداد روش­های مختلف درنظر گرفته شده جهت بدست آوردن وزن­های پایه، و ، وزن پایه مربوط به لغت t در سند d طبق روش وزن­دهی پایه m می­باشد. همچنین به طریق مشابه می­توان هر پرس­وجو را در روش وزن­دهی m به صورت برداری از وزن لغات به فرم زیر نمایش داد:

(11)        

که در آن ، وزن مربوط به لغت t در آن پرس­وجو، طبق روش وزن­دهی پایه m می­باشد. 

4،4                      نرمال­سازی وزن­های پایه 

وزن­های مختلفی که در مرحله قبل برای هر لغت بدست آمد، ممکن است بسته به روش­های وزن­دهی انتخابی، مقادیر مختلفی را در بر بگیرند. مثلاٌ ممکن است وزن­های بدست آمده برای لغات طی یک روش، تماماً در بازه [0,1]، یا بازه [0.5,1] قرار گرفته، و یا مقادیری بیش از 1، یا حتی منفی را نیز در بر گیرند. بنابراین در این مرحله باید تمامی وزن­های پایه مربوط به لغات مختلف سند d را که درروش وزن­دهی m بدست آمده­اند، در بازه [0,1] نرمال­سازی کرد تا بدین­ترتیب اثر پراکندگی وزن­های روش­های مختلف برای هر لغت تعدیل گردد. نرمال­سازی می­تواند بر اساس رابطه زیر انجام شود [48]:

(12)        

جائیکه  و  به ترتیب کمترین و بیشترین مقادیر وزنی پایه مجموعه لغات در سند d، طی روش وزن­دهی m، و  وزن پایه نرمال­شده مربوط به لغت t در سند d طبق روش وزن­دهی پایه m می­باشند. به طریق مشابه بایستی وزن­های پایه بدست آمده برای لغات پرس­وجو را نیز نرمال­سازی کرد تا های مختلف برای بردار پرس­وجوی  بدست آید. توجه شود که انجام نرمال­سازی وزن­ها، به معنی 1 شدن طول بردار وزن­ها نمی­باشد. 

4،5                      محاسبه وزن فاصله­ای 

در این مرحله بایستی به طریقی مناسب با استفاده از وزن­های پایه نرمال­شده مختلفی که از روش­های مختلف وزن­دهی برای هر لغت در هر سند یا پرس­وجو بدست آمده، یک وزن فاصله­ای برای آن لغت بدست آورد. در این تحقیق این وزن­های فاصله­ای بر اساس انحراف استاندارد وزن­های مختلف در پیرامون میانگین آنها تشکیل می­شود و برای لغات اسناد مختلف طبق رابطه زیر بدست می­آیند:

(13)        

جائیکه  و  به ترتیب حد چپ و راست بازه درنظر گرفته شده برای وزن فاصله­ای، و  و  به ترتیب میانگین و انحراف استاندارد وزن­های پایه نرمال­شده مختلفی هستند که برای لغت t در سند d بدست آمده بودند و به صورت زیر محاسبه می­شوند:

(14)        

(15)        

همانطور که قبلاً اشاره شد ممکن است در برخی موارد از تمامی روش­های وزن­دهی پایه درنظر گرفته شده استفاده نشود و تنها زیرمجموعه­ای از آنها درنظر گرفته شود؛ در همین خصوص،  تعداد روش­های وزن­دهی پایه مورد استفاده می­باشد. وزن­های فاصله­ای لغات پرس­وجو (ها) نیز به طریق مشابه محاسبه می­شود.

4،6                      رتبه­بندی اسناد

پس از اینکه در مرحله قبل برای هر یک از لغات اسناد و پرس­وجوها بازه­ای از وزن­ها به عنوان وزن فاصله­ای تعیین شد، حال سوال این است که جهت رتبه­بندی اسناد، میزان ارتباط بین پرس­وجوها و اسناد چگونه باید مشخص شود؟  می بایست توجه شود که کاربر نیازهای اطلاعاتی خود را در قالب پرس­وجوی ورودی از سیستم می­خواهد و وزن لغات در آن پرس­وجو میزان اهمیت هر لغت را تعیین می­کند؛ لذا هرچه سندی حاوی لغات خواسته شده در پرس­وجو بوده و خصوصاً لغات مهمتر پرس­وجو، در آن سند وزن بیشتری داشته باشند، می­توان گفت که آن سند به پرس­وجوی خواسته شده مرتبط­تر است. برای نشان دادن این میزان ارتباط می­توان از رابطه (16) استفاده کرد. در عمل رابطه (16) مبین محاسبه میانگین وزنی بر روی لغات سند است که هدف آن برآورد یک وزن کلی برای سند در ارتباط با پرس­وجوی ورودی است. به منظور تأثیر دادن اهمیت لغات پرس­وچو، وزن این لغات نیز به عنوان ضریب وزنی در محاسبه دخالت داده شده است. در اینجا چون وزن­های محاسبه شده برای لغات به صورت فاصله­ای هستند، از روش محاسبه میانگین وزنی فاصله­ای استفاده می گردد که فرمول کلی آن در رابطه (9) آورده شد؛ کافی است برای محاسبه میزان ارتباط بین سند  و پرس­وجوی Q، در رابطه (9) وزن­های فاصله­ای لغات سند (ها) را به عنوان داده­های اصلی، و وزن­های فاصله­ای لغات پرس­وجو (ها) را به عنوان وزن­های داده­های اصلی درنظر گرفت. بدین­ترتیب داریم:

(16)        

 و  به ترتیب حد چپ (پایین) و راست (بالا) عدد فاصله­ای نتیجه شده می­باشند. با اینکه ظاهرا سری عملیات صورت و مخرج  رابطه (16) باید بر روی کل لغات () انجام شوند اما در عمل تنها کافی است که به تعداد لغات پرس­وجو (بعد از مرحله پیش­پردازش) و بر روی آنها انجام شوند، زیراکه وزن فاصله­ای لغات غیرموجود در پرس­وجو صفر بوده و در محاسبات بی­تأثیر هستند. این موضوع سرعت محاسبات را بالا می­برد.

در رابطه (16) در واقع مقدار وضعیت بازیابی (RSV) سند  به صورت یک عدد فاصله­ای محاسبه می­شود؛ پس از محاسبه RSV اسناد مختلف، برای رتبه­بندی آنها می­توان به یکی از سه روش زیر اقدام کرد:

·       رتبه­بندی اسناد بر اساس مقدار چپ (Lrank11):  در اینجا بایستی اسناد را بر اساس مقدار چپ (حد پایین) ارتباط­های بدست آمده با پرس­وجو (ها) به صورت نزولی مرتب کرد تا رتبه آنها بدست آید.

·       رتبه­بندی اسناد بر اساس مقدار راست (Rrank12): در اینجا بایستی اسناد را بر اساس مقدار راست (حد بالای) ارتباط­های بدست آمده با پرس­وجو (ها) به صورت نزولی مرتب کرد تا رتبه آنها بدست آید.

·       رتبه­بندی اسناد بر اساس مقدار نقطه میانی (Mrank13): در اینجا برای بدست آوردن رتبه اسناد، ابتدا نقطه میانی (مرکز) اعداد فاصله­ای بدست آمده به عنوان ارتباط اسناد با پرس­وجو را طبق رابطه (2) بدست آورده و سپس این مقادیر را به صورت نزولی مرتب کرده تا رتبه اسناد بدست آید.

5.        نتایج و بحث 

به دلیل محدودیت سخت­افزاری در کار بر روی مجموعه داده­های بزرگ، آزمایش­ها بر روی دو مجموعه داده محک14 Cranfield و Medline انجام شد که موضوع آنها به ترتیب در زمینه علوم مربوط به گاز و هوا15 و پزشکی می­باشد [26]. اطلاعات آماری این مجموعه­ها در جدول 2 مشاهده می­شود [6].

[1]  Term Frequency with Average Term Occurrence

[2]  Discriminative Approach

[3]  Stop-Words

[4]  Min, Max, and Mixed

[5]  Interval Numbers

[6]  Interval Weighted Average

[7]  Stop words

[8]  Stemming

[9]  Case sensitivity

[10]  Basic weighting methods

[11]  Left rank

[12]  Right rank

[13]  Midpoint rank

[14]  Benchmark

[15]  Aerodynamics

 

جدول 2. اطلاعات آماری مجموعه داده­ها (شامل میانگین طول بردار و انحراف استاندارد طول بردار) [6]

مؤلفه فرکانس لغت

وزن دودویی که در صورت حضور لغت در یک بردار، برابر 1 می­باشد (فرکانس لغت نادیده گرفته می­شود)

1.0

b

فرکانس لغت خام (تعداد دفعاتی که یک لغت در یک سند یا پرس­وجو رخ می­دهد)

tf

t

فرکانس لغت نرمال­شده افزایش­یافته1 (فاکتور tf ، توسط بیشترین مقدار tf در بردار نرمال شده، و مجددا برای قرار گرفتن بین 0.5 و 1 نرمال شده است)

 

n

مؤلفه فرکانس مجموعه

بدون تغییر در وزن؛ استفاده از مؤلفه فرکانس لغت اصلی (b، t، یا n)

1.0

x

ضرب مؤلفه tf اصلی، در یک مؤلفه فرکانس مجموعه معکوس (N تعداد کل اسناد در مجموعه، و n تعداد اسنادی است که یک لغت در آنها مشاهده شده است)

 

f

ضرب مؤلفه tf، در یک مؤلفه فرکانس مجموعه معکوس احتمالی

 

p

مؤلفه نرمال­سازی طول بردار

بدون تغییر؛ استفاده از فاکتورهای بدست آمده از فرکانس لغت و فرکانس مجموعه به تنهایی (بدون نرمال­سازی)

1.0

x

استفاده از نرمال­سازی کسینوسی؛ تقسیم هر وزن لغت w بر فاکتوری که نشان­دهنده طول بردار اقلیدسی است 

 

 

c

مجموعه داده

تعداد بردارها
(اسناد یا پرس­وجوها)

میانگین طول بردارها (تعداد لغات)

انحراف استاندارد
 طول بردارها

میانگین فرکانس
 لغات در بردارها

Cranfield

documents

queries

 

1398

225

 

53.13

9.17

 

22.53

3.19

 

1.58

1.04

Medline

documents

queries

 

1033

30

 

51.60

10.10

 

22.78

6.03

 

1.54

1.12

 

پس از انجام پیش­پردازش­های اشاره شده در بخش 4-1 بر روی هر یک از مجموعه داده­ها، آزمایش­های مختلفی در خصوص چگونگی انتخاب زیرمجموعه­های وزنی پایه برای اسناد و پرس­وجوها و انجام رتبه­بندی بر اساس روش­های پیشنهادی صورت گرفت. کارآیی روش وزن­دهی پیشنهادی براساس داوری­های اسناد مرتبط به هر پرس­وجو (که به صورت دودوئی انجام شده برای هر مجموعه داده موجود است)، و برحسب معیار میانگین متوسط دقت (MAP1) و دقت در نقطه n (P@n) ارزیابی می­شود.

·       معیار میانگین متوسط دقت (MAP): این معیار در قالب یک عدد، مؤثربودن سیستم2 را نشان داده و به طور گسترده­ای مورد استفاده قرار می­گیرد [49]. متوسط دقت (AP) ترکیبی از دقت و بازخوانی3 است که، برای یک پرس­وجو، بر روی لیست رتبه­بندی­شده اسناد، اعمال شده و به صورت زیر محاسبه می­شود [7]:

(17)        

(18)        

جائیکه  سند در رتبه r،  دقت در رتبه r، R تعداد اسناد مرتبط به پرس­وجو در مجموعه، و  داوری دودویی (0 و 1) انجام شده برای سند رتبه r از نظر داشتن ارتباط با پرس­وجو است. پس از اینکه AP برای تمامی پرس­وجوهای یک مجموعه داده بدست آمد، میانگین آنها به عنوان MAP در نظر گرفته خواهد شد، یعنی:

(19)        

جائیکه nq تعداد پرس­وجوها، و AP(q)  میانگین دقت مربوط به پرس­وجوی q است.

·       معیار دقت در نقطه n (P@n): این معیار، نسبت تعداد اسناد مرتبط را به کل اسناد در برترین n سند ارائه شده، مشخص می­کند؛ یعنی [16]:

(20)        

در اینجا معیارهای P@5، P@10، و P@20 مورد ارزیابی قرار می­گیرند.

 در ادامه آزمایش­های انجام­شده و تحلیل­های لازم شرح داده خواهد شد.

5،1                      روش­های وزن­دهی پایه

همانطور که در بخش 4-2 اشاره شد، در این تحقیق 24 روش وزن­دهی پایه درنظر گرفته شد که نهایتاً بایستی زیرمجموعه­هایی مناسب از آنها جهت اعمال روش­های پیشنهادی بر روی آنها، انتخاب شوند. در اینجا ابتدا هر یک از این روش­ها به تنهایی به عنوان روش وزن­دهی لغات اسناد و پرس­وجوها انتخاب، و وزن­های بدست آمده از هر روش طبق رابطه (12) در بازه [0,1] نرمال­سازی شدند. سپس با استفاده از فرمول مرسوم ضرب بردارهای سند و پرس­وجو در یکدیگر، شباهت و ارتباط اسناد با پرس­وجوها محاسبه و رتبه­بندی شدند. نتایج MAP هر دو مجموعه داده برای تمامی 24 روش وزن­دهی، در جداول 3 و 4 مشاهده می­شود.

اگر به نتایج جدول 3 دقت شود، نکاتی دیده می­شود که توجه به آنها می­تواند به انتخاب زیرمجموعه­هایی مناسب جهت وزن­های پایه 

[1]  Mean Average Precision

[2]  System effectiveness

[3]  Recall

 

جدول 3. روش­های وزن­دهی پایه، به همراه مقدار MAP هر روش بر روی مجموعه داده­های Cranfield و Medline

روش­های 13-24 (همراه با نرمال­سازی طول بردار)

روش­های 1-12 (بدون نرمال­سازی طول بردار)

 

24

23

22

21

20

19

18

17

16

15

14

13

12

11

10

9

8

7

6

5

4

3

2

1

شماره روش

zpc

zfc

zxc

npc

nfc

nxc

tpc

tfc

txc

bpc

bfc

bxc

zpx

zfx

zxx

npx

nfx

nxx

tpx

tfx

txx

bpx

bfx

bxx

نام سه­جزئی روش

0.39485

0.40341

0.37231

0.37956

0.38858

0.37529

0.39485

0.40341

0.3723

0.33016

0.33825

0.31775

0.37413

0.3871

0.34004

0.36607

0.37799

0.36596

0.37413

0.3871

0.34004

0.31441

0.32124

0.27119

Cranfield

0.51486

0.51525

0.46739

0.5223

0.52365

0.49619

0.51486

0.51525

0.46739

0.48214

0.48271

0.45836

0.50088

0.5018

0.44319

0.51521

0.51598

0.48157

0.50084

0.5018

0.44319

0.47297

0.47295

0.42633

Medline

 

جدول 4. بیشترین، کمترین، و میانگین مقادیر MAP بدست آمده از 24 روش وزن­دهی پایه

 

Cranfield

Medline

بیشترین

0.40341

0.52365

کمترین

0.27119

0.42633

میانگین

0.36209

0.48904

کمک کند؛ از جمله:

·       استفاده از روش­های 13-24، به دلیل نرمال بودن طول بردار وزن­ها، در تمامی موارد نسبت به استفاده از روش­های 1-12 متناظر بهتر است.

·       روش­های وزن­دهی 1 و 13 (bxx و bxc)، به دلیل دادن مقادیر وزنی بولی (0 و 1) به لغات، نسبت به سایر روش­ها نتایج ضعیف­تری دارند.

·       استفاده از مؤلفه پیشنهادی z به جای مؤلفه n در فاکتور اول (یعنی نرمال­سازی معمولی TF در وزنهای 10-12 و 22-24 به جای نرمال­سازی افزایش­یافته آن در وزنهای 7-9 و 19-21)، در مجموعه داده Cranfield باعث نتایج بهتری شده است.

·       استفاده از مؤلفه p به جای مؤلفه f در فاکتور دوم (یعنی فرکانس مجموعه معکوس احتمالی به جای فرکانس مجموعه معکوس)، در برخی موارد باعث نتایج ضعیف­تری می­شود. علت این موضوع به خاطر این است که در محاسبه مؤلفه p (یعنی )، در مواردی که برای یک لغت داریم:  ، حاصل لگاریتم و در نتیجه وزن لغت منفی می­شود؛ یعنی وزن چنین لغاتی حتی از لغاتی که اصلاً در سند وجود ندارند و وزن صفر گرفته­اند هم کمتر می­شود. با این حساب حتی پس از نرمال­سازی وزن­های پایه طبق رابطه (12) نیز این وضعیت باقی مانده و وزن این لغات از لغاتی که اصلاً در سند وجود نداشته­اند کمتر می­شود؛ بنابراین طبیعی است که در چنین مواردی، روش­های مذکور ضعیف­تر عمل کنند.

5،2                      اعمال روش پیشنهادی بر روی زیرمجموعه­هایی از وزن­های پایه

با توجه به اینکه ایده اصلی این تحقیق، تعیین وزن­های فاصله­ای برای لغات با اعمال روش پیشنهادی بر روی زیرمجموعه­ای از وزن­های پایه است که با روش­های مختلف وزن­دهی بدست آمده­اند، بر اساس مشاهدات جدول 3 و نکات برگرفته از آن که در بخش 5-1 اشاره شد، در انتخاب زیرمجموعه­های مختلف از 24 روش وزن­دهی پایه، می­توان موارد زیر را درنظر گرفت که در جدول 5 نیز با جزئیات بیشتری آورده شده­اند:

1.       درنظرگرفتن زیرمجموعه­هایی فقط از روش­های 1-12 (A1)، فقط از روش­های 13-24 (A2)، یا از روش­های 1-24 (A3)

2.       انتخاب روش­های فاقد مؤلفه z (B1)، روش­های فاقد مؤلفه n (B2)، یا روش­های شامل هر دو مؤلفه z و n (B3)

3.       انتخاب زیرمجموعه­هایی شامل روش­های 1 یا 13 (C1)، فاقد روش­های 1 و 13 (C2)، و علاوه بر کنار گذاشتن روش­های 1 و 13 فاقد مؤلفه p در فاکتور فرکانس مجموعه (C3)

در واقع برای هر یک از سه دسته از عواملی که ممکن است در انتخاب زیرمجموعه­های وزنی تأثیرگذار باشند، سه گزینه برای انتخاب در نظر گرفته و هر کدام با نمادهایی معرفی شده­اند. با در نظر گرفتن این موارد و انتخاب گزینه­های مختلف، بطورکلی امکان

جدول 5. نمادهای مورد استفاده جهت معرفی زیرمجموعه­های وزنی پایه انتخابی 

نمادهای مربوط به نرمال­سازی طول

درنظرگرفتن زیرمجموعه­هایی فقط شامل روش­های وزن­دهی پایه بدون نرمال­سازی طول (روش­های 1: bxx تا 12: zpx)

A1

درنظرگرفتن زیرمجموعه­هایی فقط شامل روش­های وزن­دهی پایه همراه با نرمال­سازی طول (روش­های13:bxc تا 24: zpc)

A2

درنظرگرفتن زیرمجموعه­هایی بدون محدودیت در این خصوص، یعنی زیرمجموعه­هایی شامل هم روش­های وزن­دهی پایه بدون نرمال­سازی طول و هم روش­های وزن­دهی پایه همراه با نرمال­سازی طول (روش­های 1: bxx تا 24: zpc)

A3

نمادهای مربوط به مؤلفه فرکانس لغت انتخابی

درنظرگرفتن زیرمجموعه­هایی فقط شامل روش­های وزن­دهی پایه که در آنها از مؤلفه z استفاده نشده (عدم استفاده از روش­های 10: zxx تا 12: zpx و 22: zxc تا 24: zpc)

B1

درنظرگرفتن زیرمجموعه­هایی فقط شامل روش­های وزن­دهی پایه که در آنها از مؤلفه n استفاده نشده (عدم استفاده از روش­های 7: nxx تا 9: npx و 19: nxc تا 21: npc)

B2

درنظرگرفتن زیرمجموعه­هایی از روش­های وزن­دهی پایه بدون محدودیت در مؤلفه فرکانس لغت مورد استفاده (یعنی در زیرمجموعه­های وزنی هم از روش­های شامل مؤلفه z می­توان استفاده کرد و هم از روش­های شامل مؤلفه n)

B3

نمادهای مربوط به استفاده از روش بولی و روش­های وزن­دهی شامل مؤلفه p فرکانس مجموعه

درنظرگرفتن زیرمجموعه­هایی از روش­های وزن­دهی پایه بدون محدودیت در این خصوص (یعنی در زیرمجموعه­های وزنی هم از روش­های وزن­دهی بولی استفاده می­شود و هم از روش­های وزن­دهی شامل مؤلفه p)

C1

درنظرگرفتن زیرمجموعه­هایی فاقد روش­های وزن­دهی پایه بولی (عدم استفاده از روش­های 1: bxx و 13: bxc)

C2

درنظرگرفتن زیرمجموعه­هایی فاقد روش­های وزن­دهی پایه بولی (روش­های 1: bxx و 13: bxc) و همچنین فاقد روش­های وزن­دهی شامل مؤلفه p فرکانس مجموعه (یعنی روش­های 3: bpx، 6: tpx، ... ، 24: zpc)

C3

انتخاب 27 زیرمجموعه مختلف از 24 روش پایه وجود دارد که در آزمایش­ها مورد بررسی و ارزیابی قرار گرفته­اند. در آزمایش­ها برای هر یک از این زیرمجموعه­ها، پس از اینکه بر اساس هر یک از روش­های وزن­دهی در زیرمجموعه، وزن­های پایه­ی لغات مختلف اسناد و پرس­وجوها طبق روابط (10) و (11) تعیین و طبق رابطه (12) در بازه [0,1] نرمال­سازی شد، بر اساس روش پیشنهادی در بخش 4-5 (رابطه (13)) وزن فاصله­ای لغات مشخص گردید و در ادامه طبق بخش 4-6 نیز بر اساس میانگین وزنی فاصله­ای (IWA)، میزان ارتباط اسناد با پرس­وجوی ورودی تعیین شد و نهایتا بر اساس یکی از روش­های سه­گانه، رتبه­بندی اسناد صورت گرفته و طبق روابط (17 تا 20) با بدست آوردن مقدار MAP و P@n، نتیجه هر روش مورد ارزیابی قرار گرفت.

جدول 6، نتایج MAP مربوط به این آزمایش­ها را بر روی تمامی 27 زیرمجموعه ممکن از وزن­های پایه، در مجموعه داده­های Cranfield و Medline، و برحسب روش­های رتبه­بندی مختلف (Lrank، Rrank، و Mrank) نشان می­دهد. در این جدول هر ردیف مربوط به یک زیرمجموعه از روش­های وزن­دهی پایه است که در سه ستون سمت چپ جدول، شرایط در نظر گرفته شده جهت انتخاب زیرمجموعه­های وزنی پایه (طبق جدول 5) برای آن ردیف معرفی شده است. بر اساس این شرایط، شماره روش­های وزنی پایه انتخابی مورد استفاده در زیرمجموعه مربوط به هر ردیف از جدول دقیقاً مشخص می­شود که در ستون چهارم جدول آورده شده است. در آزمایش­های اولیه، زیرمجموعه­های وزنی یکسانی برای اسناد و پرس­وجوها استفاده شد؛ هرچند در آزمایش­ها مشاهده شد که کنار گذاشتن روش­های وزن­دهی شامل مؤلفه p، از زیرمجموعه­های وزنی، ممکن است برای اسناد مفید باشد اما برای پرس­وجوها کارآیی سیستم را پایین می­آورد و بهتر است این روش­های وزن­دهی در زیرمجموعه­های وزنی پرس­وجوها حتماً مورد استفاده قرار گیرند؛ به همین دلیل در جدول 6 بجز در ردیف­هایی که در ستون چهارم صراحتاً برای پرس­وجوها زیرمجموعه­ی دیگری ذکر شده، در بقیه موارد از زیرمجموعه­های وزنی یکسانی برای اسناد و پرس­وجوها استفاده شده است. به این ترتیب به عنوان مثال، سطر اول جدول 6 بیان­کننده این است که اگر در تشکیل زیرمجموعه وزنی، از وزن­های پایه 1 تا 12 (A1) که نرمال­سازی طول بردار بر روی آنها انجام نشده استفاده گردد، بطوریکه فاقد روش­های وزن­دهی برگرفته از مؤلفه p بوده (B1) و شامل روش­های وزن­دهی بولی 1 یا 13 باشند (C1)، در اینصورت زیرمجموعه انتخابی مورد آزمایش شامل روش­های وزن­دهی پایه 1 تا 9 (یا به عبارتی روش­های bxx تا npx از جدول 3) خواهد بود که در شش ستون بعد نتایج MAP برای دو مجموعه داده و با استفاده از هر یک از سه روش مختلف رتبه­بندی آورده شده است. برای هر زیرمجموعه در هر مجموعه داده، بهترین روش رتبه­بندی با زمینه طوسی مشخص شده است. همچنین مقادیر ضخیم شده در هر ستون، معرف زیرمجموعه­ای است که بهترین نتیجه را برای آن روش رتبه­بندی، در آن مجموعه داده، داشته است. نتایج این جدول از جنبه­های مختلفی قابل بحث می­باشد که در ادامه به آنها اشاره خواهد شد.

جدول 6. مقدار MAP زیرمجموعه­های وزنی مختلف، در روش وزن­دهی فاصله­ای، برحسب روش­های رتبه­بندی مختلف، بر روی مجموعه داده­های Cranfield و Medline (مقادیر با زمینه طوسی، بیشترین مقدار بین سه روش رتبه­بندی در هر مجموعه داده، و مقادیر ضخیم شده، بیشترین مقدار در هر ستون هستند)

 

 

 

 

 

Cranfield

Medline

 

روش­های وزن­دهی پایه مورد استفاده در زیرمجموعه­ها

Lrank

Rrank

Mrank

Lrank

Rrank

Mrank

A1: روش­های 1-12
(بدون نرمال­سازی طول)

B1:Lacking z component

C1: including 1 or 13

1-9

0.39011

0.37461

0.39826

0.52746

0.49853

0.50996

C2: excluding 1 & 13

2-9

0.3906

0.40323

0.41824

0.53213

0.52226

0.52954

C3: excluding 1, 13 & p

2, 4-5, 7-8
(weighting subset for queries: 2-9)

0.39993

0.40205

0.41708

0.53489

0.51712

0.52864

B2:Lacking n component

C1: includ. 1 or 13

1-6, 10-12

0.37203

0.38506

0.40775

0.48264

0.50470

0.52342

C2: exclud. 1& 13

2-6, 10-12

0.38987

0.39691

0.40621

0.50438

0.52489

0.52867

C3: excluding 1, 13 & p

2, 4-5, 10-11
(queries: 2-6, 10-12)

0.39341

0.39937

0.40817

0.49997

0.51929

0.52152

B3:including either z or n component

C1: includ. 1 or 13

1-12

0.38664

0.38607

0.40842

0.51302

0.50321

0.51972

C2: exclud. 1& 13

2-12

0.39124

0.40297

0.41304

0.51917

0.52315

0.53219

C3: excluding 1, 13 & p

2, 4-5, 7-8, 10-11 (queries: 2-12)

0.39903

0.40133

0.41543

0.51639

0.51911

0.52883

A2: روش­های 13-24
(همراه با نرمال­سازی طول)

B1:Lacking z component

C1: includ. 1 or 13

13-21

0.37585

0.4279

0.43323

0.53298

0.52567

0.53798

C2: exclud. 1& 13

14-21

0.38164

0.42544

0.43235

0.53441

0.52369

0.54134

C3: excluding 1, 13 & p

14, 16-17, 19-20 (queries: 14-21)

0.39799

0.42698

0.43242

0.54313

0.52100

0.53905

B2:Lacking n component

C1: includ. 1 or 13

13-18, 22-24

0.41432

0.41927

0.4296

0.54394

0.51440

0.52886

C2: exclud. 1& 13

14-18, 22-24

0.41111

0.41623

0.42476

0.54200

0.51250

0.52594

C3: excluding 1, 13 & p

14, 16-17, 22-23

(queries:14-18, 22-24)

0.41937

0.41199

0.42236

0.54370

0.50668

0.52115

B3:including either z or n component

C1: includ. 1 or 13

13-24

0.40355

0.42435

0.43189

0.54580

0.51927

0.53597

C2: exclud. 1& 13

14-24

0.40587

0.42312

0.42951

0.54330

0.51916

0.53619

C3: excluding 1, 13 & p

14,16-17,19-20, 22-23

(queries: 14-24)

0.41538

0.42169

0.43132

0.54544

0.51471

0.53186

A3: روش­های 1-24
(شامل هر دو دسته)

B1:Lacking z component

C1: includ. 1 or 13

1-9, 13-21

0.27627

0.40487

0.41572

0.44170

0.51349

0.52107

C2: exclud. 1& 13

2-9, 14-21

0.3453

0.4219

0.42502

0.51162

0.52869

0.53113

C3: excluding 1, 13 & p

2, 4-5, 7-8, 14, 16-17, 19-20
(queries: 2-9, 14-21)

0.36303

0.42066

0.42582

0.51759

0.53063

0.53394

B2:Lacking n component

C1: includ. 1 or 13

1-6, 10-12, 13-18, 22-24

0.27118

0.41233

0.41886

0.37971

0.52262

0.53130

C2: exclud. 1& 13

2-6, 10-12, 14-18, 22-24

0.3697

0.41213

0.41721

0.49349

0.52646

0.52961

C3: excluding 1, 13 & p

2, 4-5, 10-11, 14, 16-17, 22-23 (queries:2-6, 10-12, 14-18, 22-24)

0.37933

0.41577

0.41789

0.49198

0.52300

0.52435

B3:including either z or n component

C1: includ. 1 or 13

1-24

0.29204

0.41454

0.42227

0.43006

0.52269

0.53004

C2: exclud. 1& 13

2-12, 14-24

0.35713

0.41772

0.42129

0.49790

0.52982

0.53400

C3: excluding 1, 13 & p

2, 4-5, 7-8, 10-11, 14, 16-17, 19-20, 22-23 (queries: 2-12, 14-24)

0.36831

0.4211

0.42318

0.49552

0.52915

0.53029

 

5_2_1 ارزیابی کلی نتایج

با نگاه به جدول 6، مشاهده می­شود که در مجموعه داده Creanfield، برای کلیه زیرمجموعه­ها بهترین نتایج زمانی بدست آمده است که رتبه­بندی بر اساس "مرکز" اعداد فاصله­ای مربوط به شباهت­ها (Mrank) صورت گرفته است. در مجموعه داده Medline نیز غالباً در استفاده از زیرمجموعه­هایی از A1 و A3 رتبه­بندی Mrank، و در استفاده از زیرمجموعه­هایی از A2 (که اتفاقا شامل بهترین نتیجه هم هست)، رتبه­بندی Lrank بهتر بوده است.

شکل 1 که بر اساس جدول 6 بدست آمده، مقادیر بیشترین، کمترین، و میانگین MAP تمامی 27 زیرمجموعه وزنی مختلف از روش­های وزن­دهی پایه را به ازاء هر یک از سه روش رتبه­بندی پیشنهادی (Lrank، Rrank، و Mrank)، در هر یک از مجموعه داده­های Cranfield و Medline، نشان می­دهد. در اینجا نیز از روی مقادیر میانگین نتایج در سه روش رتبه­بندی مختلف مشاهده می­شود که در هر دو مجموعه داده، بطور متوسط نتایج روش رتبه­بندی Rrank بهتر از Lrank، و روش رتبه­بندی Mrank بهتر از آن دو بوده است.

با مقایسه فواصل بین مقادیر بیشترین و کمترین، در روش­های رتبه­بندی مختلف مشاهده می­شود که در هر دو مجموعه داده، پراکندگی نتایج بدست آمده از زیرمجموعه­های وزنی مختلف، در روش رتبه­بندی Rrank کمتر از Lrank، و در روش رتبه­بندی Mrank کمتر از آن دو بوده است. این موضوع با محاسبه انحراف استاندارد نتایج نیز تایید شد، جائیکه انحراف استاندارد نتایج بدست آمده از زیرمجموعه­های وزنی مختلف، برای روش­های رتبه­بندی Lrank، Rrank، و Mrank، در مجموعه داده Cranfield، به ترتیب 0.039، 0.014، و 0.009، و در مجموعه داده Medline، به ترتیب 0.04، 0.008، و 0.007 بدست آمد. پراکندگی کمتر بدین معنی است که وابستگی نتایج به زیرمجموعه­های انتخاب­شده از وزن­های پایه، کمتر بوده و صرف­نظر از زیرمجموعه انتخابی، بیشتر می­توان به نتایج بدست آمده اطمینان کرد.

با محاسبه میانگین نتایج روش­های مختلف در هریک از مجموعه داده­ها مشاهده می­شود که میانگین نتایج روش وزن­دهی فاصله­ای، در مجموعه داده­های Cranfield و Medline، به ترتیب 0.40243 و 0.51934 می­باشد که نه تنها از میانگین نتایج روش­های وزن­دهی پایه متناظر هر مجموعه داده در جدول 5 بهتر هستند بلکه نزدیک به بیشترین مقدار این مجموعه داده­ها در جدول 5 هستند که همگی نشان­دهنده تأثیر مثبت درنظر گرفتن وزن­های فاصله­ای است.

5_2_2 اثر نرمال­سازی طول وزن­های پایه

جهت بررسی اینکه نرمال­سازی طول وزن­های پایه مورد استفاده در زیرمجموعه­های وزنی، چه تأثیری در نتایج دارد، میانگین نتایج MAP روش­های وزن­دهی در هر یک از نواحی A1، A2، و A3، برای هر یک از سه روش رتبه­بندی Lrank، Rrank، و Mrank، در هر یک از مجموعه داده­های Cranfield و Medline، در جدول 6 بدست آمد که در شکل 2 در قالب سه خط مختلف قابل مشاهده هستند.

img0img0 

        (a) Cranfield         (b) Medline

شکل 1. مقایسه بیشترین، کمترین، و میانگین MAP تمامی 27 زیرمجموعه وزنی، در روش­های رتبه­بندی مختلف جدول 6، در مجموعه داده­های Cranfield و Medline

 img0img0

        (a) Cranfield         (b) Medline

 

شکل 2. تاثیر نرمال­سازی طول: میانگین MAP زیرمجموعه­های وزنی نواحی A1، A2، و A3، در روش­های رتبه­بندی مختلف جدول 6

 

همانطور که مشاهده می­شود، در کل، نتایج بدست آمده از زیرمجموعه­های وزنی ناحیه A2 مناسب­تر از A3، و این نیز غالباً بهتر از A1 بوده است که نشان­دهنده تأثیر مثبت نرمال­سازی طول بردار وزن­های پایه مورد استفاده است. البته در روش رتبه­بندی Rrank در مجموعه داده Medline، نتایج A3 بهتر از A2 شده، اما همانطور که مشاهده می­شود و در بخش 5-2-1 نیز اشاره شد، در این مجموعه داده نتایج روش­های رتبه­بندی Lrank و Mrank مناسبتر بوده و بیشتر مدنظر هستند. همچنین مشاهده می­شود که در استفاده از زیرمجموعه­های وزنی ناحیه A2، در مجموعه داده Cranfield استفاده از روش رتبه­بندی Mrank، و در مجموعه داده Medline استفاده از روش رتبه­بندی Lrank، مناسب­تر بوده است.

5_2_3 اثر استفاده از مؤلفه­های نرمال­سازی TF مختلف، در وزن­های پایه

شکل 3 از میانگین­گیری بر روی نتایج MAP زیرمجموعه­های وزنی در هر یک از نواحی B1، B2، و B3، برای هر یک از سه روش رتبه­بندی Lrank، Rrank، و Mrank، در مجموعه داده­های Cranfield و Medline، در جدول 6 بدست آمده تا تأثیر استفاده از هر یک مشخص شود. همانطور که مشاهده می­شود، بطورکلی در هر دو مجموعه داده، استفاده از زیرمجموعه­های وزنی B1 و B3 منجر به نتایج بهتری نسبت به B2 شده است؛ یعنی بهتر است در زیرمجموعه­های انتخابی حتماً از روش­های وزن­دهی پایه شامل مؤلفه n، استفاده شود. در شکل 3 مشاهده می­شود که در هر دو مجموعه داده، در روش رتبه­بندی Mrank نتایج بهتری بدست آمده است اما اگر نتایج بدست آمده در بخش 5-2-2 نیز مدنظر قرار داده و تأثیر این مؤلفه­ها فقط در ناحیه برتر A2 مورد بررسی قرار گیرد، مشاهده می­شود که در A2، در مجموعه داده Cranfield، زیرمجموعه­های وزنی B1 در روش رتبه­بندی Mrank با میانگین 0.43267، بهترین نتایج را داده­اند. در مجموعه داده Medline، نیز با اینکه نتایج این ناحیه خوب هستند اما بهترین نتایج به ازاء زیرمجموعه­های وزنی B3 در روش رتبه­بندی Lrank با میانگین 0.54485، بدست آمده است.

5_2_4 اثر استفاده از روش­های بولی، و روش­های وزن­دهی شامل مؤلفه p

 شکل 4 از میانگین­گیری بر روی نتایج MAP زیرمجموعه­های وزنی در هر یک از نواحی C1، C2، و C3، در هر یک از سه روش رتبه­بندی Lrank، Rrank، و Mrank، برای هر دو مجموعه داده در جدول 6 بدست آمده است. همانطور که مشاهده می­شود، استفاده از روش­های وزن­دهی بولی در زیرمجموعه وزن­های پایه (C1)، در هر دو مجموعه داده باعث کاهش در نتایج MAP شده است. بعد از کنار گذاشتن روش­های وزن­دهی بولی، بطور متوسط، در مجموعه داده­های Cranfield عدم استفاده از وزن­های وزن­دهی شامل مؤلفه p فرکانس مجموعه در زیرمجموعه­های وزنی مناسب­تر است (یعنی C3 بهتر از C2)، در حالیکه در مجموعه داده Medline، بجز در روش Lrank در روش­های Rrank و Mrank برعکس است.

 

 img0img0

        (a) Cranfield         (b) Medline

 

شکل 3. تاثیر مؤلفه­های نرمال­سازی TF مختلف: میانگین MAP زیرمجموعه­های وزنی نواحی B1، B2، و B3، در روش­های رتبه­بندی مختلف جدول 6

 

در شکل 4 نیز شاید درکل، در هر دو مجموعه داده، روش رتبه­بندی Mrank نتایج بهتری داده است اما اگر با توجه به نتایج بخش 5-2-2 فقط ناحیه برتر A2 مورد بررسی قرار گیرد، مشاهده می­شود که در A2، در مجموعه داده Cranfield، زیرمجموعه­های وزنی C1 در روش رتبه­بندی Mrank با میانگین 0.43157، و در مجموعه داده Medline، زیرمجموعه­های وزنی C3 در روش رتبه­بندی Lrank با میانگین 0.54409 بهترین نتایج را داده­اند.

5_2_5 بررسی بهترین روش­ها

در جدول 6، نتایج مربوط به 81 آزمایش مختلف بر روی دو مجموعه داده آورده شد و در بخش­های قبل اثر روش­ها، پارامترها، و مؤلفه­های مختلف در این نتایج مورد بررسی و بحث قرار گرفت. اگر به پنج روش برتر در هر یک از مجموعه داده­ها که در جدول 6 زیر آنها خط کشیده شده توجه شود نیز به همان نتایجی که در بحث­های قبلی اشاره شد، رسیده و مشاهده می­گردد که:

·       در مجموعه Cranfield بهترین نتایج مربوط به استفاده از زیرمجموعه­هایی از روش­های وزن­دهی 13-24 بوده (A2) که در آنها حتماً از وزن­های پایه شامل مؤلفه n استفاده شده (B1 یا B3) و جهت رتبه­بندی نهایی از Mrank استفاده شده است. در این شرایط، استفاده از زیرمجموعه­های وزنی C1 و سپس C3 مناسب­تر بوده­اند، یعنی استفاده از وزن­های بولی و وزن­های شامل مؤلفه p در زیرمجموعه­های وزنی (C1)، یا عدم استفاده از هیچیک از آنها (C3)

  img0img0

        (a) Cranfield         (b) Medline

شکل 4. تاثیر استفاده از روش­های بولی و مؤلفه p: میانگین MAP زیرمجموعه­های وزنی نواحی C1،C2، وC3، در روش­های رتبه­بندی مختلف جدول 6

 

·       در مجموعه Medline بهترین نتایج مربوط به استفاده از زیرمجموعه­هایی از روش­های وزن­دهی 13-24 بوده (A2) که در آنها حتماً از وزن­های پایه شامل مؤلفه z استفاده شده (B2 یا B3) و جهت رتبه­بندی نهایی از Lrank استفاده شده است. در این شرایط نیز مانند Cranfield، استفاده از زیرمجموعه­های وزنی C1 و سپس C3 مناسب­تر بوده­اند.

مشاهده می­گردد که در رسیدن به بهترین نتایج، خیلی از شرایط بین دو مجموعه داده یکسان است اما به هر حال در مواردی که با هم اختلاف دارند، چه مؤلفه­ها و روش­هایی را درنظر گرفت که صرف­نظر از خصوصیات مجموعه داده، نتایج بهتری بدهد؟ برای رسیدن به پاسخ این سوال، ابتدا رتبه­ی هر یک از 81 روش مذکور در مجموعه داده مربوطه بدست آمد و سپس میانگین رتبه این روش­ها در دو مجموعه داده محاسبه و به صورت صعودی مرتب شدند تا برترین روش­ها بدست آیند. در جدول 7 میانگین رتبه­ی ده روش برتر در دو مجموعه داده مشاهده می­شود، ضمن اینکه مؤلفه­ها و روش­های بکار رفته در هر روش به همراه رتبه و MAP آنها در هر یک از مجموعه داده­ها آورده شده است. طبق جدول 7 مشاهده می­شود که:

·       در 80 درصد از ده روش برتر، از وزن­های پایه­ای با نرمال­سازی طول در زیرمجموعه­ها (A2) استفاده شده و

·       در 20 درصد، از هر دو سری وزن­های پایه­ی با نرمال­سازی طول و بدون نرمال­سازی طول (A3) استفاده شده است، اما زیرمجموعه­هایی که در آنها فقط وزن­های پایه­ی بدون نرمال­سازی طول (A1) بکار رفته باشد، مشاهده نمی­شود.

·       در 50 درصد از آنها، از وزن­های پایه فاقد مؤلفه z در فاکتور TF (زیرمجموعه­هایی از B1)، در 20 درصد از روش­ها از وزن­های فاقد مؤلفه n (زیرمجموعه­هایی از B2)، و در 30 درصد دیگر از هر دو مؤلفه (زیرمجموعه­هایی از B3) استفاده شده است.

·       30 درصد از این روش­ها، از وزن­های پایه بولی و وزن­های شامل مؤلفه p در فرکانس مجموعه (زیرمجموعه­هایی از C1) استفاده کرده­­اند، در 30 درصد، بدون استفاده از وزن­های بولی، از وزن­های پایه شامل مؤلفه p در فرکانس مجموعه (زیرمجموعه­هایی از C2) استفاده شده و در 40 درصد باقیمانده علاوه بر عدم استفاده از وزن­های بولی، از روش­های فاقد مؤلفه p (زیرمجموعه­هایی از C3) استفاده شده است.

 

 

 

 

 

جدول 7. روش­های برتر وزن­دهی و بازیابی، به همراه رتبه و مقدار MAP هر یک در هر مجموعه داده و متوسط رتبه آنها در دو مجموعه

 

Methods

 

Rank / MAP

 

Mean rank for 2 datasets

 

Length Normalization

Using n & z components

Using p components

Ranking Method

Cranfield

Medline

1

A2

B1

C1

Mrank

1 /

0.43323

10  /

0.53798

5.5

1

A2

B1

C2

Mrank

3 /

0.43235

8 /

0. 54134

5.5

1

A2

B1

C3

Mrank

2 /

0.43242

9 /

0.53905

5.5

4

A2

B3

C1

Mrank

4 /

0.43189

12 /

0.53597

8

5

A2

B3

C2

Mrank

7 /

0.42951

11 /

0.53619

9

6

A2

B3

C3

Mrank

5/

0.43132

20/

0.53186

12.5

7

A3

B1

C3

Mrank

10 /

0.42582

16 /

0.53394

13

8

A2

B2

C3

Lrank

24 /

0.41937

4 /

0.54370

14

9

A3

B1

C2

Mrank

12 /

0.42502

22 /

0.53113

17

10

A2

B2

C1

Mrank

6 /

0.4296

30 /

0.52886

18

 

·       در 90 درصد از موارد از روش رتبه­بندی Mrank، و در 10درصد از روش Lrank استفاده شده است، اما در هیچیک از ده روش برتر از روش رتبه­بندی Rrank استفاده نشده است.

با توجه به جدول 7 و بررسی­های فوق، می­توان گفت که بطورکلی در روش پیشنهادی با 24 روش وزن­دهی پایه در نظر گرفته شده، استفاده از زیرمجموعه­هایی از وزن­های پایه که نرمال­سازی طول روی آنها انجام شده (A2)، فاقد مؤلفه z در فاکتور TF هستند (B1)، در کنار استفاده از روش رتبه­بندی Mrank مناسب­تر است. با نگاه به شرایط سه سطر اول جدول 7، مشاهده می­شود که استفاده یا عدم استفاده از وزن­های بولی و وزن­های پایه شامل مؤلفه p در فرکانس مجموعه (Ciهای مختلف)، تأثیری در میانگین رتبه­های آنها نداشته است؛ با این وجود با توجه به شکل 4، در روش رتبه­بندی Mrank، شاید عدم استفاده از وزن­های بولی (C2) نتایج بهتری را داشته باشد.

5_2_6 بررسی معیار P@n

باید توجه داشت که اکثر کاربران موتورهای جستجو تنها نتایج ابتدای لیست اسناد برگشتی را بررسی کرده و برای 80 درصد آنها تنها سه نتیجه برگشتی ابتدایی جالب می­باشد [50]. برای بررسی نتایج از این نقطه نظر، در جدول 8 مقادیر معیارهای P@5، P@10، و P@20، برای وزن­های پایه 13 تا 24 (که زیرمجموعه­های انتخابی از آنها در بخش قبل مناسب­تر تشخیص داده شدند)، و در جدول 9 مقادیر این معیارها برای وزن­های فاصله­ای بدست آمده از زیرمجموعه­های مختلف وزن­های 13 تا 24، به ازاء روش­های رتبه­بندی مختلف، در دو مجموعه داده Cranfield و Medline  آورده شده است. 

 

 

 

 

جدول 8. مقادیر دقت در برترین 5، 10، و 20 سند ارائه شده، به ازاء روش­های وزن­دهی پایه 13 تا 24، در هر مجموعه داده

 

شماره و نام سه جزئی روش  

Cranfield

Medline

 

P@5

P@10

P@20

P@5

P@10

P@20

روش­های 13-24 (همراه با نرمال­سازی طول)

13

bxc

0.33956

0.24444

0.16378

0.72667

0.58000

0.46333

14

bfc

0.34933

0.25600

0.16911

0.63333

0.58333

0.51167

15

bpc

0.34311

0.24978

0.16667

0.64000

0.58667

0.50667

16

txc

0.39200

0.27733

0.18378

0.67333

0.57000

0.46833

17

tfc

0.42756

0.30311

0.20111

0.66667

0.60333

0.53333

18

tpc

0.41244

0.29778

0.19622

0.66000

0.60667

0.53333

19

nxc

0.40978

0.28222

0.18267

0.72667

0.61667

0.50000

20

nfc

0.41067

0.28756

0.18711

0.67333

0.63667

0.53500

21

npc

0.40267

0.28533

0.18400

0.67333

0.63333

0.53833

22

zxc

0.39200

0.27733

0.18378

0.67333

0.57000

0.46833

23

zfc

0.42756

0.30311

0.20111

0.66667

0.60333

0.53333

24

zpc

0.41244

0.29778

0.19622

0.66000

0.60667

0.53333

بیشترین مقدار  

0.42756

0.30311

0.20111

0.72667

0.63667

0.53833

میانگین مقادیر  

0.39326

0.28015

0.18463

0.67278

0.59972

0.51042

 

همانگونه که در جداول 8 و 9 مشاهده می­شود، در وزن­های فاصله­ای نیز مانند وزن­های پایه، مقادیر دقت در nهای کوچکتر که بیشتر مورد توجه کاربران است، بالاتر می­باشد. همچنین در مقایسه جداول 6 و 9، مشاهده می­گردد که در معیار P@n نیز مانند معیار MAP در مجموعه داده Cranfield نتایج رتبه­بندی بر اساس Mrank، و در مجموعه داده Medline نتایج رتبه­بندی بر اساس Lrank مناسب­تر بوده است. با مقایسه جداول 8 و 9 می­توان متوجه شد که میانگین مقادیر بدست آمده از زیرمجموعه­های مختلف در روش وزن­دهی فاصله­ای، به ازاء هر یک از روش­های رتبه­بندی، از میانگین روش­های وزن­دهی پایه­ی مربوطه بهتر شده است. در روش وزن­دهی فاصله­ای، در مجموعه داده Cranfield، مقادیر میانگین Mrank (و در مجموعه داده Medline، مقادیر میانگین Lrank) حتی از بیشترین مقادیر معادل در جدول 8 هم بهتر شده­اند. با مقایسه نتایج MAP جدول 6 با جداول 4 و 5 نیز مشاهده می­گردد که نه تنها میانگین نتایج روش­های پیشنهادی مختلف در این تحقیق از میانگین نتایج استفاده از هر یک از وزن­های پایه به تنهایی، با اختلاف بهتر است، بلکه نتایج MAP روش پیشنهادی از اکثر نتایج روش­های وزن­دهی پایه در جدول 4 نیز بهتر شده است. بنابراین بر اساس هر دو معیار، اثربخشی ایجاد وزن­های فاصله­ای بر اساس وزن­های پایه، نسبت به استفاده از هر یک از وزن­های پایه به تنهایی،کاملاً مشهود می­باشد. همچنین باید توجه داشت که محاسبه وزن­های پایه اولیه مورد نظر و محاسبه وزن­های فاصله­ای برای لغات مختلف اسناد، به صورت آفلاین صورت گرفته و در زمان ورود یک پرس­وجوی جدید، تنها محاسبه میزان ارتباط آن با اسناد مختلف (آن هم فقط بر اساس لغات درون پرس­وجو) انجام می­گیرد؛ بنابراین روش پیشنهادی ضمن افزایش دقت، از روشی ساده استفاده کرده و افزایش پیچیدگی و زمان اجرا را به همراه ندارد.

 

 

 

 

 

جدول 9. مقادیر دقت در برترین 5، 10، و 20 سند ارائه شده، برای زیرمجموعه­های مختلف از روش­های وزن­دهی پایه 13 تا 24، در روش وزن­دهی فاصله­ای، برحسب روش­های رتبه­بندی مختلف، در هر مجموعه داده (مقادیر با زمینه طوسی، بیشترین مقدار بین سه روش رتبه­بندی، و مقادیر ضخیم شده، بیشترین مقدار در هر ستون هستند)

 

روش­های وزن­دهی پایه مورد استفاده در زیرمجموعه­ها

روش  رتبه­بندی

Cranfield

Medline

 

P@5

P@10

P@20

P@5

P@10

P@20

A2: روش­های 13-24 (همراه با نرمال­سازی طول)

13-21

(B1.C1)

 

Lrank

0.40356

0.28400

0.18622

0.72667

0.64000

0.53833

Rrank

0.45244

0.31200

0.20533

0.71333

0.64667

0.54000

Mrank

0.45600

0.31467

0.20667

0.72667

0.65000

0.54000

14-21

(B1.C2)

 

Lrank

0.41067

0.28489

0.18600

0.71333

0.65000

0.54167

Rrank

0.44711

0.31067

0.20667

0.69333

0.64333

0.54333

Mrank

0.46044

0.31200

0.20756

0.72000

0.66000

0.53667

14, 16-17, 19-20

(queries: 14-21)

(B1.C3) 

Lrank

0.41422

0.29333

0.19556

0.72667

0.65333

0.54667

Rrank

0.44889

0.31111

0.20533

0.70667

0.64000

0.53167

Mrank

0.45778

0.31511

0.20844

0.74000

0.64333

0.54000

13-18, 22-24

(B2.C1)

 

Lrank

0.44533

0.30489

0.19867

0.72667

0.65667

0.54833

Rrank

0.44178

0.31156

0.20444

0.70667

0.62333

0.53000

Mrank

0.45778

0.31244

0.20933

0.71333

0.63333

0.53833

14-18, 22-24

(B2.C2)

 

Lrank

0.44089

0.30311

0.19689

0.73333

0.65667

0.55667

Rrank

0.43822

0.30978

0.20400

0.70000

0.63000

0.52667

Mrank

0.45067

0.31067

0.20644

0.70000

0.63667

0.53500

14, 16-17, 22-23

(queries: 14-18, 22-24)

(B2.C3) 

Lrank

0.44267

0.30933

0.20422

0.74667

0.65333

0.55667

Rrank

0.43733

0.30311

0.20311

0.71333

0.61667

0.52167

Mrank

0.44711

0.31067

0.20622

0.71333

0.64333

0.53000

13-24

(B3.C1)

 

Lrank

0.42578

0.29822

0.19356

0.74667

0.65667

0.55333

Rrank

0.44622

0.31422

0.20378

0.70667

0.62667

0.53167

Mrank

0.45600

0.31600

0.20933

0.72667

0.64667

0.53667

14-24

(B3.C2)

 

Lrank

0.43467

0.29600

0.19556

0.72667

0.65667

0.55667

Rrank

0.44711

0.31378

0.20489

0.70000

0.61667

0.53500

Mrank

0.45689

0.31244

0.20822

0.71333

0.65000

0.53833

14, 16-17, 19-20, 22-23

(queries: 14-24)

(B3.C3) 

Lrank

0.43733

0.30089

0.20333

0.73333

0.66000

0.55167

Rrank

0.44178

0.30889

0.20533

0.70000

0.63333

0.53333

Mrank

0.45422

0.31022

0.20911

0.72667

0.64333

0.53333

میانگین مقادیر Lrank  

0.42835

0.29719

0.19556

0.73111

0.65370

0.55000

میانگین مقادیر Rrank  

0.44454

0.31057

0.20477

0.70444

0.63074

0.53259

میانگین مقادیر Mrank  

0.45521

0.31269

0.20793

0.72000

0.64519

0.53648

 

5،3                      مقایسه با دیگر روش­ها

جهت مقایسه با دیگر روش­های وزن­دهی، مقالات زیادی مورد بررسی قرار گرفتند؛ در برخی از مقالات معیار MAP مدنظر نبوده و در برخی نیز نتایج بر اساس انجام آزمایش بر روی گزیده­ای از پرس­وجوها (نه تمامی آنها) ارائه شده است و امکان مقایسه وجود نداشت. در جدول 10، بهترین نتایج روش پیشنهادی در بین ترکیبات مختلف پارامترهای بررسی شده برای تعیین وزن­های فاصله­ای لغات، که در واقع مربوط به بهترین ترکیب در هر مجموعه داده هستند، به همراه نتایج ترکیب بهینه بر روی هر دو مجموعه داده (A2, B1­, C2, Mrank) که در بخش 5-2-5 مشخص شد، آورده شده است. این نتایج با بهترین نتایج روش بهترین تطابق BM25 [7] و [26]، روش وزن­دهی فرکانس لغت همراه با میانگین رویداد لغت (TF-ATO) در دو حالت عدم استفاده و استفاده از روش متمایزکننده (DA) به منظور حذف وزن­های کم ارزش از اسناد [8]، و مدل­های زبانی سند  و  در فرآیند Pólya [32]، مقایسه شده است. به دلیل موجود نبودن مقادیر P@n در این مقالات، امکان مقایسه از منظر این معیار میسر نبود.

جدول 10. مقایسه مقدار MAP روش پیشنهادی با دیگر روش­ها

همانگونه که مشاهده می­شود، در هر دو مجموعه داده Cranfield و Medline، نه فقط بهترین نتایج بدست آمده در روش پیشنهادی، بلکه نتایج ترکیب بهینه بدست آمده نیز از نتایج تمامی دیگر روش­ها بهتر شده است که این نشان­دهنده تأثیر مثبت استفاده از وزن­دهی فاصله­ای در روش پیشنهادی است.

6.       نتیجه­گیری

در این تحقیق نشان داده شد که می­توان به جای درنظر گرفتن یک مقدار وزنی برای لغات اسناد و پرس­وجوها، از تمامی وزن­هایی که توسط تعدادی روش وزن­دهی مختلف تعیین شده به عنوان وزن­های پایه بهره برد و به روشی ساده و به صورت آفلاین، یک فاصله (بازه) وزنی برای لغات بدست آورد که بدون افزایش پیچیدگی و زمان اجرا، باعث دقت می­شود. در این مقاله 24 روش وزن­دهی پایه درنظر گرفته شد که از نظر مؤلفه­های بکار رفته در فاکتور فرکانس لغت، فاکتور مجموعه، و فاکتور نرمال­سازی طول بردار وزنی، تفاوت­هایی با هم داشتند؛ بر این اساس، آزمایش­های مختلفی صورت گرفت تا در کنار بررسی سه روش رتبه­بندی مختلف، تأثیر بکارگیری مؤلفه­های مختلف فاکتورهای فوق را در وزن­های پایه بررسی کرده، تا بتوان بهترین زیرمجموعه­های وزنی از 24 روش وزن­دهی پایه را جهت ایجاد وزن­های فاصله­ای تعیین کرد. در این بررسی­ها نتایج زیر بدست آمد:

·       در مجموعه داده Cranfield، بهترین نتایج مربوط به استفاده از زیرمجموعه­هایی از روش­های وزن­دهی پایه است که نرمال­سازی طول بردار روی آنها انجام شده و در آنها حتماً از وزن­های پایه شامل مؤلفه n استفاده شده، و جهت رتبه­بندی نهایی از روش Mrank استفاده شده است. در این شرایط، استفاده از وزن­های بولی و وزن­های شامل مؤلفه p در زیرمجموعه­های وزنی، و سپس عدم استفاده از هیچیک از آنها در زیرمجموعه­های وزنی، مناسب­تر بوده­اند.

·       در مجموعه Medline نیز بهترین نتایج مربوط به استفاده از زیرمجموعه­هایی از روش­های وزن­دهی پایه است که نرمال­سازی طول بردار روی آنها انجام شده، اما در آنها باید حتماً از وزن­های پایه شامل مؤلفه z استفاده شده و جهت رتبه­بندی نهایی از Lrank استفاده شده باشد. در این شرایط نیز مانند Cranfield، استفاده از وزن­های بولی و وزن­های شامل مؤلفه p در زیرمجموعه­های وزنی، و سپس عدم استفاده از هیچیک از آنها در زیرمجموعه­های وزنی، مناسب­تر بوده­اند.

در آزمایش­های انجام شده مشخص شد که استفاده از وزن­های فاصله­ای می­تواند باعث بهبود اثربخشی بازیابی اطلاعات متنی نسبت به هریک از وزن­های پایه شود. با بررسی که بر روی ده ترکیب برتر در بین ترکیب­های مورد آزمایش صورت گرفت، مشخص شد که صرف­نظر از خصوصیات مجموعه داده­ها، جهت ایجاد زیرمجموعه­های وزنی و بدست آوردن بهترین نتایج، استفاده از شرایط زیر مناسب­تر است: 

·       استفاده از زیرمجموعه­هایی از وزن­های پایه که نرمال­سازی طول روی بردار وزنی آنها صورت گرفته است.

·       استفاده از زیرمجموعه­هایی از وزن­های پایه که فاقد مؤلفه z در فاکتور TF هستند.

·       استفاده از روش رتبه­بندی Mrank جهت رتبه­بندی میزان ارتباط اسناد مختلف با یک پرس­وجو.

·       در شرایط فوق، هرچند استفاده یا عدم استفاده از وزن­های بولی و وزن­های پایه شامل مؤلفه p فرکانس مجموعه، تأثیر زیادی در نتایج ندارد، اما شاید عدم استفاده از وزن­های بولی مناسب­تر باشد.

در تحقیقات آتی می­توان بر روی دیگر روش­های وزن­دهی پایه و دیگر مجموعه داده­ها، آزمایش­ها را انجام داده و در کنار آن بر روی دیگر روش­ها یا فاکتورها در تعیین زیرمجموعه­های وزنی، تعیین وزن­های فاصله­ای و غیره کار کرد.

مراجع

 

 

روش/مدل

مجموعه داده

Cranfield

Medline

Wistchel [7]

BM25

0.416

0.509

Cummins [26]

BM25

0.4223

0.5343

Ibrahim and Landa-Silva [8]

TF-ATO
without DA

0.3547

-

TF-ATO
with DA

0.3998

-

Cummins [32]

 

0.427

0.523

 

0.432

0.533

روش پیشنهادی

بهترین نتایج بین 
روش­های مختلف

0.43323

0.54580

ترکیب بهینه پارامترها
 (A2,B1­,C2,Mrank)

0.43235

0.54134

[1]

S. Marrara, G. Pasi and M. Viviani, "Aggregation operators in information retrieval," Fuzzy Sets and Systems, vol. 324, pp. 3-19, 2017.

[2]

D. H. Kraft and E. Colvin, Fuzzy Information Retrieval, North Carolina: Morgan and Claypool, 2017.

[3]

D. H. Kraft, E. Colvin, G. Bordogna and G. Pasi, "Fuzzy information retrieval systems: A historical perspective," in Fifty Years of Fuzzy Logic and its Applications, Springer, Cham, 2015, pp. 267-296.

[4]

H. P. Luhn, "The automatic creation of literature abstracts," IBM Journal of research and development, vol. 2, no. 2, pp. 159-165, 1958.

[5]

P. Switzer, "Vector Images in Document Retrieval," in Statistical Association Methods for Mechanized Documentation: Symposium Proceedings, Washington, 1964.

[6]

G. Salton and C. Buckley, "Term-weighting approaches in automatic text retrieval," Information processing & management, vol. 24, no. 5, pp. 513-523, 1988.

[7]

R. Cummins, The evolution and analysis of term-weighting schemes in information retrieval, Galway: National University of Ireland, 2008.

[8]

O. A. S. Ibrahim and D. Landa-Silva, "Term frequency with average term occurrences for textual information retrieval," Soft Computing, vol. 20, no. 8, pp. 3045-3061, 2016.

[9]

K. Goslin and M. Hofmann, "A Wikipedia powered state-based approach to automatic search query enhancement," Information Processing & Management, vol. 54, no. 4, pp. 726-739, 2018.

[10]

K. Chen, Z. Zhang, J. Long and H. Zhang, "Turning from TF-IDF to TF-IGM for term weighting in text classification," Expert Systems with Applications, vol. 66, pp. 245-260, 2016.

[11]

S. Plansangket, New weighting schemes for document ranking and ranked query suggestion, PhD diss., University of Essex, 2017.

[12]

D. Kandé, R. M. Marone, S. Ndiaye and F. Camara, "A Novel Term Weighting Scheme Model," in Proceedings of the 4th International Conference on Frontiers of Educational Technologies(ICFET 18), Moscow, 2018.

[13]

T. Dogan and A. K. Uysal, "Improved inverse gravity moment term weighting for text classification," Expert Systems with Applications, vol. 130 , pp. 45-59, 2019.

[14]

S. Balbi, M. Misuraca and G. Scepi, "Combining different evaluation systems on social media for measuring user satisfaction," Information Processing & Management, vol. 54, no. 4, pp. 674-685, 2018.

[15]

H. Li, "Learning to rank for information retrieval and natural language processing," Synthesis Lectures on Human Language Technologies, vol. 4, no. 1, pp. 1-113, 2011.

[16]

S. Gugnani, T. Bihany and R. K. Roul, "A complete survey on web document ranking," International Journal of Computer Applications (975 8887), vol. ICACEA, no. 2, pp. 1-7, 2014.

[17]

A. H. Keyhanipour, M. Piroozmand and K. Badie, "A GP-adaptive web ranking discovery framework based on combinative content and context features," Journal of Informetrics, vol. 3, no. 1, pp. 78-89, 2009.

[18]

E. Goldberg, "Statistical machine". U.S. Patent 183 838 929-1931, 1931.

[19]

J. E. Holmstrom, "Section III. Opening plenary session," in The Royal Society Scientific Information Conference, London, U.K., 1948.

[20]

H. F. Mitchell Jr, "The use of the univ AC FAC-tronic system in the library reference field," American Documentation, vol. 4, no. 1, pp. 16-17, 1953.

[21]

M. Taube, C. D. Gull and I. S. Wachtel, "Unit terms in coordinate indexing," American Documentation, vol. 3, no. 4, pp. 213-218, 1952.

[22]

H. P. Luhn, "A statistical approach to mechanized encoding and searching of literary information," IBM Journal of research and development, vol. 1, no. 4, pp. 309-317, 1957.

[23]

K. S. Jones, Information retrieval experiment, Newton, MA: Butterworth-Heinemann, 1981.

[24]

S. E. Robertson, "The probability ranking principle in IR," Journal of documentation, vol. 33, no. 4, pp. 294-304, 1977.

[25]

M. Sanderson and W. B. Croft, "The history of information retrieval research," Proceedings of the IEEE, vol. 100, no. Special Centennial Issue, pp. 1444-1451, 2012.

[26]

H. F. Witschel, "Global term weights in distributed environments," Information Processing & Management, vol. 44, no. 3, pp. 1049-1061, 2008.

[27]

Y. Gupta, A. Saini and A. K. Saxena, "A new fuzzy logic based ranking function for efficient information retrieval system," Expert Systems with Applications, vol. 42, no. 3, pp. 1223-1234, 2015.

[28]

A. I. Kadhim, "Term Weighting for Feature Extraction on Twitter: A Comparison Between BM25 and TF-IDF," in International Conference on Advanced Science and Engineering (ICOASE), 2019.

[29]

C. Kamphuis, A. P. de Vries, L. Boytsov and J. Lin, "Which BM25 Do You Mean? A Large-Scale Reproducibility Study of Scoring Variants," in European Conference on Information Retrieval, Cham, 2020.

[30]

J. M. Ponte and W. B. Croft, "A language modeling approach to information retrieval," in In Proceedings of the 21st annual international ACM SIGIR conference on Research and development in information retrieval, 1998.

[31]

C. Zhai and J. Lafferty, "A study of smoothing methods for language models applied to information retrieval," ACM Transactions on Information Systems (TOIS), vol. 22, no. 2, pp. 179-214, 2004.

[32]

R. Cummins, Modelling Word Burstiness in Natural Language: A Generalised Polya Process for Document Language Models in Information Retrieval, arXiv preprint arXiv:1708.06011, 2017.

[33]

R. Cummins, J. H. Paik and Y. Lv, "A Pólya urn document language model for improved information retrieval," ACM Transactions on Information Systems (TOIS), vol. 33, no. 4, p. 21, 2015.

[34]

G. Salton, Automatic Information Organization and Retrieval, New York: McGraw-Hill, 1968.

[35]

K. Sparck Jones, "A statistical interpretation of term specificity and its application in retrieval," Journal of documentation, vol. 28, no. 1, pp. 11-21., 1972.

[36]

G. Salton and C.-S. Yang, "On the specification of term values in automatic indexing," Journal of documentation, vol. 29, no. 4, pp. 351-372, 1973.

[37]

G. Salton, A. Wong and C.-S. Yang, "A vector space model for automatic indexing," Communications of the ACM, vol. 18, no. 11, pp. 613-620, 1975.

[38]

F. S. Al-Anzi, D. AbuZeina and S. Hasan, "Utilizing standard deviation in text classification weighting schemes," Int J Innov Comput Inf Control, vol. 13, no. 4, pp. 1385-1398, 2017.

[39]

J. Beel, S. Langer and B. Gipp, "Tf-iduf: A novel term-weighting scheme for user modeling based on users’ personal document collections," in iConference 2017, Wuhan, China, 2017.

[40]

L. Bernauer, E. J. Han and S. Y. Sohn, "Term discrimination for text search tasks derived from negative binomial distribution," Information Processing & Management, vol. 54, no. 3, pp. 370-379, 2018.

[41]

R. Lakshmi and S. Baskar, "Novel Term Weighting Schemes for Document Representation based on Ranking of Terms and Fuzzy Logic with Semantic Relationship of Terms," Expert Systems with Applications, vol. 137, pp. 493-503, 2019.

[42]

F. Carvalho and G. P. Guedes, TF-IDFC-RF: A Novel Supervised Term Weighting Scheme, arXiv preprint arXiv:2003.07193, 2020.

[43]

W. B. Frakes and R. Baeza-Yates, Eds., Information retrieval: Data structures & algorithms, vol. 331, Englewood Cliffs, NJ: prentice Hall, 1992.

[44]

G. Bordogna and G. Pasi, "Controlling retrieval through a user-adaptive representation of documents," International Journal of Approximate Reasoning, vol. 12, no. 3-4, pp. 317-339, 1995.

[45]

D. H. Kraft, G. Bordogna and G. Pasi, "An extended fuzzy linguistic approach to generalize Boolean information retrieval," Information Sciences-Applications, vol. 2, no. 3, pp. 119-134, 1995.

[46]

Y. Y. Yao, "Interval-set algebra for qualitative knowledge representation," in Proceedings of ICCI'93: 5th International Conference on Computing and Information, 1993.

[47]

J. M. Mendel and D. Wu, Perceptual computing: Aiding people in making subjective judgments, vol. 13, John Wiley & Sons, 2010.

[48]

J. Han, J. Pei and M. Kamber, Data mining: concepts and techniques, Elsevier, 2011.

[49]

A. Turpin and F. Scholer, "User performance versus precision measures for simple search tasks," in In Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval, 2006.

[50]

R. Baeza-Yates and B. Ribeiro-Neto, Modern Information Retrieval: the concepts and technology behind search, 2 ed., Harlow: England: Pearson Education Ltd., 2011.

 

 

 

 

Proposing an Information Retrieval Model Using Interval Numbers

 

Abstract:

Recent expansions of web demands for more capable information retrieval systems that more accurately address the users' information needs. Weighting the words and terms in documents plays an important role in any information retrieval system. Various methods for weighting the words are proposed, however, it is not straightforward to assert which one is more effective than the others. In this paper, we have proposed a method that calculates the weights of the terms in documents and queries as interval numbers. The interval numbers are derived by aggregating the crisp weights that are calculated by exploiting the existing weighting methods. The proposed method, calculates an interval number as the overall relevancy of each document with the given query. We have discussed three approaches for ranking the interval relevancy numbers. In the experiments we have conducted on Cranfield and Medline datasets, we have studied the effects of weight normalization, use of variations of term and document frequency and have shown that appropriate selection of basic term weighting methods in conjunction with their aggregation into an interval number would considerably improve the information retrieval performance. Through appropriate selection of basic weighting methods we have reached the MAP of 0.43323 and 0.54580 on the datasets, respectively. Obtained results show that he proposed method, outperforms the use of any single basic weighting method and other existing complicated weighting methods.

 

Keywords: Textual information retrieval, Documentt ranking, Term weighting, Interval numbers, Interval weight

71


Rimag

Rimag is an integrated platform to accomplish all scientific journal requirements such as submission, evaluation, reviewing, editing, DOI assignment and publishing in the web.

Links

Related Centers

Technical Support

Official pages

The rights to this website are owned by the Raimag Press Management System.
Copyright © 2017-2024

Home| Login| About Rimag| Contact Us|
[فارسی] [العربية] [fa] [ar]