با پیدایش روشهای یادگیری عمیق، مدلهای دنباله به دنباله با هدف ترجمه ماشینی یک جمله مبدأ به یک جمله مقصد ارائه شدند و از همین ایده برای ترجمه یا تبدیل یک متن به شکل خلاصهشده آن استفاده گردیده است. خلاصههایی که به این روش تولید میشوند از نظر ساختاری خواناتر بوده و مع أکثر
با پیدایش روشهای یادگیری عمیق، مدلهای دنباله به دنباله با هدف ترجمه ماشینی یک جمله مبدأ به یک جمله مقصد ارائه شدند و از همین ایده برای ترجمه یا تبدیل یک متن به شکل خلاصهشده آن استفاده گردیده است. خلاصههایی که به این روش تولید میشوند از نظر ساختاری خواناتر بوده و معمولاً معنای کاملی را به خواننده منتقل میکنند. در چنین ساختارهایی برای بازنمایی معنایی واژهها از بردارهای جانمایی کلمات استفاده میشود که در آن، وزن هر کلمه با توجه به کلمات مجاور آن از یک پیکره بزرگ آموزش داده میشود. در حالت کلی وزن این بردارها با انتخاب یک پنجره مجاورت برای هر کلمه بهدست میآید؛ اما در مدلهای زبانی بافتاری مانند برت برای محاسبه وزن این کلمات از مبدلهای چندلایه استفاده میشود که به تمامی کلمات موجود در متن توجه میکنند. تاکنون مقالات متعددی نشان دادهاند که مدلهای زبانی بافتاری بهدلیل قابلیت ریزتنظیم وزنها برای انجام یک وظیفه پردازش زبان طبیعی خاص، موفقتر از سایر روشهای جانمایی کلمات عمل میکنند؛ اما بررسی عملکرد وزن اولیه این مدلها برای کاربست در تولید عنوان در زبان فارسی مورد توجه قرار نگرفته است.
در این مقاله به بررسی رفتار جانمایی کلمات بهصورت پیشآموزشدادهشده و بدون ریزتنظیم آنها در تولید عنوان از متون فارسی میپردازیم. برای یادگیری مدل از «علمنت» که یک پیکره فارسی شامل حدود 350 هزار جفت چکیده و عنوان مقالات علمی میباشد، استفاده شده است. نتایج نشان میدهند استفاده از مدل برت حتی بدون ریزتنظیم وزنهای آن در بهبود کیفیت عناوین فارسی تولیدشده تأثیرگذار بوده و معیار 1-ROUGE را در فارسی به 42% میرساند که بهتر از سایر مدلهای جانمایی است.
تفاصيل المقالة
با گسترش وب و در دسترس قرار گرفتن حجم زیادی از اطلاعات در قالب اسناد متنی، توسعه سیستمهای خودکار خلاصهسازی متون بهعنوان یکی از موضوعات مهم در پردازش زبانهای طبیعی در مرکز توجه محققان قرار گرفته است. البته با معرفی روشهای یادگیری عمیق در حوزه پردازش متن، خلاصهساز أکثر
با گسترش وب و در دسترس قرار گرفتن حجم زیادی از اطلاعات در قالب اسناد متنی، توسعه سیستمهای خودکار خلاصهسازی متون بهعنوان یکی از موضوعات مهم در پردازش زبانهای طبیعی در مرکز توجه محققان قرار گرفته است. البته با معرفی روشهای یادگیری عمیق در حوزه پردازش متن، خلاصهسازی متون نیز وارد فاز جدیدی از توسعه شده و در سالهای اخیر نیز استخراج خلاصه چکیدهای از متن با پیشرفت قابلتوجهی مواجه شده است. اما میتوان ادعا کرد که تاکنون از همه ظرفیت شبکههای عمیق برای این هدف استفاده نشده است و نیاز به پیشرفت در این حوزه توأمان با در نظر گرفتن ویژگیهای شناختی همچنان احساس میشود. در این راستا، در این مقاله یک مدل دنبالهای مجهز به سازوکار توجه کمکی برای خلاصهسازی چکیدهای متون معرفی شده است که نهتنها از ترکیب ویژگیهای زبانی و بردارهای تعبیه بهعنوان ورودی مدل یادگیری بهره میبرد بلکه برخلاف مطالعات پیشین که همواره از سازوکار توجه در بخش کدگذار استفاده میکردند، از سازوکار توجه کمکی در بخش کدگذار استفاده میکند. به کمک سازوکار توجه کمکی معرفیشده که از سازوکار ذهن انسان هنگام تولید خلاصه الهام میگیرد، بجای اینکه کل متن ورودی کدگذاری شود، تنها قسمتهای مهمتر متن کدگذاری شده و در اختیار کدگشا برای تولید خلاصه قرار میگیرند. مدل پیشنهادی همچنین از یک سوئیچ به همراه یک حد آستانه در کدگشا برای غلبه بر مشکل با کلمات نادر بهره میبرد. مدل پیشنهادی این مقاله روی دو مجموعه داده CNN/Daily Mail و DUC-2004 مورد آزمایش قرار گرفت. بر اساس نتایج حاصل از آزمایشها و معیار ارزیابی ROUGE، مدل پیشنهادی از دقت بالاتری نسبت به سایر روشهای موجود برای تولید خلاصه چکیدهای روی هر دو مجموعه داده برخوردار است.
تفاصيل المقالة
رایمگ
يقوم نظام رایمگ بتنفيذ جميع عمليات الاستلام والتقييم والحكم والتحرير وتخطيط الصفحة والنشر الإلكتروني للمجلات العلمية.