هم‌زمان با فراگیرشدن تکنولوژی اینترنت اشیا در سال‌های اخیر، تعداد دستگاه‌های هوشمند و به تبع آن حجم داده‌های جمع‌آوری‌شده توسط آنها به سرعت در حال افزایش است. از سوی دیگر، اغلب برنامه‌های کاربردی اینترنت اشیا نیازمند تحلیل بلادرنگ داده‌ها و تأخیر اندک در ارائه خدمات هستند. تحت چنین شرایطی، ارسال داده‌ها به مراکز داده ابری جهت پردازش، پاسخ‌گوی نیازمندی‌های برنامه‌های کاربردی مذکور نیست و مدل رایانش مه، انتخاب مناسب‌تری محسوب می‌گردد. با توجه به آن که منابع پردازشی موجود در مدل رایانش مه دارای محدودیت هستند، استفاده مؤثر از آنها دارای اهمیت ویژه‌ای است.در این پژوهش به مسئله زمان‌بندی وظایف برنامه‌های کاربردی اینترنت اشیا در محیط رایانش مه پرداخته شده است. هدف اصلی در این مسئله، کاهش تأخیر ارائه خدمات است که جهت دستیابی به آن، از رویکرد یادگیری تقویتی عمیق استفاده شده است. روش ارائه‌شده در این مقاله، تلفیقی از الگوریتم Q-Learning، یادگیری عمیق و تکنیک‌های بازپخش تجربه و شبکه هدف است. نتایج شبیه‌سازی‌ها نشان می‌دهد که الگوریتم DQLTS از لحاظ معیار ASD، ۷۶% بهتر از الگوریتم QLTS و 5/6% بهتر از الگوریتم RS عمل می‌نماید و نسبت به QLTS زمان همگرایی سریع‌تری دارد. پرونده مقاله

محاسبات لبه سیار، تکنولوژی نوینی برای بهبود مشکل تأخیر، ظرفیت و منابع موجود در محیط محاسبات ابری سیار است. هدف اصلی در محاسبات لبه سیار، زمان‌بندی پویا و بارگذاری بهینه با کمترین هزینه در استفاده از منابع است. ما در این مقاله، از یک مدل سیستم سه‌سطحی دستگاه‌های سیار، لبه و ابر استاندارد، استفاده و دو الگوریتم بارگذاری و زمان‌بندی را پیشنهاد می‌کنیم. یک الگوریتم تصمیم‌گیری برای بارگذاری وظایف مبتنی بر الگوریتم کوله‌پشتی حریصانه در سمت دستگاه سیار است که وظایف با انرژی مصرفی بالا را برای بارگذاری انتخاب می‌کند و باعث صرفه‌جویی در انرژی مصرفی دستگاه می‌شود. همچنین در سمت MEC، یک الگوریتم زمان‌بندی پویا را با اولویت‌بندی وظایف مبتنی بر فازی جهت اولویت‌بندی و زمان‌بندی وظایف بر اساس دو معیار ارائه می‌کنیم. نتایج عددی نشان می‌دهند که کار ارائه‌شده در مقایسه با سایر روش‌ها باعث کاهش زمان انتظار وظایف برای اجرا، تأخیر و بار سیستم می‌شود و تعادل سیستم با کمترین تعداد منابع تأمین می‌گردد و سیستم ارائه‌شده، مصرف باتری را در دستگاه هوشمند تا حدود 90% کاهش می‌دهد. نتایج نشان می‌دهند که بیش از 92% وظایف با موفقیت در محیط لبه اجرا می‌شوند. پرونده مقاله

مسیریابی شبکه‌ای پهپادها برای عملیات جست‌وجو و نجات یک چالش مهم است. این چالش به‌دلیل محدودیت‌های فیزیکی پهپادها، شرایط محیطی نامساعد، و محدودیت‌های زمانی است. در این مقاله، یک روش جدید برای مسیریابی شبکه‌ای پهپادها با استفاده از الگوریتم Q-Learning ارائه شده‌است. این الگوریتم به پهپادها امکان می‌دهد تا به‌صورت خودکار بهترین مسیرها را در محیط‌های پیچیده ترسیم کنند و همچنین با تغییرات محیطی سازگار شوند. نتایج شبیه‌سازی‌های انجام شده نشان‌می‌دهد که الگوریتم Q-Learning می‌تواند مسیرهای کوتاه‌تر و کارآمدتری را نسبت به الگوریتم‌های حوزه ژنتیک پیدا کند. این نتایج نشان‌می‌دهد که الگوریتم Q-Learning می‌تواند یک روش امیدوارکننده برای بهبود مسیریابی شبکه‌ای پهپادها در عملیات جست‌وجو و نجات باشد. پرونده مقاله