ارائه مکانیزم پاداشدهی مشوق برای مشارکت‌کنندگان در سیستم محاسبات انسانی تشخیص نفوذ بر اساس نظریه بازی‌ها
محورهای موضوعی : عمومىیحیی لرمحمدحسنی اسفندقه 1 , مجید غیوری ثالث 2
1 - گروه کامپیوتر- دانشکده فناوری اطلاعات و ارتباطات - دانشگاه جامع امام حسین(ع)
2 - گروه کامپیوتر - دانشکده فناوری اطلاعات و ارتباطات - دانشگاه جامع امام حسین (ع)
کلید واژه: تشخیص نفوذ, محاسبات انسانی, نظریه بازی, پاداشدهی محرک, ضریب کاپا ,
چکیده مقاله :
باوجود پیشرفت‌های شگرف در حوزه طراحی سیستم‌های محاسبات انسانی اکثر آنها از مشارکت کم یا مشارکت بدون کیفیت رنج می‌برند و درصد بالایی از آنها با شکست مواجه میشوند. موفقیت این سیستم‌ها تا حدود زیادی به انسان‌هایی که به‌صورت واقعی در سیستم رفتار می‌کنند بستگی دارد. چون سیستم‌هایی محاسبات انسانی شامل واحدهای کوچکی از کارها هستند و هر کار سود کمی به مشارکت‌کنندگان می‌رساند، انسان‌ها در صورتی در سیستم رفتار مطلوبی بروز می‌دهند که برای انجام آن بخوبی تحریک شده باشند. ما در این مقاله، این مسئله را در سیستم محاسبات انسانی تشخیص نفوذ مورد بررسی قرار دادیم. هدف ما از ایجاد تحریک افزایش مشارکت کارکنان، انجام کارها توسط کارکنان با دقت و تلاش زیاد با کمترین هزینه ممکن می‌باشد. پس از انتخاب محرک‌های مناسب برای این سیستم اقدام به طراحی مکانیزم پاداشدهی محرک کردیم. ایده این مکانیزم استفاده از مهارت کارکنان در تعیین پاداش آنها می‌باشد. پس از طراحی این مکانیزم از نظریه بازی‌ها به‌منظور تحلیل و مشخص کردن تعادل بازی استفاده کردیم. سپس حداقل پاداش ممکن برای هر دسته از کارها را با استفاده از نتایج به‌دست‌آمده از تحلیل مکانیزم بر اساس نظریه بازی‌ها، مشخص میکنیم. درستی این مکانیزم را با استفاده از نظریه بازی‌ها و نتایج به‌دست‌آمده از پیاده‌سازی نشان دادیم. طراحی این مکانیزم منجر به افزایش دقت مشارکت‌کنندگان در پاسخ دادن و درنتیجه افزایش دقت سیستم محاسبات انسانی تشخیص نفوذ در شناسایی حملات جدید و کاهش نرخ هشدار اشتباه آنها میشود. همچنین با اختصاص کمترین منابع مالی موردنیاز به کارکنان بر اساس تحلیل به‌دست‌آمده از نظریه بازی و درنتیجه مدیریت منابع مالی سیستم محاسبات انسانی تشخیص نفوذ منجر به تشویق مشارکت‌کنندگان به مشارکت در سیستم و درنتیجه جلوگیری از شکست سیستم محاسبات انسانی تشخیص نفوذ میشود.
Despite the tremendous advances in the design of human computing systems, most of them suffer from low participation or poor quality participation and a high percentage of them fail. To a large extent, the success of these systems depends on people who really behave in the system. Because human computing systems include small units of work, and each job yields little benefit to the participants, humans display a good behavior in the system if they are well-stimulated for doing so. In this paper, this issue investigated in the Intrusion Detection Human Computation system. Our purpose of creating the stimulus for increasing of employee participation is to do their jobs carefully and effortlessly with the lowest possible cost. After selecting the appropriate stimuli for this system, we designed the mechanism of rewarding incentives. The idea behind this mechanism is to use the skill of the staff in determining their rewards. After designing this mechanism, we used the theory of games to analyze and determine the game's balance. Then, we determine the minimum possible reward for each category of work using the results obtained from the mechanism analysis based on game theory. We validate of this mechanism using game theory and the results of implementation. Designing this mechanism will increase the accuracy of respondents in answering and as a result, increase the accuracy of the human intelligence detection system in identifying new attacks and reducing their erroneous alert rates. Also, by allocating the lowest financial resources required to employees based on the analysis obtained from the game theory and managing human computing system of Intrusion Detection, encourages participants to participate in the system and, as a result, prevent the failure of the human computing system of intrusion detection.
K. Veeramachaneni, I. Arnaldo, A. Cuesta-Infante, V. Korrapati, C. Bassias و K. Li, “AI^2: Training a Big Data Machine to Defend,” Big Data Security on Cloud (BigDataSecurity), IEEE International Conference on High Performance and Smart Computing (HPSC), and IEEE International Conference on Intelligent Data and Security (IDS), 2016 IEEE 2nd International Conference on, pp. 1-13, 2016.
L. von Ahn, “Human Computation, Doctoral Thesis,” UMI Order Number: AAI3205378, CMU, 2005.
L. v. A. a. E. Law, “Solving Computational Problems,” در Human Computation, Morgan and Claypool Publishers, 2011, pp. 15-50.
A. Q. a. B. Bederson, “Human computation: a survey and taxonomy of a growing field,” در annual conference on Human factors in computing systems, New York, NY, USA, 2011.
J. C. Tang, M. Cebrian, N. A. Giacobe, H. Kim و T. Kim, “ Reflecting on the DARPA Red Balloon Challenge,” communications of the acm, جلد 54, شماره 4, pp. 77-85, April 2011.
A. Dasgupta و A. Ghosh, “Crowdsourced Judgment Elicitation with Endogenous Proficiency,” در WWW 2013, 2013.
W. Wu, W. Wang, S. Minming Li, J. Wang, X. Fang, Y. Jiang و J. Luo, “Incentive Mechanism Design to Meet Task Criteria in Crowdsourcing: How to Determine Your Budget,” IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, جلد 35, شماره 2, pp. 502-516, 2017.
H. Xie, J. C. Lui, J. W. Jiangy و W. Chen, “Incentive Mechanism and Protocol Design for Crowdsourcing Systems,” Fifty-second Annual Allerton Conference Allerton House, pp. 140-147, 1 - 3 October 2014.
L. v. Ahn و L. Dabbish, “Designing games with a purpose,” Common. ACM, جلد 51, شماره 8, pp. 58-67, 2008.
S. Jain و D. Parkes, “A game-theoretic analysis of the esp game,” ACM Transactions on Economics and Computation, pp. 1-33, Jan 2013
N. Alon, F. Fischer, A. Procaccia و M. Tennenholtz, “Sum of us: strategyproof selection from the selectors,” In Proceedings of the 13th Conference on Theoretical Aspects of Rationality and Knowledge (TARK), pp. 101-110, 2011.
D. Yang, G. Xue, X. Fang و J. Tang, “Incentive Mechanisms for Crowdsensing: Crowdsourcing With Smartphones,” IEEE/ACM TRANSACTIONS ON NETWORKING, جلد 24, شماره 3, pp. 1732-1744, 2016.
S. Jain, Y. Chen و D. C. Parkes, “Designing incentives for online question and answer forums,” 10ACM Conf. on Electronic Commerce, pp. 129-138, 2009.
A. Morishima, N. Shinagawa و T. Mitsuishi, “CyLog/Crowd4U: A Declarative Platform for Complex Data-centric Crowdsourcing,” Proceedings of the VLDB Endowment, جلد 5, شماره 12, pp. 1918-1921, 2012.
Y. Liu و C. Miao, A Survey of Incentives and Mechanism Design for Human Computation Systems, arXiv.org, 2016, pp. 1-21.
م. درويشي و م. غیوري ثالث, “ارائه راهکاری جهت تشخیص نفوذ در شبکه های کامپیوتری با استفاده از مدل مخفی مارکوف تکاملی,” 1396.
https://en.wikipedia.org/wiki/Likert_scale
. J. L. Fleiss, “Measuring Nominal Scale Agreement among Many Raters,” Psychological Bulletin, جلد 76, شماره 5, p. 378–382, 1971.
J. Randolph, “Free-Marginal Multirater Kappa (multirater K[free]): An Alternative to Fleiss' Fixed-Marginal Multirater Kappa,” Joensuu Learning and Instruction Symposium, pp. 1-20, 2005.
دو فصلنامه علمي فناوري اطلاعات و ارتباطات ایران | سال دوازدهم، شماره‌هاي 43 و 44، بهار و تابستان 1399 صفحات :87_103 |
|
ارائه مکانیزم پاداشدهی محرک برای سیستم محاسبات انسانی تشخیص نفوذ بر اساس نظریه بازی‌ها
یحیی لرمحمدحسنی اسفندقه * مجید غیوری ثالث**
*دانشجوی کارشناسی ارشد گروه کامپیوتر- دانشکده فناوری اطلاعات و ارتباطات - دانشگاه جامع امام حسین(ع)
**استادیار گروه کامپیوتر - دانشکده فناوری اطلاعات و ارتباطات - دانشگاه جامع امام حسین (ع)
تاریخ دریافت: 17/01/1399 تاریخ پذیرش: 19/07/1399
نوع مقاله: پژوهشی
چکیده
با وجود پیشرفت‌های شگرف در حوزه طراحی سیستم‌های محاسبات انسانی اکثر آنها از مشارکت کم یا مشارکت بدون کیفیت رنج می‌برند و درصد بالایی از آنها با شکست مواجه میشوند. موفقیت این سیستم‌ها تا حدود زیادی به رفتار مشارکت‌کنندگان در سیستم بستگی دارد. ازآنجایی‌که سیستم‌هایی محاسبات انسانی شامل واحدهای کوچکی از کارها هستند و هر کار سود کمی به مشارکت‌کنندگان می‌رساند، انسان‌ها در صورتی در سیستم رفتار مطلوبی بروز می‌دهند که برای انجام آن به‌خوبی تحریک شده باشند. در این مقاله، ما این مسئله را در سیستم محاسبات انسانی تشخیص نفوذ موردبررسی قرار دادیم. هدف ما از ایجاد تحریک افزایش مشارکت، انجام کارها توسط افراد متخصص و انجام کارها با بیشترین تلاش و دقت در ازای کمترین هزینه ممکن است. پس از انتخاب محرک‌های مناسب برای این سیستم اقدام به طراحی مکانیزم پاداشدهی محرک کردیم. ایده طراحی این مکانیزم استفاده از مهارت کارکنان در تعیین پاداش آنها است و از ضریب کاپا برای ارزیابی توافق مشارکت کارکنان استفاده شده است. پس از طراحی این مکانیزم از نظریه بازی‌ها برای تحلیل مکانیزم و تعیین حداقل پاداش ممکن برای هر دسته از کارها استفاده میکنیم. با تشویق کارکنان به مشارکت زیاد و باکیفیت از شکست سیستم جلوگیری میشود و با اختصاص کمترین منابع مالی موردنیاز به کارکنان، منابع مالی سیستم را مدیریت میکنیم. طراحی این مکانیزم منجر به افزایش دقت مشارکت‌کنندگان و درنتیجه افزایش دقت سیستم محاسبات انسانی تشخیص نفوذ در شناسایی حملات جدید و کاهش نرخ هشدار اشتباه آنها میشود.
واژگان کلیدی: پاداشدهی محرک، محاسبات انسانی، نظریه بازی، تشخیص نفوذ، ضریب کاپا.
1. مقدمه
امروزه با فراگیر شدن علم کامپیوتر حملات سایبری روزبه‌روز در حال افزایش است. به‌منظور مقابله با این حملات از ابزارهای مختلفی استفاده میشود که سیستم‌های تشخیص نفوذ یک از مهم‌ترین آنها است. اما سیستم‌های تشخیص نفوذ از دو نقص اساسی رنج می‌برند. این سیستم‌ها در مواجه با حملات شناخته‌شده نرخ هشدار اشتباه بسیار بالایی دارند و در مواجه با حملات ناشناخته دقت بسیار پائینی دارند. معمولاً در کنار سیستم‌ها تشخیص نفوذ از یک انسان به‌عنوان مدیر سیستم استفاده میشود و وظیفه آن بررسی هشدار‌های دریافتی از سیستم تشخیص نفوذ و تصمیم‌گیری نهایی در مورد حمله بودن یا نبودن و نحوه پاسخ‌گویی به آنها است. این شخص ممکن است دانش محدودی داشته باشد یا در مورد برخی حملات جدید دانش نداشته باشد درنتیجه دقت لازم در تشخیص حملات را ندارد. بنابراین به‌جای یک نفر استفاده از یک سیستم محاسبات انسانی با عنوان سیستم محاسبات انسانی تشخیص نفوذ پیشنهاد شده است [1].
استفاده از انسان به‌عنوان منبع محاسباتی منطقی با عنوان سیستم محاسبات انسانی اولین بار توسط ون آهو در سال 2005 پیشنهاد شده است [2]. نحوه کار سیستم‌های محاسبات انسانی به این شکل است که در این سیستم‌ها سؤالات محاسباتی توسط وب، ایمیل یا موبایل برای انسان‌ها (مشارکت‌کنندگان) ارسال میشود و سپس پاسخهای آنها جمع‌آوری و ترکیب میشود تا پاسخ مسئله حاصل شود [3]. ازآنجایی‌که استفاده از هوش انسان و توانایی آن در بررسی ترافیک شبکه به‌صورت کلی و یکجا برای تشخیص نفوذ کارا است، سیستم محاسبات انسانی تشخیص نفوذ به وجود آمده است. نحوه کار سیستم محاسبات انسانی تشخیص نفوذ بدین شکل است که الگوی ترافیک شبکه و خصوصیات آن برای مشارکت‌کنندگان که متخصصان شبکه هستند، ارسال میشود سپس متخصصان با دیدن این الگوها در مورد حمله بودن یا نبودن و نوع حمله تصمیم‌گیری می‌کنند. پس از جمع‌آوری پاسخهای مشارکت‌کنندگان آنها را باهم ترکیب کرده و نظر کلی آنها در مورد ترافیک شبکه استخراج میشود. پس از استخراج پاسخ کلی آن را در سیستم تشخیص نفوذ مورداستفاده قرار می‌دهند.
موفقیت سیستم‌های محاسبات انسانی تا حد زیادی به انسان‌هایی که به‌صورت واقعی در سیستم رفتار و ایفای نقش می‌کنند، بستگی دارد و کیفیت پاسخ آنها تأثیر مستقیم بر روی موفقیت سیستم دارد. چون سیستم‌های محاسبات انسانی شامل واحدهای کوچکی از کارها هستند که مستقیماً به مشارکت‌کنندگان سود نمی‌رسانند، آنها در صورتی در سیستم شرکت می‌کنند که محرک برای انجام آن کار وجود داشته باشد. در حقیقت درحالی‌که تعداد زیادی سیستم محاسبات انسانی تحت وب وجود دارد، اما سطح مشارکت و همکاری در این سیستم‌ها بسیار متفاوت است. تفاوت این سیستم‌ها در نحوه‌ی تحریک انسان برای استفاده از آن سیستم است و سیستمی موفقتر است که بتواند تحریک لازم را ایجاد کرده باشد. انسان‌ها می‌توانند در ازای دریافت پول، رسیدن به شهرت، اهداف خیرخواهانه یا در خلال کارهای ضمنی (بازی و سرگرمی) اقدام به شرکت در سیستم‌های محاسبات انسانی نمایند [4]. ساختار مقاله به این شکل است. پس از انتخاب محرک مناسب، یک مکانیزم تحریک‌آمیز برای کارکنان سیسستم محاسبات انسانی تشخیص نفوذ طراحی میکنیم. سپس این مکانیزم را بر اساس نظریه بازی‌ها تحلیل و بررسی میکنیم تا مطمئن شویم به اهداف خود از ایجاد مکانیزم تحریک‌آمیز رسیده‌ایم و کمترین پاداش ممکن را برای هر دسته از کارها را تعیین میکنیم. در پایان درستی مکانیزم تحریک‌آمیز را نیز بر اساس نتایج پیاده‌سازی نشان می‌دهیم.
2. کارهای مرتبط
سیستم‌های محاسبات انسانی زیادی از نظریه بازی به‌منظور طراحی و تحلیل سیستم پاداشدهی خود استفاده کرده‌اند. این سیستم‌ها اهداف متفاوتی از طراحی و تحلیل سیستم پاداشدهی خود بر اساس نظریه بازی‌ها داشته‌اند. برخی از آنها به‌منظور افزایش مشارکت کارکنان، برخی دیگر به‌منظور استخراج نظر درست و واقعی کاربران و بعضی به‌منظور استخراج بیشترین تلاش شرکت‌کنندگان این کار را انجام می‌دهند. چالش بالن قرمز دارپا1 یک مثال عمومی از سیستم‌های محاسبات انسانی بود که هدف او از تحریک افزایش مشارکت بوده است [5].
یکی از کاربردهای رایج سیستم‌های محاسبات انسانی در محدوده استفاده از جمع، برای ارزیابی یا قضاوت است که این سیستم‌ها را جمع‌سپاری2 می‌نامند. در [6] یک مکانیزم تحریک برای این سیستم‌ها پیشنهادشده است. هدف آنها از ایجاد تحریک استخراج حداکثر تلاش کارکنان بوده و از محرک پول استفاده کرده‌اند. در مکانیزم ارائه‌شده پاسخهای کارکنان دو حالت 0 و 1 دارد و از پاسخ‌ها و توافق کارکنان برای امتیازدهی و ایجاد تحریک استفاده شده است. پس از تحلیل مکانیزم ارائه‌شده بر اساس نظریه بازی‌ها نشان داده‌اند که اعمال بیشترین تلاش یک تعادل نش است. در مکانیزم ارائه‌شده سود به تمام کارکنان می‌رسد حتی اگر سطح مهارت متفاوتی داشته باشند و این یکی معایب این مکانیزم است. از دیگر معایب مکانیزم این است که در حالتی که همه کارکنان پاسخ یک دهند، هیچ‌کس جایزه نمی‌گیرد و فرض بر این است که پاسخ‌ها شانسی می‌باشند.
در [7] نیز یک مکانیزم برای سیستم‌های جمع‌سپاری ارائه شده است. آنها هدف از تحریک را افزایش مشارکت و بهینه کردن میزان پرداختی به کارکنان معرفی کرده و از محرک پول استفاده می‌کنند. پس از ارائه مکانیزم تحریک آن را تحت بازی استکلبرگ تحلیل کرده‌اند و نشان داده‌اند که مکانیزم آنها منجر به افزایش مشارکت و بهینه کردن میزان پرداختی به کارکنان میشود. از معایب مکانیزم ارائه‌شده می‌توان به عدم اعتبارسنجی پاسخهای کاربران و تعیین پاداش قبل از انجام کارها اشاره کرد.
در [8] نیز یک مکانیزم تحریک برای سیستم‌های جمع‌سپاری ارائه شده است. آنها هدف از تحریک را انجام کارها توسط افراد متخصص معرفی کرده‌اند و از محرک پول استفاده کرده‌اند. در مکانیزم ارائه‌شده ارزیابی پاسخ‌ها توسط درخواست‌کننده صورت می‌پذیرد و پاداش بین افرادی که پاسخ آنها توسط درخواست‌کننده پذیرفته شده است تقسیم میشود. آنها از یک مکانیزم تنبیه برای جلوگیری از تقلب کارکنان استفاده کرده‌اند و پس از تحلیل مکانیزم بر اساس نظریه بازی‌ها نشان داده‌اند که انجام کارها توسط متخصصین با اعمال تلاش زیاد، نقطه تعادل بازی است. از معایب این مکانیزم می‌توان به تعیین پاداش قبل از انجام کار، توسط درخواست‌کننده و تقسیم پاداش بین افراد مبتدی اشاره کرد.
سیستم‌های بازی با یک هدف3 یک نمونه موفق از سیستم‌های محاسبات انسانی است [9]. در این نوع سیستم‌ها علاوه بر اینکه انسان‌ها یک بازی ساده را بازی می‌کنند، هم‌زمان ورودی مناسب به یک محاسبات یا وظایفی که کامپیوتر به‌تنهایی قادر به اجرای آنها نیست را انجام می‌دهند. بازی ESP یک نمونه موفق از این نوع سیستم‌ها بوده است که در [10] مکانیزم ارائه‌شده برای این نوع سیستم‌ها را تحلیل کرده و یک مکانیزم جدید ارائه کرده‌اند. آنها هدف خود را استخراج بیشترین تلاش کارکنان معرفی کرد و از محرک سرگرمی استفاده کرده‌اند. پس از تحلیل بازی بر اساس نظریه بازی‌ها نشان دادند که استخراج بیشترین تلاش کارکنان نقطه تعادل بازی است. استفاده از محرک سرگرمی از تفاوت‌های اساسی این کار با کارهای مرتبط است.
سیستم‌های محاسبات انسانی رائ‌گیری نوع دیگری از سیستم‌های محاسبات انسانی می‌باشند که به‌عنوان‌مثال برای رتبه‌بندی و ارزیابی کیفیت استفاده میشوند. در این سیستم‌ها هدف استخراج بهترین پاسخهای درست و صحیح از نتیجه رائ‌گیری است. در [11] یک مکانیزم تحریک برای این‌گونه سیستم‌ها طراحی کرده‌اند که هدفشان را تحریک کارکنان به رأی دادن صحیح معرفی کرده‌اند و از محرک شهرت استفاده کرده‌اند. در مکانیزم ارائه‌شده گراف نظرات را بخش‌بندی کرده و از هر بخش K نظر را انتخاب کرده‌اند. در پایان این مکانیزم را بر اساس نظریه بازی‌ها تحلیل کرده و نشان دادند که به اهداف خود رسیده‌اند. استفاده از محرک شهرت از ویژگی‌های خاص این مکانیزم است.
سیستم محاسبات انسانی گوشی‌های هوشمند نوع دیگری از سیستم‌های محاسبات انسانی است. در این نوع سیستم‌ها کاربران گوشی‌های هوشمند را به‌منظور فرستادن اطلاعات استخراج‌شده توسط سنسور‌های گوشی استخدام می‌کنند و در ازای انجام این کار به آنها پول پرداخت می‌کنند. در [12] یک مکانیزم تحریک برای این نوع سیستم‌ها پیشنهاد شده است که هدف افزایش مشارکت بوده و از محرک پول استفاده می‌کنند. در آن یک مکانیزم بر اساس روش مزایده ارائه کرده و برای تحلیل آن از مدل بازی استکلبرگ استفاده کرده و درستی مکانیزم خود را نشان داده‌اند. از معایب مکانیزم ارائه‌شده می‌توان به همگن بودن کارها، عدم ارزیابی فعالیت کاربران، عدم استفاده از مکانیزم تنبیه و عدم دریافت جایزه بعضی از کارکنان به دلیل استفاده از مزایده اشاره کرد. در [13] نیز مکانیزم دیگری برای این نوع سیستم‌ها ارائه شده است که هدف آنها از ایجاد تحریک استخراج باکیفیت‌ترین پاسخ‌ها با حداکثر رفاه کارکنان بوده است. در مکانیزم ارائه‌شده انتخاب‌های کارکنان نه‌تنها به اطلاعات شخصی بلکه به انتخاب‌های سایر کارکنان وابسته است. از معایب این روش می‌توان به سواری مجانی4 و همگن در نظر گرفتن کارها و کارکنان، مجموعه محدود استراتژی‌های رد کردن یا پذیرفتن کارها توسط کارکنان و ارزیابی کارکنان توسط صاحب‌کار اشاره کرد. در [14] مکانیزم دیگری برای این سیستم‌ها پیشنهاد شده است. آنها از محرک پول استفاده کرده و هدف خود را استخراج بهترین پاسخ‌ها بیان کرده‌اند. در این مکانیزم پاداش قبل از انجام کارها توسط مدیر سیستم تعیین میشود و کارکنان پس از مشاهده پاداش سطح مشارکت خود را تعیین می‌کنند. در [15] مکانیزمی ارائه شده است که هدف آنها استخراج حداکثر کارایی کارکنان به‌منظور اطمینان از کیفیت و کمیت کار آنها است. این مکانیزم از محرک شهرت برای پاداشدهی و تحریک کارکنان استفاده می‌کنند. آنها فرض کرده‌اند که کارکنان باکیفیت همیشه پاسخهای باکیفیت تولید می‌کنند و پاداش کارها از قبل توسط مدیر سیستم مشخص میشود. در [16] و [17]مکانیزمهای مشوقی برای این سیستم‌ها ارائه شده است که هدف آنها افزایش مشارکت کارکنان است. [18] و [19] نیز از کارهای مرتبط می‌باشند و در [20] می‌توان لیست کاملی از کارهای انجام‌شده حوزه را مشاهده کرد.
[1] DARPA
[2] Crowdsourcing
[3] Game With A Purpose
[4] Free riding
جدول 1. مقایسه کارهای مرتبط در حوزه‌ی مکانیزمهای محرک در سیستم‌های محاسبات انسانی تحلیل‌شده بر اساس نظریه بازی‌ها
سیستم محاسبات انسانی | هدف تحریک | نوع محرک | تعداد و نوع کارکنان | نوع وظایف | نوع بازی |
مکانیزم جمع سپاری[6] | استخراج حداکثر تلاش کارکنان | پول | چندین کارمند، همگن | همگن | ایستا با اطلاعات کامل، غیر مجموع صفر، همکارانه |
بازارهای جمع سپاری [7] | افزایش مشارکت و بهینه کردن میزان پاداش | پول | چندین کارمند، همگن | همگن و ناهمگن | مزایده و استکلبرگ، غیرهمکارانه، ایستا با اطلاعات کامل |
مکانیزم محرک جمع سپاری [8] | انجام کارها توسط افراد متخصص | پول | چندین کارمند، همگن | غیرهمگن | ایستا با اطلاعات کامل، غیر مجموع صفر، همکارانه |
[10]GWAP | استخراج بیشترین تلاش کارکنان | بازی و سرگرمی | دو کارمند | همگن | ایستا با اطلاعات کامل، غیر مجموع صفر، همکارانه |
[11]VOTING | رأی دادن صحیح توسط کارکنان | شهرت | چندین کارمند، همگن | همگن | همکارانه، ایستا با اطلاعات کامل،مجموع صفر |
سیستم محاسبات انسانی گوشی‌های هوشمند[12] | افزایش مشارکت | پول | چندین کارمند، همگن | همگن، ناهمگن | مزایده و استکلبرگ غیرهمکارانه ایستا با اطلاعات کامل |
جمع سپاری وظایف حجیم [13] | استخراج باکیفیت‌ترین پاسخ‌ها با حداکثر رفاه | پول | چندین کارمند، همگن | همگن | غیرهمکارانه بدون اطلاعات کامل، تکرارپذیر |
جمع سپاری موبایل[14] | استخراج بهترین پاسخ‌ها | پول | چندین کارمند، همگن | همگن | استکلبرگ با/بدون اطلاعات کامل |
جمع سپاری[15] | استخراج حداکثر کارایی کارکنان | پول و شهرت | چندین کارمند، همگن | همگن | بازی تکرارپذیر بدون اطلاعات کامل |
پرسش و پاسخ یاهو[18] | استخراج پاسخ صحیح | سیستم امتیازدهی و شهرت | چندین کارمند | همگن
| پویا با اطلاعات کامل، غیر مجموع صفر، غیرهمکارانه |
در جدول 1 به مقایسه کارهای انجام شده می‌پردازیم. هر سیستم محاسبات انسانی ویژگی‌های یکتایی از قبیل نوع محرک، نوع کارکنان، نوع وظایف، حرکت‌های در دسترس برای انتخاب، ماهیت جوایز و محدودیت‌های متفاوت در نحوه‌ی اختصاص آنها و مهم‌تر از همه هدف از ایجاد تحریک دارد و باید با توجه به این محدودیت‌ها مکانیزم محرک را طراحی کرد. کارهای مرتبط با توجه به ویژگی‌های سیستم مدنظر اقدام به طراحی مکانیزم محرک کرده‌اند. سیستم محاسبات انسانی تشخیص نفوذ نیز ویژگی‌های منحصربه‌فرد خود را دارد. به‌عنوان‌مثال در اکثر کارهای مرتبط نوع کارکنان و وظایف را همگن در نظر گرفته‌اند اما همان‌طور که در بخش‌های آتی توضیح خواهیم داد این فرض در طراحی ما اشتباه است. همچنین ما هدف متفاوتی از ایجاد تحریک دنبال میکنیم.
در خلال بیان کارهای مرتبط معایب آنها را نیز بیان کردیم. این معایب را از دید استفاده از آنها در سیستم محاسبات انسانی تشخیص نفوذ بیان شده است و آن کارها قطعاً در حوزه‌ی مدنظر نویسندگان کارایی لازم را دارند. با توجه به معایب روش‌های موجود، ویژگی‌های منحصربه‌فرد سیستم‌ها محاسبات انسانی تشخیص نفوذ، هدف متفاوت ما از ایجاد تحریک و ازآنجایی‌که تاکنون هیچ مکانیزم محرکی برای سیستم محاسبات انسانی تشخیص نفوذ طراحی نشده است، اقدام به طراحی چنین مکانیزمی کردهایم.
3. مکانیزم پیشنهادی
ایده اصلی روش پیشنهادی، اهدای پاداش کارکنان بر اساس فاکتور مهارت کارکنان است. مهارت کارکنان در مراحل بازی کم‌وزیاد میشود. این مکانیزم شامل مراحل تقسیم و اختصاص وظایف، جمع‌آوری پاسخ‌ها، ارزیابی پاسخ‌ها و به‌روزرسانی مهارت کارکنان، محاسبه و اهدای پاداش کارکنان است. در شکل 1 معماری پیشنهادی را مشاهده میکنید. در ادامه به تشریح بخش‌های معماری می‌پردازیم.
شکل 1: معماری روش پیشنهادی
از تفاوت‌های اساسی این معماری با کارهای مشابه استفاده از شاخص مهارت کارکنان برای ارزیابی و اختصاص پاداش به آنها، نحوه ایجاد وظایف بر اساس نتایج سیستم تشخیص نفوذ، ارزیابی توافق کارکنان با استفاده از ضریب کاپا، تعریف کارها به‌صورت همگن و ناهمگن، در نظر گرفتن کارکنان به‌صورت ناهمگن، شناور بودن سطح مهارت کارکنان، داشتن استراتژی تلاش زیاد یا کم و رد کردن وظایف توسط کارکنان و تنبیه کارکنان برای جلوگیری از سواری مجانی است. همچنین اهداف ما از ایجاد تحریک افزایش مشارکت، مشارکت با بیشترین تلاش و دقت در ازای کمترین پاداش ممکن و انجام کارها توسط کارکنان متخصص می‌باشند. در این معماری با چالش‌های نحوه ایجاد و اختصاص وظایف، ارزیابی توافق کارکنان، ارزیابی پاسخهای هریک از کارکنان، نحوه به‌روزرسانی مهارت کارکنان و تعیین پاداش آنها روبه‌رو هستیم که در ادامه به روش‌های رفع این چالش‌های می‌پردازیم.
3-1. معرفی روش پیشنهادی
ازآنجایی‌که کارکنان مهارت‌های متفاوتی در انجام وظایف محوله دارند، تصمیم گرفتیم که از فاکتور میزان مهارت آنها در انجام هر نوع کار در تعیین پاداش کارکنان استفاده کنیم. سطح اولیه مهارت کارکنان توسط یک آزمون مشخص میشود و پس از جمع‌آوری پاسخهای کارکنان در مورد ترافیک شبکه و استخراج پاسخ نهایی از آنها اقدام به افزایش یا کاهش مهارت کارکنان بر اساس پاسخهای دریافتی آنها و چندین فاکتور دیگر که در ادامه مطرح میشود، میکنیم. سپس بر اساس مهارت کلی کارکنان اقدام به پرداخت پاداش به کارکنان میکنیم.
سیستم تشخیص نفوذ موردنظر ما یک سیستم تشخیص نفوذ مبتنی بر شبکه است که با استفاده از جمع‌آوری اطلاعات از ترافیک شبکه اقدام به شناسایی حملات میکند. سیستم‌های تشخیص نفوذ با معماری گفته‌شده از روش‌های مختلفی اقدام به شناسایی حملات می‌کنند و هر یک می‌تواند در کنار سیستم محاسبات انسانی مورداستفاده قرار گیرد؛ اما سیستم موردنظر شبیه به سیستمی است که در [21] پیشنهاد شده است و از مدل مخفی مارکف تکاملی برای شناسایی حملات استفاده میکند. درمجموع از هر نوع سیستم تشخیص نفوذ دیگری نیز می‌توان استفاده کرد.
محرک‌های متفاوتی در سیستم‌های محاسبات انسانی مورداستفاده قرار می‌گیرد. انتخاب نوع محرک نیز وابسته نوع سیستم محاسبات انسانی هدف است، اما اکثر سیستم‌های محاسبات انسانی که کارهای خطیر را انجام می‌دهند از محرک پول استفاده می‌کنند. به دلیل حساسیت کار سیستم‌های تشخیص نفوذ در تأمین امنیت و نوع شرکت‌کنندگان در سیستم که از تخصص شبکه برخوردار هستند از پول به‌عنوان محرک استفاده میکنیم. همچنین به دلیل سختی کار تشخیص نفوذ، طراحی این کار به‌عنوان بازی و سرگرمی و استفاده از سیستم محاسبات انسانی کار بسیار دشوار و غیرعملی به نظر می‌رسد. همچنین شرکت‌کنندگان در ازای اهداف خیرخواهانه و یا شهرت این کار خطیر را انجام نمی‌دهند پس پول محرک خوبی به نظر می‌رسد؛ بنابراین محرک اصلی در سیستم ما پول است اما با توجه به معماری مکانیزم طراحی‌شده در این مقاله، از محرک‌های شهرت، یادگیری و رقابت نیز می‌توان به‌راحتی در این سیستم مورداستفاده قرار داد.
هدف ما از ایجاد تحریک افزایش مشارکت، انجام کارها توسط افراد متخصص و انجام کارها با بیشترین تلاش و دقت در ازای کمترین هزینه ممکن است. به فاکتور کمترین هزینه ممکن توجه کنید یعنی قصد داریم در ازای پرداخت کمترین هزینه ممکن بیشترین تلاش و دقت را دریافت کنیم. همچنین ما از یک روش تنبیه در کنار مکانیزم تحریک به‌منظور جلوگیری سواری مجانی کارکنان استفاده میکنیم.
3-2. نوع کارکنان و پاسخهای آنها
سیستم‌های محاسبات انسانی از کارکنان متفاوتی به‌منظور انجام وظایف استفاده می‌کنند و این مسئله کاملاً وابسته به نوع سیستم است. ازآنجایی‌که شناسایی حملات نیاز به تخصص دارد بنابراین عوامل انسانی شرکت‌کننده در سیستم محاسبات انسانی تشخیص نفوذ را افرادی در نظر می‌گیریم که این تخصص را دارند. کارکنان ممکن است در شناسایی برخی حملات خبره و در برخی دیگر مبتدی و یا حتی ناآشنا باشند. سطح کارکنان در حملات مختلف شبکه در ابتدا توسط یک آزمون تعیین میشود. بر اساس نتایج آزمون کارکنان را در پنج دسته ناآشنا، مبتدی، نیمه متخصص، متخصص و خبره تقسیم‌بندی میکنیم. سطح کارمند در یک کار بر اساس میزان و کیفیت مشارکت او در آن دسته از کارها به‌روزرسانی میشود. بنابراین ممکن است کارمند در یک کار خبره و در کار دیگری مبتدی شود.
کارکنان پس از مشاهده وظایف می‌توانند در آنها شرکت کرده و نظر دهند. به‌منظور تعیین کردن نوع پاسخ کارکنان از مفهومی بنام طیف لیکرت1 استفاده میکنیم. طیف لیکرت یک مقیاس روان‌سنجی است که در پرسشنامه‌های پژوهشی مورداستفاده قرار می‌گیرد و به‌افتخار مبدع آن، لیکرت نام‌گذاری شده است. این مقیاس عموماً برای اندازه‌گیری دیدگاه، احساس، نظر و مواردی از این قبیل که قابل‌مشاهده نیستند، مورد استفاده قرار می‌گیرد [22]. بنابراین پاسخهای کارکنان را به‌صورت فرمول 1 بیان میکنیم. منظور از 
پاسخ کارمند 
روی کار
می‌باشد.
(1) |
|
3-3. ایجاد و اختصاص وظایف2
طراحی وظایف یکی از مهم‌ترین بخش‌های سیستم‌های محاسبات انسانی است و وابسته به نوع سیستم محاسبات انسانی است. طراحی وظایف باید به‌گونه‌ای باشد که کارکنان بتوانند به‌راحتی آنها را انجام دهند. گاهی لازم است وظایف یک سیستم شکسته شود و به وظایف کوچک‌تر تبدیل شود و در برخی سیستم‌ها عکس این عمل صورت گیرد.
کارکنان سیستم ما ممکن است در شناسایی برخی حملات تخصص داشته و در برخی دیگر مبتدی باشند. بنابراین وظایف سیستم را بر اساس نوع حملات تقسیم‌بندی و ایجاد میکنیم. چهار نوع حمله اصلی DOS(همچنین DDOS)، U2R، R2L و Probing وجود دارد. ما بنا بر نظر سیستم تشخیص نفوذ حملات را در یکی از این چهار دسته قرار داده و به همراه سایر ویژگی‌های آن در اختیار کارکنان قرار می‌دهیم. درمجموع چهار نوع کار داریم که می‌تواند به‌صورت دسته‌ای3 در اختیار کارکنان گیرد و کارکنان در مورد آنها نظر دهند. کارها را با 
نمایش می‌دهیم و منظور دسته کارها است. طبق مطالب گفته‌شده 
است.
3-4. ارزیابی توافق کاربران
استفاده از پول به‌عنوان محرک اصلی منجر به تولید پاسخهای شانسی و تقلب در سیستم میشود. پس از جمع‌آوری پاسخهای کارکنان به‌منظور تعیین میزان تلاش و دقت کارکنان در انجام وظایف کیفیت پاسخ‌ها را ارزیابی میکنیم. در هیچ‌یک از کارهای مرتبط به‌طور دقیق به مسئله ارزیابی پاسخهای کارکنان پرداخته نشده است. در اینجا پاسخهای کارکنان به‌صورت جداگانه مورد ارزیابی قرار نمی‌گیرد بلکه توافقی که بین آنها در مورد کار صورت گرفته را ارزیابی میکنیم. به‌منظور ارزیابی توافق بین مشارکت‌کنندگان و تعیین میزان اعتبار توافق آنها از مفهومی به نام ضریب کاپا4 استفاده میکنیم. در ادامه به بیان این مفهوم می‌پردازیم.
هنگامی‌که n نفر، N شئ را در k گروه دسته‌بندی می‌کنند معیار فلایس کاپا(K) میزان اعتبار توافق رأی‌دهندگان را مشخص میکند. به بیانی دیگر این شاخص میزان صحت نتایج را نشان داده و بایاس شدن نتایج را بسیار کم‌رنگ میکند [23]. هرچه این مقدار به یک نزدیک‌تر باشد اعتبار توافق بیشتر است و هرچه به صفر نزدیک‌تر شویم درجه اعتبار توافق کمتر میشود. اگر این ضریب برابر یک باشد توافق کامل و اگر از صفر کمتر باشد توافق کاملاً شانسی بوده است. این شاخص عیب اساسی دارد که پس از استفاده از آن متوجه این عیب شدیم. عیب این ضریب این است که وقتی توافق خیلی دقیق و نزدیک به توافق کامل باشد یک تناقض ایجاد شده و جواب منفی می‌دهد. در مقاله [24] به این مشکل پرداخته شده و یک روش جدید ارائه داده‌اند که عیب گفته‌شده را ندارد. بنابراین ما از فرمول ارائه‌شده در این مقاله در مکانیزم خود استفاده میکنیم.
پس از تعیین اعتبار توافق بر اساس معیار کاپا، یک آستانه5 برای میزان اعتبار توافق در نظر می‌گیریم. حد آستانه بر اساس نوع کار و تعداد شرکت‌کنندگان در آن کار مشخص میشود. این شاخص را با 
نشان می‌دهیم و منظور آستانه توافق یک دسته از کارها است. برای کارهای سخت‌تر یا کاری با تعداد شرکت‌کنندگان زیاد، حد آستانه کوچک‌تری در نظر گرفته میشود و بالعکس. اگر اعتبار توافق از حد آستانه بیشتر باشد توافق را قابل‌قبول در غیر این صورت توافق غیرقابل‌قبول می‌گوییم. اگر توافق قابل‌قبول باشد پاسخهای کارکنان را ارزیابی و بر این اساس به آنها پاداش می‌دهیم. اگر توافق قابل‌قبول نباشد ، ما پاسخهای کارکنان را ارزیابی نمی‌کنیم و کلیه شرکت‌کنندگان در کار را مجازات میکنیم. در ادامه، به توافق قابل‌قبول و غیرقابل‌قبول و نحوه تعیین مهارت در هریک از این موارد می‌پردازیم. در شکل 2 فلوچارت دقیق این مرحله را می‌بینید.
[1] Likert scale
[2] Assigning works
[3] Batch
[4] Fleiss Kappa
[5] Threshold
شکل2: ارزیابی پاسخهای کارکنان
3-4-1. توافق قابل قبول
همان‌طور که گفتیم درصورتی‌که توافق کارکنان قابل‌قبول باشد، پاسخهای کارکنان را مورد ارزیابی قرار می‌دهیم. بدین منظور پاسخ هر کارمند را با پاسخ نهایی کار مقایسه میکنیم. اگر تفاضل پاسخ کارمند با پاسخ نهایی کار، از یک حد آستانه کمتر باشد مهارت او را افزایش می‌دهیم و در غیر این صورت مهارت او را کاهش می‌دهیم. تفاضل پاسخ‌ها را با 
نشان می‌دهیم. تعیین حد آستانه به محل استفاده سیستم و نوع وظایف بستگی دارد. آستانه را با 
نشان می‌دهیم و منظور آستانه فاصله پاسخ یک کار با پاسخ نهایی آن کار است. همچنین میزان مهارتی که کارمند از مشارکت در کار به دست می‌آورد را با 
و میزان مهارتی که از دست می‌دهد را با 
نمایش می‌دهیم. مهارت کلی کارمند در کار را با 
نشان می‌دهیم.
به‌منظور ارزیابی پاسخ‌ها ابتدا باید پاسخ نهایی کار از پاسخهای مشارکت‌کنندگان استخراج شود میزان مهارت کارمند را در تعیین فراوانی یک پاسخ تأثیر داده و فراوانی یک پاسخ را بر اساس فرمول زیر محاسبه میکنیم. پاسخی که بیشترین فراوانی را داشته باشد به‌عنوان پاسخ نهایی کار در نظر می‌گیریم. فراوانی پاسخ 
در کار را با استفاده از فرمول 2 محاسبه میکنیم
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(4) |
|
در اینجا یک مکانیزم نیز برای جلوگیری از سواری مجانی کارکنان پیشنهاد شده است. منظور از سواری مجانی این است که کارمند در کارها شرکت کند و پاسخ شانسی بدهد اما ازآنجایی‌که توافق موردقبول باشد، پاداش دریافت کند. اگر کارمند پاسخ شانسی بدهد احتمال پاسخهای غلط او بسیار بالا می‌رود. برای جلوگیری از سواری مجانی اگر 
از آستانه 
بیشتر شد کارمند را در یک بازه زمانی مشخص از شرکت در آن دسته از کارها محروم میکنیم. را به مقدار پایه‌اش یعنی ۱ بازنشانی میکنیم.
3-4-2. توافق غیرقابل‌قبول
بر طبق شکل ۲ اگر 
باشد، توافق غیرقابل‌قبول است. در این حالت پاسخهای کارکنان ارزیابی نمی‌شود و به‌منظور تنبیه آنها مهارت تمام افراد شرکت‌کننده در کار بر طبق فرمول 5 کاهش می‌یابد. این مرحله شبیه به مرحله کاهش مهارت در توافق قابل‌قبول است. به دلیل عدم ارزیابی پاسخ‌ها از شاخص در محاسبه میزان کاهش مهارت استفاده نمی‌شود. ضریب کاپا را در آن تأثیر می‌دهیم و شیب کاهش مهارت در این حالت بیشتر است. توجه داشته باشید درصورتی‌که توافق غیرقابل‌قبول باشد هیچگونه پاداشی به کارکنان تعلق نمی‌گیرد.
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(6) |
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
(7) |
|
(8) |
|
(9) |
|
(10) |
|
|
|
طبق مطالب گفته‌شده در بازی دونفره، اگر ثابت کنیم که مخرج کسر 11 همواره مثبت است آنگاه مقدار 
به‌درستی تعیین میشود. این اثبات در پیوست ب آورده شده است. پس در این حالت نیز مقدار به نحوی تعیین میشود که منجر به استخراج بیشترین تلاش کارکنان در ازای کمترین هزینه ممکن میشود.
5. ارزیابی
پس از اثبات درستی مکانیزم ارائه‌شده با استفاده از نظریه بازی‌ها، آن را با استفاده از پیاده‌سازی تحلیل میکنیم. در ادامه با پیاده‌سازی مکانیزم پیشنهادی، بررسی میکنیم که آیا به اهداف خود از ایجاد تحریک دست پیداکرده‌ایم؟ برای این کار وظایف را بر اساس نتایج حاصل از سیستم تشخیص نفوذ مبتنی بر شبکه ایجاد و به کارکنان اختصاص داده و پاسخهای آنها را دریافت و پس ارزیابی به کارکنان پاداش می‌دهیم.
در ابتدا مسئله انجام کارها توسط افراد متخصص را بررسی میکنیم. در شکل ۳ رفتار یک کارمند را در طول زمان بررسی کردیم. کارمند در دو دسته از کارها شرکت کرده است که مهارتش در یکی از کارها بیشتر بوده است.سطح سختی کارها متفاوت بوده است. همان‌طور که شکل ۳ مشاهده میکنید کارمند در کاری که ماهرتر بوده مهارت بیشتری کسب کرده و درنتیجه پاداش بیشتری دریافت میکند. درنتیجه این کارمند به انجام کارهایی که مهارت بیشتری دارد تحریک میشود. بنابراین کارها توسط افراد متخصص انجام میشود.
شکل 3: مقایسه انجام کار با مهارت زیاد و کم
در ادامه رفتار دو کارمند کاملاً مشابه در انجام یک دسته از کارها را طول زمان بررسی کردیم. یکی از کارمندها همه کارها را با تلاش زیاد و دیگری با تلاش کم انجام می‌دهد. همان‌طور که در شکل ۴ مشاهده میکنید، مهارت کارمندی که کارها را با تلاش زیاد انجام داده بیشتر از کارمند دیگر رشد کرده است و پاداش بیشتری دریافت میکند. بنابراین کارمندان به انجام کارها با تلاش زیاد تحریک میشوند. توجه کنید که انجام کارهای سطح پایین توسط کارکنان ماهر مطلوب نیست زیرا باید پاداش بیشتری پرداخت شود. بر اساس تحلیل انجام‌شده در شکل ۴ کارکنان به انجام کارهایی که در آن مهارت بیشتری دارند تحریک میشوند ، بنابراین حالتی که توضیح دادیم یعنی انجام کارهای سطح پایین توسط افراد ماهر اتفاق نمی‌افتد.
شکل 4: مقایسه مهارت حاصل از تلاش زیاد و تلاش کم
در شکل ۵ شیب کاهش مهارت در توافق قابل‌قبول و غیرقابل‌قبول در یک دسته از کارها را بررسی میکنیم. همان‌طور که مشاهده میکنید، شیب کاهش مهارت در توافق غیرقابل‌قبول بیشتر از شیب کاهش مهارت در توافق قابل‌قبول است. بنابراین کارکنان تحریک میشوند یک توافق قابل‌قبول انجام دهند تا مهارت بیشتری کسب کرده و سود بیشتری دریافت کنند.
شکل 5: مقایسه شیب کاهش مهارت در توافق قابل‌قبول و غیرقابل‌قبول
برای به دست آوردن پاسخ باکیفیت باید شاخص‌های تعداد کارکنان و ضریب کاپا را بر اساس نوع کارها و سطح مهارت کارکنان تعیین کرد. هر چه کار سخت‌تر باشد باید تعداد کارکنان کمتری در انجام آن شرکت کنند و ضریب کاپا کمتری در نظر گرفته شود تا منجر به دریافت پاسخهای باکیفیت شود. بالعکس اگر کار ساده باشد باید تعداد کارکنان بیشتری شرکت کنند و ضریب کاپا بزرگتری در نظر گرفته شود تا پاسخی باکیفیت دریافت شود. ضریب کاپا را برای کاری که کارکنان ماهرتری دارد بیشتر در نظر می‌گیریم زیرا مهارت آنها زیاد است و توافق بهتری انجام می‌دهند و بالعکس. همچنین برای دریافت پاسخ باکیفیت در کارهایی با کارکنان ماهرتر، باید ضریب کاپا بزرگتری در نظر گرفته شود.
به دلیل عدم وجود کار مشابه در حوزه سیستم‌های محاسبات انسانی تشخیص نفوذ، مکانیزم پیشنهادی را با یکی از بروزترین کارهای مشابه [13] ارائه‌شده در حوزههای دیگر مقایسه میکنیم. مکانیزم ارایه شده در این مقاله را در بخش کارهای مرتبط توضیح دادیم. در مقاله موردنظر کارها را به‌صورت همگن در نظر گرفته بنابراین برای مقایسه یک دسته از کارها را در طول زمان برای کارکنان ارسال کرده و نتایج را ارزیابی میکنیم. بهترین شاخص ارزیابی میزان و نحوه مشارکت کارکنان در انجام کارها است. برای این کار میزان پاداش کارکنان را مقایسه میکنیم.
شکل 6: مقایسه میزان پاداش دریافتی مکانیزم ارائه‌شده در این مقاله با مقاله [13]
در مکانیزم ما اگر کارکنان مشارکت قابل‌قبولی داشته باشند(آنها را به انجام این کار تحریک کردهایم) مهارت آنها در آن کار افزایش پیدا میکند درنتیجه پاداش آنها نیز افزایش پیدا میکند. اما در مکانیزم ارائه‌شده در مقاله مورد مقایسه پاداش کارکنان توسط صاحب‌کار مشخص میشود و کارکنان هیچگونه کنترلی روی آن ندارند. به این نکته توجه داشته باشید صاحبان کار علم مناسب در مورد نحوه تعیین پاداش ندارند. همان‌طور که در شکل 6 مشاهده میکنید در مکانیزم ما پاداش کارکنان در اثر افزایش مهارت رشد مناسبی داشته است. بنابراین کارکنانی که در این دسته از کار تخصص دارند به مشارکت بیشتر برای افزایش پاداش تحریک میشوند. درنتیجه مکانیزم پیشنهادی در تحریک کارکنان به مشارکت بیشتر و بهتر موفقتر بوده است.
6. نتیجه‌گیری و پیشنهادات
در این مقاله ما بر آن بودیم که برخی از اساسی‌ترین نقص‌های سیستم‌های محاسبات انسانی و به‌طور خاص سیستم محاسبات انسانی تشخیص نفوذ مانند کمبود مشارکت، مشارکت بی‌کیفیت و هزینه‌های زیاد را برطرف کنیم. سعی کردیم این کار را با طراحی یک مکانیزم پاداشدهی محرک انجام دهیم. هدف ما از تحریک افزایش مشارکت، انجام کارها توسط کارکنان متخصص با بیشترین تلاش و دقت در ازای کمترین هزینه ممکن بود. بر اساس ویژگی‌های سیستم محاسبات انسانی تشخیص نفوذ محرک‌های مناسب انتخاب شد و مکانیزیم تحریک‌آمیز را طراحی کرده و بر اساس نظریه بازی‌ها تحلیل کردیم. نتیجه این تحلیل تعین کمترین هزینه(پاداش) یک کار برای استخراج بیشترین تلاش و دقت کارکنان بود. در پایان بر اساس نتایج پیاده‌سازی نشان دادیم که به اهداف خود از ایجاد تحریک کاملاً دست پیدا کردهایم. از دستاوردهای طراحی این مکانیزم، افزایش دقت کارکنان در مشارکت و درنتیجه افزایش دقت سیستم محاسبات انسانی تشخیص نفوذ در شناسایی حملات جدید و کاهش نرخ هشدار اشتباه این سیستم‌ها بوده که مانع از شکست سیستم میشود. یکی دیگر از دستاوردهای مهم، مدیریت منابع مالی سیستم با استفاده از تعیین کمترین منابع مالی موردنیاز برای مشارکت‌کنندگان بر اساس نتایج تحلیل حاصل از نظریه بازی‌ها است.
همان‌طور که بیان کردیم درصورتی‌که کارکنان در یک دسته از کارها اشتباه زیادی داشته باشند، آنها را از شرکت در آن دسته از کارها محروم میکنیم. تحلیل این مکانیزم تنبیه به‌صورت یک بازی تکرارپذیر می‌تواند از کارهای آتی باشد. در این مقاله سه نوع استراتژی برای کارکنان در نظر گرفتیم، در نظر گرفتن استراتژی‌های متعدد و مطابق با واقعیت‌های رفتاری انسان‌ها می‌تواند از کارهای آتی باشد. بررسی اثر فاکتورهای انسانی از قبیل تعصبات و محرک‌های نوع‌دوستانه در طراحی مکانیزمهای محرک و استفاده از آنها در طراحی، نیز از کارهای آتی است. همچنین ایجاد یک مدل رسمی که میزان سرگرم شدن کاربران از فعالیت‌های شناختی را به دست آورد نیز یک مسئله باز است.
مراجع
K. Veeramachaneni, I. Arnaldo, V. Korrapati, C. Bassias and K. Li, "AI^2: Training a Big Data Machine to Defend", 2016 IEEE 2nd International Conference on Big Data Security on Cloud (BigDataSecurity), IEEE International Conference on High Performance and Smart Computing (HPSC), and IEEE International Conference on Intelligent Data and Security (IDS), New York, NY, pp. 49-54, 2016. | [1] |
L. von Ahn, "Human Computation", 2008 IEEE 24th International Conference on Data Engineering, Cancun, pp. 1-2, 2008. | [2] |
E. Law, L. Von Ahn, "Solving Computational Problems", Human Computation, Morgan and Claypool Publishers, pp. 13-56, 2011. | [3] |
A. J. Quinn and B. B. Bederson, "Human computation: A survey and taxonomy of a growing field", annual conference on Human factors in computing systems, New York, NY, USA, pp. 1403-1412, 2011. | [4] |
J.C. Tang, M. Cebrian, N. A. Giacobe, H. Kim, and T. Kim, "Reflecting on the DARPA Red Balloon Challenge", communications of the ACM, vol. 54, no. 4, pp. 78-85, 2011. | [5] |
A. Dasgupta, A. Ghosh, "Crowdsourced judgement elicitation with endogenous proficiency." Proceedings of the 22nd international conference on World Wide Web, pp. 319–330, 2013. | [6] |
W. Wu et al., "Incentive mechanism design to meet task criteria in crowdsourcing: How to determine your budget", IEEE Journal on Selected Areas in Communications, vol. 35, no. 2, pp. 502-516, 2017. | [7] |
H. Xie, J. C. S. Lui, J. W. Jiang and W. Chen, "Incentive mechanism and protocol design for crowdsourcing systems", 2014 52nd Annual Allerton Conference on Communication, Control and Computing (Allerton) ), Monticello, IL, pp. 140-147, 2014. | [8] |
L. Von Ahn, L. Dabbish, "Designing games with a purpose", Communications of the ACM, vol. 51, no. 8, pp. 58-67, 2008. | [9] |
S. Jain, D. C. Parkes, "A game-theoretic analysis of the ESP game", ACM Transactions on Economics and Computation (TEAC), vol. 1, no. 1, pp.1-35, 2013. | [10] |
N. Alon et al., "Sum of us: Strategyproof selection from the selectors." Proceedings of the 13th Conference on Theoretical Aspects of Rationality and Knowledge, pp. 101–110, 2011. | [11] |
D. Yang et al. "Incentive mechanisms for crowdsensing: Crowdsourcing with smartphones", IEEE/ACM transactions on networking, vol. 24, no. 3, pp. 1732-1744, 2015. | [12] |
C. Tang, X. Li, M. Cao, Z. Zhang and X. Yu, "Incentive Mechanism for Macrotasking Crowdsourcing: A Zero-Determinant Strategy Approach", in IEEE Internet of Things Journal, vol. 6, no. 5, pp. 8589-8601, Oct. 2019. | [13] |
J. Nie, J. Luo, Z. Xiong, D. Niyato and P. Wang, "A Stackelberg Game Approach Toward Socially-Aware Incentive Mechanisms for Mobile Crowdsensing", in IEEE Transactions on Wireless Communications, vol. 18, no. 1, pp. 724-738, Jan. 2019. | [14] |
Q. Li, H. Cao, S. Wang and X. Zhao, "A Reputation-Based Multi-User Task Selection Incentive Mechanism for Crowdsensing", in IEEE Access, vol. 8, pp. 74887-74900, 2020. | [15] |
X. Gan, Y. Li, W. Wang, L. Fu and X. Wang, "Social crowdsourcing to friends: An incentive mechanism for multi-resource sharing", IEEE Journal on Selected Areas in Communications, vol. 35, no. 3, pp. 795–808, 2017. | [16] |
D. Peng, F. Wu and G. Chen, "Data Quality Guided Incentive Mechanism Design for Crowdsensing", in IEEE Transactions on Mobile Computing, vol. 17, no. 2, pp. 307-319, Feb. 2018. | [17] |
S. Jain, Y. Chen, and D. C. Parkes, "Designing incentives for online question-and-answer forums", Games and Economic Behavior, vol. 86, pp. 458-474, 2014. | [18] |
A. Morishima et al. "CyLog/Crowd4U: A declarative platform for complex data-centric crowdsourcing", Proceedings of the VLDB Endowment, vol. 5, no. 12, pp. 1918-1921, 2012. | [19] |
Y. Liu, C. Miao, "A survey of incentives and mechanism design for human computation systems", arXiv preprint arXiv: 1602.03277, 2016. | [20] |
م. درويشي، م. غیوري ثالث، " تشخیص نفوذ در شبکه‌های رایانه‌ای با استفاده از مدل مخفی مارکوف تکاملی"، دوفصل نامه علمی ترویجی منادی امنیت فضای تولید و تبادل اطلاعات( افتا)، جلد 16، شماره 2، صفحه 3-16، 1398. | [21] |
A. Joshi, S. Kale, S. Chandel, and D. K. Pal, “Likert Scale: Explored and Explained”, CJAST, Vol. 7, No. 4, pp. 396-403, Feb. 2015. | [22] |
Fleiss, Joseph L, "Measuring nominal scale agreement among many raters", Psychological bulletin, Vol. 76, No. 5, pp. 378–382, 1971. | [23] |
J. J. Randolph. "Free-Marginal Multirater Kappa (multirater K [free]): An Alternative to Fleiss' Fixed-Marginal Multirater Kappa", In Joensuu Learning and Instruction Symposium, 2005. | [24] |
پیوست
به‌منظور اثبات درستی تعیین پاداش در بازی دونفره باید ثابت کنیم که معادله زیر همواره مثبت است. بنابراین:
|
|
|
|
|
|
|
|
اگر از مقادیر مشترک فاکتور بگیریم:
|
|
(1 پ) |
|
(2 پ) |
|
Incentive Reward Mechanism for Human Computation Intrusion
Detection System Based on Game Theory
Yahya Lor Mohammad Hassani Esfandaghe1
Majid Ghayoori Sales2
1. Masters student, Department of Computer Science, Faculty of Information and Communication Technology, Imam Hossein university, ylmhasani@ihu.ac.ir
2. Assistant Professor, Department of Computer Science, Faculty of Information and Communication Technology, Imam Hossein university , ghayoori@ihu.ac.ir
Abstract:
Despite the tremendous advances in the design of human computation systems, most of them suffer from low or low-quality contributions, and a high percentage of them fail. The success of these systems mostly depends on the behavior of people who participated in the system. Because human computation systems involve small work units, and each work brings little benefit to the participants, humans exhibit desirable behavior if they are well motivated. In this paper, we investigated this issue in the human computation intrusion detection (HCID) system. Our goal is to design a mechanism to get tasks done by experts with the utmost effort and accuracy for the lowest possible cost with a high percentage of participation. After choosing the appropriate motivation, we design the reward incentive mechanism for this system. The idea behind this mechanism was to use worker's skills in determining their rewards, and we used the Kappa coefficient to evaluate worker's agreement. After designing this mechanism, we use game theory to analyze the mechanism and determine the minimum possible reward for each task category. We prevent system failure by encouraging the workers to be high and quality participation. Also, we manage the system's financial resources by allocating the least necessary financial resources to the workers. This mechanism's design leads to an increase in the participants' accuracy and, consequently, to an increase in the human computation intrusion detection system's accuracy in identifying new attacks and reducing their false alert rate.
Keywords: Incentive Rewarding, , Human Computation, Game Theory, Intrusion Detection, Kappa Coefficient
نویسنده مسئول: یحیی لرمحمد حسنی اسفندقه ylmhasani@ihu.ac.ir
1
رایمگ
پیوندهای سایت
مراکز مرتبط
پشتیبانی
صفحات رسمی
حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات رایمگ است.
حق نشر © 1403-1396