ارایه یک مدل هوشمند بهمنظور تشخیص چندوجهی شخصیت کاربران با استفاده از روشهای یادگیری ژرف
محورهای موضوعی :حسین صدر 1 , فاطمه محدث دیلمی 2 , مرتضی ترخان 3
1 - هیات علمی
2 - دانشجو
3 - دانشیار
کلید واژه: یادگیری ژرف, شبکه عصبی کانولوشنی, مدل ترکیب آدابوست, تشخیص شخصیت, دادههای متنی.,
چکیده مقاله :
با توجه به رشد قابلتوجه اطلاعات و دادههای متنی که توسط انسانها در شبکههای مجازی تولید میشوند، نیاز به سیستمهایی است که بتوان به کمک آنها بهصورت خودکار به تحلیل دادهها پرداخت و اطلاعات مختلفی را از آنها استخراج کرد. یکی از مهمترین دادههای متنی موجود در سطح وب دیدگاههای افراد نسبت به یک موضوع مشخص است. متنهای منتشرشده توسط کاربران در فضای مجازی میتواند معرف شخصیت آنها باشد. الگوریتمهای یادگیری ماشین میتواند انتخاب مناسبی برای تجزیهوتحلیل اینگونه مسائل باشند، اما بهمنظور غلبه بر پیچیدگی و پراکندگی محتوایی و نحوی دادهها نیاز به الگوریتمهای یادگیری ژرف بیش از پیش در این حوزه احساس میشود. در این راستا، هدف این مقاله بهکارگیری الگوریتمهای یادگیری ژرف بهمنظور دستهبندی متون برای پیشبینی شخصیت میباشد. برای رسیدن به این هدف، شبکه عصبی کانولوشنی با مدل آدابوست بهمنظور دستهبندی دادهها ترکیب گردید تا بتوان به کمک آن دادههای آزمایشی که با خطا دستهبندی شدهاند را در مرحله دوم دستهبندی با اختصاص ضریب آلفا، با دقت بالاتری دستهبندی کرد. مدل پیشنهادی این مقاله روی دو مجموعه داده ایزیس و یوتیوب آزمایش شد و بر اساس نتایج بدست آمده مدل پیشنهادی از دقت بالاتری نسبت به سایر روشهای موجود روی هر دو مجموعه داده برخودار است.
Due to the significant growth of textual information and data generated by humans on social networks, there is a need for systems that can automatically analyze the data and extract valuable information from them. One of the most important textual data is people's opinions about a particular topic that are expressed in the form of text. Text published by users on social networks can represent their personality. Although machine learning based methods can be considered as a good choice for analyzing these data, there is also a remarkable need for deep learning based methods to overcome the complexity and dispersion of content and syntax of textual data during the training process. In this regard, the purpose of this paper is to employ deep learning based methods for personality recognition. Accordingly, the convolutional neural network is combined with the Adaboost algorithm to consider the possibility of using the contribution of various filter lengths and gasp their potential in the final classification via combining various classifiers with respective filter sizes using AdaBoost. The proposed model was conducted on Essays and YouTube datasets. Based on the empirical results, the proposed model presented superior performance compared to other existing models on both datasets.
[1] N. Tsapatsoulis and C. Djouvas, "Opinion mining from social media short texts: Does collective intelligence beat deep learning?," Frontiers Robotics AI, 2019.
[2] H. Sadr, M. M. Pedram, and M. Teshnehlab, "Convolutional Neural Network Equipped with Attention Mechanism and Transfer Learning for Enhancing Performance of Sentiment Analysis," Journal of AI and Data Mining, pp. -, 2021, doi: 10.22044/jadm.2021.9618.2100.
[3] P. Chaiwuttisak, "Text Mining Analysis of Comments in Thai Language for Depression from Online Social Networks," in Soft Computing for Biomedical Applications and Related Topics: Springer, 2020, pp. 301-313.
[4] H. Sadr, M. M. Pedram, and M. Teshnelab, "Improving the Performance of Text Sentiment Analysis using Deep Convolutional Neural Network Integrated with Hierarchical Attention Layer," International Journal of Information and Communication Technology Research, vol. 11, no. 3, pp. 57-67, 2019.
[5] J. A. Golbeck, "Predicting personality from social media text," AIS Transactions on Replication Research, vol. 2, no. 1, p. 2, 2016.
[6] H. Sadr, M. N. Solimandarabi, M. M. Pedram, and M. Teshnehlab, "A Novel Deep Learning Method for Textual Sentiment Analysis," arXiv preprint arXiv:2102.11651, 2021.
[7] D. Schultz and S. E. Schultz, Psychology and Work Today: Pearson New International Edition CourseSmart eTextbook. Routledge, 2015.
[8] A. H. Jadidinejad and H. Sadr, "Improving weak queries using local cluster analysis as a preliminary framework," Indian Journal of Science and Technology, vol. 8, no. 5, pp. 495-510, 2015.
[9] G. W. Allport, "Personality: A psychological interpretation," 1937.
[10] R. S. Camati and F. Enembreck, "Text-Based Automatic Personality Recognition: a Projective Approach," in 2020 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2020: IEEE, pp. 218-225.
[11] H. Sadr, M. N. Soleimandarabi, M. Pedram, and M. Teshnelab, "Unified Topic-Based Semantic Models: A Study in Computing the Semantic Relatedness of Geographic Terms," in 2019 5th International Conference on Web Research (ICWR), 2019: IEEE, pp. 134-140.
[12] D. Xue et al., "Deep learning-based personality recognition from text posts of online social networks," Applied Intelligence, vol. 48, no. 11, pp. 4232-4246, 2018.
[13] Y. Mehta, N. Majumder, A. Gelbukh, and E. Cambria, "Recent trends in deep learning based personality detection," Artificial Intelligence Review, pp. 1-27, 2019.
[14] H. Sadr, M. M. Pedram, and M. Teshnehlab, "A Robust Sentiment Analysis Method Based on Sequential Combination of Convolutional and Recursive Neural Networks," Neural Processing Letters, pp. 1-17, 2019.
[15] H. Sadr, M. M. Pedram, and M. Teshnehlab, "Multi-View Deep Network: A Deep Model Based on Learning Features From Heterogeneous Neural Networks for Sentiment Analysis," IEEE Access, vol. 8, pp. 86984-86997, 2020.
[16] A. Remaida, B. Abdellaoui, A. Moumen, and Y. E. B. El Idrissi, "Personality traits analysis using Artificial Neural Networks: A Literature Survey," in 2020 1st International Conference on Innovative Research in Applied Science, Engineering and Technology (IRASET), 2020: IEEE, pp. 1-6.
[17] H. Sadr, M. Nazari Solimandarabi, and M. Mirhosseini Moghadam, "Categorization of Persian Detached Handwritten Letters Using Intelligent Combinations of Classifiers," Journal of Advances in Computer Research, vol. 8, no. 4, pp. 13-21, 2017.
[18] H. Sadr and M. Nazari Solimandarabi, "Presentation of an efficient automatic short answer grading model based on combination of pseudo relevance feedback and semantic relatedness measures," Journal of Advances in Computer Research, vol. 10, no. 2, pp. 1-10, 2019.
[19] H. Sadr, M. Nazari, M. M. Pedram, and M. Teshnehlab, "Exploring the Efficiency of Topic-Based Models in Computing Semantic Relatedness of Geographic Terms," International Journal of Web Research, vol. 2, no. 2, pp. 23-35, 2019.
[20] H. Sadr, R. Atani, and M. Yamaghani, "The Significance of Normalization Factor of Documents to Enhance the Quality of Search in Information Retrieval Systems," International Journal of Computer Science and Network Solutions, vol. 2, no. 5, pp. 91-97, 2014.
[21] J. Golbeck, C. Robles, M. Edmondson, and K. Turner, "Predicting personality from twitter," in 2011 IEEE third international conference on privacy, security, risk and trust and 2011 IEEE third international conference on social computing, 2011: IEEE, pp. 149-156.
[22] D. Quercia, M. Kosinski, D. Stillwell, and J. Crowcroft, "Our twitter profiles, our selves: Predicting personality with twitter," in 2011 IEEE third international conference on privacy, security, risk and trust and 2011 IEEE third international conference on social computing, 2011: IEEE, pp. 180-185.
[23] F. Alam, E. A. Stepanov, and G. Riccardi, "Personality traits recognition on social network-facebook," in Seventh International AAAI Conference on Weblogs and Social Media, 2013.
[24] M. Skowron, M. Tkalčič, B. Ferwerda, and M. Schedl, "Fusing social media cues: personality prediction from twitter and instagram," in Proceedings of the 25th international conference companion on world wide web, 2016, pp. 107-108.
[25] D. Xue et al., "Personality recognition on social media with label distribution learning," IEEE Access, vol. 5, pp. 13478-13488, 2017.
[26] E. Tighe and C. Cheng, "Modeling personality traits of filipino twitter users," in Proceedings of the Second Workshop on Computational Modeling of People’s Opinions, Personality, and Emotions in Social Media, 2018, pp. 112-122.
[27] H.-C. Yang and Z.-R. Huang, "Mining personality traits from social messages for game recommender systems," Knowledge-Based Systems, vol. 165, pp. 157-168, 2019.
[28] S. Han, H. Huang, and Y. Tang, "Knowledge of words: An interpretable approach for personality recognition from social media," Knowledge-Based Systems, p. 105550, 2020.
[29] J. Yu and K. Markov, "Deep learning based personality recognition from facebook status updates," in 2017 IEEE 8th International Conference on Awareness Science and Technology (iCAST), 2017: IEEE, pp. 383-387.
[30] T. Tandera, D. Suhartono, R. Wongso, and Y. L. Prasetio, "Personality prediction system from facebook users," Procedia computer science, vol. 116, pp. 604-611, 2017.
[31] B. B. C. da Silva and I. Paraboni, "Personality recognition from Facebook text," in International Conference on Computational Processing of the Portuguese Language, 2018: Springer, pp. 107-114.
[32] Z. Wang, C.-H. Wu, Q.-B. Li, B. Yan, and K.-F. Zheng, "Encoding Text Information with Graph Convolutional Networks for Personality Recognition," Applied Sciences, vol. 10, no. 12, p. 4081, 2020.
[33] E. A. Rissola, S. A. Bahrainian, and F. Crestani, "Personality recognition in conversations using capsule neural networks," in IEEE/WIC/ACM International Conference on Web Intelligence, 2019, pp. 180-187.
[34] N. Majumder, S. Poria, A. Gelbukh, and E. Cambria, "Deep learning-based document modeling for personality detection from text," IEEE Intelligent Systems, vol. 32, no. 2, pp. 74-79, 2017.
[35] S. M. Mohammad and S. Kiritchenko, "Using hashtags to capture fine emotion categories from tweets," Computational Intelligence, vol. 31, no. 2, pp. 301-326, 2015.
[36] X. Sun, B. Liu, J. Cao, J. Luo, and X. Shen, "Who am I? Personality detection based on deep learning for texts," in 2018 IEEE International Conference on Communications (ICC), 2018: IEEE, pp. 1-6.
[37] Y. Freund, "An adaptive version of the boost by majority algorithm," Machine learning, vol. 43, no. 3, pp. 293-318, 2001.
[38] T. Young, D. Hazarika, S. Poria, and E. Cambria, "Recent trends in deep learning based natural language processing," ieee Computational intelligenCe magazine, vol. 13, no. 3, pp. 55-75, 2018.
[39] T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Efficient estimation of word representations in vector space," arXiv preprint arXiv:1301.3781, 2013.
[40] T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Distributed Representations of Words and Phrases and their Compositionality, Nips," 2013.
[41] I. Goodfellow, Y. Bengio, A. Courville, and Y. Bengio, Deep learning. MIT press Cambridge, 2016.
[42] T. Young, D. Hazarika, S. Poria, and E. Cambria, "Recent trends in deep learning based natural language processing," arXiv preprint arXiv:1708.02709, 2017.
[43] O. Irsoy and C. Cardie, "Deep recursive neural networks for compositionality in language," in Advances in neural information processing systems, 2014, pp. 2096-2104.
[44] Y. Zhang and B. Wallace, "A sensitivity analysis of (and practitioners' guide to) convolutional neural networks for sentence classification," arXiv preprint arXiv:1510.03820, 2015.
[45] Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444, May, 2015.
[46] J. W. Pennebaker and L. A. King, "Linguistic styles: Language use as an individual difference," Journal of personality and social psychology, vol. 77, no. 6, p. 1296, 1999.
[47] J.-I. Biel, V. Tsiminaki, J. Dines, and D. Gatica-Perez, "Hi YouTube! Personality impressions and verbal content in social video," in Proceedings of the 15th ACM on International conference on multimodal interaction, 2013, pp. 119-126.
An Intelligent Model for Multidimensional Personality Recognition of Users using Deep Learning Methods
Abstract:
Due to the significant growth of textual information and data generated by humans on social networks, there is a need for systems that can automatically analyze the data and extract valuable information from them. One of the most important textual data is people's opinions about a particular topic that are expressed in the form of text. Text published by users on social networks can represent their personality. Although machine learning based methods can be considered as a good choice for analyzing these data, there is also a remarkable need for deep learning based methods to overcome the complexity and dispersion of content and syntax of textual data during the training process. In this regard, the purpose of this paper is to employ deep learning based methods for personality recognition. Accordingly, the convolutional neural network is combined with the Adaboost algorithm to consider the possibility of using the contribution of various filter lengths and gasp their potential in the final classification via combining various classifiers with respective filter sizes using AdaBoost. The proposed model was conducted on Essays and YouTube datasets. Based on the empirical results, the proposed model presented superior performance compared to other existing models on both datasets.
Keywords: Deep learning, Convolutional neural network, Adaboost combinational model, Personality recognition, Textual data
دو فصلنامه علمي فناوري اطلاعات و ارتباطات ایران | سال سیزدهم، شمارههاي 47 و 48، بهار و تابستان 1400 |
|
ارایه یک مدل هوشمند بهمنظور تشخیص چندوجهی شخصیت کاربران با استفاده از روشهای یادگیری ژرف
فاطمه محدث دیلمی* حسین صدر** مرتضی ترخان***
*موسسه آموزش عالی آیندگان، گروه کامپیوتر، تنکابن
** استادیار گروه مهندسی کامپیوتر، دانشگاه آزاد اسلامی واحد رشت
***دانشیار گروه روانشناسی، دانشگاه پیام نور، تهران، ایران
تاریخ دریافت: 29/05/1399 تاریخ پذیرش: 20/12/1399
نوع مقاله: پژوهشی
چكیده
با توجه به رشد قابلتوجه اطلاعات و دادههای متنی که توسط انسانها در شبکههای مجازی تولید میشوند، نیاز به سیستمهایی است که بتوان به کمک آنها بهصورت خودکار به تحلیل دادهها پرداخت و اطلاعات مختلفی را از آنها استخراج کرد. یکی از مهمترین دادههای متنی موجود در سطح وب دیدگاههای افراد نسبت به یک موضوع مشخص است. متنهای منتشرشده توسط کاربران در فضای مجازی میتواند معرف شخصیت آنها باشد. الگوریتمهای یادگیری ماشین میتواند انتخاب مناسبی برای تجزیهوتحلیل اینگونه مسائل باشند، اما بهمنظور غلبه بر پیچیدگی و پراکندگی محتوایی و نحوی دادهها نیاز به الگوریتمهای یادگیری ژرف بیش از پیش در این حوزه احساس میشود. در این راستا، هدف این مقاله بهکارگیری الگوریتمهای یادگیری ژرف بهمنظور دستهبندی متون برای پیشبینی شخصیت میباشد. برای رسیدن به این هدف، شبکه عصبی کانولوشنی با مدل آدابوست بهمنظور دستهبندی دادهها ترکیب گردید تا بتوان به کمک آن دادههای آزمایشی که با خطا دستهبندی شدهاند را در مرحله دوم دستهبندی با اختصاص ضریب آلفا، با دقت بالاتری دستهبندی کرد. مدل پیشنهادی این مقاله روی دو مجموعه داده ایزیس و یوتیوب آزمایش شد و بر اساس نتایج بدست آمده مدل پیشنهادی از دقت بالاتری نسبت به سایر روشهای موجود روی هر دو مجموعه داده برخودار است.
واژگان کلیدی: یادگیری ژرف، شبکه عصبی کانولوشنی، مدل ترکیب آدابوست، تشخیص شخصیت، دادههای متنی.
1 مقدمه
استفاده از شبکههای اجتماعی در طی دهه گذشته به طور چشمگیری افزایشیافته است. شبکههای اجتماعی محیطی گسترده و محبوب برای توزیع اطلاعات و تعاملات اجتماعی است. در پی شد سریع شبکههای اجتماعی با حجــم زیادی از دادههای تولیـدشده
نویسنده مسئول: حسین صدر Sadr@qiau.ac.ir
متنی توسط سرویسهای مختلف این شبکههای اجتماعی روبهرو هستیم [1, 2]. یکی از شاخههای کشف دانش در پایگاه دادهها کشف دانش از متن است. متنکاوی گامی در فرآیند کشف دانش از متن است که به مطالعه و استخراج اطلاعات از متن با استفاده از اصول زبانشناسی میپردازد [3, 4]. زبان رایجترین و قابلاعتمادترین روش برای انتقال افکار و احساسات درونی هر شخص است ازاینرو میتوان گفت واژهها و زبان با روانشناسی در ارتباطی تنگاتنگ هستند. متنها تمایل دارند که جنبههای مختلف شخصیت نویسنده را منعکس نمایند و اگر پیامهای متنی کاربر در شبکههای اجتماعی بهدرستی درک شوند میتوان عملکرد رویکرد شناخت شخصیت به میزان زیادی بهبود یابد. فعالیتهای کاربر در شبکههای اجتماعی بینشی ارزشمند از رفتار، تجربهها و نظرات فرد نسبت به محیط اطراف وی میدهد. کاربران در محیط شبکههای اجتماعی همانند شخصی که در اجتماع حضور دارد، بنا به تفاوتها و تمایلات فردی در آن رفتار میکنند و این تفاوتها از شخصیت آنها ناشی میگردد [5, 6].
شخصیت عموما گرایش و خصوصیات پایداری است که تعیینکننده تشابه و تفاوت در رفتارهای روانشناختی (افکار، عواطف و اعمال) افراد است. صاحبنظران حوزه شخصیت و روانشناسی از کلمه شخصیت تعریفهای گوناگونی ارائه دادهاند. شخصیت از واژهی لاتین پرسونا1 گرفتهشده است و به نقابی اشاره دارد که هنرپیشهها در نمایش استفاده میکردند [7, 8]. تحول نظریههای شخصیت و پیشرفت در روشهای اندازهگیری و تحلیلهای آماری منجر به پدیداری یکی از نافذترین نظریههای شخصیتی معاصر گردید که بهاصطلاح روش پنج عامل بزرگ شخصیتی (2FFM)یا پنج بزرگ معروف شده است. روش پنج عامل بزرگ شخصیت در سالهای اخیر بهعنوان رویکردی پرطرفدار و قدرتمند برای مطالعه ویژگیهای شخصیتی موردتوجه بسیاری از روانشناسان قرارگرفته است. بر اساس این روش شخصیت از پنج بعد اصلی شامل روان رنجوری3، برونگرایی4، انعطافپذیری5، دلپذیر بودن6، باوجدان بودن7 تشکیلشده است [9]. روان رنجوری (NEU) با عنوان گرایش به عدم ثبات هیجانی و عاطفی تعریف میشود و افراد روان رنجور عموما با ویژگیهایی مانند اضطراب، افسردگی، خشم و نا امیدی شناخته میشوند. برونگرایی (EXT) گرایش به داشتن فعالیتهای جسمی، کلامی و جمعگرایی است و افراد برونگرا با ویژگیهایی مانند گروهگرایی، گرمی، قاطعیت، پرفعالیت بودن و هیجانخواهی شناخته میشوند. انعطافپذیری (OPN) گرایش به تجربه پذیری، عقلانیت و باز بودن در مقابل ایدهها و اعمال جدید است و افراد گشوده برابر تجربه با ویژگیهایی مانند کنجکاوی، خلاقیت، تخیلگرایی، زیبایی پسندی، هنردوستی و نوگرایی شناخته میشوند. دلپذیر بودن (AGR) گرایش به ازخودگذشتگی، نوعدوستی و مهرورزی است و افراد دلپذیر با ویژگیهایی مانند معتمد بودن، رکگویی، فروتنی، دلرحمی، ایثار و همدردی شناخته میشوند. باوجدان بودن (CON) گرایش به انضباط، تعهد، مسئولیتپذیری و کارآمدی است و افراد باوجدان با ویژگیهایی مانند نظم و ترتیب، دقت، وظیفهشناسی، تلاش برای موفقیت و خویشتنداری شناخته میشوند [9]. امروزه مطالعه ویژگیهای پنج عامل بزرگ شخصیتی در فضای اینترنت بسیار مورد توجه است.
شبکههای اجتماعی حاوی اطلاعات فراوانی از شخصیت کاربران در محتوای به اشتراک گذاشتهشده توسط هر شخص میباشند که با ویژگیهای شخصیتی کاربر ارتباط دارند. ازآنجاییکه شخصیت مفهومی بسیار پیچیده در روانشناسی است و آگاهی از آن شالوده اغلب رواندرمانیها و نظریههای آسیبشناسی را تشکیل میدهد، میتوان بدون اغراق گفت که بدون آگاهی از این مفهوم، نمیتوان روشهای رواندرمانی و اختلالات روانشناسی را بهروشنی درک کرد. در سالهای اخیر در مطالعات متعددی از روشهای یادگیری ماشین برای دستهبندی متون در راستای تشخیص شخصیت کاربران شبکههای اجتماعی استفاده شده است. ازآنجاییکه روشهای سنتی یادگیری ماشین عموما وابسته به مهندسی دستی ویژگیها میباشند و استخراج ویژگی مناسب دادهها بهمنظور تجزیه و تحلیل و طبقهبندی امری مهم و گاهی به دلیل پیچیدگی و شباهت ویژگیها دشوار میباشد، استفاده از الگوریتمهای یادگیری ژرف که میتوانند به صورت خودکار ویژگیهای مناسب را از متن استخراج کنند در سالهای اخیر در حوزههای مختلف پردازش زبان طبیعی به خصوص تشخیص شخصیت مورد توجه قرار گرفتهاند.
با اینکه تحقیقات متعددی در حوزه تشخیص شخصیت با استفاده از یادگیری ژرف صورت گرفته و نتایج قابل ملاحظهای در این حوزه به دست آمده است، اما این روشها علیرغم مزایای قابلتوجهشان هنوز در ابتدای مسیر پیشرفت قرار دارند[10, 11]. شبکههای عصبی کانولوشنی8 و شبکههای عصبی برگشتی9 از جمله مدلهای یادگیری ژرف میباشند که در سالهای اخیر بسیار مورد توجه محققان حوزه تشخیص شخصیت قرار گرفتهاند [12, 13] که علیرغم کارایی مناسب با چالشهایی نیز مواجه میباشند. ناتوانی در حفظ وابستگیهای طولانی مدت در جملات، از بین رفتن دادههای محلی طی عملیات ادغام، ناتوانی در استخراج ویژگیهای سطح بالا، تخصیص وزن یکسان به کلیه کلمات موجود در متن بدون توجه به متن از مهمترین چالشهای پیشروی روشهای یادگیری ژرف به حساب میآیند [14-16].
درواقع، شبکه عصبی کانولوشنی درکنار تعداد کم پارامترها و آموزش ساده، توانایی استخراج ویژگیهای محلی را دارد که با افزایش تعداد لایههای شبکه عصبی کانولوشنی نیز میتوان ویژگیهای با ارزشتری را از توالی ورودی استخراج کرد که برای کاربردهای پردازش زبان طبیعی بسیار مناسب است. در مقابل، با اینکه شبکه عصبی کانولوشنی میتواند با استفاده از فیلترها با اندازههای مختلف ویژگیهای سطح پایین مانند n-گرامها را از متن استخراج کند که هرکدام از آنها میتوانند نقش مهمی در تصمیم گیری نهایی و پیشبینی شخصیت بازی کنند، وجود لایه ادغام در این نوع شبکهها منجر به از دست رفتن بخش قابل توجهی از این ویژگیها میشود که میتواند در تعیین شخصیت کاربران تاثیر قابل توجهی داشته باشد. زیرا در لایه ادغام ویژگیهای بدست آمده از فیلترهای مختلف با هم ترکیب شده و یک ویژگی نهایی بدست میآید که برای دستهبندی مورد استفاده قرار میگیرد. برای حل این مشکل، در مدل پیشنهادی این مقاله برخلاف کارهایی که پیشین در حوزه شبکههای عصبی کانولوشنی که ویژگیهای حاصل اعمال از فیلترهای مختلف روی ماتریس ورودی با هم ترکیب شده و به یک دستهبند داده میشوند، ویژگیهای حاصل از اعمال فیلترها با سایزهای مختلف به لایههای پولینگ و دستهبندهای مجزا داده میشوند. پس آن هنگامیکه نتایج اولیه توسط هرکدام از دستهبندها بدست آمد، از مکانیزم آدابوست برای تولید نتایج کلی دستهبندی استفاده خواهد شد.
علت انتخاب آدابوست این است که الگوریتم آدابوست یک متا الگوریتم است که بهمنظور ارتقاء عملکرد (افزایش دقت کلاسبندی) همراه دیگر الگوریتمهای یادگیری استفاده میشود. در این الگوریتم، کلاس بند هر مرحله جدید به نفع نمونههای غلط کلاسبندی شده در مراحل قبل تنظیم میگردد. بهبیاندیگر، آدابوست قادر است که دستهبندهای ضعیف را با یک دستهبند قوی ترکیب کند زیرا میتواند خطای دستهبندی هر دستهبند ضعیف را یاد گرفته و بر اساس آن وزنهای دستهبند را برای دستهبندی نهایی تنظیم کند. درواقع، به کمک مدل آدابوست فرآیند دستهبندی را آنقدر تکرار میشود تا میزان خطای دستهبند به حداقل برسد.
مدل پیشنهادی این مقاله روی دو مجموعه داده ایزیس و یوتیوب برای پیشبینی شخصیت اجرا شده است بر اساس نتایج بدست آمده، مدل پیشنهادی دارای دقت بالاتری نسبت به سایر روشهای موجود در این حوزه میباشد.
ادامه این مقاله به صورت زیر سازماندهی شده است: در بخش دوم کارهای انجامشده در این حوزه مورد بررسی قرار گرفته و دورنمایی برای کارهای آینده در این حوزه ترسیمشده است. بخش سوم شامل متدولوژی پیشنهادی و جزئیات مرتبط با آن است. آزمایشات انجامشده و نتایج مربوط به ارزیابی در بخش جهارم بیانشده است. بخش پنجم شامل نتیجهگیری و کارهای آینده است.
2. بررسی کارهای پیشین
نظریه پردازان شخصیتی روشهای منحصر به فردی را برای ارزیابی شخصیت ابداع کردهاند. آنها با اجرا کردن این روشها اطلاعاتی به دست آورده و بعد تدوینهای خود را بر آن استوار کرده اند. روشهای عمده برای ارزیابی شخصیت را میتوان به دو دسته روش های مبتنی بر روانشناسی و روش های مبتنی بر یادگیری ماشین تقسیم بندی کرد. طبقهبندی این روشها در شکل 1 نشان دادهشده است.
با توجه به اینکه هدف این مقاله تشخیص خوکار شخصیت از روی متن با استفاده هوش مصنوعی است، تحقیق حاضر در دسته روشهای مبتنیبر یادگیری ماشین قرار میگیرد. روشهای مبتنیبر یادگیری ماشین جزء رویکردهای خودکار دستهبندی به حساب میآیند. در این روشها به دو مجموعه سند برای آموزش و تست نیاز است. مجموعه سندهای آموزشی توسط دستهبند خودکار برای یادگیری ویژگیهای متمایز اسناد و مجموعه اسناد تست برای بررسی عملکرد دستهبند مورد استفاده قرار میگیرند. الگوریتمهای یادگیری ماشین عموما ترکیبی از روشهای خودکار جهت تشخیص و شناسایی الگو در مجموعهای از دادهها است. از این الگوریتمها برای پیشبینی دادههای نامعلوم و تصمیمگیری به دو روش با ناظر و بدون ناظر استفاده میشود. روشهای نظارت شده همانند ماشین بردار پشتیبان، آنتروپی بیشنیه، تئوری بیز و شبکههای عصبی برای آموزش نیاز به دادههای برچسبگذاری شده دارند. اما روشهای بدون ناظر نیازمند دادههای برچسبگذاری شده نبوده و بدون مشخص بودن دستهها میتوانند عملیات خوشهبندی را انجام دهند[16-18].
مهمترین چالش پیشروی رویکردهای یادگیری ماشین در حوزه پردازش متن و پیرو آن پیشبینی خودکار شخصیت استخراج خودکار ویژگیها شامل فرکانس کلمات (تعداد تکرار کلمات در متن)، ارتباط کلمات با یکدیگر (تک-گرام، دوگرام و n -گرامها)، نقش کلمات و درخت تجزیه بر اساس وابستگیهای بین کلمات است. بهبیاندیگر، وقتی با حجم زیادی از دادهها روبهرو هستیم استخراج ویژگیهای مناسب برای پردازش و دستیابی به نتیجه مورد نظر ضروری است و الگوریتمهای یادگیری ماشین برای استخراج ویژگیهای مناسب وابسته به انسان بوده و دقت ویژگیهای انتخابی روی دقت این روشها تأثیرگذار است.
با توجه به وابستگی این روشها به انسان و نیاز به ایجاد یک مدل برای استخراج ویژگیها با دقت بالا، استفاده از روشهای یادگیری ژرف به عنوان زیر مجموعهای از یادگیری ماشین که توانایی استخراج ویژگیها بهصورت خودکار و با دقت بالا را دارند، بیش از پیش مورد توجه قرار گرفته است. برای دستهبندی صحیح انواع شخصیت از روی متن نیز بسیاری از محققان تلاش زیادی برای ترکیب یادگیری ژرف و مفاهیم مرتبط ویژگیهای شخصیتی در چند سال اخیر کردهاند زیرا برخلاف یادگیری ماشین، یادگیری ژرف عمدتاً نیازمند مهندسی دستی ویژگیها نیست و هدف آن ایجاد شبکههای بزرگ عصبی است که علاوه بر توانایی یادگیری میتوانند بدون دخالت انسان در مورد مسائل فکر کنند [13, 19, 20].
با توجه به مطالب بیان شده و تاکید بر اینکه هدف این مقاله ارائه مدلی بر پایه شبکههای یادگیری ژرف است، بررسی کارهای انجام شده در حوزه شناسایی خودکار شخصیت به دو دسته روشهای سنتی یادگیری ماشین که مبتنیبر الگوریتمهای پایه و استخراج دستی ویژگیها بودند و روشهای مبتنیبر یادگیری ژرف تقسیم میشوند. جزئیات مطالعات انجام شده در این حوزه در ادامه این بخش آمده است.
1،2 رویکردهای مبتنیبر روشهای سنتی یادگیری ماشین
هدف از شناخت شخصیت کشف تفاوتهای فردی بین انسانها، شناخت اجزای شخصیت، مؤلفههای شناختی و طرز فکر نویسنده با توجه به متن موجود در یک سند از وی است که میتواند منجر به قضاوت و ارزیابی شخصیت نویسنده شود. عـموما سه روش براي مطالعه ویژگـیهای شخصـيتي كاربران شبکههای اجتماعي وجود دارد.
در روش اول از کاربر خواسته میشود پرسشنامههای شخصیتی را تکمیل نماید. بنا به عقیده کاربران این روش نقض حریم شخصی بوده و برخی تمایلی بهوقت صرف کردن بهمنظور تکمیل فرمها را ندارند. در روش دوم شخصیت کاربران از ارتباطات شبکهایی مانند دوستان، محتویات به اشتراک گذاشتهشده، شرححال خود، بهروزرسانی وضعیت، عکس پروفایل و غیره پیگیری میشود. دستاوردهای روشهای موجود به جهت وابستگی به ویژگیهای زبانشناختی انسان و ویژگیهای آماری مبتنی بر فرهنگ لغت چندان رضایتبخش نیستند. در روش سوم که تاکید این مقاله نیز روی آن است، متنهای ارسالی در شبکههای اجتماعی مورد تجزیهوتحلیل قرار میگیرد. اگرچه به نظر نمیرسد ولی واژهها و متون دقیقترین و مستقیمترین راه برای انتقال افکار و احساسات افراد هستند و با کمک الگوریتمهای نظارتشده یادگیری ماشین مدلهایی بر اساس رفتار و فعالیت کاربر در شبکههای اجتماعی ساخته میشود. در این رویکرد یک طبقه بند از دیدگاه روانشناختی صفات شخصیتی را بر مبنای مدلهای شناخت شخصیت با ارزشهای واقعیتر ارائه میدهد. خلاصه مطالعات انجام شده به کمک روشهای سنتی یادگیری ماشین در جدول 1 نشان داده شده است.
در این راستا، گول بک و همکارنش [21] نشان دادند که میتوان پنج ویژگی شخصیت را از اطلاعات عمومی شبکه فیسبوک هر کاربر استخراج کرد. برای این منظور با طراحی یک پرسشنامه با چهل و پنج سوال، اطلاعات در دسترس پروفایل صد و شصت و هفت کاربر شبکه فیس بوک را جمع آوری کرده و پس از پردازش داده ها با کمک دو الگوریتم یادگیری ماشین تحت عنوان پردازش گوسین و M5-PUS به تجزیه و تحلیل پرداختند. گول بک و همکاران همچنین [21] پیشبینی پنج شخصیت بزرگ کاربران توییتر مورد مطالعه قرار دادند. در بررسیهای آنها تعداد دویست و هفتاد و نه کاربر تویتر به منظور جمع آوری دادهها در آزمون API شرکت نمودند که از دوهزار توییت آخر این کاربران به منظور تهیه مجموعهای ساده از اطلاعات استفاده شد. پس از پردازش دادهها کمک دو الگوریتم یادگیری ماشین تحت عنوان پردازش گوسین و زرو-آر10 به پیشبینی شخصیت کاربران پرداختند.
[1] Personal
[2] Five-Factor Model
[3] Neuroticism
[4] Extraversion
[5] Openness
[6] Agreeableness
[7] Conscientiousness
[8] Convolutional neural network
[9] Recurrent neural network
[10] ZeroR
جدول 1. مطالعات انجامشده در حوزه تشخیص شخصیت با استفاده از روشهای سنتی یادگیری ماشین
نویسندگان | روش | هدف | مجموعه داده | نتیجه |
گول بک و همکاران[21] | پردازش گوسین و الگوریتم ZeroR | پیشبینی شخصیت کاربران تویتر با دو ویژگی ساختاری تعداد دوستان و تراکم شبکه | 279 کاربر فعال تویتر | شخصیت کاربران توییتر را با دقت تقریبی بین یازده الی هجده درصد با مقدار واقعی پیشبینی میکند. |
کوریسا و همکاران[22] | الگوریتم درخت تصمیم و الگوریتم m5 | پیشبینی شخصیت کاربران تویتر از پروفایل | 171 زن و 164 مرد کاربر توییتر با حساب فیسبوک | پنج ویژگی شخصیت کاربران را با خطای زیر 0/88 پیشبینی نمود. |
آلام و همکاران[23] | الگوریتم ماشین بردار پشتیبان، رگرسیون لجستیک بیزی و بیزین | شناسایی ویژگیهای شخصیتی در شبکه اجتماعی فیسبوک از متن | My personality | الگوریتم بیزین بهتر از دو روش دیگر برای شناسایی ویژگیهای شخصیتی عمل میکند. |
اسکرون و همکاران[24] | رگرسیون جنگل تصادفی | پیشبینی شخصیت از شبکههای اجتماعی اینستاگرام با تحلیل آثار دیجیتالی اشتراک شده کاربران | 62 کاربر داوطلب فعال در فیسبوک و تویتر | تحلیل مشترک فعالیتهای همزمان کاربران در دو شبکه اجتماعی منجر به کاهش ثابتی از خطاهای پیشبینی برای هر ویژگی شخصیتی شده و دقت پیشبینی را بهبود ببخشد. |
دی ژوی وهمکاران[25] | یادگیری توزیع برچسب (LDL) | شناخت شخصیت در شبکههای اجتماعی با الگوریتم یادگیری توزیع برچسب | 994 پروفایل کاربرانی که روزانه متوسط 84/2 ساعت در این شبکه اجتماعی چینی فعالیت دارند | نتایج تجربی نشان داد که الگوریتمهای LDL، بهویژه آنهایی که LD-SVR و SA-IIS نامیده میشوند، بهتر از روشهای رگرسیون سنتی عمل میکنند و LD-SVR نیز به کارایی اجرایی بالاتری دست مییابد. |
تیگه و همکار[26] | الگوریتمهای رگرسیون خطی، رگرسیون ستیغی، ماشین بردار پشتیبان و رگرسیون لجستیک | روشسازی ویژگیهای شخصیتی کاربران توییتر فیلیپینی | ۲۵۰توییتهای مرتبط با کاربر توییتر فیلیپینی | ازآنجاییکه بسیاری از افراد در صحبت کردن محدود به یک زبان نیستند در این مطالعه به بررسی ویژگیهای شخصیتی کاربران با دو زبان انگلیسی و فیلیپینی پرداختهشده است. |
یانگ و همکارانش[27] | استفاده از ویژگیهای Mairesse در کنار روشهای یادگیری ماشین | پیشبینی شخصیت از روی نظرات کاربران در مورد بازیها | دادههای مربوط به بازی Steam که یک بستر برای دسترسی به انواع مختلف بازیها است | ارائه یک سیستم توصیهگر که با استفاده از نظرات کاربران ابتدا نوع شخصیت آنها را تعیین کرده و سپس بازی را مطابق با شخصیتشان به آنها پیشنهاد میدهد. |
هن و همکارانش[28] | الگوریتم ماشین بردار پشتیبان و جنگل تصادفی | پیشبینی شخصیت از شبکههای اجتماعی چینی | مجموعه متن میکروبلاگها با اندازه معادل 3.3G که از وب سایت Weibo | استفاده از تکنیکهای تعبیه کلمه و واژگان دانش قبلی برای ایجاد یک واژه نامه معنایی چینی مناسب برای تجزیه و تحلیل شخصیت |
در ادامه کوریسا و همکارانش [22] به بررسی تأثیر نوع شخصیت بر تمایلات موسیقی اشخاص پرداختند. آنها برای هر ویژگی شخصیتی با یک اعتبارسنجی متقابل ده برابر را با ده تکرار و الگوریتم یادگیری ماشین M5 تحلیل کردند. این الگوریتم، درختهای تصمیمگیری را با مدلهای خطی در برگها با استفاده از الگوریتم M5 تولید کرد. در ادامه همین میر، آلام و همکارانش [23] به شناسایی خودکار پنج ویژگی شخصیتی کاربران از متن وضعیتآنها پرداختند. اسکرون و همکارانش [24] در پژوهشی مشابه از تحلیل آثار دیجیتالی کاربران اینستاگرام و توییتر به منظور استنتاج ویژگیهای شخصیتی آنها استفاده کردند.
دی ژویو همکارانش [25] نیز در مقالهای به بررسی پنج ویژگی بزرگ شخصیت کاربران معروف ترین میکروبلاگ به زبان چینی پرداختند. در این پژوهش الگوریتم یادگیری ماشین با نام یادگیری توزیع برچسب (LDL1) برای دستهبندی مورد استفاده قرار گرفت. از آنجایی که بسیاری از افراد در صحبت کردن محدود به یک زبان نیستند، تیگه و همکارانش [26] به بررسی ویژگی های شخصیتی کاربران با دو زبان انگلیسی و فلیپینی پرداختند و برای دستهبندی از الگوریتمهای رگرسیون خطی، رگرسیون ریج2، ماشین بردار پشتیبان و رگرسیون منطقی استفاده کردند.
هن و همکارانش [28] در پژوهشی یک مدل شناسایی شخصیت قابل تفسیر جدید مبتنی بر فرهنگ لغت شخصیت ارائه دادند. آنها از تکنیکهای تعبیه کلمه و واژگان دانش قبلی استفاده کردند تا به طور خودکار یک واژه نامه معنایی چینی مناسب برای تجزیه و تحلیل شخصیت بسازند و بر اساس فرهنگنامه شخصیت، همبستگی بین ویژگیهای شخصیتی و دستههای معنایی کلمات را تجزیه و تحلیل کنند. از نهایت از ویژگی های معنایی میکروبلاگ کاربران را برای ساخت مدلهای شناسایی شخصیت با استفاده از الگوریتمهای طبقه بندی استخراج کردند.
یانگ و همکارانش [27] مدلی را برای توصیه بازیهای رایانهای به بازیکنان با توجه به ویژگیهای شخصیتی آنها ارائه داد. آنها ابتدا فرآیندهای استخراج متن را در برخی از مطالب متنی مربوط به بازیکنان اعمال کردند تا ویژگیهای شخصیتی آنها با استفاده از مدل پنج عامل شناسایی شود. همین روند شناخت شخصیت نیز در مورد مطالب مربوط به بازی ها اعمال شد تا بازیهایی با ویژگیهای شخصیتی مشابه بازیکنان به بازیکنان توصیه شد.
همانطور که واضح است، روشهای پیشبینی شخصیت مبتنی بر روشهای سنتی یادگیری ماشین بهشدت وابسته به مهندسي ويژگيها ميباشند و فقدان دادههای برچسبگذاری شده بهعنوان مهمترین چالش آنها بهحساب میآید. از طرف دیگر، استخراج ويژگيهاي دستي کار بسيار دشواري است و با توجه به خاصیت پوياي زبان، ويژگيهاي استخراجشده ممکن است در يک بازه زماني بسيار کوتاه منسوخ شوند. در نتیجه به روشي نياز است که بتواند بر اين مشکلات غلبه کند و ساختار جمله را در مجموعهای از ویژگیها نشان دهد.
2،2 رویکردهای مبتنی بر یادگیری ژرف
توسعه مدلهای یادگیری ژرف به عنوان زیرمجموعهای از روشهای یادگیری ماشین، انقلابی در پردازش زبان طبیعی رخ دارد به طوریکه در سالهای اخیر، شبکههای عصبی ژرف عملکرد قابلتوجهی را در مدلسازی جمله و متن به دست آوردند که به عنوان یک قدم اساسی در بسیاری از برنامههای پردازش زبانهای طبیعی مانند طبقهبندی متن و تحلیل احساس و همچنین پیشبینی شخصیت به شمار میآید. در این راستا، مدلهای شبکه عصبی کانولوشنی و شبکه عصبی برگشتی دو معماری اصلی هستند که عموما در سالهای اخیر برای حل مساله تشخیص خودکار شخصیت از روی متن به کار گرفته شدهاند. خلاصه مطالعات انجام شده به کمک روشهای یادگیری ژرف در جدول2 نشان داده شده است
در این راستا، جیانگو و همکارانش [29] از روش های یادگیری ژرف را برای یادگیری خودکار شخصیت از فیسبوک استفاده کردند. آنها معماری شبکههای به هم پیوسته3، شبکههای عصبی کانولوشنی و شبکه عصبی برگشتی را مورد بررسی قرار داده و عملکرد آنها را با الگوریتمهای عصبی دیگر مقایسه کردند. تاندرا و همکارانش [30] نیز بر اساس اطلاعات کاربر فیس بوک شخصیت فرد را با مدل پنج عامل بزرگ، پیشبینی کردند. در این پژوهش، از چهار الگوریتم یادگیری ژرف شامل پرسپترون چند لایه، حافظه طولانی کوتاه مدت (LSTM)، واحد برگشتی دروازه (GRU)4 و شبکه عصبی کانولوشن یک بعدی (CNN-1D) استفاده شده است.
در ادامه، دی ژوی و همکارانش [12] از یک روش مبتنی بر یادگیری برای پیشبینی شخصیت استفاده کردند. به عقیده زنگ هونگ اکثر روشهای موجود به منظور پیشبینی شخصیت، عمدتا بر روی ویژگیهای آماری سطحی شخص متمرکز بوده و استفاده کامل از اطلاعات معنایی غنی را در متون ایجاد شده توسط کاربر ایجاد نکردهاند، در حالی که این متون دقیقا روش مستقیم برای ترجمه افکار و احساسات درونی شخص هستند. در مدل پیشنهادی آنها برای تجزیه و تحلیل از یک شبکه عصبی ژرف سلسله مراتبی متشکل از ساختار AttRCNN استفاده شد تا بتوان به کمک آن ویژگیهای معنایی ژرف هر کاربر را استخراج کرد.
باربارا و همکارانش [31] برای پیشبینی شخصیت مجموعهای شامل وضعیتهای نوشته شده توسط کاربران فیس بوک به همراه ویژگیهای شخصیتی نویسندگان آنها ایجاد کرده و سپس به کمک تعدادی مدل محاسباتی به پیشبینی شخصیت پرداختند. آنها برای پیشبینی شخصیت در کنار مدل جنگل تصادفی از شبکههای LSTM و بردارهای از پیش آموزش دیده نیز استفاده کردند.
ونگ و همکارانش [32] به منظور بررسی به بررسی پنج ویژگی بزرگ شخصیت کاربران گراف شخصیتی یک کاربر را بر اساس روابط کاربر با سند، روابط سند و کلمه و خداد همزمانی کلمات ایجاد کرده و سپس از شبکه کانولوشن گراف شخصیت (GCN) را پیشبینی شخصیت بهره بردند.
[1] Label Distribution Learning
[2] Ridge Regression (RID)
[3] Fully-Connected (FC)
[4] Gated Recurrent Unit
جدول 2. مطالعات انجامشده در حوزه تشخیص شخصیت با استفاده از یادگیری ژرف
نویسندگان | روش | هدف | مجموعه داده | نتیجه |
جیانگو و همکاران[29] | شبکههای بههمپیوسته، شبکههای عصبی کانولوشنال و شبکه عصبی بازگشتی | شناخت یادگیری ژرف شخصیت مبتنی بر شناخت شخصیت از به هنگام سازی وضعیت فیسبوک | 250 کاربر فعال فیسبوک با 9917 وضعیت بهروزرسانی شده بودند. | نتایج ای مطالعه نشان داد که وقتی ترکیبی از فیلترهای unigram، bigram، trigram شبکه CNN مورداستفاده قرار گیرد هیچ پیشرفتی حاصل نمیشود. شبکههای عصبی CNN با ادغام متوسط بهترین نتایج را از 5/5 درصد به دست آورد |
تاندرا و همکاران[30] | چهار الگوریتم یادگیری ژرف شامل پرسپترون چندلایه ، حافظه طولانی کوتاهمدت، واحد برگشتی دروازه و شبکه عصبی کانولوشن یکبعدی | سیستم پیشبینی شخصیت کاربران فیسبوک بر اساس اطلاعات کاربر فیسبوک | دسته اول: 250 کاربر فیسبوک با بیش از 10000 وضعیت دسته دوم: 150 کاربر داوطلب تکمیلکننده پرسشنامه | ترکیب دو الگوریتم LSTM که نوع خاصی از شبکههای عصبی برگشتی بوده و توانایی یادگیری وابستگیهای بلندمدت را دارد و شبکه عصبی کانولوشنال CNN نقطه عطف این پژوهش است. |
دی ژوی و همکاران[12] | یک شبکه عصبی یادگیری ژرف AttRCNN و الگوریتمهای رگرسیون | پیشبینی شخصیت در شبکهای اجتماعی مبتنی بر یادگیری ژرف | 115864 کاربر فیسبوک که از 11494862 پست متنی و 3055272 کلمه منحصربهفرد استفاده نمودهاند | هر رویکرد شناسایی شخصیت که بردارهای ویژگی ARCC را به مجموعه ویژگیهای ورودی آن میبرد، خطاهای پیشبینی کمتری نسبت به روشهای دیگر که ویژگیهای ARCC را درگیر نکردهاند، برآورده میکند |
باربارا و همکارانش [31] | الگوریتم جنگل تصادفی به همراه شبکه LSTM و بردارهای بازنمایش کلمات | پیشبینی شخصیت کاربران فیسبوک | پستهای متنی کاربران فیسبوک شامل 2.2 میلیون کلمه به زبان پرتغالی | مدل بهینهای برای همه ویژگی های شخصیتی وجود ندارد و نویسندگان مشاهده کردند که ترکیب بازنمایش کلمات با مدلهای یادگیری ژرف میتواند باعث افزایش دقت شود. |
ونگ و همکارانش[32] | استفاده از گراف شبکه کانولوشنی (GCN) | پیشبینی شخصیت از روی متن | مجموعه داده ایزیس و MyPersonality | مدل پیشنهادی آنها برای پیشبینی شخصیت از روی مجموعه دادههای کوچک بسیار مناسب است. |
ریسولا و همکارانش[33] | استفاده از شبکه عصبی کپسول | پیشبینی شخصیت کاربران از روی مکالمات | مجموعه داده از مکالمات گروهی از افراد در دنیای واقعی | نتایج روی یک مجموعه داده در دنیای واقعی نشان داد استفاده از کلمات موجود در مکالمه میتواند باعث افزایش دقت در پیشبینی شخصیت افراد شود. |
موجومدر و همکارانش [34] | استفاده از ویژگیهای Mairesse در کنار شبکه عصبی کانولوشنی | پیشبینی شخصیت کاربران بر اساس پنج عامل بزرگ شخصیتی | مجموعه داده ایزیس | ترکیب شبکه عصبی کانلوشنی و ویژگیهای Mairesse منجر به افزایش دقت در پیشبینی شخصیت کاربران از روی متن شده است. |
محمد و کریتچنکو[35] | استفاده از هشتکهای موجود در شبکه احتماعی به منظور تولید منبع لغت برای پیشبینی شخصیت | پیشبینی شخصیت کاربران بر اساس پنج عامل بزرگ شخصیتی | مجموعه داده ایزیس و پستهای فیسبوک | ویژگیهای مرتبط با شخصیتهای استخراج شده از منبع لغت بدست آمده توسط هشتکهای موجود در شبکههای اجتماعی منجر به افزایش دقت تشخیص شخصیت کاربران شده است. |
سون و همکارانش[36] | ترکیب شبکه حافظه کوتاه مدت بلند و شبکه عصبی کانولوشنی | پیشبینی شخصیت کاربران بر اساس پنج عامل بزرگ شخصیتی | مجموعه داده ایزیس و یوتیوب | ترکیب شبکه حافظه کوتاه مدت بلند و شبکه عصبی کانولوشنی منجر به افزایش دقت دستهبندی شخصیت کاربران از روی متن شده است. |
ریسولا و همکارانش [33] نیز در پژوهشی از شبکههای عصبی کپسولی برای استخراج الگوهای پنهان معنیدار از مکالمه برای ارزیابی شخصیت افراد استفاده کردند.
در ادامه، موجومدر و همکارانش از ویژگیهای Mairesse در کنار شبکه عصبی کانولوشنی برای پیشبینی شخصیت کاربران بر اساس پنج عامل بزرگ شخصیتی استفاده کردند. مدل پیشنهادی آنها روی مجموعه داده ایزیس مورد آزمایش قرار گرفت و بر اساس نتایج حاصل از آزمایشات ترکیب شبکه عصبی کانلوشنی و ویژگیهای Mairesse منجر به افزایش دقت در پیشبینی شخصیت کاربران از روی متن شد[34].
محمد و کریتچنکو [35] نیز در پژوهشی از هشتکهای موجود در شبکه احتماعی به منظور تولید منبع لغت برای پیشبینی شخصیت استفاده کردند. مدل پیشنهادی آنها روی دو مجموعه داده ایزیس و پستهای فیسبوک مورد آزمایش قرار گرفت و بر اساس نتایج حاصل از آزمایشات ویژگیهای مرتبط با شخصیتهای استخراج شده از منبع لغت بدست آمده توسط هشتکهای موجود در شبکههای اجتماعی منجر به افزایش دقت تشخیص شخصیت کاربران شده است.
سون و همکارانش[36] نیز از ترکیب شبکه حافظه کوتاه مدت بلند و شبکه عصبی کانولوشنی برای پیشبینی شخصیت استفاده کردند. مدل پیشنهادی آنها روی دو مجموعه داده ایزیس و یوتیوب مورد آزمایش قرار گرفت و بر اساس نتایج بدست آمده روی هر دومجموعه داده ترکیب شبکه حافظه کوتاه مدت بلند و شبکه عصبی کانولوشنی منجر به افزایش دقت دستهبندی شخصیت کاربران از روی متن شده است.
با بررسی کارهای انجام شده که از مدلهای یادگیری ژرف برای پیشبینی شخصیت استفاده کردند، میتوان نتیجه گرفت که یکی از مهمترین چالشهای شبکههای یادگیری ژرف هزینه محاسباتی بالا و نیاز به تعداد زیاد دادهها برای آموزش است. از طرف دیگر این شبکهها در آموزش نیز دچار مشکلاتی هستند و ممکن با خطاهایی در حین آموزش مواجه شوند، بهطوریکه یک شبکه دادههای آموزشی را بهخوبی یاد بگیرد، اما در مقابل دادههای جدید نتواند عملکرد مناسبی داشته باشد.
در کنار چالشهای شبکههای یادگیری ژرف، شبکههای عصبی کانولوشنی و برگشتی که عموما برای پیشبینی شخصیت مورد استفاده قرار میگیرند، خود با مشکلاتی همانند ناتوانی در استخراج ویژگیهای سطح بالا، ناتوانی در حفظ وابستگیهای بلند مدت، از دست رفتن دادهها در حین عملیات ادغام، اختصاص ارزش یکسان به کلیه کلمات موجود در جملات و بار محاسباتی بالا در اثر افزایش تعداد لایههای میانی مواجه هستند و نیاز به پیشرفت در این حوزه همچنان احساس میشود.
3. مدل پیشنهادی
پیش بینی شخصیت از روی متن فرصتهای بسیاری برای رشد و توسعه به خصوص در فضای مجازی فراهم میسازد. ازآنجاییکه بسیاری از ویژگیهای شخصیتی و علایق درونی هر شخص را میتوان از روی متون تولید شده توسط وی مورد تجزیه و تحلیل قرار داد، ضرورت طراحی ابزاری قدرتمند که در کنار روانشناس به این امر بپردازد، بیش از پیش احساس میشود.
در راستای بهبود مدلهای پیشین، ما در این مقاله تصمیم گرفتیم از یک معماری تقویتشده شبکه عصبی کانولوشنی شامل فیلترهای مختلف استفاده کنیم. در مدل پیشنهادی این مقاله بر خلاف سایر شبکههای کانولوشنی که ویژگیهای حاصل از فیلترهای کانولوشنی مختلف به یک لایه ادغام و پس از آن به یک لایه کاملا همبند برای دستهبندی داده میشوند، ویژگیهای حاصل از فیلترها با سایزهای مختلف حاصل از شبکههای عصبی کانولوشنی مختلف به لایههای پولینگ و دستهبندهای مجزا داده شده و سپس از مکانیزم آدابوست [37] برای تولید نتایج کلی دستهبندی استفاده خواهد شد. استفاده از آدابوست این امکان را فراهم میسازد که بتوان دستهبندهای ضعیف را با یک دستهبند قوی ترکیب کرده و به کمک آن دقت نهایی دستهبندی را افزایش داد.
مدل پیشنهادی از پنج مرحله تشکیل شده است و ترکیبی از شبکه عصبی کانولوشنی و الگوریتم آدابوست است. در مدل پیشنهادی فیلترهای مختلف با سایزهای مختلف برای اسکن جمله ورودی مورداستفاده قرار میگیرند. به بیان دیگر هر شبکه کانولوشنی دارای لایه کانولوشنی، پولینگ و دستهبندی منحصر به خود است و دستهبندی در هر شبکه کانولوشنی به صورت جداگانه صورت میگیرد. در نهایت الگوریتم تجمیع آدابوست برای ایجاد یک دستهبندی قوی بر اساس وزنهای مختلف دستهبندهای مختلف مورد استفاده قرار گرفته و نوع شخصیت بر اساس آن تخمین زده میشود.
دیاگرام شکل2 مراحل کلی روش پیشنهادی را نشان میدهد.
به طور کلی ایده این مقاله مبتنیبر این فرضیه است که فیلترها با سایزهای مختلف روی شبکههای کانولوشنی منجر به ایجاد ویژگیهای مختلفی میشوند که هرکدام از این ویژگیها ممکن است تاثیر متفاوتی روی دستهبندی نهایی داشته باشند. در روش کلاسیک شبکههای عصبی کانولوشنی این ویژگیها پس از اعمال عملیات پولینگ با هم ادغام شده و دستهبندی روی ویژگیهای ادغام شده انجام میشود. این مساله میتواند تاثیر برخی از ویژگیها که دارای اطلاعات مناسبتری هستند را از بین ببرد. در همین راستا ما تصمیم گرفیتم که ویژگیهای حاصل از هر فیلتر، لایه پولینگ و دستهبندی جداگانهای داشته باشند. پس از آن نتایج حاصل از دستهبندی به کمک الگوریتم آدابوست با هم ادغام شوند تا بهترین دستهبند حاصل شود. ترکیب شبکه عصبی کانولوشنی و مدل آدابوست در شکل 3 نشان داده شده است.
1،3 لایه بازنمایی (تشکیل ماتریس کلمات)
بازنمایی دادهها اصطلاحاً به تکنیکهای مدلسازی زبان در پردازش زبان طبیعی گفته میشود. این مجموعه تکنیکها، کلمات را از فضایی با ابعاد بسیار زیاد، به فضای برداری پیوسته با ابعاد بسیار کمتر نگاشت میکنند. با بهکارگیری روش بازنمایی کلمات میتوان روابط بسیاری از کلمات مانند کلمات متشابه و همخانواده را آشکار کرد [38]. مدل بازنمایی اسکیپگرام با داشتن یک کلمه، زمینه حدس زده میشود و براین اساس بردارها ساخته میشوند. در مدل اسکیپگرام یک پنجره متحرک با اندازه ثابت انتخاب و در طول جمله حرکت داده میشود. کلمهای که در وسط قرار میگیرد بهعنوان هدف1 و کلمات چپ و راست کلمه فوق، کلمات محتوایی2 میباشند. روش اسکیپگرام بر اساس یک لغت دادهشده، میخواهد چند لغت قبل و بعد آن را تشخیص دهد و با تغییر مداوم اعداد بردارهای لغات، نهایتاً به یک وضعیت باثبات میرسد که همان بردارهای موردنظر میباشد [39]. ساختار مدل اسکیپگرام در شکل 4 نشان دادهشده است.
هدفی که در آموزش مدل اسکیپگرام دنبال میشود، یافتن بردارهای بازنمایی برای واژگان است. این بردارها باید طوری آموزش ببینند که از روی بردار یک واژه بتوان بردار واژگانی را که پیرامون آن در یک جمله قرار میگیرند تخمین زد و به بیان دقیــقتر درصورتیکه تـوالی واژگان بهصورت موجود باشد، هدفی که این مدل دنبال میکند، بیشینه کردن میانگین لگاریتم درستنمایی رابطه (1) است [40].
(1)
در این رابطه c نشاندهنده اندازه محتوایی3 است که به ازای هر واژه باید تخمین زده شود. هرچه این اندازه بزرگتر باشد، دادههای آموزشی بیشتری مورد نیاز است و درنتیجه بردارهای بازنمایی با دقت بهتری محاسبه میشوند. در این روش، مقدار احتمال با استفاده از تابع سافت مکس محاسبه میشود [40].
2،3 لایه کانولوشنی
هر لایه کانولوشن مانند یک فیلتر محلی4 عمل میکند. در شکل 5 نمونهای از یک شبکه کانولوشنی نشان دادهشده است. همانطور که در شکل مشاهده میشود لایه کانولوشن (گرههای A) بهصورت یک فیلتر محلی روی سه ورودی مجاور عمل میکنند [41, 42].
درواقع، در این نوع شبکهها بهجای اینکه تمامی نرونهای یک لایه به لایه بعد متصل باشند، تنها قسمتی از نورونهای یک لایه به لایه بعد متصل هستند. در نتیجه این نوع شبکههای عصبی قابلیت این را دارند که بتوانند ویژگیهای جدیدی با استفاده از ویژگیهای موجود استخراج کنند که اصطلاحاً به آن مهندسی ویژگیها5 گفته میشود که در رویکردهای یادگیری ماشین بهصورت دستی انجام میشود.
اگر یک سند از حداکثر n کلمه تشکیل شده باشد و هر کلمه با استفاده از یک بردار d-بعدی نمایش داده شود، ماتریسی که برای بازنمایی سند تشکیل میشود بهصورت خواهد بود و میتوان آن را مانند یک عکس تصور کرد و عملیات کانولوشن را با استفاده از فیلترهای خطی بر روی پنجرهای با طول h کلمه اعمال کرد [43]. لازم به ذکر است که این نوع این شبکهها به پارامترهای محدودی نیاز داشته و آموزش آنها کار نسبتاً راحتی است.
بهطورکلی، یک لایه کانولوشنی از دو مرحله تشکیل شده است: در مرحله اول برای انجام عملیات کانولوشن یک فیلتر روی مجموعه ورودی اعمال میشود. درصورتیکه فرض شود پنجرهای شامل بردار کلماتی باشد که میان i امین و j امین سطر ماتریس A قرار دارند، ویژگی بر اساس پنجرهای از کلمات با اندازه h بر اساس رابطه2 محاسبه میشود [43].
(2)
در این رابطه متغیر iبهصورت مقدار میگیرد و و نیز به ترتیب نشاندهنده ماتریس فیلتر کانولوشن و عملیات بایاس هستند. و نیز به ترتیب توابع فعالسازی (مانند و Relu) و عملگر کانولوشن هستند. با اعمال فیلتر به تمامی پنجرههای ممکن از کلمات و قرار دادن ویژگیهای حاصل از آنها در یک بردار یک نـگاشت ویژگی بهصورت تشکیل خواهد شد که در آن است [44].
3،3 لایه ادغام
سپس ویژگیهای استخراج شده به لایه ادغام داده میشوند. هدف این لایه حفظ بهترین ویژگی ها به نحوی است که ارتباط پیوسته ویژگیها حفظ شود. به طور کلی در لایه ادغام، بلوک مستطیلهای کوچکی که از لایه کانولوشنی دریافت میشوند، نمونهبرداری شده و یک خروجی منفرد از آن بلوک ایجاد میشود. روشهای مختلفی برای انجام عملیات ادغام وجود دارد مانند میانگینگیری، ماکزیمم گیری و یا یک ترکیب خطی از نورونهای داخل بلوک. در روش پیشنهادی ما از ادغام به روش ماکزیممگیری استفاده کرده و بیشترین مقدار را بین ویژگیها انتخاب میکنیم (رابطه 3).
(3)
این مدل ادغام باعث آگاهی معماری پیشنهادی ازنظم جملات و توزیع اطلاعات مرتبط با شخصیت افرداد در کل جمله میشود. از طرف دیگر این مدل ادغام به ما این امکان را میدهد تا با جملات با طول متغیر با توجه به اینکه تعداد ویژگیها در مدل پیشنهادی با تعداد فیلترها هم تراز شده است، کار کنیم. لازم به ذکر است که لایه ادغام منجر به کاهش اندازه ویژگیها و پیرو آن محاسبات آینده میشود. همچنین لایه ادغام انتقالات را بدون تغییر بدست میآورد و این اطمینان را میدهد که شبکه در مقابل موقعیت دارای مقاومت است. در ادامه ویژگیهای ادغام شده توسط یک تابع غیر خطی قبل از اینکه وارد دستهبند شوند، مورد پردازش قرار میگیرند.
4،3 لایه تنظیم و سافت مکس
برای مقابله با مشکل بیشبرازش که تمامی شبکههای عصبی به عنوان یک نقطه ضعف به حساب میآید، از روش از قلم انداختن6 در این مقاله استفاده شده است. در این روش بهجای مقادیر تعدادی از ویژگیهای لای مخفی، مقدار صفر قرار داده میشود. یعنی برای ویژگیهای ادغام شده در لایه قبل، (با فرض اینکه تعداد فیلترها در لایه کانولوشنی برابر باشد)، ما بخشی از آنها را قبل از ورود به سافت مکس برابر صفر قرار میدهیم و به این ترتیب تنها واحدهای بدون تاثیر برای محاسبه گرادیان مورد استفاده قرار میگیرند. مقدار واحدهای از قلم افتاده یک ابر پارامتر7 است که مقدار آن در طول آموزش مدل تعیین میشود. نتیجه دستهبندی خروجی لایه سافت مکس پس از ادغام است. این لایه با استفاده از ویژگی های تنظیم شده، توزیع احتمالی ورودی را برحسب تمام برچسبها محاسبه میکند. هدف اصلی این لایه مشخص کردن نوع شخصیت است و به پنج دسته بر اساس ویژگیهای مجموعه داده آموزشی دستهبندی میشوند. اساس لایه دستهبندی، دستهبند رگرسیون لجستیک است که با داشتن ورودی با ابعاد مشخص از لایههای قبلی عملیات طبقهبندی را به کمک تابع فعالساز سافتمکس (رابطه 4) انجام میدهد. در این رابطه وزن ورودیها، بایاس و کلاس خروجی و k نشاندهنده تعداد دستهها است[45].
(4)
5،3 لایه آموزش مدل آدابوست و ادغام پیشبینیها
شکل 6. شبه کد مدل پیشنهادی
آدابوست یک الگوریتم است که میتواند دستهبندهای ضعیف را در یک دستهبند قوی ادغام کند. به طور کلی، در روش آدابوست یک نمونه توسط چندین دستهبند، دستهبندی شده و نتایج دستهبندیها به شکل هوشمندانهای باه هم ترکیب شده و نتیجه نهایی برای آن نمونه خاص تعیین میگردد. معمولا استفاده از روش آدابوست باعث افزایش کارایی نسبت به دستهبندهای تکی میشود. این الگوریتم منجر به کاهش خطا و واریانس دادههای آموزشی نیز میشود. در الگوریتم آدابوست، هر دستهبند با یک زیر مجموعه تصادفی و منتخب از کل نمونهها آموزشداده میشود و با شکل گرفتن چندین دستهبند متفاوت، دستهبند نهایی که نتیجه نگاه جمعی است و دارای کارایی بالاتری است؛ ایجاد خواهد شد.
در این مقاله ما از این مکانیزم برای پیدا کردن مناسبترین وزن برای دستهبندها استفاده میکنیم به طوری که وزن انتخابی برای n-گرامها با اندازههای مختلف مناسب باشد. دستهبندها جملات را در محدوده نگاشت میکنند به طوریکه نشاندهنده مثبت و نشاندهنده منفی
بودن جمله است. باتوجه به کاربرد آدابوست ما باید آمار مربوط به نتایج دستهبندی ضعیف را در نمونه های آموزشی یافته و وزن نمونههای آموزشی و دستهبند را برای رسیدن به دستهبندهای قوی تنظیم کنیم. شبکه مرتبط با آدابوست به کمک بازگشت به عقب آموزش میبیند و فرآیند آموزش آدابوست در شکل 6 نشان داده شده است و جزئیات آن به شرح زیر است:
1) اختصاص توزیع برای نمونههای آموزشی به صورت یکسان، نشان دهنده مین توزیع نمونههای آموزشی است. برای هر شاخص داریم .
2) در یک دور آموزشی سه دستهبند شبکه به طور پیوسته به کمک بازگشت به عقب آموزش میبینند، در نتیجه فرآیندهایی که در ادامه به آنها اشاره شده است روی تمامی دستهبندها در هر اپک اعمال میشود.
Algorithm 1: CNN+AbaBoost | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Input: - A sequence of independent variable obtained from embedding layer Classifier = Convolutional Neural network Number of Epochs = T Output: A construct of CNN+ AdaBoost | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Initialize: Distribution à for: t=1,2,…T
1. Select the subset training data drawn from distribution. 2. Train the convolutional neural networks respectively and receive the output. 3. Calculate the error
4. Weight adjustment
5. Distribution adjustment
6. Boosted validation
الف) تخمین آمار دستهبند ضعیف: پس از آنها دستهبندها آموزش دیده و برچسب جملات پیشبینی شد، معماری پیشنهادی آمار مربوط به دستهبندی را در نمونههای آموزشی ذخیره کرده و خطای دسته بند ضعیف را بصورت رابطه 5 محاسبه میکند. (5) ب) تنظیم وزن: هربار که یک دستهبند ضعیف آموزش میبیند، معماری پیشنهادی از خطای دستهبندی برای تغییر توزیع روی مجموعه آموزشی استفاده کرده و شاخص خطا و وزن دستهبند ضعیف را محاسبه میکند. محاسبه وزن دستهبند (رابطه 6): (6) تنظیم توزیع (رابطه 7): (7) ج) ارزیابی عملیات انجام شده توسط آدابوست: پس از آموزش دستهبند ما ضرب بین عناصر خروجی ها و وزنها را اعمال کرده و دسته نهایی که جمله به آن تعلق دارد را پیشبینی میکنیم. ما از وزن آموزش دیده برای ارزیابی آدابوست به کمک رابطه (8) استفاده میکنیم. نشان دهنده شاخص دستهبند،نشاندهنده مجموعهای از وزنهای دستهبندها و نشان دهنده برچسبهای خروجی دستهبندها است. (8) 4. پیادهسازی و آزمایشات در این بخش ابتدا به معرفی دادگان مورد استفاده پرداخته شده و سپس به ترتیب معیارهای ارزیابی و تنظیم مدل و ابرپارمترها، نحوه اجرای مدل پیشنهادی و بحث و نتایج بیان خواهند شد. 1،4 دادگان به منظور اثبات قدرت تعمیمپذیری روش پیشنهادی این مقاله از دو مجموعه داده ناهمگن ایزیس [46] و تعیین شخصیت یوتیوب [47] برای پیشبینی شخصیت در آزمایشات استفاده شده است که توضیحات آنها در ادامه آمده است. جزئیات آماری مربوط به این دو مجموعه داده نیز در جدول 3 نشان داده شده است. 1) مجموعه داده ایزیس : ایزیس مجموعه داده بزرگی از متون آگاهی از جریان8 است. این مجموعه بین سالهای 1997 تا 2004 توسط پنه بکر و لورا کینگ از بین حدود 2467 کاربر جمعآوریشده و باکلاسهای مشخص از ویژگی شخصیتی (روان رنجوری، برونگرایی، گشودگی در تجربه، توافق پذیری، وظیفه گرایی) برچسبگذاری شده است. از اینرو سبک یادگیری الگوریتمهای مورد استفاده با دادههای فوق از نوع یادگیری نظارتشده میباشد. این متون توسط دانشجویان در انجمن روانشناسی آمریکا9 که آزمون شخصیت پنج عامل بزرگ بر روی انجامگرفته است، تولیدشده است. 2) مجموعه داده شخصیت یوتیوب: این مجموعه داده از حدود 400 فیلم وبکم وبلاگ نویسان یوتیوب شامل رونویسی گفتار، جنسیت و ویژگیهای رفتاری است که به صورت دستی از ویدئوها ترجمه شده است. بر خلاف مجموعه داده اول، این مجموعه داده شامل متن کوتاهتری است و نوع شخصیت (برچسب ها) بر اساس رتبهبندی حاشیهنویسان با مشاهده هر وبلاگ تعیین می شود. لازم به ذکر است که مجموعه داده شخصیت یوتیوب با مجموعه داده ایزیس دارای دو تفاوت عمده است. 1) طول اسناد در مجموعه داده یوتیوب کوتاهتر از مجموعه داده ایزیس میباشد و به کمک آن میتوان نحوه عملکرد مدل پیشنهادی را روی جملات کوتاهتر نیز سنجید. 2) برچسبهای مجموعه داده ایزیس بر اساس پرسشنامهای که توسط کاربر پاسخ داده شده مشخص شدهاند و یک نوع تست خودشناسی میباشد اما برچسبهای مجموعه داده شخصیت یوتیوب توسط افرادی که به صورت داوطلبانه ویدیوها را تماشا کردند مشخص شده است و یک نوع درک بیرونی رفتار میباشد. جدول 3. آمار خلاصه مجموعه دادههای مورد استفاده در این مقاله
2،4 معیارهای ارزیابی ارزیابی یک مدل، از نمونههای آموزشی که برچسب واقعی به آن دادهشده است انجام میپذیرد. ازاینرو میبایست برای ارزیابی یک مدل، برچسبی که مدل در نظر گرفته است را با برچسب واقعی مقایسه نمود. انتخاب یک معیار برای کارایی، به مسئله موردنظر وابسته است. لازم به ذکر است که با در نظر داشتن متوازن بودن مجموعه دادههای مورد استفاده در آزمایشات و مشابه اکثریت مقالات و کارهای انجام شده [25, 35, 36] که مدل پیشنهادی با آنها مورد مقایسه قرار خواهد گرفت، معیار دقت به عنوان معیار استاندارد ازریابی در این مقاله انتخاب شد. مطابق رابطه (9) پارامتر 10TP تعداد ویژگیهایی است که بهدرستی توسط مدل تعیینشده است، پارامتر TN11 تعداد ویژگیهایی که بهدرستی توسط مدل تعیین نشدهاند، پارامتر12FP مربوط به تعداد ویژگیهایی است که بهصورت نادرست توسط مدل استخراج و پارامتر13FN تعداد ویژگیهایی است که به نادرستي توسط مدل تعیین نشده باشند.
3،4 نحوه اجرای مدل پیشنهادی و ابرپارمترها ازآنجاییکه اجرای برنامه بر پایه یادگیری ژرف به جهت محاسبات و پردازش اطلاعات از میان میلیونها داده مختلف صورت میگیرد، از یک پردازنده معمولی نمیتوان انتظار داشت این عملیات را انجام دهد. لذا ضرورت تهیه سختافزارهایی با سرعت بالاتر و قویتر از نیازهای مهم فرایند فوق میباشد. لازم به ذکر است که کلیه پیادهسازیهای این مقاله به کمک پایتون 3 و کتابخانه تنسورفلو 0.1.2روی سیستم با پردازنده Intel Xeon 2 E5-2620 2.0 گیگاهرتز و 8 گیگابایت رم در محیط لینوکس انجام شده است. روند پیادهسازی با پیشپردازش دادههای ورودی آغاز شد. برای این منظور، متن ابتدا به جملات و سپس جملات به کلمات تقسیم شدند. در ادامه تمامی حروف بزرگ به حروف کوچک تبدیل شده و تمامی کاراکترها به جز حروفASCII، علامت تعجب، ارقام و علامت نقل قول حذف شدند. با توجه به این واقعیت که برخی از اسناد در مجموعه داده ایزیس شامل نقطه نبودند، این مجموعه داده دارای جملات بسیار طولانی بود. در این راستا، جملات بیش از 150 کلمه در این مجموعه داده به جملاتی با 20 کلمه تقسیم شدند (آخرین جمله ممکن است طول کوتاهتری داشته باشد). در ادامه، برای اینکه بتوان از کلمات به عنوان ورودی مدل پیشنهادی استفاده کرد، باید آنها را به بردار تبدیل کنیم. در این راستا، مدل اسکیپگرام در حالی که اندازه پنجره و ابعاد بردار کلمه به ترتیب برابر 5 و 150 بودند، با استفاده از تمام اسناد موجود در مجموعه داده آموزش داده شد. نرخ یادگیری 025/0 نیز برای به روزرسانی بردارهای کلمه و به حداقل رساندن خطای آموزش استفاده شده است. پس از تولید بردار کلمات، آنها به شبکه عصبی کانولوشنی داده میشوند. لازم به ذکر است که بر اساس مدل پیشنهادی، ما از سه شبکه کانولوشنی مجزا استفاده کردیم که در هر کدام از آنها اندازه فیلتر یکسان بود. به طور کلی، برای پیادهسازی شبکههای کانولوشنی، اندازه فیلترها برابر 3 ، 4 و 5 و تعداد فیلترها برابر 150 بود. تابع غیر خطی ReLU نیز به عنوان تابع فعالساز در این شبکه استفاده شده است. از تابع سافتمکس نیز برای تعیین دستهبندی نهایی استفاده شد. قانون به روز رسانی وزن ADADELTA با نرخ یادگیری 01/0 و نرخ از قلم انداختن 05/0 برای آموزش مدل مورد استفاده قرار گرفت. لازم به ذکر است که مدل پیشنهادی در 60 ایپک آموزش دید که پس از نزدیک به 40 ایپک آموزش روی هر دو مجموعه داده همگرا شده است. گفتنی است، با توجه به اینکه هدف این مقاله پیشبینی شخصیت براساس پنج ویژگی بزرگ است که شامل پنج کلاس مختلف میباشد، ما پنج شبکه عصبی مختلف با همان ساختار معرفی شده برای پنج ویژگی شخصیتی ایجاد کردیم. برای پیشبینی مثبت یا منفی بودن ویژگی مربوطه، هر شبکه به عنوان یک طبقهبندی کننده دودویی در نظر گرفته شد. تمام آزمایشات این مقاله نیز براساس روش اعتبارسنجی متقابل صورت گرفت. اعتبار سنجی متقابل یک روش ارزیابی مدل است که تعیین مینماید نتایج یک تحلیل آماری بر روی یک مجموعهداده تا چه اندازه قابل تعمیم و مستقل از دادههای آموزشی است. از آنجا که مجموعه دادههای مورد استفاده در آزمایشات این مقاله خود دارای زیرمجموعه تست و اعتبارسنجی از پیش تعیین شده نمیباشند و برای اینکه بتوان نتایج حاصل از پیادهسازی مدل پیشنهادی را با سایر مدلهای موجود مورد مقایسه قرار داد، مشابه مدلهای پیشین[25, 35, 36] مجموعه داده مورد استفاده در آزمایشات به ده قسمت مساوی تقسیم شده و در هر بار اجرای مدل یک قسمت به عنوان مجموعه داده تست و مابقی به عنوان مجموعه داده آموزشی در نظر گرفته شده است . خلاصه اطلاعات مرتبط با ابرپارامترهای مورد استفاده در حین آموزش مدل پیشنهادی درجدول 4 نشان داده شده است. جدول 4. مقادیر ابر پارامترها
4،4 بحث و نتایج پس از تاًمین بسترهای سخت افزاری و نرمافزاری، فرآیند پیشپردازش و استخراج ویژگی و مدلسازی روی دادهها اعمال میگردد. نتایج حاصل از آزمایشات روی دو مجموعه داده ایزیس و مجموعه داده شخصیت یوتیوب به ترتیب در جدولهای 5 و 6 نشان داده شده است. لازم به ذکر است که نتایج مرتبط با سایر مدلها از مقالات اصلی آنها گرفته شده است که آزمایشات خود را روی دو مجموعه داده ایزیس و یوتیوب انجام داده بودند. با درنظر گفتن نتایج روی مجموعه داده ایزیس میتوان نتیجه گرفت که مدل پیشنهادی این مقاله دارای دقت بالاتری نسبت به روشهای سنتی یادگیری ماشین و یادگیری ژرف برای تشخیص خودکار شخصیت میباشد به طوریکه مدل پیشنهادی با دقت (برونگرایی 05/61 درصـد، روانرنجوری 91/62 درصـد، دلپـذیر بودن 11/59 [1] Target [2] Contextual Information [3] Content [4] Local filter [5] Feature engineering [6] Dropout [7] Hyper parameter [8] Stream-Of-Consciousness [9] American Psychological Association [10] True Positive [11] True Negative [12] False Positive [13] False Negative
جدول5. مقایسه دقت دستهبندی خودکار متون در مجموعه داده ایزیس براساس پنج بعد بزرگ شخصیت
جدول6. مقایسه دقت دستهبندی خودکار متون در مجموعه داده شخصیت یوتیوب براساس پنج بعد بزرگ شخصیت
درصد، انعطافپذیری 18/60 درصد و با وجدان بودن 91/64 درصد) بالاترین دقت را در میان سایر مدلها به خود اختصاص داده است. علت این مساله را میتوان به استفاده از مدل آدابوست به همراه شبکه عصبی کانولوشنی مربوط دانست. با درنظر گفتن نتایج روی مجموعه داده شخصیت یوتیوب نیز میتوان نتیجه گرفت که مدل پیشنهادی این مقاله دارای بالاترین دقت نسبت به روشهای سنتی یادگیری ماشین و یادگیری ژرف میباشد بهطوریکه مدل پیشنهادی با دقت (برونگرایی 81/67 درصد، روانرنجوری 11/63 درصد، دلپذیر بودن 21/60 درصد، انعطافپذیری 21/61 درصد و با وجدان بودن 08/65 درصد) بالاترین دقت را در میان سایر مدلها به خود اختصاص داده است. لازم به ذکر است که دقت بالاتر مدل پیشنهادی روی مجموعه داده شخصیت یوتیوب فقط دقت بالاتر مدل پیشنهادی را در کار شناخت شخصیت اثبات نمیکند بلکه قابلیت انعطافپذیری و تعمیم آن را نیز تأیید میکند. زیرا به دست آوردن بالاترین دقت روی دو مجموعه داده با ویژگیهای مختلف نمیتواند تصادفی باشد. با مقایسه جدول 5 و 6 همچنین میتوان نتیجه گرفت که دقت بدست آمده توسط مدل پیشنهادی روی مجموعه داده شخصیت یوتیوب در مقایسه با مجموعه داده ایزیس بالاتر است. با توجه به اینکه طول جملات در مجموعه داده یوتیوب به نسبت طول جملات در مجموعه داده ایزیس کوتاهتر است، میتوان نتیجه گرفت که مدل پیشنهادی ما در مواجه با جملات با طول کوتاهتر بهتر عمل میکند. لازم به ذکر است با اینکه مدل آدابوست نسبت به دادههای نویزی و پرت حساس است؛ ولی نسبت به مشکل بیشبرازش در مقایسه با بیشتر الگوریتمهای یادگیری برتری دارد و همین مساله نیز باعث شده که استفاده از آن به همراه شبکه عصبی کانولوشنی دقت دستهبندی را به طور قابل توجهی افزایش دهد. 5. نتیجهگیری پیشبینی شخصیت همواره یکی از مباحث جذاب و بسیار کاربردی در روانشناسی است. در این مقاله مسئله پیشبینی شخصیت از متن با کمک الگوریتمهای یادگـیری ماشین مورد بررســـی قرار گرفت و نشان داده شد که شبکههای یادگیری ژرف که نوع خاصی از الگوریتمهای یادگیری ماشین میباشند، دارای عملکرد قابل توجهی در این حوزه میباشند. در این راستا، شبکه عصبی کانولوشنی یکی از مهمترین روش های یادگیری ژرف است که میتواند برای دستهبندی مورد استفاده قرار گیرد. با اینکه شبکه عصبی کانولوشنی دارای دقت نسبتا قابل توجهی در این حوزه است، اما با مشکلاتی نیز مواجه میباشد. مهمترین مشکل این شبکه این است که ویژگیهای بدست آمده از n-گرامها با فیلترها با طولهای مختلف میتواند نقش متفاوتی در تصمیمگیری نهایی دستهبندی شخصیت ایفا کنند. به این معنی که ممکن است یک 5-گرام اطلاعات مناسبتری از 4-گرام درباره مفهوم جمله استخراج کند. در همین راستا، تصمیم بر آن شد که در این مقال ویژگیهای حاصل از فیلترها با سایزهای مختلف حاصل از شبکههای عصبی کانولوشنی مختلف را به لایههای پولینگ و دستهبندی مجزا داده شوند. پس آن هنگامیکه نتایج اولیه توسط هرکدام از دستهبندها بدست آمد، از الگوریتم آدابوست برای تولید نتایج کلی دستهبندی استفاده شود. هدف الگوریتم آدابوست افزایش میزان یادگیری کلاسبندها هست. این الگوریتم با ترکیب چند کلاسبند ضعیف یک مرز مناسب جهت تفکیک دادههای بین دوکلاس بدست میآورد و به کمک آن میتوان دستهبندهایی که به صورت نادرست دستهبندی شدهاند را اصلاح کرد. لازم به ذکر است که از مدل اسکیبگرام برای ایجاد بازنمایش از ورودیها استفاده شده است. به منظور نشان دادن برتری مدل پیشنهادی در پیشبینی خودکار شخصیت، از دو مجموعه داده ناهمگن ایزیس و تعیین شخصیت یوتیوب در آزمایشات این مقاله استفاده شد. بر اساس نتایج بدست آمده، مدل پیشنهادی دارای دقت بالاتری نسبت به روشهای پیشین روی هر دو مجموعه داده است. دقت بالاتر مدل پیشنهادی روی هر دو مجموعه داده نه نتها کارآیی مدل پیشنهادی را در پیشبینی شخصیت اثبات میکند، بلکه قابلیت انعطافپذیری و تعمیم آن را نیز تأیید میکند زیرا نمیتوان به صورت تصادفی به بالاترین دقت روی دو مجموعه داده دست یافت. در کارهای آتی بهمنظور پیشبینی شخصیت کاربران علاوه بر متون، تجزیه و تحلیل شخصیت کاربر با ترکیبی از عکس، ویدیو و سایر محتویات اشتراک گذاشته شده نیز میتواند مورد بررسی قرار گیرد. همچنین مدل پیشنهادی در این مقاله را میتوان در سایر مباحث علوم شناختی از قبیل شناسایی میزان استرس، اضطراب، افسردگی کاربران شبکههای اجتماعی نیز به کار برد. مراجع [1] N. Tsapatsoulis and C. Djouvas, "Opinion mining from social media short texts: Does collective intelligence beat deep learning?," Frontiers Robotics AI, 2019. [2] H. Sadr, M. M. Pedram, and M. Teshnehlab, "Convolutional Neural Network Equipped with Attention Mechanism and Transfer Learning for Enhancing Performance of Sentiment Analysis," Journal of AI and Data Mining, pp. -, 2021, doi: 10.22044/jadm.2021.9618.2100. [3] P. Chaiwuttisak, "Text Mining Analysis of Comments in Thai Language for Depression from Online Social Networks," in Soft Computing for Biomedical Applications and Related Topics: Springer, 2020, pp. 301-313. [4] H. Sadr, M. M. Pedram, and M. Teshnelab, "Improving the Performance of Text Sentiment Analysis using Deep Convolutional Neural Network Integrated with Hierarchical Attention Layer," International Journal of Information and Communication Technology Research, vol. 11, no. 3, pp. 57-67, 2019. [5] J. A. Golbeck, "Predicting personality from social media text," AIS Transactions on Replication Research, vol. 2, no. 1, p. 2, 2016. [6] H. Sadr, M. N. Solimandarabi, M. M. Pedram, and M. Teshnehlab, "A Novel Deep Learning Method for Textual Sentiment Analysis," arXiv preprint arXiv:2102.11651, 2021. [7] D. Schultz and S. E. Schultz, Psychology and Work Today: Pearson New International Edition CourseSmart eTextbook. Routledge, 2015. [8] A. H. Jadidinejad and H. Sadr, "Improving weak queries using local cluster analysis as a preliminary framework," Indian Journal of Science and Technology, vol. 8, no. 5, pp. 495-510, 2015. [9] G. W. Allport, "Personality: A psychological interpretation," 1937. [10] R. S. Camati and F. Enembreck, "Text-Based Automatic Personality Recognition: a Projective Approach," in 2020 IEEE International Conference on Systems, Man, and Cybernetics (SMC), 2020: IEEE, pp. 218-225. [11] H. Sadr, M. N. Soleimandarabi, M. Pedram, and M. Teshnelab, "Unified Topic-Based Semantic Models: A Study in Computing the Semantic Relatedness of Geographic Terms," in 2019 5th International Conference on Web Research (ICWR), 2019: IEEE, pp. 134-140. [12] D. Xue et al., "Deep learning-based personality recognition from text posts of online social networks," Applied Intelligence, vol. 48, no. 11, pp. 4232-4246, 2018. [13] Y. Mehta, N. Majumder, A. Gelbukh, and E. Cambria, "Recent trends in deep learning based personality detection," Artificial Intelligence Review, pp. 1-27, 2019. [14] H. Sadr, M. M. Pedram, and M. Teshnehlab, "A Robust Sentiment Analysis Method Based on Sequential Combination of Convolutional and Recursive Neural Networks," Neural Processing Letters, pp. 1-17, 2019. [15] H. Sadr, M. M. Pedram, and M. Teshnehlab, "Multi-View Deep Network: A Deep Model Based on Learning Features From Heterogeneous Neural Networks for Sentiment Analysis," IEEE Access, vol. 8, pp. 86984-86997, 2020. [16] A. Remaida, B. Abdellaoui, A. Moumen, and Y. E. B. El Idrissi, "Personality traits analysis using Artificial Neural Networks: A Literature Survey," in 2020 1st International Conference on Innovative Research in Applied Science, Engineering and Technology (IRASET), 2020: IEEE, pp. 1-6. [17] H. Sadr, M. Nazari Solimandarabi, and M. Mirhosseini Moghadam, "Categorization of Persian Detached Handwritten Letters Using Intelligent Combinations of Classifiers," Journal of Advances in Computer Research, vol. 8, no. 4, pp. 13-21, 2017. [18] H. Sadr and M. Nazari Solimandarabi, "Presentation of an efficient automatic short answer grading model based on combination of pseudo relevance feedback and semantic relatedness measures," Journal of Advances in Computer Research, vol. 10, no. 2, pp. 1-10, 2019. [19] H. Sadr, M. Nazari, M. M. Pedram, and M. Teshnehlab, "Exploring the Efficiency of Topic-Based Models in Computing Semantic Relatedness of Geographic Terms," International Journal of Web Research, vol. 2, no. 2, pp. 23-35, 2019. [20] H. Sadr, R. Atani, and M. Yamaghani, "The Significance of Normalization Factor of Documents to Enhance the Quality of Search in Information Retrieval Systems," International Journal of Computer Science and Network Solutions, vol. 2, no. 5, pp. 91-97, 2014. [21] J. Golbeck, C. Robles, M. Edmondson, and K. Turner, "Predicting personality from twitter," in 2011 IEEE third international conference on privacy, security, risk and trust and 2011 IEEE third international conference on social computing, 2011: IEEE, pp. 149-156. [22] D. Quercia, M. Kosinski, D. Stillwell, and J. Crowcroft, "Our twitter profiles, our selves: Predicting personality with twitter," in 2011 IEEE third international conference on privacy, security, risk and trust and 2011 IEEE third international conference on social computing, 2011: IEEE, pp. 180-185. [23] F. Alam, E. A. Stepanov, and G. Riccardi, "Personality traits recognition on social network-facebook," in Seventh International AAAI Conference on Weblogs and Social Media, 2013. [24] M. Skowron, M. Tkalčič, B. Ferwerda, and M. Schedl, "Fusing social media cues: personality prediction from twitter and instagram," in Proceedings of the 25th international conference companion on world wide web, 2016, pp. 107-108. [25] D. Xue et al., "Personality recognition on social media with label distribution learning," IEEE Access, vol. 5, pp. 13478-13488, 2017. [26] E. Tighe and C. Cheng, "Modeling personality traits of filipino twitter users," in Proceedings of the Second Workshop on Computational Modeling of People’s Opinions, Personality, and Emotions in Social Media, 2018, pp. 112-122. [27] H.-C. Yang and Z.-R. Huang, "Mining personality traits from social messages for game recommender systems," Knowledge-Based Systems, vol. 165, pp. 157-168, 2019. [28] S. Han, H. Huang, and Y. Tang, "Knowledge of words: An interpretable approach for personality recognition from social media," Knowledge-Based Systems, p. 105550, 2020. [29] J. Yu and K. Markov, "Deep learning based personality recognition from facebook status updates," in 2017 IEEE 8th International Conference on Awareness Science and Technology (iCAST), 2017: IEEE, pp. 383-387. [30] T. Tandera, D. Suhartono, R. Wongso, and Y. L. Prasetio, "Personality prediction system from facebook users," Procedia computer science, vol. 116, pp. 604-611, 2017. [31] B. B. C. da Silva and I. Paraboni, "Personality recognition from Facebook text," in International Conference on Computational Processing of the Portuguese Language, 2018: Springer, pp. 107-114. [32] Z. Wang, C.-H. Wu, Q.-B. Li, B. Yan, and K.-F. Zheng, "Encoding Text Information with Graph Convolutional Networks for Personality Recognition," Applied Sciences, vol. 10, no. 12, p. 4081, 2020. [33] E. A. Rissola, S. A. Bahrainian, and F. Crestani, "Personality recognition in conversations using capsule neural networks," in IEEE/WIC/ACM International Conference on Web Intelligence, 2019, pp. 180-187. [34] N. Majumder, S. Poria, A. Gelbukh, and E. Cambria, "Deep learning-based document modeling for personality detection from text," IEEE Intelligent Systems, vol. 32, no. 2, pp. 74-79, 2017. [35] S. M. Mohammad and S. Kiritchenko, "Using hashtags to capture fine emotion categories from tweets," Computational Intelligence, vol. 31, no. 2, pp. 301-326, 2015. [36] X. Sun, B. Liu, J. Cao, J. Luo, and X. Shen, "Who am I? Personality detection based on deep learning for texts," in 2018 IEEE International Conference on Communications (ICC), 2018: IEEE, pp. 1-6. [37] Y. Freund, "An adaptive version of the boost by majority algorithm," Machine learning, vol. 43, no. 3, pp. 293-318, 2001. [38] T. Young, D. Hazarika, S. Poria, and E. Cambria, "Recent trends in deep learning based natural language processing," ieee Computational intelligenCe magazine, vol. 13, no. 3, pp. 55-75, 2018. [39] T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Efficient estimation of word representations in vector space," arXiv preprint arXiv:1301.3781, 2013. [40] T. Mikolov, K. Chen, G. Corrado, and J. Dean, "Distributed Representations of Words and Phrases and their Compositionality, Nips," 2013. [41] I. Goodfellow, Y. Bengio, A. Courville, and Y. Bengio, Deep learning. MIT press Cambridge, 2016. [42] T. Young, D. Hazarika, S. Poria, and E. Cambria, "Recent trends in deep learning based natural language processing," arXiv preprint arXiv:1708.02709, 2017. [43] O. Irsoy and C. Cardie, "Deep recursive neural networks for compositionality in language," in Advances in neural information processing systems, 2014, pp. 2096-2104. [44] Y. Zhang and B. Wallace, "A sensitivity analysis of (and practitioners' guide to) convolutional neural networks for sentence classification," arXiv preprint arXiv:1510.03820, 2015. [45] Y. LeCun, Y. Bengio, and G. Hinton, "Deep learning," Nature, vol. 521, no. 7553, pp. 436-444, May, 2015. [46] J. W. Pennebaker and L. A. King, "Linguistic styles: Language use as an individual difference," Journal of personality and social psychology, vol. 77, no. 6, p. 1296, 1999. [47] J.-I. Biel, V. Tsiminaki, J. Dines, and D. Gatica-Perez, "Hi YouTube! Personality impressions and verbal content in social video," in Proceedings of the 15th ACM on International conference on multimodal interaction, 2013, pp. 119-126. An Intelligent Model for Multidimensional Personality Recognition of Users using Deep Learning Methods Abstract:
Due to the significant growth of textual information and data generated by humans on social networks, there is a need for systems that can automatically analyze the data and extract valuable information from them. One of the most important textual data is people's opinions about a particular topic that are expressed in the form of text. Text published by users on social networks can represent their personality. Although machine learning based methods can be considered as a good choice for analyzing these data, there is also a remarkable need for deep learning based methods to overcome the complexity and dispersion of content and syntax of textual data during the training process. In this regard, the purpose of this paper is to employ deep learning based methods for personality recognition. Accordingly, the convolutional neural network is combined with the Adaboost algorithm to consider the possibility of using the contribution of various filter lengths and gasp their potential in the final classification via combining various classifiers with respective filter sizes using AdaBoost. The proposed model was conducted on Essays and YouTube datasets. Based on the empirical results, the proposed model presented superior performance compared to other existing models on both datasets.
Keywords: Deep learning, Convolutional neural network, Adaboost combinational model, Personality recognition, Textual data |