تصميم نظام هجين بالاعتماد على شبكات التعلم العميق وخوارزميات التعرف على الوجوه للكشف عن المشاعر باستخدام التعابير الوجهية

Abstract: Objectives: In recent years, the demand for automatic emotion recognition systems has increased for use in various fields, including efforts to modify an individual’s mood to improve mental health, as well as assisting in identifying the emotions of children with autism spectrum disorder who struggle to express their emotional states. Deep learning networks are linked with face Detection algorithms. If a deep learning network is used alone, any object detected in the image will be considered as a face and will be processed to determine whether it has emotions or not.

This results in high computational complexity, very high response time, and low accuracy if there is more than one face in the same image. Methods:  In this research, images were first introduced into the Fer-Net convolutional neural network after performing some preprocessing operations. The Fer-Net was selected after experimenting with several other CNN. Facial features were then extracted from the network, and these extracted features were classified into four basic emotions.

Additionally, several standard databases were tested individually, such as FER-2013 and AffectNet, for training and evaluating the network. Subsequently, the previous databases were merged with other databases like RAF-DB and CK+ to increase the number of training samples and evaluation samples in order to avoid the issue of overfitting.

Finally, we linked facial detection with the classification network obtained from the trained model using the MTCNN algorithm to identify the faces present in the image before analyzing the facial features and determining the emotions extracted from them. Results: First, Data Augmentation was implemented on the data in standard database (Fer-2013), and the overfitting problem was resulted. 

Keywords: Convolution Neural network, FER-NET, Affect Net, MTCNN, Emotion Recognition, Hybrid System.

المستخلص: الأهداف: في السنوات الأخيرة تزايد الطلب على أنظمة التعرف التلقائي على العواطف للاستخدام في مجالات متعددة، بما في ذلك العمل على تعديل الحالة المزاجية للفرد لتحسين الصحة النفسية، وكذلك المساعدة في كشف مشاعر الأطفال الذين يعانون من طيف التوحد وذلك لعدم قدرتهم على التعبير عن حالتهم المزاجية.

يقدم هذا البحث نظاماً (Mood Pulse) مصمماً لمحاولة الكشف عن المشاعر، حيث تم الدمج بين شبكات التعلم العميق وخوارزميات التعرف على الوجوه. حيث أنه في حال الاعتماد على شبكة تعلم عميق فإنه سيتم اعتبار أي كائن سيتم اكتشافه في الصورة كوجه ويتم التعامل معه وتحديد فيما إذا كان يمتلك مشاعر أو لا. وبالتالي سيتم الحصول على تعقيد حسابي كبير،

وزمن استجابة كبير جداً، بالإضافة إلى الدقة القليلة في حال وجود أكثر من وجه في نفس الصورة.  المنهجية: تم في هذا البحث أولاً إدخال الصور بعد إجراء بعض عمليات المعالجة الأولية عليها إلى شبكة الطي العصبونية Fer-Net  والتي تم اختيارها بعد تجربة عدة شبكات طي عصبونية، والقيام ببعض التعديلات في بنية الشبكة. ومن ثم استخلاص السمات الوجهية من خلالها،

ثم تصنيف هذه السمات المستخلصة إلى المشاعر الأربعة الأساسية. كذلك تم اختبار عدة قواعد بيانات قياسية كلٍ منها على حدا مثل (Fer-2013, AffectNet)  لتدريب الشبكة وتقييمها. لاحقاً تم دمج قواعد البيانات السابقة مع قواعد بيانات أخرى مثل (RAF-DB, CK+)، من أجل زيادة عدد عينات التدريب،

وعينات التقييم لعدم الوقوع في مشكلة overfitting. أخيراً قمنا بالربط بين اكتشاف الوجه وشبكة التصنيف التي حصلنا عليها من النموذج المدرب من خلال خوارزمية (MTCNN) من أجل تحديد الوجوه الموجودة في الصورة فقط قبل أن يتم تحليل معالم الوجه وتحديد المشاعر المستخلصة منه. النتائج: في البداية قمنا بإجراء عملية Data augmentation  للبيانات الموجودة في قاعدة البيانات القياسية (Fer-2013) فحصلنا على مشكلة Overfitting  وذلك بسبب تكرار البيانات. من أجل ذلك تم البحث عن جميع قواعد البيانات المستخدمة في مجال الكشف عن المشاعر من أجل زيادة عدد البيانات للأصناف الأساسية المختارة. 

الكلمـات المفتاحية: شبكات الطي العصبونية، Fer-Net، MTCNN، Fer-2013 ، التعرف على المشاعر، نظام هجين