مقارنة أداء الشبكات العصبونية التكرارية في تخفيض بارامترات التدريب لشبكات التلافيف العصبية

Abstract: The study aims to reduce the number of parameters in the Convolution Neural Network (CNN), which is one of the best techniques used to extract and categorize behavioral features in video files. These networks have a very big size and a large number of parameters which distributed in the deep layers, especially in the last layers that responsible for classification, the values of the parameters ​​are modified at each stage of network training, which consume memory too much, and its need for a very large memory space. In this research we work to reduce the number of parameters through using lightweight Convolution Neural Network (LWCNN), we choose Alex Net network in our research, but we made some modification on it, we decrease the number of filters in convolution layer, and we replace the last layers in the network with one of the most important types of Recurrent Neural Network (RNN). We use each of Long Short Term Memory (LSTM), and Gated Recurrent Unit (GRU). The work was tested during the research period on a dataset containing 960(videos) for normal children and children with autism spectrum, which were taken in Center for psychosocial support for people with special needs. And the experimental results proved the significant decrease in the number of parameters in the system with lightweight networks after linking them with recurrent networks with 84%, as well as the recurrent network with long reliability (LSTM) gave better results than the Gated recurrent unit (GRU) in accuracy and the loss value. 

Keywords: Recurrent Neural network, Convolution Neural network, LWCNN, LSTM, GRU.

المستخلص: عمل هذا البحث إلى تخفيض عدد البارامترات الموجودة في شبكات الطي العصبية (Convolution Neural Network CNN) التي تعد من أفضل التقنيات المستخدمة لاستخلاص السمات السلوكية وتصنيفها في الملفات المرئية (Videos)، تمتلك هذه الشبكات احجام كبيرة جداً وعدد كبير جداً من البارامترات الموزعة في الطبقات العميقة وخاصة في الطبقات الأخيرة المسؤولة عن التصنيف، والتي يتم تعديل قيمها في كل مرحلة من مراحل تدريب الشبكة وهو ما يسبب استهلاك كبير للذاكرة والحاجة إلى مساحة ذاكرية كبيرة جداً. تم العمل من خلال هذا البحث إلى تخفيض عدد البارامترات وذلك من خلال استخدام شبكات الطي العصبية ذات الاوزان الخفيفة (Light Weight Convolution Neural Network LWCNN) حيث تم استخدام شبكة Alex Net  وذلك بعد إجراء مجموعة من التعديلات عليها، من تخفيض عدد المرشحات المستخدمة في طبقات الطي، وكذلك استبدال الطبقات الاخيرة من الشبكة المستخدمة التي تكون مسؤولة عن التصنيف بأحد أهم أنواع الشبكات التكرارية (Recurrent Neural Network RNN) حيث تم استخدام كلاً من الشبكة التكرارية ذات الاعتمادية الطويلة (Long Short Term Memory LSTM) والشبكة التكرارية المبوبة (Gated Recurrent Unit GRU). تم اختبار العمل خلال فترة البحث على مجموعة بيانات تضم 960 فيديو لأطفال طبيعيين وأطفال مصابين بطيف التوحد، تم تسجيلها في أحد مراكز الدعم النفسي لذوي الاحتياجات الخاصة. وقد أثبتت النتائج التجريبية الانخفاض الكبير في عدد البارامترات في الشبكات العصبونية ذات الاوزان الخفيفة بعد ربطها مع الشبكات التكرارية بمقدار 84%، كذلك فإن الشبكة التكرارية ذات الاعتمادية الطويلة LSTM أعطت نتائج أفضل من الشبكة التكرارية المبوبة GRU من حيث الدقة والخطأ، حيث زادت الدقة بمقدار 3% وانخفض الخطأ بمقدار 9%.

الكلمات المفتاحية: الشبكات العصبية التكرارية، شبكات الطي العصبية، LWCNN، LSTM، GRU.