تحسين أداء أنظمة وصف الصور باستخدام مرحلة التصنيف المسبق للصور

Abstract: In this research, we introduce a novel image classification and captioning system by adding a classification layer before the image captioning models. The suggested approach consists of three main steps and inspired by the state- of- art that generating image captioning inside small sub- classes categories is better than the unclassified large dataset. In the first one, we have collected a dataset of two international datasets (MS- COCO and Flickr2k) including 10778 images in which 80% is used for training and 20% for validation. In the next step, dataset images have been classified into 11 classes (10 classes of indoor and outdoor categories and one class of “Null” category) and fed into a deep learning classifier. The classifier is re- trained again using our classes and learned to classify each image to the corresponding category. At the final step, each classified image is used as input of 11 pre- trained classified image captioning models, and the final captioning sentence is generated. The experiments show that adding the pre- classification step before the image captioning stage improves the performance significantly by (8.15% and 8.44%) and (12.7407% and 16.7048%) for Top- 1 and Top- 5 of English and Arabic systems respectively. The classification step achieves a true classification rate of 71.32% and 73.09% for English and Arabic systems respectively. 

Keywords: Deep Learning, Natural Language Processing, Arabic Language Image Captioning, English Language Image Captioning, Image Classification, Image captioning.

المستخلص: في هذا البحث قدمنا ​​نظامًا جديدًا لتصنيف الصور ووصفها عن طريق إضافة طبقة تصنيف قبل نماذج وصف الصور بالتسميات التوضيحية. يتكون النهج المقترح من ثلاث خطوات رئيسية ومستوحاة من أحدث التقنيات التي تعتبر توليد تسميات توضيحية للصور ضمن مجموعات الصور الفرعية الصغيرة المصنفة أفضل منه في مجموعة البيانات الكبيرة غير المصنفة. في الخطوة الأولى، قمنا بتجميع مجموعة بيانات صور من مجموعتي بيانات معياريتين (MS- COCO وFlickr2k) وتتضمن هذه المجموعة 10778 صورة تم تقسيمها إلى 80٪ للتدريب و20٪ للتحقق من الصحة. في الخطوة التالية، تم تصنيف صور مجموعة البيانات إلى 11 فئة (10 فئات من الفئات الداخلية والخارجية وفئة واحدة من فئة Null) وتم إدخالها في مصنف يعتمد مبدأ التعلم العميق. يتم إعادة تدريب المصنف مرة أخرى باستخدام أصناف الصور العشرة التي تم تشكيلها، بحيث يتعلم تصنيف كل صورة إلى الفئة المقابلة لها. في الخطوة الأخيرة، يتم استخدام كل صورة مصنفة كمدخلات لـ 11 نموذج مصنف ومدرب مسبقاً لوصف الصور، بحيث يتم إنشاء جملة التسمية التوضيحية النهائية للصورة. أظهرت التجارب أن إضافة خطوة التصنيف المسبق قبل مرحلة توليد التسميات التوضيحية للصورة تحسن الأداء بشكل ملحوظ بنسبة (8.15٪ و8.44٪) و (12.7407٪ و16.7048٪) من حيث معياري Top- 1 وTop- 5 لأنظمة الوصف التي تعتمد اللغة الإنجليزية والعربية على التوالي. حققت خطوة التصنيف معدلات تصنيف حقيقية بلغت 71.32٪ و73.09٪ للأنظمة الإنجليزية والعربية على التوالي.

الكلمات المفتاحية: التعلم العميق، معالجة اللغات الطبيعية، وصف الصور باللغة العربية، وصف الصور باللغة الإنكليزية، تصنيف الصور، وصف الصور بتسميات توضيحية.