طريقة كشف أهداف متعددة النمط بدمج تكيفي لميزات الضوء المرئي وتحت الأحمر

YU Zhirui ,  

YIN Zhanpeng ,  

WANG Junyu ,  

ZHOU Liang ,  

YE Yuanxin ,  

摘要

بالنظر إلى مشكلات كشف الأهداف باستخدام الضوء المرئي في ظروف معقدة مثل الت遮遮، وضعف الإضاءة، حيث تتأثر ثراء الميزات، مما يؤدي إلى انخفاض دقة الكشف عن الأهداف، يقدم هذا البحث إدخال الصورة في الطيف تحت الأحمر لتعويض نقص صور الضوء المرئي، ويقترح طريقة كشف أهداف متعددة النمط تدمج بذكاء ميزات الضوء المرئي وتحت الأحمر. تستخدم هذه الطريقة إطار كشف الأهداف YOLOv8 كشبكة أساسية لاستخراج ميزات متعددة المقاييس؛ بناءً على خصائص صورة الضوء المرئي التي تتمتع بميزات نسيجية أكثر غنىً مقارنة بصورة تحت الأحمر التي تتميز بحواف أوضح من النسيج، يتم إنشاء وحدة انتباه هجينة متعددة النمط لإجراء تبادل وإعادة تشكيل للأوزان المعلوماتية بين الأنماط لتحقيق ميزات مميزة في ظروف إضاءة مختلفة؛ بعد ذلك، باستخدام العلاقة بين ثراء ميزات نمط الضوء المرئي وشدة الإضاءة البيئية، يتم تصميم وحدة توزيع ديناميكية للأوزان بين الضوء المرئي وتحت الأحمر بناءً على شدة الإضاءة، وتُستخدم هذه الأوزان كمرجع ضمن وحدة دمج الميزات متعددة النمط لتحقيق الدمج التكيفي، مما يؤدي إلى كشف الأهداف بناءً على دمج الميزات متعددة النمط. أخيراً، تم إجراء تجارب على مجموعات بيانات مشاهد الشارع M3FD وبيانات المركبات الجوية DroneVehicle. أظهرت النتائج أن الطريقة المقترحة تحقق دقة كشف أعلى مقارنة بخوارزميات كشف الأهداف أحادية النمط ومتعددة النمط القائمة.

关键词

كشف الأهداف; متعدد النمط; الشبكات العصبية التلافيفية; دمج الميزات; آلية الانتباه; صور الضوء المرئي; صور تحت الأحمر; التعلم العميق

阅读全文