가시광선 목표 탐지가 가림, 저조도 등 복잡한 환경에서 특징 풍부도가 쉽게 영향을 받아 목표 탐지 정확성이 저하되는 문제에 대해, 본 논문은 가시광 이미지의 부족한 점을 보완하기 위해 적외선 모달리티 영상을 도입하고, 적외선과 가시광 특징을 적응적으로 융합하는 다중 모달 목표 탐지 방법을 제안한다. 이 방법은 YOLOv8 목표 탐지 프레임워크를 기본 네트워크로 사용하여 다중 스케일 특징 정보를 추출하며; 가시광 이미지가 더 풍부한 텍스처 특징을 가지는 반면 적외선 영상은 텍스처보다 경계 윤곽이 더 뚜렷한 특징을 기반으로 다중 모달 혼합 어텐션 모듈을 구축하여 모달 간 정보 가중치 교환 및 재구성을 수행하여 다양한 조명 조건에서 우수한 특징을 구현한다; 이후 가시광 모달 특징의 풍부도와 주변 조명 강도와의 관계를 이용해 주변 조명 강도를 지표로 하는 가시광-적외선 가중치 동적 분배 모듈을 설계하고, 가중치를 참고로 하여 다중 모달 특징 융합 모듈에 포함시켜 적응적 융합을 실현하여 다중 모달 특징 융합 기반 목표 탐지를 수행한다. 마지막으로 공개된 거리 장면 데이터셋 M³FD 및 항공기 차량 데이터셋 DroneVehicle에서 실험을 진행하였다. 결과는 기존의 단일 모달 및 다중 모달 목표 탐지 알고리즘에 비해 본 논문에서 제안한 방법이 더 높은 탐지 정확도를 얻을 수 있음을 보여준다.

목표 탐지; 다중 모달; 합성곱 신경망; 특징 융합; 어텐션 메커니즘; 가시광 영상; 적외선 영상; 딥러닝