В связи с проблемой снижения точности обнаружения объектов на видимом свете в сложных условиях, таких как затемнение и слабое освещение, влияющих на богатство признаков, в настоящей работе вводится инфракрасный режим для компенсации недостатков видимого изображения. Предложен метод мультимодального обнаружения объектов с адаптивным слиянием признаков видимого и инфракрасного излучения. Метод использует фреймворк обнаружения объектов YOLOv8 в качестве базовой сети для извлечения многомасштабных признаков; основываясь на том, что видимое изображение обладает более богатыми текстурными признаками, а инфракрасное изображение характеризуется более отчетливыми контурами, чем текстуры, построен мультимодальный гибридный модуль внимания для межмодального обмена и реорганизации весов информации с целью выявления преимуществ в различных условиях освещения; далее с использованием связи между богатством признаков видимого режима и интенсивностью окружающего освещения разработан модуль динамического распределения весов между видимым и инфракрасным режимами, который учитывается в модуле слияния мультимодальных признаков для адаптивного объединения признаков с целью мультимодальной детекции объектов. В конце проведены эксперименты на общедоступных уличных наборах данных M³FD и наборе данных аэрофотосъемки транспортных средств DroneVehicle. Результаты показывают, что предложенный метод достигает более высокой точности обнаружения по сравнению с существующими однорежимными и мультимодальными алгоритмами обнаружения.

обнаружение объектов; мультимодальность; сверточные нейронные сети; слияние признаков; механизм внимания; изображения видимого света; инфракрасные изображения; глубокое обучение