Для обнаружения целей в видимом свете в сложных условиях, таких как закрытие и слабый свет, обогащенность признаками легко подвергается влиянию, что приводит к снижению точности обнаружения целей. В данном исследовании были введены изображения инфракрасных модов для компенсации недостатков изображений видимого света, а также предложен метод многомодового обнаружения целей, в котором адаптируются признаки видимого света и инфракрасного света. В этом методе используется YOLOv8 в качестве основной сети обнаружения целей для извлечения многомасштабной информации признаков; на этой основе, исходя из того, что изображения видимого света обладают более богатыми текстурными признаками, а инфракрасные изображения имеют более явные края, чем текстурные признаки, создается многомодовый смешанный модуль внимания, осуществляющий обмен и рекомпоновку информационных весов между модальностями для достижения преимуществ признаков в различных условиях освещенности; затем, исходя из обогащенности признаками видимого света и интенсивности окружающего освещения, разработаны динамические весовые модули видимого света-инфракраса, и используются веса в качестве справки, чтобы обеспечить внесение весов в модуль многомодового слияния признаков для автоматического слияния признаков на основе многомодовых. Финально, эксперименты на открытом наборе данных уличной сцены M3FD и наборе данных беспилотных автомобилей DroneVehicle показывают, что предложенный в данном исследовании метод может обеспечить более высокую точность обнаружения по сравнению с существующими алгоритмами обнаружения одномодальных и многомодальных целей.

Обнаружение целей; Многомодальное; Сверточная нейронная сеть; Объединение признаков; Внимание; Изображения видимого света; Изображения инфракрасного света; Глубокое обучение