Face au problème que la richesse des caractéristiques en détection d’objets en lumière visible est affectée dans des environnements complexes tels que l'occultation ou la faible luminosité, entraînant une baisse de la précision de détection, cet article introduit des images en modalité infrarouge pour compenser les lacunes des images en lumière visible, et propose une méthode de détection d’objets multimodale avec fusion adaptative des caractéristiques visibles et infrarouges. Cette méthode utilise le cadre de détection d’objets YOLOv8 comme réseau de base pour extraire des informations caractéristiques à plusieurs échelles ; sur cette base, en se fondant sur le fait que les images visibles possèdent des textures plus riches tandis que les images infrarouges ont des contours plus nets que les textures, un module d’attention hybride multimodal est construit afin d’effectuer un échange et une réorganisation des poids d’information intermodalités pour réaliser des caractéristiques avantageuses sous différentes conditions d’éclairage ; ensuite, en utilisant la relation entre la richesse des caractéristiques de la modalité visible et l’intensité de l’éclairage ambiant, un module de distribution dynamique des poids visible-infrarouge basé sur l’éclairage ambiant est conçu, et les poids sont pris comme référence pour être intégrés dans le module de fusion des caractéristiques multimodales pour une fusion adaptative, réalisant ainsi une détection d’objets basée sur la fusion des caractéristiques multimodales. Enfin, des expériences sont menées sur les ensembles de données publics de scènes de rue M³FD et de véhicules en prise aérienne DroneVehicle. Les résultats montrent que, comparée aux algorithmes de détection d’objets unimo-daux et multimodaux existants, la méthode proposée obtient une précision de détection plus élevée.

détection d’objets; multimodalité; réseaux neuronaux convolutifs; fusion de caractéristiques; mécanisme d’attention; image visible; image infrarouge; apprentissage profond