AFMamba: Adaptive Fusion Network for Hyperspectral and LiDAR Data Collaborative Classification Base On Mamba

Weng Qian ,  

Chen Gengwei ,  

Pan Zengying ,  

Lin Jiawen ,  

Zheng Xiangtao ,  

摘要

L'imagerie hyperspectrale HSI (Hyperspectral Image) peut capturer les caractéristiques spectrales des composants de la terre, mais manque d'informations tridimensionnelles, tandis que le LiDAR (Light Detection And Ranging) peut capturer les informations de distance et de hauteur des objets, les deux types de données peuvent se compléter mutuellement et améliorer efficacement la précision de la classification des terres. Le modèle Mamba présente des avantages en termes d'apprentissage des caractéristiques à distance et de calculs efficaces, mais actuellement, il y a peu de recherche sur la classification et la fusion de données de télédétection multimodales à l'aide de Mamba, et il existe des problèmes d'informations de caractéristiques multi-sources manquantes et d'une fusion insuffisante. Sur cette base, cet article propose un réseau de classification coopérative adaptative des données hyperspectrales et LiDAR basé sur la structure Mamba. Ce réseau comprend un module d'attention coopératif à deux canaux empilable basé sur la structure Mamba, utilisant le partage de paramètres pour favoriser l'apprentissage mutuel entre les caractéristiques multi-sources, permettant ainsi d'obtenir une précision de classification plus élevée et une meilleure capacité de généralisation dans la tâche de classification. Les résultats expérimentaux montrent que l'algorithme proposé atteint une précision globale de 99,33 %, 91,74 % et 94,94 % sur les ensembles de données de Trento, Houston2013 et MUUFL, respectivement, et peut extraire et fusionner de manière plus efficace les caractéristiques multi-sources.

关键词

remote sensing image classification;collaborative classification;adaptive fusion;Mamba architecture;parameter sharing;hyperspectral image;LiDAR;Multimodal data fusion

阅读全文