AFMamba: Adaptive Fusion Network for Hyperspectral and LiDAR Data Collaborative Classification Base On Mamba

Weng Qian ,  

Chen Gengwei ,  

Pan Zengying ,  

Lin Jiawen ,  

Zheng Xiangtao ,  

摘要

La imagen hiperespectral HSI (Hyperspectral Image) puede capturar las características espectrales de los componentes de la tierra, pero carece de información tridimensional, mientras que el LiDAR (Light Detection And Ranging) puede capturar información de distancia y altura de los objetos, ambos tipos de datos pueden complementarse mutuamente y mejorar la precisión de la clasificación de tierras de manera efectiva. El modelo Mamba tiene ventajas en el aprendizaje de características remotas y cómputos eficientes, pero actualmente hay poca investigación sobre la clasificación y fusión de datos de teledetección multimodales utilizando Mamba, y existen problemas con la información de características de múltiples fuentes que faltan y una fusión insuficiente. Sobre esta base, este artículo propone una red de clasificación cooperativa adaptativa de datos hiperespectrales y LiDAR basada en la estructura Mamba. Esta red incluye un módulo de atención cooperativa de dos canales apilable basado en la estructura Mamba, utilizando el compartir parámetros para promover el aprendizaje mutuo entre las características de múltiples fuentes, lo que permite lograr una precisión de clasificación más alta y una mejor capacidad de generalización en la tarea de clasificación. Los resultados experimentales muestran que el algoritmo propuesto logra una precisión global del 99,33 %, 91,74 % y 94,94 % en los conjuntos de datos de Trento, Houston2013 y MUUFL, respectivamente, y puede extraer y fusionar de manera más eficiente las características de múltiples fuentes.

关键词

remote sensing image classification;collaborative classification;adaptive fusion;Mamba architecture;parameter sharing;hyperspectral image;LiDAR;Multimodal data fusion

阅读全文