AFMamba: Adaptive Fusion Network for Hyperspectral and LiDAR Data Collaborative Classification Base On Mamba

Weng Qian ,  

Chen Gengwei ,  

Pan Zengying ,  

Lin Jiawen ,  

Zheng Xiangtao ,  

摘要

Hyperspektralbild HSI (Hyperspectral Image) kann die spektralen Merkmale der Bodenkomponenten erfassen, aber es fehlt dreidimensionale Information, während LiDAR (Light Detection And Ranging) die Distanz- und Höheninformationen der Objekte erfassen kann, beide Arten von Daten können sich gegenseitig ergänzen und die Genauigkeit der Bodenklassifizierung effektiv verbessern. Das Mamba-Modell hat Vorteile beim Remote-Feature-Learning und effizienten Berechnungen, aber derzeit gibt es wenig Forschung zur Klassifizierung und Fusion multimodaler Fernerkundungsdaten unter Verwendung von Mamba, und es gibt Probleme mit fehlenden Mehrquell-Features und unzureichender Fusion. Auf dieser Grundlage schlägt dieser Artikel ein adaptives Kooperationsklassifizierungsnetzwerk für hyperspektrale und LiDAR-Daten auf Basis der Mamba-Struktur vor. Dieses Netzwerk umfasst ein stapelbares zweikanaliges kooperatives Aufmerksamkeitsmodul auf Basis der Mamba-Struktur, das Parametergemeinsamkeit verwendet, um das gegenseitige Lernen der Mehrquell-Merkmale zu fördern und dadurch eine höhere Klassifizierungsgenauigkeit und bessere Verallgemeinerungsfähigkeit in der Klassifizierungsaufgabe zu erreichen. Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene Algorithmus eine Gesamtgenauigkeit von 99,33 %, 91,74 % und 94,94 % auf den Datensätzen Trento, Houston2013 und MUUFL erreicht, und in der Lage ist, Mehrquellmerkmale effizienter zu extrahieren und zu fusionieren.

关键词

remote sensing image classification;collaborative classification;adaptive fusion;Mamba architecture;parameter sharing;hyperspectral image;LiDAR;Multimodal data fusion

阅读全文