Die Wolkenbedeckung stellt eine langfristige Herausforderung bei der Verarbeitung optischer Fernerkundungsbilder dar. Traditionelle Methoden zur Wolkenentfernung können oft nicht alle Details der verdeckten Bereiche vollständig wiederherstellen, was die Bildqualität beeinträchtigt. Zur Bewältigung dieses Problems schlägt dieser Artikel eine auf multimodaler Merkmalskonsistenz basierende Wolkenentfernungsmethode (Cloud-Harmonizer) vor, die die Komplementarität und Konsistenz von SAR- und optischen Bildmerkmalen zur effektiven Wiederherstellung von Informationen in Wolkengebieten vollständig nutzt. Die Methode besteht aus drei Kernmodulen: dem multimodalen Merkmalskonsistenzmodul (Multi-modal Feature Consistency Module, MFCM), das optische und SAR-Merkmale ausrichtet, um differenzielle Aufmerksamkeit in Wolkenbereichen zu erfassen und zu erzeugen; dem konsistenzbeschränkten Kompensationsmodul (Consistency-Constrained Compensation Module, CCCM), das auf der differenziellen Aufmerksamkeit basierende SAR-Daten verwendet, um fehlende optische Bildmerkmale zu kompensieren; und dem multimodalen kollaborativen adaptiven Fusionsmodul (Multi-modal Collaborative Adaptive Fusion Module, MCAF), das mittels adaptiver Fusionsstrategien die Merkmale beider Modalitäten weiter integriert und die Gesamtwiederherstellung verbessert. Experimente auf dem SEN12MS-CR-Datensatz zeigen, dass die Methode herausragende Ergebnisse mit PSNR von 30,0408, SSIM von 0,9004 und SAM von 7,6068 erzielt und fortschrittliche Methoden übertrifft. Die Ergebnisse zeigen, dass die vorgeschlagene Methode ein starkes Potenzial für die Wolkenentfernung und Merkmalserholung besitzt und eine nützliche Referenz für die Entwicklung multimodaler Fernerkundungsdatenfusion und Wolkenentfernungstechnologien bietet.
关键词
Wolkenentfernung in Fernerkundungsbildern; multimodale Datenfusion; multimodale Merkmalskonsistenz