Die Verdeckung durch Wolken stellt seit langem eine Herausforderung bei der Verarbeitung optischer Fernerkundungsbilder dar. Traditionelle Methoden zur Wolkenentfernung können oft die Details in den verdeckten Bereichen nicht vollständig wiederherstellen, was die Bildqualität beeinträchtigt. Um dieses Problem zu lösen, schlägt dieser Artikel eine auf der multimodalen Merkmalskonsistenz basierende Wolkenentfernungsmethode (Cloud-Harmonizer) vor, die die Komplementarität und Konsistenz der SAR- und optischen Bildmerkmale bei der Darstellung von Geländemerkmalen vollständig nutzt, um eine effektive Reparatur der Wolkenbereiche zu ermöglichen. Die Methode besteht aus drei Kernmodulen: Dem Multi-modal Feature Consistency Module (MFCM) zur Ausrichtung der optischen und SAR-Merkmale sowie zur Erfassung und Generierung differentieller Aufmerksamkeit in Wolkenregionen; dem Consistency-Constrained Compensation Module (CCCM), das SAR-Daten anleitet, fehlende Merkmale optischer Bilder basierend auf der differentiellen Aufmerksamkeit zu kompensieren; und dem Multi-modal Collaborative Adaptive Fusion Module (MCAF), das durch eine adaptive Fusionsstrategie die Merkmale beider Modalitäten weiter integriert und die Gesamt-Reparaturleistung verbessert. Experimente auf dem SEN12MS-CR-Datensatz zeigen hervorragende Ergebnisse mit PSNR-, SSIM- und SAM-Werten von 30.0408, 0.9004 bzw. 7.6068 und übertreffen damit aktuelle fortschrittliche Methoden. Die Ergebnisse zeigen, dass die vorgeschlagene Methode ein starkes Potenzial bei der Wolkenentfernung und Merkmalsreparatur besitzt und bietet eine nützliche Referenz für die Entwicklung von multimodalen Fernerkundungsdatenfusionen und Wolkenentfernungstechnologien.
关键词
Wolkenentfernung in Fernerkundungsbildern; multimodale Datenfusion; multimodale Merkmalskonsistenz