Fernerkundungsveränderungserkennung mit Fokus auf semantische Konsistenz

WU Hucheng ,  

WANG Renfang ,  

QIU Hong ,  

WANG Feng ,  

GAO Guang ,  

WU Dun ,  

摘要

Die semantische Veränderungserkennung bei Fernerkundungsbildern spielt eine wichtige Rolle im ökologischen Umfeld, bei der Landnutzung und der Überwachung der Landbedeckung. In den letzten Jahren sind auf Deep Learning basierende Veränderungserkennungsmethoden ein Schwerpunkt der intelligenten Fernerkundungsinterpretation. Die bestehenden dreigleisigen semantischen Veränderungserkennungsmethoden fehlen jedoch eine Modellierung der Konsistenz zwischen der Veränderungs- und Semantikzweig, was zu Widersprüchen bei der semantischen Veränderungserkennung zweier Zeitpunkte führt. Zur Lösung dieses Problems wird in diesem Artikel ein semantischer Veränderungserkennungsalgorithmus für Fernerkundungsbilder basierend auf siamesischen CNNs und Transformer vorgeschlagen. In der Kodierungsphase wird zunächst ein siamesisches ResNet34-Netzwerk entwickelt, um mehrskalige Merkmale aus Bildern zu extrahieren, unterstützt durch ein Differenzverstärkungsmodul zur Erhöhung des Fokus auf Veränderungsinformationen; anschließend wird ein semantischer Marker verwendet, um die Merkmalskarte in kompakte semantische Tokens zu transformieren, und durch einen Transformer-Encoder werden semantische und Veränderungsinformationen zweier Zeitpunkte gemeinsam modelliert, um die „Semantik-Veränderung“-Konsistenz abzubilden. In der Dekodierungsphase werden durch den Transformer-Decoder mit Sprungverbindungen semantische Informationen verschiedener Detailgenauigkeiten fusioniert, um eine verfeinerte semantische Merkmalskarte zu erzeugen; nach dem Upsampling und maskierten Multiplikation wird das Ergebnis der semantischen Veränderung zweier Zeitpunkte erhalten. Die experimentellen Ergebnisse auf den öffentlichen Datensätzen SECOND und Landsat-SCD zur semantischen Veränderungserkennung in der Fernerkundung zeigen, dass der vorgeschlagene Algorithmus effektiv auf veränderte Bereiche fokussiert, die Konsistenz von Veränderungs- und Semantikergebnissen aufrechterhält und hervorragende Bewertungsmetriken und visuelle Effekte erzielt.

关键词

Fernerkundungsbild; Veränderungserkennung; semantische Konsistenz; Differenzverstärkung; mehrskalige Merkmale; siamesisches Netzwerk; ResNet34; Transformer

阅读全文