Robust matching of optical and SAR images based on deep feature reconstruction enhancement

YANG Chao ,  

LIU Chang ,  

TANG Tengfeng ,  

YE Yuanxin ,  

摘要

Aufgrund grundlegender Unterschiede in den Bildbildungsprinzipien weisen optische und synthetische Apertur-Radar(SAR)-Bilder aufgrund signifikanter Strahlungs- und geometrischer Unterschiede zwischen den Bildern immer ein Thema der aktuellen internationalen akademischen Forschung. Derzeit konzentrieren sich die meisten auf dem tiefen Lernen basierenden Zuordnungsmethoden auf die Extraktion tiefer Bildmerkmale, doch diese Modelle vernachlässigen oft die Multi-Skalen-Vereinigung von Merkmalen und die Beschreibung gemeinsamer Merkmale, was zu unzureichender Robustheit und Schwierigkeiten bei der Anpassung an komplexe, sich ändernde geografische Szenen führt. In Anbetracht dessen schlug diese Studie eine robuste Zuordnungsmethode für optische und SAR-Bilder vor, die auf der Verbesserung der tiefen Merkmale beruht. Diese Methode baute ein Netzwerk zur Extraktion gemeinsamer Merkmale von mehreren Skalen und zur Rekonstruktion von Bildern auf. Erstens kann das Netzwerk durch die Multi-Skala-Merkmalsextraktionsarchitektur effizient tiefe Merkmale von optischen und SAR-Bildern auf Pixelniveau extrahieren. Zweitens wurde für optische Bilder eine Struktur für die Falsch-SAR-Bildübersetzung entwickelt, bei der die Rekonstruktion tiefer Bildmerkmale zur Verbesserung der Fähigkeit des Netzes zur Erlangung robusterer gemeinsamer Merkmale genutzt wird. Schließlich wurde eine Verlustfunktion basierend auf der Multi-Level-Match-Similarity und dem mittleren Bildrekonstruktionsfehler erstellt, um eine robuste Zuordnung von optischen und SAR-Bildern zu erreichen. Vergleichsexperimente wurden an zwei Datensätzen mit unterschiedlichen Auflösungen und unterschiedlichen geografischen Szenen (Städte, Vororte, Wüsten, Berge, Gewässer) durchgeführt, die zeigten, dass die vorgeschlagene Methode im Vergleich zu mehreren führenden aktuellen Zuordnungsmethoden die höchsten korrekten Zuordnungsraten aufweist.

关键词

remote sensing;optical image;SAR image;image matching;deep learning

阅读全文