Robust matching of optical and SAR images based on deep feature reconstruction enhancement

YANG Chao ,  

LIU Chang ,  

TANG Tengfeng ,  

YE Yuanxin ,  

摘要

En raison des différences fondamentales dans les principes de formation des images, les images radar à ouverture synthétique (SAR) et optiques présentent des différences significatives de rayonnement et de géométrie entre les images, et leur appariement automatique précis est toujours un sujet de recherche académique international actuel. Actuellement, la plupart des méthodes d'appariement basées sur l'apprentissage en profondeur se concentrent sur l'extraction de caractéristiques profondes des images, mais ces modèles ignorent souvent la fusion multi-échelle des caractéristiques et l'expression des caractéristiques communes, ce qui entraîne une robustesse insuffisante et des difficultés à s'adapter à des scènes géographiques complexes et changeantes. En conséquence, cette étude a proposé une méthode d'appariement robuste d'images optiques et SAR basée sur l'amélioration des caractéristiques profondes. Cette méthode a construit un réseau d'extraction de caractéristiques communes de fausses jumelles à plusieurs échelles et de reconstruction d'images. Tout d'abord, à travers l'architecture d'extraction de caractéristiques multi-échelles, le réseau peut extraire efficacement les caractéristiques profondes des images optiques et SAR au niveau des pixels. Deuxièmement, pour les images optiques, une structure de traduction d'images SAR fausses a été conçue, utilisant la reconstruction de caractéristiques profondes d'images pour renforcer la capacité d'apprentissage du réseau à exprimer des caractéristiques communes plus robustes. Enfin, une fonction de perte conjointe basée sur la similarité des caractéristiques à plusieurs niveaux et l'erreur moyenne de reconstruction d'images a été construite, obtenant ainsi un appariement robuste des images optiques et SAR. Des expériences comparatives ont été menées sur deux ensembles de données d'imagerie à distance avec des résolutions différentes contenant des scènes géographiques variées (villes, banlieues, déserts, montagnes, plans d'eau), les résultats ont montré que la méthode proposée présente les taux d'appariement corrects les plus élevés par rapport à plusieurs méthodes d'appariement de pointe actuelles.

关键词

remote sensing;optical image;SAR image;image matching;deep learning

阅读全文