Debido a la diferencia fundamental en el principio de imagen, las imágenes del radar de apertura sintética (SAR) y de la cámara óptica presentan diferencias notables en las características radiométricas y geométricas, y su apareamiento automático preciso siempre ha sido un punto focal de la investigación académica internacional actual. En la actualidad, la mayoría de los métodos de apareamiento basados en el aprendizaje profundo se centran en la extracción de características profundas de la imagen, pero estos modelos suelen ignorar la fusión de características multi-escala y la expresión de características comunes, lo que conduce a una robustez insuficiente y a la dificultad para hacer frente a escenas complejas y cambiantes. En vista de esto, este estudio propone un método robusto de apareamiento de imágenes ópticas y SAR basado en la mejora de la reconstrucción de características profundas. Este método construyó una red de extracción de características comunes que fusiona características profundas multi-escala y la reconstrucción de características de la imagen. En primer lugar, gracias a la arquitectura de extracción de características multi-escala, la red puede extraer eficazmente características profundas a nivel de píxeles para el par de imágenes ópticas y SAR. Luego, se diseñó una rama de traducción de imagen SAR falsa para la imagen óptica, utilizando la reconstrucción de características profundas de la imagen para reforzar la capacidad de la red para expresar características comunes de manera más robusta. Finalmente, se construyó una función de pérdida conjunta basada en la similitud de características a múltiples niveles y el error cuadrático medio de la reconstrucción de imagen, lo que permitió el apareamiento robusto de imágenes ópticas y SAR. En experimentos comparativos en conjuntos de datos de imágenes remotas de diferentes resoluciones y que contienen una variedad de escenas geográficas (urbanas, suburbanas, desérticas, montañosas, acuáticas), los resultados mostraron que los métodos propuestos siempre mostraban la tasa de apareamiento correcta más alta en comparación con algunos métodos de apareamiento de vanguardia actuales.
关键词
Imágenes remotas; Imagen óptica; Imagen de radar de apertura sintética; Apareamiento de imágenes; Aprendizaje profundo