La cobertura de nubes es un desafío persistente en el procesamiento de imágenes ópticas de teledetección; los métodos tradicionales de eliminación de nubes a menudo tienen dificultades para recuperar por completo los detalles de las áreas cubiertas, lo que afecta la calidad de la imagen. Para abordar este problema, este artículo propone un método de eliminación de nubes basado en la fusión de consistencia multimodal (Cloud-Harmonizer), que aprovecha plenamente la complementariedad y consistencia entre las características de SAR y las imágenes ópticas para lograr una reparación eficaz de la información en las zonas nubosas. El método consta de tres módulos principales: el módulo de consistencia de características multimodales (Multi-modal Feature Consistency Module, MFCM) para alinear las características ópticas y SAR, capturar y generar atención diferencial en las zonas nubosas; el módulo de compensación con restricción de consistencia (Consistency-Constrained Compensation Module, CCCM) que guía la compensación de las características ausentes de las imágenes ópticas mediante datos SAR basándose en la atención diferencial; y el módulo de fusión adaptativa colaborativa multimodal (Multi-modal Collaborative Adaptive Fusion Module, MCAF) que mediante una estrategia de fusión adaptativa integra aún más las características de ambas modalidades, mejorando el efecto general de restauración. Los resultados experimentales en el conjunto de datos SEN12MS-CR muestran que el método alcanza un rendimiento sobresaliente con indicadores PSNR de 30.0408, SSIM de 0.9004 y SAM de 7.6068, superando a los métodos avanzados actuales. Los resultados demuestran que el método tiene un fuerte potencial para la eliminación de nubes y la restauración de características, proporcionando una referencia útil para el desarrollo de aplicaciones de fusión de datos multimodales de teledetección y tecnologías de eliminación de nubes.
关键词
Eliminación de nubes en imágenes de teledetección; fusión de datos multimodales; consistencia de características multimodales