O bloqueio por nuvens é um desafio de longa data no processamento de imagens ópticas de sensoriamento remoto, e os métodos tradicionais de remoção de nuvens frequentemente têm dificuldade em restaurar completamente os detalhes das áreas cobertas, afetando a qualidade da imagem. Para abordar esse problema, este artigo propõe um método de remoção de nuvens baseado na fusão de consistência de características multimodais (Cloud-Harmonizer), que aproveita plenamente a complementaridade e consistência das características das imagens SAR e ópticas na representação de características do solo, alcançando uma reparação eficaz das informações nas áreas de nuvens. O método é composto por três módulos principais: o módulo de consistência de características multimodais MFCM (Multi-modal Feature Consistency Module) utilizado para alinhar as características ópticas e SAR, capturando e gerando uma atenção diferencial nas regiões de nuvens; o módulo de compensação restrita por consistência CCCM (Consistency-Constrained Compensation Module) que orienta os dados SAR para compensar as características faltantes nas imagens ópticas com base na atenção diferencial; e o módulo de fusão adaptativa colaborativa multimodal MCAF (Multi-modal Collaborative Adaptive Fusion Module) que integra ainda mais as características das duas modalidades por meio de uma estratégia de fusão adaptativa, melhorando o efeito geral da reparação. Os resultados experimentais no conjunto de dados SEN12MS-CR mostraram desempenho excelente nos indicadores PSNR, SSIM e SAM, com valores de 30.0408, 0.9004 e 7.6068, respectivamente, superando os métodos avançados atuais. Os resultados indicam que o método proposto demonstra forte potencial na remoção de nuvens e reparação de características, fornecendo uma referência útil para o desenvolvimento de aplicações de fusão de dados multimodais de sensoriamento remoto e tecnologias de remoção de nuvens.
关键词
remoção de nuvens em imagens de sensoriamento remoto; fusão de dados multimodais; consistência de características multimodais