Покрытие облаками является длительной проблемой обработки оптических изображений дистанционного зондирования, традиционные методы удаления облаков часто затрудняют полное восстановление детальной информации в заслоненных областях, что влияет на качество изображения. Для решения этой проблемы в статье предлагается метод удаления облаков на основе согласованности мультимодальных признаков (Cloud-Harmonizer), полностью использующий комплементарность и согласованность оптических и САР-изображений в представлении признаков местности для эффективной реставрации информации о зоне облаков. Этот метод состоит из трех основных модулей: модуль согласованности мультимодальных признаков (MFCM) используется для выравнивания оптических и САР-признаков, захвата и генерации внимания на различия в области облаков; модуль компенсации ограничений согласованности (CCCM) компенсирует данные САР с использованием внимания на различия и направляет их для компенсации отсутствующих признаков оптических изображений; многомодальный модуль адаптивного совместного слияния (MCAF) путем адаптивной стратегии слияния дополнительно интегрирует два модальных признака для улучшения общей эффективности реставрации. Результаты экспериментов на наборе данных SEN12MS-CR показывают, что этот метод демонстрирует отличное поведение на показателях PSNR, SSIM и SAM соответственно 30,0408; 0,9004; и 7,6068, превосходя текущие передовые методы. Результаты экспериментов показывают, что метод статьи демонстрирует сильный потенциал в удалении облаков и восстановлении признаков, предоставляя полезные ссылки для применения совмещения мультимодальных данных и развития технологий удаления облаков в области дистанционного зондирования.

Удаление облаков на изображениях дистанционного зондирования; слияние многомодальных данных; согласованность многомодальных признаков