Затенение облаками является долгосрочной проблемой в обработке оптических изображений дистанционного зондирования, традиционные методы удаления облаков часто не могут полноценно восстановить детали на закрытых участках, что влияет на качество изображения. Для решения этой проблемы в статье предложен метод удаления облаков на основе согласованного объединения мультимодальных признаков (Cloud-Harmonizer), который полностью использует взаимодополняемость и согласованность признаков SAR и оптических изображений для эффективного восстановления информации в облачных зонах. Метод состоит из трех основных модулей: модуль согласованности мультимодальных признаков MFCM (Multi-modal Feature Consistency Module) для выравнивания оптических и SAR-признаков и генерации внимания к различиям в областях облаков; модуль компенсации с ограничением согласованности CCCM (Consistency-Constrained Compensation Module), который направляет данные SAR на компенсацию отсутствующих признаков в оптических изображениях; модуль совместного адаптивного объединения мультимодальных данных MCAF (Multi-modal Collaborative Adaptive Fusion Module), который с помощью адаптивной стратегии объединяет признаки двух модальностей для повышения качества восстановления. Эксперименты на наборе данных SEN12MS-CR показали отличные результаты с показателями PSNR, SSIM и SAM, равными 30.0408, 0.9004 и 7.6068 соответственно, превосходя современные методы. Результаты показывают, что предложенный метод обладает сильным потенциалом для удаления облаков и восстановления признаков, обеспечивая полезную основу для развития методов слияния мультимодальных данных дистанционного зондирования и технологий удаления облаков.

Удаление облаков в изображениях дистанционного зондирования; объединение мультимодальных данных; согласованность мультимодальных признаков