다중 모달 일관성 기반 원격 탐사 영상 구름 제거

ZHU Shudan ,  

LEI Fan ,  

ZHANG Lijun ,  

YANG Min ,  

YANG Kaijun ,  

WEI Jide ,  

FENG Ruyi ,  

摘要

구름 차폐는 광학 원격 탐사 이미지 처리에서 오랫동안 존재해온 도전 과제로, 기존의 구름 제거 방법은 가려진 영역의 세부 정보를 완전히 복원하기 어려워 이미지 품질에 영향을 미칩니다. 이러한 문제를 해결하기 위해 본 논문은 다중 모달 특성 일관성 융합(Cloud-Harmonizer)에 기반한 구름 제거 방법을 제안하였으며, SAR과 광학 영상이 지물 특성 표현에서 가지는 상호 보완성과 일관성을 충분히 활용하여 구름 영역 정보를 효과적으로 복원합니다. 본 방법은 세 가지 핵심 모듈로 구성됩니다: 광학과 SAR 특성을 정렬하고 구름 영역의 차이 주의(attention)를 포착 및 생성하는 다중 모달 특성 일관성 모듈 MFCM(Multi-modal Feature Consistency Module); 차이 주의를 기반으로 SAR 데이터를 통해 광학 영상의 결손 특성을 보상하는 일관성 제약 보상 모듈 CCCM(Consistency-Constrained Compensation Module); 그리고 두 모달 특성을 적응적으로 융합하여 전체 복원 효과를 향상시키는 다중 모달 협력 적응 융합 모듈 MCAF(Multi-modal Collaborative Adaptive Fusion Module). SEN12MS-CR 데이터셋에서의 실험 결과, 본 방법은 PSNR, SSIM 및 SAM 지표에서 각각 30.0408, 0.9004 및 7.6068의 우수한 성능을 보이며 현재 최첨단 방법보다 뛰어났습니다. 실험 결과는 본 방법이 구름 제거 및 특성 복원에서 강력한 잠재력을 지니고 있음을 보여주며, 다중 모달 원격 탐사 데이터 융합 및 구름 제거 기술 발전에 유용한 참고자료를 제공합니다.

关键词

원격 탐사 영상 구름 제거; 다중 모달 데이터 융합; 다중 모달 특성 일관성

阅读全文