원격 탐사 영상의 팬크로매틱 샤프닝은 저해상도 다중분광 영상(LRMS)과 고해상도 팬크로매틱 영상(PAN)을 융합하여 고해상도 다중분광 영상(HRMS)을 생성하는 것을 목표로 한다. 기존의 많은 팬크로매틱 샤프닝 방법은 우선 LRMS 영상을 직접 업샘플링하고, 특징 추출, 융합, 복원을 통해 HRMS 영상을 얻는다. 이러한 융합 전략은 결과 영상의 흐림이나 스펙트럼 왜곡 등의 문제를 야기할 수 있다. 이에 본 논문에서는 사전 융합 전략과 Mamba 및 합성곱 신경망(CNN)을 결합한 팬크로매틱 샤프닝 방법을 제안한다. 먼저, 가우시안 차분을 이용해 PAN 영상의 고주파 정보를 추출하여 LRMS 영상의 텍스처 정보를 강화한다. 이후 CNN과 Mamba를 통해 영상의 지역 및 전역 특성을 각각 추출하고, CNN 기반 중간 융합 분기를 통해 두 모달 영상의 지역 및 전역 정보가 충분히 상호작용 및 융합되도록 하여 고품질 HRMS 영상을 복원한다. QuickBird와 IKONOS 두 공개 데이터셋에서의 실험 결과, 제안된 방법은 전통적인 GS, PCA 방법과 PanFormer, Pan-Mamba 등 여러 최첨단 딥러닝 방법 대비 주관적 시각 및 객관적 평가에서 모두 전반적으로 우수함을 보였다. 결과는 대비 방법들의 평균 지표 대비 제안 방법이 최고 신호 대 잡음비와 범용 영상 품질 지수를 각각 10.91%와 5.62% 향상시키고, 평균 제곱근 오차, 상대 무차원 전역 오차, 스펙트럼 왜곡 지수를 각각 30.52%, 18.56%, 60.41% 감소시켰음을 나타낸다. 또한 소거 실험을 통해 사전 융합 전략과 Mamba 모듈의 유효성을 추가로 검증하였다. 종합하면, 본 논문에서 제안한 방법은 팬크로매틱 샤프닝 성능 향상을 위한 효과적인 해결책을 제공하며 원격 탐사 영상의 후속 응용에 실질적인 의의를 가진다.

원격 탐사 영상; 팬크로매틱 샤프닝; 사전 융합; 가우시안 차분; Mamba; 상태 공간 모델; 합성곱 신경망; 다중분광; 팬크로매틱