다중 스펙트럼 원격 센싱 이미지는 풍부한 스펙트럼 정보를 반영할 수 있지만 공간 해상도가 낮고 질감 정보가 상대적으로 부족합니다. 반면 풀 컬러 원격 센싱 이미지는 공간 해상도가 높고 풍부한 질감 정보를 가지고 있지만 지표 특성을 반영할 수 있는 풍부한 스펙트럼 정보가 부족합니다. 이미지 퓨전 기술을 통해 두 가지를 통합하여 각각의 강점을 보완하여 퓨전 된 이미지가 하류 작업의 요구를 더 잘 충족 할 수 있도록하는 것이 가능합니다. 따라서 본 논문에서는 언지도 학습 기반의 이중 분기 생성적 적대적 네트워크 및 Transformer를 사용한 다중 스펙트럼 및 풀 컬러 원격 센싱 이미지 융합 방법을 제안합니다. 구체적으로, 먼저 기존 이미지(다중 스펙트럼 및 풀 컬러 원격 센싱 이미지)를 가이드 필터링을 사용하여 이미지의 주체 정보를 나타내는 기본 층 구성 요소 및 이미지 질감, 세부 정보를 나타내는 세부 층 구성 요소로 분해합니다. 그런 다음, 분해 된 다중 스펙트럼 및 풀 컬러 원격 센싱 이미지의 기본 층 구성 요소를 연결하고, 분해 된 두 가지의 세부 층 구성 요소도 연결합니다. 그 다음, 연결 된 기본 층 구성 요소와 세부 층 구성 요소를 각각 이중 분기 생성기의 기본 층 분기 및 세부 층 분기로 입력합니다. 그 다음 기본 층 구성 요소와 세부 층 구성 요소의 각각 다른 특성을 고려하여 Transformer 네트워크 및 컨볼 루션 신경망을 사용하여 특성 정보를 추출하여 기본 층 분기 및 세부 층 분기에서 전역 스펙트럼 정보와 지역 질감 정보를 각각 추출합니다. 마지막으로 생성기 및 이중 판별기 (기본 층 판별기 및 세부 층 판별기) 간의 계속적인 적대적 훈련을 통해 풍부한 스펙트럼 정보와 고 해상도를 동시에 가지고 있는 퓨전 된 이미지를 얻습니다. 공개 데이터 세트에서 여러 대표적인 방법과의 질적 및 정량적 비교 실험에서 본 논문이 제안 한 방법이 어느 정도 우수 함을 확인 할 수 있으며 주관적 시각적 효과와 객관적 평가 지표 양쪽에서 우수한 융합 효과를 얻었음을 확인 할 수 있습니다.

원격 센싱 이미지 융합;가이드 필터링;컨볼 루션 신경망;생성적 적대적 네트워크;Transformer 네트워크;기본 층;세부 층;풀 컬러;다중 스펙트럼