マルチスペクトルリモートセンシング画像は豊富なスペクトル情報を反映できますが、空間解像度は低く、テクスチャ情報は比較的不足しています。対照的に、フルカラーリモートセンシング画像の空間解像度は高く、テクスチャ情報は豊富ですが、地物特性を反映できる豊富なスペクトル情報が不足しています。画像融合技術を使用して、それぞれの利点を補完し、融合された画像が下流のタスクの要件により適していることが可能です。このため、本稿では、非監督式のデュアルブランチジェネラティブアドバーサリーネットワークとTransformerを使用したマルチスペクトルとフルカラーリモートセンシング画像の融合方法を提案します。具体的には、まず、既存の画像（マルチスペクトラムとフルカラーリモートセンシング画像）をガイドフィルタリングを使用して、画像の主体情報を表す基本層成分と、画像のテクスチャ、細部情報を表す細部層成分に分解します。次に、分解されたマルチスペクトラムとフルカラーリモートセンシング画像の基本層成分を連結し、分解された二つの細部層成分も連結します。その後、連結された基本層成分と細部層成分をそれぞれデュアルブランチジェネレータの基本層ブランチと細部層ブランチに入力します。その後、基本層成分と細部層成分のそれぞれ異なる特性を考慮し、Transformerネットワークと畳み込みニューラルネットワークを使用して特徴情報を抽出し、基本層ブランチと細部層ブランチからそれぞれグローバルスペクトル情報とローカルテクスチャ情報を抽出します。最後に、ジェネレータとデュアルディスクリミネータ（基本層ディスクリミネータと細部層ディスクリミネータ）間の継続的な対抗的トレーニングにより、豊富なスペクトル情報と高解像度を同時に有する合成された画像を取得します。公開データセットでいくつかの代表的な方法との質的および定量的比較実験を通じて、本稿で提案された方法が一定の優越性を有することが可能であり、主観的視覚効果と客観評価指標の両方で良好な融合効果を得ることができます。

リモートセンシング画像融合;ガイドフィルタリング;畳み込みニューラルネットワーク;ジェネラティブアドバーサリーネットワーク;Transformerネットワーク;基本層;細部層;フルカラー;マルチスペクトル