PMC-Net:事前融合戦略およびMamba-CNNに基づくパンシャープニングネットワーク

WANG Huaiyou ,  

KANG Jiayin ,  

ZHANG Yangyang ,  

ZHANG Wenhui ,  

ZHANG Xue ,  

YAO Yiming ,  

摘要

リモートセンシング画像のパンシャープニングは、空間解像度の低いマルチスペクトルLRMS(Low-Resolution Multispectral)画像と空間解像度の高いパン(PAN)画像を融合し、高空間解像度のマルチスペクトルHRMS(High-Resolution Multispectral)画像を生成することを目的としている。既存の多くのパンシャープニング手法は、まずLRMS画像の直接アップサンプリングを行い、次に特徴抽出、融合、再構成によりHRMS画像を得る。このような融合戦略は融合結果にぼやけやスペクトル歪みを引き起こす問題がある。そこで本研究は、事前融合戦略に基づき、Mambaと畳み込みニューラルネットワーク(CNN)を組み合わせたパンシャープニング手法を提案する。まず、ガウス差分を用いてPAN画像の高周波情報を抽出し、LRMS画像のテクスチャ情報を強化する。次に、CNNとMambaで画像の局所的および全体的特徴をそれぞれ抽出し、CNNベースの中間融合ブランチにより、2つのモーダル画像の局所的および全体的情報の十分な相互作用と融合を実現し、最終的に高品質なHRMS画像を再構成する。QuickBirdとIKONOSの2つの公開データセットでの実験により、本手法は従来のGS、PCAなどの伝統的手法およびPanFormer、Pan-Mambaなどの先進的な深層学習手法と比較して、主観的視覚評価および客観的評価の両面で総合的に優れていることが示された。結果は、比較手法の平均値に対し、本手法がピーク信号対雑音比および汎用画像品質指数でそれぞれ10.91%、5.62%向上し、平均二乗平方根誤差、相対無次元全体誤差、スペクトル歪み指数をそれぞれ30.52%、18.56%、60.41%低減したことを示している。さらにアブレーション実験により、事前融合戦略とMambaモジュールの有効性が検証された。総じて、本手法はパンシャープニング性能向上に有効な解決策を提供し、リモートセンシング画像の後続応用に実用的意義を持つ。

关键词

リモートセンシング画像;パンシャープニング;事前融合;ガウス差分;Mamba;状態空間モデル;畳み込みニューラルネットワーク;マルチスペクトル;パン

阅读全文