現在の土地被覆マッピングは、単一データソースの情報制限、データの異質性の大きさ、単一モデルの一般化能力不足といった主要な課題に直面しています。これに対して本研究は、多スペクトル画像(MSI: Multispectral Imagery)のスペクトル特徴と合成開口レーダー(SAR: Synthetic Aperture Radar)データの異なる特性を基に、多モーダル(MSI+SAR)データセットを構築し、複雑なシーンにおける単一モーダルSARデータの不足を補いました。さらに、モデルレベルで7種類の代表的モデルを体系的に評価した後、FCNが畳み込みニューラルネットワーク(CNN)、ConViTがビジュアルトランスフォーマー(ViT)、CoAtNetがCNN-ViTハイブリッドアーキテクチャを代表する、3種のアーキテクチャを融合する多モデル融合手法を提案しました。実験結果は、多モーダル(MSI+SAR)データが単一モーダルSARデータに比べ、全体精度(OA: Overall Accuracy)および周波数加重インターセクションオーバーユニオン(FWIoU: Frequency-Weighted Intersection over Union)という2つの代表的なセマンティックセグメンテーション評価指標で有意な向上を示し、提案する多モデル融合フレームワークがOAとFWIoUの両指標においてさらなる改善を達成していることを示しました。本研究で提案する革新的手法は、モデルの複雑な地物特徴抽出能力を強化するだけでなく、大規模土地被覆マッピングにおける分類性能を効果的に向上させ、多モーダルデータと多モデル融合がリモートセンシングマッピングにおいて強力な可能性を持つことを実証しています。

土地被覆マッピング;多スペクトル;合成開口レーダー;多モーダル;多モデル融合;畳み込みニューラルネットワーク;ビジュアルトランスフォーマー