阅读原文

前の章|次の章

高スペクトル画像のクロスドメイン小サンプル分類のための解結合信頼プロトタイプネットワーク

サマリー

注釈付きの高スペクトル画像（HSI）が入手困難である問題に対して、小さなサンプル学習に基づくHSI分類手法が注目されている。一般的な小さなサンプル学習手法は、訓練とテストのサンプル分布が一致すると仮定するが、撮影条件などの影響により異なるHSI間には分布差が存在し、従来の小さなサンプル学習手法では高い分類性能を得ることが難しい。これに対し、本稿では解結合信頼プロトタイプネットワークに基づく高スペクトル画像のクロスドメイン小サンプル分類手法を提案する。まず、3D残差畳み込みネットワークを用いてサンプルの深層特徴を抽出し、HSIの空間—スペクトル情報を十分に活用する。次に、解結合ネットワークを利用して深層特徴を機能的に分離し、ドメイン不変及びドメイン特異的特徴のより集中した表現を実現する。さらに、信頼プロトタイプネットワークによって信頼度の高いクエリ集合サンプルを選別し、より信頼できるクラスプロトタイプを再計算する。最後に、高信頼度のクラスプロトタイプと元のクラスプロトタイプを総合的に利用することで、より正確な小サンプル分類を実現する。本研究で提案した手法の有効性は、複数の実際の高スペクトルデータセットにおける他の既存手法との比較実験によって検証された。

キーワード

高スペクトル画像;分類;小サンプル学習;解結合ネットワーク;ドメイン適応;クラスプロトタイプ;畳み込みニューラルネットワーク;転移学習

1はじめに

高スペクトル画像HSI（Hyperspectral Image）は3次元立方体の形で現れ、豊富なスペクトル特徴と複雑な空間情報を含み、都市発展（Baur等，2018）、環境モニタリング（Wang等，2016）と鉱物探査（Siebels等，2020)などの分野がある。HSI分類は、これらのアプリケーションを展開するための基礎的で重要なタスクの1つであり、その目的は、HSIの空間的およびスペクトル的特徴に基づいて各画素に固有のカテゴリラベルを割り当てることである。HSI分類方法は通常、浅層モデルと深さモデル（Kong等，2024）。その中で、浅層法はHSIの複雑なスペクトルと空間特徴を抽出するのが困難であることが多い。このため、深さ学習方法はHSI分類タスクに適用される。次のようになります。Hang等（2021）集中力モジュールと畳み込みニューラルネットワークCNN（Convolutional Neural Network）を結合することにより、スペクトル集中力サブネットワークと空間注意力サブネットワークをそれぞれ構築した、Zhang等（2018）複数の領域のCNNと重み因子を用いて、HSIのコンテキスト相互作用情報を学習し、それによってより判別性のあるスペクトル−空間特徴を抽出する、既存のCNNが浅い層と深い相補情報を無視する問題に対して、Feng等（2019）多層空間−スペクトル特徴を融合し、高信頼度サンプルに事前表示を行うことにより、トレーニング中のCNNのオーバーフィット問題を緩和した。

ディープラーニングはHSI分類タスクで優れた性能を示しているが、これは多くのマークアップサンプルに依存することが多い。しかし、HSIサンプルの表示には多大な時間と人件費がかかる。そのため、少量の表示サンプルをどのように利用して高精度のHSI分類を実現するかは、近年のリモートセンシング分野の研究焦点の一つとなっている。朱传海等（2023）分類事後確率空間に基づく双晶ネットワークを提案し、地表被覆分類事後確率情報を結合することにより、サンプルへの依存を低減する。陈杰虎和汪西莉（2022）図を用いて特徴空間における画像の類似関係をモデル化し、図畳み込み演算を用いて同カテゴリ画像の特徴を平滑化し、異なるカテゴリ画像特徴の区別度を高める。移行ラーニングは、注釈サンプルの不足を解決するための新しい考え方を提供します。これは、注釈サンプルの十分なタスク（ソースドメイン）から学習した知識を、注釈サンプルの少ないタスク（ターゲットドメイン）に移行することを目的としています。しかし、大気条件、土壌水分、センサパラメータなどの要素の影響を受け、同じセンサから出た異なるHSIでも一定の分布差が存在し、分類器の性能に大きな影響を与えた。ドメイン適応は移行学習の古典的な方法として、異なるが近い2つの領域のデータを同じ特徴空間にマッピングすることができ、それによって2つの領域のドメイン不変特徴を抽出し、分類タスク（Deng等，2019）。如Zhao等（2022）利用分数阶融合保留HSI的空间信息，并使用激光雷达数据与HSI进行光谱比对，最后通过域自适应网络来减少光谱-空间特征的分布差异。周莲等（2024）共同注意力モジュールを提案し、ネットワークの注目目標情報を指導し、訓練サンプルに対してデータ強化を行い、データセットの規模を拡充し、最後に設計された比較学習分岐を通じて共同訓練戦略を構築し、分類の正確率を高める。Yu等（2021）密度に基づくネットワークを提案し、判別性のあるスペクトル−空間特徴を抽出し、対抗学習を用いて異なる領域間の分布差を減少させる。Zhong等（2020）まず、結合確率分布適応方法によって異なる領域のエッジ確率分布と条件確率分布を適応させ、その後、ソース領域で訓練されたモデルパラメータをターゲット領域に移動し、微調整する。Ganin和Lempitsky（2014）対抗学習の思想に基づいて、領域判別器と特徴抽出器の対抗によって領域不変性特徴を取得する領域対抗ネットワークDANN（Domain Adversarial Neural Neural Networks）を提案した。しかし、上述のドメイン方法は通常、ターゲットドメインとソースドメインが共通のラベル空間を持ち、見えないターゲットドメインの新しいクラスを分類することができないと仮定している。

近年、小サンプル学習FSL（Few Shot Learning）が提案され、上述の問題を解決するために使用されている。小サンプル学習は通常、ソースドメインからターゲットドメインへの移行問題（Sun等，2019）がありますが、従来のドメイン適応方法とは異なり、ソースドメインとターゲットドメインが同じラベルスペースを共有する必要はありません。小サンプル学習は本質的にメタ学習方法である（Wang等，2021）を使用して、ソースドメイン上でタスク（メタタスク）に基づく学習ポリシーを使用することで得られる一般的な知識（メタ知識）、ひいては1つまたは複数のマークアップサンプルのみのターゲットドメインの分類を支援します。最近では、高スペクトル画像分類タスクにも小サンプル学習が用いられている。如Liu等（2019）深度小サンプル方法DFSL（Deep Few Shot Learning）を提案し、残差結合機構（He等，2016）深さ空間−スペクトル特徴を抽出するために3 D−CNN構成深さ3 D残差畳み込みネットワークRes−3 D−CNN（Residual Three Dimensional Convolutional Neural Neural Network）を導入し、プロトタイプネットワークを結合することにより4つのソース領域高スペクトルデータセットから1つの測定空間を学習する。この測定空間では、同類のサンプルは互いに接近し、異なる種類のサンプルは互いに離れている。また、テスト時にはそれぞれサポートベクトルマシンSVM（Support Vector Machine）（Melgani和Bruzzone，2004）とNearest Neighbor（Nearest Neighbor）分類器は、マークアップされていないターゲットドメインデータを予測する。陈华杰等（2024）ソースドメインサンプル相関ソートに基づくドメイン間移動学習アルゴリズムを提案する。まず、ソースドメイン分類タスクにターゲットドメインサンプルを逆方向に追加し、ソースドメインサンプルを相関的にソートし、次に自己監督連合学習戦略を利用して、ターゲットドメイン分類ネットワークに自己監督角度予測補助ブランチを導入する。

小サンプル学習は、ターゲットドメインマークアップサンプルが少ない場合には良い分類効果を得たが、その暗黙的な仮定は、ターゲットドメインサンプルとソースドメインサンプルが同じ領域から来ていると仮定している。しかし、ソースドメインサンプルとターゲットドメインサンプルには、カテゴリ空間が重ならないほど大きな分布差があることが多い。さらに、Guo等（2020）一部の小サンプル学習がドメイン間小サンプルタスクを処理する効果が低いことを指摘した。そのため、小サンプル学習におけるドメイン分布の違いをどのように解決するかが課題となっている。この問題に対して、Li等（2022）元知識を学びながら条件を利用してネットワークCDAN（Conditional Adversarial Domain Adaptation）（Long等，2018）2ドメインの特徴的差異を低減し、単一ソースドメイン高スペクトルデータを用いて残りの4つのターゲットドメインデータを予測する。しかし、過度なドメイン間整列は、小さなサンプル学習性能を損なう可能性があり、この問題を解決するために、解凍ネットワークを使用してサンプル特徴をドメイン不変およびドメイン固有特徴に解凍する。小サンプル分類タスクにはドメイン不変フィーチャーのみを使用し、ドメイン固有フィーチャーによる影響をできるだけ回避します。

そこで、ドメイン間HSI分布の差異によるモデル汎化性能の低下の問題を緩和し、小サンプル分類精度を向上させるために、本文は、新しいHSIドメイン間小サンプル分類方法として、デカップリング信頼プロトタイプネットワークDCPN（Disentangled ConfidencePrototype Network）に基づいて提案する。まず、3 D残差CNNを用いてHSIの深層スペクトル−空間特徴を取得し、デカップリングネットワークを用いて深さ特徴を機能的に分離する、次に、高信頼度クエリセットサンプルをフィルタリングし、より信頼性の高いカテゴリプロトタイプを計算します。最後に、原始カテゴリ原型と高信頼度カテゴリ原型を総合的に利用して、より正確な小サンプル分類を実現する。既存の小サンプル学習などの方法と6つの公開されたHSIデータセットで実験検証を行い、リモートセンシング画像のインテリジェント翻訳におけるサンプルの希少性およびドメインオフセットの表示などの課題に有効な技術備蓄を提供することを期待している。

2デカップリング信頼プロトタイプネットワーク

ソースドメインデータセットターゲットドメインデータセットそれぞれ含む和個のカテゴリ。ターゲットドメインデータセットは、サンプルにラベルがあるかどうかに応じて、マークアップ付きサンプルセットに分割できますおよび寸法なしサンプルセット。メタトレーニングに使用され、モデルは上の分類精度をDCPNの評価結果とします。しかし、ターゲットドメインの小サンプルタスクを構成するためのサポートセットとクエリセットが不足しているため、で各クラスごとに5つのマークアップサンプルを抽出し、ランダムガウスノイズを追加してデータ拡張構成を行う。

DCPNは、メタトレーニングとメタテストの2つの部分から構成されています。その中で、メタトレーニングの流れはFig. 1を参照してください。主に、ソースドメイン間の小サンプルとターゲットドメイン間の小サンプルタスクで構成されています。ソースドメイン間の小サンプルタスクの例を紹介します。主に次の3つのステップに分けられます。

Fig. 1 Meta-training flowchart for HSI cross-domain few-shot classification based on DCPN

（1）ソースドメインサンプルを用いてメタタスクを構成し、メタタスクがサポートセットによって構成されるおよびクエリー・セット構成。また、ターゲットドメインからデータセットをマークアップするでランダムに複数のサンプルを選択してターゲットドメインサンプルセットを構成する。特徴抽出器を用いてHSIの埋め込み特徴をそれぞれ抽出する、和。その後、埋め込みフィーチャーをデカップリングネットワークに入力し、2つのドメインのドメイン不変フィーチャーをそれぞれ抽出する、、ドメイン固有のフィーチャー、、；

（2）ソースドメインサポートセットとクエリセットのドメイン不変特徴を信頼プロトタイプネットワークに送り、小サンプル学習損失を計算する、信頼性の高いクエリセットサンプルを選択し、サポートセットと結合して修正プロトタイプを計算します。サポートセットカテゴリの中心とプロトタイプの欧風距離を計算して縮小する；

（3）ソースドメインとターゲットドメインのドメイン不変とドメイン固有の特徴をドメイン分類器に送り、ドメイン混同損失を計算するドメイン判別損失;テストフェーズFig. 2に示すように、まず、予め訓練された特徴抽出器とデカップリングネットワークを用いて抽出する和のドメイン不変フィーチャー、を選択し、NN分類器を使用した後に残ったすべての未マークアップサンプルカテゴリ予測を実行します。

Fig. 2 Meta-testing flowchart for HSI cross-domain few-shot classification based on DCPN

2.1特徴抽出

HSIの領域近傍ブロックを入力サンプルとして抽出し、3 D−CNNを用いて空間軸とスペクトル軸に沿って同時に画素を処理することにより、HSIのより判別性のある空間−スペクトル特徴を抽出する。ソースドメインのサポートセットは

式中、，サポートセットのカテゴリ数を表し、クラスごとのマークアップサンプルの個数を表し、は長さ/幅、ソースドメインデータセットのスペクトル次元を表します。

ソースドメインクエリーセットは

式中、マークアップされていないサンプルの数を表します。サポートセットとクエリーセットのサンプルは一致しません。

ターゲットドメインのデータセットは

式中、，目標領域データのスペクトル次元を示す、からでランダムに抽出されたターゲットドメインサンプルの個数。

ソースドメインとターゲットドメインデータのスペクトル次元を一致させるために、ここではソースドメインマッピング層とターゲットドメインマッピング層を用いてそれぞれ2ドメインデータを前処理する。そのうち、マッピング層はすべて2 D-CNNによって実現され、マッピングプロセスは以下の通り：

式中、和ソースドメインとターゲットドメインのそれぞれのマッピング層の畳み込みコア、畳み込み操作のために。出力の特徴はを選択し、2ドメインのマッピング層処理後の統一スペクトル次元。その後、深度残差3 D−CNNを用いてマッピング層の出力を特徴抽出し、埋め込み特徴を得る、和。ここで、マッピング層と深さ残差3 D-CNNは共同で特徴抽出器を構成する，をフィーチャーする次元です。

2.2デカップリングネットワーク

訓練データと試験データの分布の違いは、小サンプル学習方法の汎化能力の低下を招く。この問題を解決するために一般的な方法は、ソースドメインとターゲットドメインの分布を位置合わせすることです。しかし、この方法では、ドメイン固有の特徴の位置合わせが生じることは避けられません。また、ターゲットドメインカテゴリはソースドメインと重複していないため、ドメイン固有の特徴の配置はターゲットドメイン上のモデルの汎化能力に影響を与えます。そのため、特徴中のドメイン特定特徴を分離し、ドメイン不変特徴のみを利用して小サンプル分類を行うことができ、それによって過度なドメイン分布の整列による負の影響を減らすことができる。如Liu等（2018）初めてドメイン適応方法とデカップリング思想を結合し、ソースドメイン特徴をドメイン不変特徴とドメイン特定特徴にデカップリングすることにより、ドメイン間知識移転の目的を達成する。Caoら（2018）は、深さニューラルネットワークが高度に結合された特徴を生成することを指摘し、特徴をより説明的にするために異なる潜在的な特徴に分解する必要がある。Fu等（2021）2つの変分自動エンコーダの符号化部分を使用して復号化の潜在的な特徴を抽出し、本文の設定を採用してHSIの深さ埋め込み特徴をドメイン不変特徴とドメイン特定特徴に分解し、例：

1番目のエンコーダドメイン不変フィーチャーを抽出するには、次のように計算されます。

2番目のエンコーダドメイン固有のフィーチャーを抽出するために使用され、その計算式は

式中、和それぞれ2つのエンコーダのパラメータです。この特徴的なデカップリングネットワークを経て最終的に得られるソースドメインサポートセット、ソースドメインクエリセット、ターゲットドメインのドメイン不変特徴、、ドメイン固有の特徴、、。和ドメイン不変フィーチャーとドメイン固有フィーチャー次元です。

2.3信頼プロトタイプネットワーク

ドメイン不変フィーチャーの使用和小サンプル分類損失を計算し、各プロトタイプはサポートセットの各サンプル特徴の平均値であり、計算式は以下の通りである：

式中、ソースドメインのサポートセット第クラスサンプル個数、第クラスプロトタイプ。プロトタイプネットワーク計算クエリセットサンプル各クラスプロトタイプ間の距離を計算し、各クエリセットサンプルのクラス分布を計算します。なら第に属するクラスの確率計算式は次のとおりです。

式中、ヨーロッパ式距離計算式のために、サポートセットの総カテゴリ数。クエリー・セットのサンプルに基づくおよびリアルラベルの負の対数確率であり、すべてのクエリセットサンプルの分類損失は

小サンプル分類は、サポートセットの寸法サンプルに依存します。そのため、寸法サンプルが少ない場合、計算されたカテゴリプロトタイプには偏差がある可能性があります。したがって、本文では、信頼プロトタイプネットワークを使用して、このクラスのプロトタイプを再計算するために、マークアップされていないクエリセットサンプルに重みを割り当てます。則第クラスの修正プロトタイプ計算プロセスは次の式のとおりです。

式中、サポートセットのサンプル信頼度が常に1であることを示します。サポートセットの第クラスサンプルセット。信頼性の高いクエリ・セットのサンプルを示します。選択基準は次のとおりです。

式中、信頼度しきい値を設定するには、信頼度がしきい値より大きいクエリ・セット・サンプルのみが参加します。式（8）の計算を行います。あるクラスに高信頼度サンプルがない場合は、引き続き使用します式（5）で指定します。すべてのクラスの整列プロトタイプとサポートセットプロトタイプ間のユークリッド距離の和を計算するには、次の手順に従います。

2.4ドメイン分類

ドメイン分類器フィーチャーを2つのドメイン上のスコアにマップします。ドメイン分類タスクの1つは、ドメイン不変フィーチャー混同ドメイン分類器を使用して、ドメイン混同損失を計算することです。

式中、ドメイン分類器パラメータのために、、和ソースドメインサポートセット、ソースドメインクエリーセット、ターゲットドメインサンプルのドメイン不変ラベル。各行の値はに設定されています。，Kullback-Leibler分散損失の関数を計算します。ドメイン分類器の別のタスクは、ドメイン特定の特徴をドメイン分類器によって識別できるようにすることを目的としているが、ドメイン判別損失計算式は次の通りである：

式中、、和それぞれソースドメインサポートセット、ソースドメインクエリセット及びターゲットドメインサンプルのドメイン判別ラベル、和すべての値を1に設定し、すべての値が0で、はクロスエントロピー関数です。

2.5目標関数

ソースドメイン小サンプルタスクの総ターゲット関数は

式中、、、和はそれぞれの損失の係数であり、表示源域跨域小样本任务总损失。则目标域小样本任务与源域相似，则DCPN的总目标函数为

総目標関数式（13）と（14）モデルが収束するまで交互に更新する。

3実験設定と結果分析

3.1データセットの概要

DCPN方法の有効性を検証するために、6つの公開HSIデータセットを選択し、以下を含むUP（University of Pavia）、PC（Pavia Center）、IP（Salinas、Indian Pines）、Chikusei（WHU-Hi-LongKou）LKと実験を行った。最も図形カテゴリの多いChikuseiをソースドメインデータセットとして選択し、残りの5つのデータセットをターゲットドメインテストセットとして選択します（Li等，2022）。Chikuseiデータセットは2014年7月29日にHeadwall Hyperspec-VNIR-Cイメージングセンサを用いて筑西市を撮影し、19種類の地物カテゴリと128バンドを含む都市と農業地域をカバーした。波長343〜1018 nm、合計個の画素、空間分解能は2.5 mであり、詳細なカテゴリとサンプル情報はFig. 3を参照してください。

Fig. 3 Class and sample information of the Chikusei dataset

UPデータセットはROSISセンサーがイタリアのパビア大学に対して撮影したもので、個の画素、その空間分解能は1.3 mで、ノイズ、大気及び水吸収と重畳帯域を除去した後、残りの103帯域は実験に用いられ、波長は430-860 nmで、9種類の地物類を含み、詳細な種類とサンプル情報はFig. 4を参照してください。

Fig. 4 Class and sample information of the UP dataset

PCデータセットは、イタリア北部の都市をROSISセンサで撮影し、個の画素からなり、空間分解能は1.3 mで、102個のバンドを含み、波長は430-806 nmで、PCデータセットは9種類の地物を含み、実験はPC部分を切り取って実験を行い、詳細なカテゴリとサンプル情報は例えばFig. 5を参照してください。

Fig. 5 Class and sample information of the PC dataset

IPデータセットは1992年にAVIRIS分光器によって米インディアナ州北西部を撮影収集された。ノイズを受けたバンドを除去した後、IPデータセットは200バンドからなり、波長は40 ~ 2500 nmであり、個の画素、空間分解能は20 mである。この画像は主に農業に関する研究に用いられ、16のカテゴリ、詳細なカテゴリ、サンプル情報、例えばFig. 6を参照してください。

Fig. 6 Class and sample information of the IP dataset

SalinasデータセットはAVIRISセンサーを用いて米カリフォルニア州サリナスの谷を撮影して得られ、スペクトルは400-2500 nmをカバーし、16種類の図形、空間分解能3.7 m、詳細なカテゴリ、サンプル情報、例えばFig. 7を参照してください。

Fig. 7 Class and sample information of the Salinas dataset

LKデータセットは、機上高スペクトルカメラによって湖北省龍口町の農業地域を撮影した。このデータセットは270個のスペクトル帯域を含み、個の画素の合計9つのカテゴリ、空間分解能は0.463 mであり、詳細なカテゴリとサンプル情報は以下の通りであるFig. 8を参照してください。

Fig. 8 Class and sample information of the LK dataset

3.2実験設定

DCPNメソッドの有効性を検証するために、6つのリアルHSIデータセットを選択します。ソースドメインとして地物カテゴリが最も多いChikuseiを選択し、残りの5つのデータセットをターゲットドメインとします。すべての実験はPython 3.6のPyTorchフレームワークとMatlab 2017 aプラットフォームを用いて、ハードウェアにIntel Core i 7-6850 K CPU、Nvidia GeForce GTX 1080 Tiと32 GBメモリを配置したコンピュータ上で完成した。実験では、カテゴリ分類精度、全体分類精度（OA）、Kappa係数、平均分類精度（AA）の4つの性能指標を選択した。各実験は独立して10回行い、平均値を取った。

比較のために7つの分類方法を選択し、浅層分類方法（SVM）、深さ学習方法（Res-3 D-CNN）、ドメイン適応方法（DANNとCDAN）、小サンプル学習方法（DFSL+SVMとDFSL+NN）、およびドメイン横断小サンプル方法（DCFSL）を選択した。SVMおよびRes-3 D-CNNの場合は、トレーニングセットとして、DFSL+SVMとDFSL+NNはDFSLの設定を参照し、Chikusei、Houston、Botswana、Kennedy Space Centerをソースドメインとし、200サンプル未満のカテゴリを捨て、入力データの次元が一致するように100バンドを選択します。ドメイン適応メソッドDANNとCDANの場合、ソースドメインはDCPNと一致し、ターゲットドメインとしてマークアップされていないサンプルは、2つのドメイン分布の位置合わせに使用されます。

ソースドメイン間の小サンプルタスクを例に、十分なサンプル数を保証するために、には200未満のサンプルをマークするクラスがあり、メタラーニングのパラダイムに基づいて、トレーニングのたびににおけるランダム抽出クラス、クラスごとにランダムに抽出ソースドメインサポートセットとしてのサンプル数を選択し、残りのサンプルからランダムに抽出ソースドメインクエリセットとしてのサンプル数を選択して設定できます。，，をオフにします。の中からランダムに128個のサンプルを抽選してターゲットドメインラベルなしデータセットを構成する。入力されたHSIの長さと幅はすべて9です。ターゲットドメインのドメイン間小サンプルの設定は上記と同じです。

特徴抽出ネットワーク構造Fig. 9図示されているように、マッピング層、2つの残差ブロック、2つの最大プール化層、1つのコンボリューション層から構成されています。Conv 2 dは2 D-CNNマッピング層であり、ソースドメインとターゲットドメインのスペクトル次元を同じ次元にマッピングすることを目的としている。マッピング層コンボリューションコア、のパラメータは入力データによって決まります。Convはサイズがの3 Dコンボリューション層を表し、Poolingは最大プール化層を表し、ステップサイズはを選択します。、和。デカップリングネットワークは2層エンコーダで構成され、ここでFC 1は汎用特徴を抽出するために使用され、FC 21 aとFC 22 aはドメイン不変特徴を抽出するために使用され、FC 21 bとFC 22 bはドメイン特定特徴を抽出するために使用される。ドメイン分類器は全接続層とDropoutで構成されている。最適化器としてAdamを選択し、トレーニングの反復回数は10000です。

Fig. 9 Diagram of feature extractor

その他のスーパーパラメータの設定Table 1を参照してください。

Table 1 Hyperparameter settings on different datasets

数据集				学习率
UP	100	80	40	0.010	0.3	1.0	1.0	1.0
PC	100	80	40	0.010	0.2	1.0	1.0	1.0
IP	90	80	40	0.003	0.3	1.0	1.0	1.0
Salinas	120	128	32	0.003	0.3	0.8	1.0	0.6
LK	60	100	50	0.010	0.0	0.5	0.1	0.1

3.3実験結果と分析

表2-6はそれぞれSVM、Res-3 D-CNN、DANN、CDAN、DFSL+SVM、DFSL+NN、DFSL（本方法）分類器の5つのデータセットにおける分類性能比較結果であり、以下のことがわかる：

（1）ドメイン適応方法DANNとCDANは一部のカテゴリの分類精度がSVMより低く、これはカテゴリが一致していないソースドメインとターゲットドメインに対して、過度に位置合わせ特徴が分類精度を低下させることを示し、

（2）目標領域にサンプルが不足していることを表示する場合、他の方法に比べて、小サンプル学習方法で使用されるタスク学習戦略はモデルが一般的に通用するメタ知識を学習するのを助けることができ、それによってより高い新しいクラス識別精度を得ることができる、

（3）小サンプル学習方法に比べて、ドメイン横断小サンプル学習方法DCFSLは目標ドメイン上でより高い分類精度を取得した。これは、この方法がソースドメインとターゲットドメインの間の分布の違いを考慮し、ソースドメインの移行可能なメタ知識を学習しながらソースドメインとターゲットドメインの分布を近づけ、より一般化されたモデルを獲得したためである、

（4）DCPNはすべてのデータセットで最も高いOAを取得している。これはDCPNが深さネットワークで抽出された深さ特徴をデカップリングしてドメイン不変とドメイン特定特徴を得て、ドメイン分類器と結合してソースドメインとターゲットドメインの分布差を縮小できるからである。同時に、DCPNは信頼度の高いクエリセットサンプルをフィルタリングすることにより、修正プロトタイプとサポートセットプロトタイプが訓練の過程で絶えず接近され、それによりサポートセットテープマークアップサンプルが少なすぎるためにクエリセットサンプルの予測ミスをある程度回避する、

（5）すべてのデータセットにおいて、DCPNの消費時間はいずれも高く、原因は主に：一方、DCPNは3 D畳み込みを採用し、ネットワークが原始HSI空−スペクトル特徴抽出能力を高めると同時に、より高い計算複雑度をもたらした、一方、メタ学習フレームワークには、タスク間訓練とテスト、およびタスク内訓練とテストが含まれています。トレーニングタスクに大量のテストサンプルがあり、DCPNに時間がかかることがあります。

Table 2 Comparison of classification results by different methods on the UP dataset

类别	SVM	Res-3D-CNN	DANN	CDAN	DFSL+SVM	DFSL+NN	DCFSL	DCPN
柏油路面/%	61.94	99.90	73.12	75.45		80.95	73.18	73.32
草地/%	55.84		69.60	90.36	66.41	82.17	89.19	94.79
碎石路面/%		49.95	40.88	41.45	50.53	50.57	52.20	55.25
树木/%	85.88	84.67	91.83	90.19		91.73	98.20	88.95
金属板屋顶/%	99.10	98.58	86.64	97.76			98.51	100.00
裸地/%	63.08	21.54	56.35	86.00	72.47	63.81		64.51
沥青/%	87.77	81.21	56.45	75.09	78.04		78.94	79.85
砖/%	71.63	46.59	69.92	70.17	66.06	57.98		86.65
阴影/%	100.00	94.37	100.00	97.88		99.79	99.68	99.47
OA/%	64.44	70.15	69.60	73.30	73.98	77.83		84.65
AA/%	75.61	68.66	71.64	71.02	79.54	78.82	82.98
Kappa	0.5600	0.5969	0.6200	0.6400	0.6700	0.7100		0.8000
耗时/s	5.31		939.03	997.31	1976.14	1991.89	1357.80	2118.96

Table 3 Comparison of classification results by different methods on the PC dataset

类别	SVM	Res-3D-CNN	DANN	CDAN	DFSL+SVM	DFSL+NN	DCFSL	DCPN
水体/%	100.00		98.11	100.00	100.00	100.00	100.00	100.00
树木/%	71.93	91.25	89.73	94.23		92.52	90.49	90.49
草地/%	76.43	67.52	42.59	53.09	80.41	81.54		96.93
砖瓦地/%	98.03	96.96	76.25	95.74		99.95	99.25	98.78
裸露土地/%	87.57	83.65	74.22	76.09	86.00	87.05		99.30
草地/%	95.20	97.26	93.08	94.99	95.75	94.26		99.01
沥青路面/%	90.66	95.22	60.27	90.71	97.41	97.97		97.47
砖块/%	88.14	99.28	25.06	52.23	47.48	62.03	98.85
阴影/%		99.70	92.20	99.46	98.98	99.07	99.76	100.00
OA/%	95.23	96.03	86.13	92.05	94.41	95.19		99.13
AA/%	89.77	92.30	72.39	84.06	88.75	90.56		97.88
Kappa	0.9287	0.9401	0.7933	0.8811	0.9161	0.9278		0.9870
耗时/s	4.63		1257.74	1309.38	2262.87	2302.59	1463.87	2379.79

Table 4 Comparison of classification results by different methods on the IP dataset

类别	SVM	Res-3D-CNN	DANN	CDAN	DFSL+SVM	DFSL+NN	DCFSL	DCPN
苜蓿/%	68.29	87.80	39.02	97.56			97.56	97.56
非犁耕玉米地/%		14.97	6.39	27.48	22.56	26.07	22.35	45.82
少犁耕玉米地/%	43.15	25.58	26.18	27.76	35.88	38.42	54.18
玉米地/%	43.53	33.19	42.24	53.45	78.02	87.93		83.19
草地/牧地/%	76.15	51.88	55.65	60.25	74.27	83.26	75.31
草地/树木/%	75.72		50.07	85.93	94.62	88.96		89.52
草地/修剪过的牧地/%		100.00	100.00	100.00	100.00	100.00	100.00	100.00
干草堆/%	73.78	81.40	90.06	97.46	94.29	94.93	92.39
燕麦/%			100.00	100.00	100.00	100.00	100.00	100.00
非犁耕的大豆地/%	44.57	57.70	54.19		56.26	61.63	54.40	65.25
少犁耕的大豆地/%	47.43	58.24	38.65	28.82	65.06	64.53		76.29
清理过的大豆地/%	31.29	38.61	37.59	31.29	34.69	34.52	50.34
小麦/%	92.00	98.00	96.50		97.50	98.50	100.00	95.50
森林/%	42.29	70.56	73.20	67.22	85.95	68.33	85.16
建筑/草地/树木/机器/%	23.62	27.30	57.22	54.86		67.19	79.79	62.47
石钢塔/%	84.09	96.59	94.32	88.64	100.00	96.59
OA/%	50.77	52.56	45.43	49.31	62.47	61.36		69.92
AA/%	61.65	64.07	39.45	67.62	75.53	75.38		78.83
Kappa	0.4473	0.4689	0.6007	0.4383	0.5758	0.5682		0.6574
耗时/s	1.18		706.47	714.87	1898.06	1902.09	2240.70	5465.74

Table 5 Comparison of classification results by different methods on the Salinas dataset

类别	SVM	Res-3D-CNN	DANN	CDAN	DFSL+SVM	DFSL+NN	DCFSL	DCPN
西兰花-幼苗期1/%		87.80	98.35	95.96	94.91	98.25	100.00	100.00
西兰花-幼苗期2/%	98.90	14.97	96.35	90.38	99.62	98.23		99.81
休耕地/%	78.59	25.58	37.85	78.44	88.33	90.92		97.46
休耕地-粗犁/%	98.63	33.19	100.00	99.71	99.42			99.78
休耕地-平整/%	98.02	51.88	88.25		93.04	94.09	94.46	94.20
残茬地/%	97.27	89.93	99.34		99.49	100.00	100.00	100.00
芹菜/%	99.05	100.00	97.82	95.75	99.22	99.55	99.05
葡萄-未整形/%	60.78	81.40	14.26	56.54	52.09	71.97	66.97
葡萄园-裸地/发育土壤/%	98.61	93.33	99.08		91.59	88.74	98.69	99.90
玉米-衰老期伴生杂草/%	82.19	57.70	22.36	65.84	40.02	87.81		83.50
罗马生菜-生长4周/%	91.72	58.24	68.96	83.35	97.65	97.08	99.72
罗马生菜-生长5周/%	100.00	38.61	85.43	91.10		99.12	100.00	99.27
罗马生菜-生长6周/%	98.68	98.00	97.04	97.15	98.68	99.78		98.02
罗马生菜-生长7周/%	88.92	70.56	98.31	94.37	98.03	98.22	99.34
葡萄园-自然生长/%	37.56	27.30		61.79	85.21	74.38	75.35	77.35
葡萄园-垂直架式/%	91.84	96.59	83.96	86.57	89.62	97.23	100.00
OA/%	80.22	82.51	69.90	80.22	81.88	87.62		90.35
AA/%	88.71	91.72	79.38	78.10	80.03	93.45		95.03
Kappa	0.7809	0.8065	0.6709	0.8690		0.8628	0.8702	0.8929
耗时/s	6.47		735.72	757.09	1976.79	2030.75	2338.01	5372.43

Table 6 Comparison of classification results by different methods on the LK dataset

类别	SVM	Res-3D-CNN	DANN	CDAN	DFSL+SVM	DFSL+NN	DCFSL	DCPN
玉米/%	86.39	98.67	94.20		97.42	98.00	99.93	98.81
棉花/%	42.68	93.56	39.46	26.97	92.39	72.17		98.29
芝麻/%	73.40	11.43		84.57	77.36	78.12	93.03	82.85
阔叶大豆/%	64.58	89.37	62.40	55.10	70.15	75.20	81.58
窄叶大豆/%	54.97	89.56	68.55	75.95	77.23		98.46	95.88
大米/%	85.80	83.12	72.37	79.63		92.39	95.66	91.91
水体/%	99.95	99.97			98.34	99.78		99.94
道路和房屋/%	49.28	50.32	35.82	64.02		66.64	94.41	82.68
混合杂草/%	62.88	63.73	63.11	49.75		67.94	90.95	72.32
OA/%	79.55	91.06	79.32	77.54	87.49	87.97		93.85
AA/%	68.88	75.52	69.32	67.26	86.51	82.96	94.66
Kappa	0.7419	0.8829	73.92	0.7180	0.8414	0.8458		0.9199
耗时/s	12.86		2335.09	2411.93	2338.78	2407.39	1677.83	2629.08

各データセット上の異なる分類方法の分類効果をより直感的に比較するために、図Fig. 10—Fig. 14異なるデータセット上の分類効果図。図から分かるように、提案されたDCPNはすべてのデータセットにおいてより滑らかで、詳細でより豊富な分類効果図を得ることができる。

Fig. 10 Classification maps on the UP dataset

Fig. 11 Classification maps on the PC dataset

Fig. 12 Classification maps on the IP dataset

Fig. 13 Classification maps on the Salinas dataset

Fig. 14 Classification maps on the LK dataset

例えば、Indian PinesデータセットFig. 12を参照してください。他の方法と比較すると、DCPNの非最適なスーパーパラメータ選択による、森林などの少数のカテゴリでの誤分現象が多い。DL方法に基づく最適な超パラメータ探索は困難であることはよく知られているが、DCPNはDCFSL学習目標に加えて、ドメイン混合損失、ドメイン判別損失、およびアラインメントプロトタイプとサポートセットプロトタイプとの距離損失を追加し、これはモデル判別能力と遷移能力を高めると同時に、追加の超パラメータを導入した。それでも、DCPNはほとんどのカテゴリで他の方法と似ているか、より良い分類効果を得ることができます。他の方法では、より多くのクリーンアップされた大豆畑を、少プラウ耕大豆畑と非プラウ耕大豆畑に誤って分ける可能性があります。より多くの少ないプラウで大豆を耕す畑を誤って非プラウでトウモロコシを耕す畑に分け、より多くの芝生/樹木を誤って干し草の山と森林に分け、より多くの非プラウ耕作トウモロコシ畑、より少ないプラウ耕作トウモロコシ畑、非プラウ耕作大豆畑と整理された大豆畑を誤って少プラウ耕作大豆畑に分けた。また、DCPNを利用することで、UPデータセット上の芝生、Salinasデータセット上のブドウ園-裸地/発育土壌、LKデータセット上の広葉大豆などのカテゴリにおいて、他の比較方法に顕著に優れた分類結果を得ることができる。

さらに、本文は、DCPNの異なる成分が分類性能に与える影響を検証するためのアブレーション実験を組織し、例えばTable 7を参照してください。由Table 7次のことがわかります。

Table 7 Comparison of OA on the five datasets in ablation studies of different loss functions

数据集	DCPN（w/ FSL）	DCPN（w/FSL and FC）	DCPN（w/FSL and FS）	DCPN
UP	82.52	80.50	81.03	83.49
PC	97.13	97.71	97.71	98.66
IP	66.57	68.08	68.59	69.08
Salinas	87.96	88.40	89.57	91.46
LK	93.79	92.68	91.78	93.85

DCPNは他のいくつかの場合の方法と比べて、すべてのデータセットで最高のOAを取得した。一方、DCPNはFC損失とFS損失を用いて、構造されたドメイン不変特徴空間上の異なる領域の特徴混合とドメイン特定特徴空間上の特徴分割を実現し、それによって特徴の解凍とドメイン不変特徴のみを整列する目標を達成し、さらにドメイン特定特徴を整列することによる負の遷移問題を緩和した、一方、最小化によりにより、元のカテゴリプロトタイプと高信頼度カテゴリプロトタイプとの位置合わせが実現され、カテゴリプロトタイプのオフセットによる分類精度の低下問題が緩和された。

3.4超パラメータ和分類精度への影響の解析

検証のためのスーパーパラメータ、DCPN分類性能への影響、5組のHSIデータセットでパラメータ分析実験を展開し、結果：Fig. 15を参照してください。表示:

Fig. 15 Influence of and over OA on different datasets

（1）大きすぎるトレーニング中に修正プロトタイプとサポートセットカテゴリセンターを過度に近づけることを意味する、小さすぎるそれは、トレーニング中に主にサポートセットカテゴリセンターに基づいてクエリセットを分類することを示しています。大きすぎるか小さすぎる値を取るとOAの低下を招く、

（2）すべてのデータセットにおいて、の増大により、OAは概ね上昇後下降する傾向を示している。なぜなら、小さすぎる値を取ると、ソースドメイン上のメタ知識の学習不足、過大なモデルがソースドメインにフィットしすぎます。

以上より、提案パラメータの設定範囲は，。

4結節論

メタ学習に基づく小サンプル学習が訓練段階で分野別差異による分類精度の低下問題に効果的に対応することが困難であること、およびプロトタイプネットワークにおけるカテゴリプロトタイプ予測が不正確で分類性能の低下を招く問題に対して、本文はデカップリング信頼プロトタイプネットワークに基づく高スペクトル画像のドメイン間小サンプル分類方法を提案する。主な結論は以下の通りである：（1）結合解除ネットワークを利用して非ドメイン不変特徴とドメイン特定特徴を得て、ドメイン不変特徴のみを小サンプル分類任務を行い、それによってドメイン特定特徴がもたらすマイナス影響を低減する、（2）各カテゴリのプロトタイプを再計算するために、タグ付けされていないクエリセットサンプルに対応する重みを割り当て、元のサポートセットサンプルカテゴリセンターと協力して、高品質の小サンプル分類タスクを共同で達成する信頼プロトタイプネットワークを提案する。実際のHSIデータセットで実験結果を行ったところ、本論文で提案した方法を利用すると、より高いドメイン間分類精度を得ることができ、さらに平滑で詳細な分類結果を得ることができることが明らかになった。得られた高スペクトル画像は大気条件、採集設備などの要素の影響を受けることが多いことを考慮して、本文の方法の基礎の上で、どのようによりロバストなドメイン共通、ドメイン特定の特徴を得るかは、検討に値する問題である。

References

1.
Baur J, Dobler G, Bianco F, Sharma M and Karpf A. 2018. Persistent hyperspectral observations of the urban lightscape//IEEE Global Conference on Signal and Information Processing. Anaheim: IEEE: 983-987
2.
Cao J M, Katzir O, Jiang P, Lischinski D, Cohen-Or D, Tu C H and Li Y Y. 2021. DiDA: iterative boosting of disentangled synthesis and domain adaptation//Proceedings of the 11th International Conference on Information Technology in Medicine and Education
3.
Chen H J, Lyu D N, Zhou X and Liu J. 2024. Cross-domain transfer learning algorithm for few-shot ship recognition in remote-sensing images. National Remote Sensing Bulletin, 28(3): 793-804
4.
Chen J H and Wang X L. 2022. Multi-graph convolutional network for a remote sensing image few shot classification. National Remote Sensing Bulletin, 26(10): 2029-2042
5.
Deng W Y, Lendasse A, Ong Y S, Tsang I W H, Chen L and Zheng Q H. 2019. Domain adaption via feature selection on explicit feature map. IEEE Transactions on Neural Networks and Learning Systems, 30(4): 1180-1190
6.
Feng J, Chen J T, Liu L G, Cao X H, Zhang X R, Jiao L C and Yu T. 2019. CNN-based multilayer spatial-spectral feature fusion and sample augmentation with local and nonlocal constraints for hyperspectral image classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(4): 1299-1313
7.
Fu Y Q, Fu Y W and Jiang Y G. 2021. Meta-FDMixup: cross-domain few-shot learning guided by labeled target data//Proceedings of the 29th ACM International Conference on Multimedia. [s.l.]: Association for Computing Machinery: 5326-5334
8.
Ganin Y and Lempitsky V. 2014. Unsupervised domain adaptation by backpropagation. //Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille: JMLR.org: 1180-1189
9.
Guo Y H, Codella N, Karlinsky L, Codella J V, Smith J R, Saenko K, Rosing T and Feris R. 2020. A broader study of cross-domain few-shot learning//16th European Conference on Computer Vision. Glasgow: Springer: 124-141
10.
Hang R L, Li Z, Liu Q S, Ghamisi P and Bhattacharyya S S. 2021. Hyperspectral image classification with attention-aided CNNs. IEEE Transactions on Geoscience and Remote Sensing, 59(3): 2281-2293
11.
He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778
12.
Kong Y, Cheng Y H, Chen Y and Wang X S. 2024. Joint classification of hyperspectral image and LiDAR data based on spectral prompt tuning. IEEE Transactions on Geoscience and Remote Sensing, 62: 5521312
13.
Li Z K, Liu M, Chen Y S, Xu Y M, Li W and Du Q. 2022. Deep cross-domain few-shot learning for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 60: 5501618
14.
Liu B, Yu X C, Yu A Z, Zhang P Q, Wan G and Wang R R. 2019. Deep few-shot learning for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 57(4): 2290-2304
15.
Liu Y C, Yeh Y Y, Fu T C, Wang S D, Chiu W C and Wang Y C F. 2018. Detach and adapt: learning cross-domain disentangled deep representation//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 8867-8876
16.
Long M S, Cao Z J, Wang J M and Jordan M I. 2018. Conditional adversarial domain adaptation//Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal: Curran Associates Inc.: 1647-1657
17.
Melgani F and Bruzzone L. 2004. Classification of hyperspectral remote sensing images with support vector machines. IEEE Transactions on Geoscience and Remote Sensing, 42(8): 1778-1790
18.
Siebels K, Goïta K and Germain M. 2020. Estimation of mineral abundance from hyperspectral data using a new supervised neighbor-band ratio unmixing approach. IEEE Transactions on Geoscience and Remote Sensing, 58(10): 6754-6766
19.
Sun Q R, Liu Y Y, Chua T S and Schiele B. 2019. Meta-transfer learning for few-shot learning//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE: 403-412
20.
Wang T, Zhang H S and Lin H. 2016. High-level impervious surfaces classification in urban environments from hyperspectral imagery//Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. Los Angeles: IEEE: 1-5
21.
Wang Y Q, Yao Q M, Kwok J T and Ni L M. 2021. Generalizing from a few examples: a survey on few-shot learning. ACM Computing Surveys, 53(3): 63
22.
Yu C Y, Liu C Y, Yu H Y, Song M P and Chang C I. 2021. Unsupervised domain adaptation with dense-based compaction for hyperspectral imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 12287-12299
23.
Zhang M M, Li W and Du Q. 2018. Diverse region-based CNN for hyperspectral image classification. IEEE Transactions on Image Processing, 27(6): 2623-2634
24.
Zhao X D, Zhang M M, Tao R, Li W, Liao W Z and Philips W. 2022. Cross-domain classification of multisource remote sensing data using fractional fusion and spatial-spectral domain adaptation. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 5721-5733
25.
Zhong C X, Zhang J P, Wu S F and Zhang Y. 2020. Cross-scene deep transfer learning with spectral feature adaptation for hyperspectral image classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13: 2861-2873.
26.
Zhou L, He C, Wang D W and Guo Z Q. 2024. Few-shot object detection in optical remote sensing images. National Remote Sensing Bulletin, 28(7): 1693-1701
27.
Zhu C H, Chen X H, Chen J, Yuan Y H and Tang K. 2023. A siamese nested-UNet for change detection in posterior probability space (SNU-PS). National Remote Sensing Bulletin, 27(9): 2006-2023

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website