阅读原文

前の章|次の章

結合中心差分特徴とスペクトル・空間注意に基づく高スペクトル画像変化検出手法

サマリー

多時期の高スペクトル画像は、その豊富なスペクトルバンドと画像の詳細により、変化検出に広く利用されている。教師あり学習に基づく高スペクトル変化検出アルゴリズムは、多量のラベル付きサンプルに依存する傾向があり、ラベル付けコストが高いという問題がある。そこで本稿では、高スペクトル画像変化検出のためのJCDS²AN（結合中心差分特徴とスペクトル・空間注意ネットワーク）を提案する。本ネットワークは、制限されたサンプル環境下での変化特徴の揺らぎを緩和し、限られたラベル付きサンプルから代表的な変化特徴を学習できる。提案したJCDS²ANは、多尺度のスペクトル・空間注意ブロックを設計し、空間およびスペクトルの多尺度特徴を捉え、差分特徴誘導の差分中心ピクセル交換戦略を提案し、差分特徴と二時相特徴の効率的な情報交換を実現する。また、他の8種の高スペクトル変化検出手法と比較し、3つの公開データセットにおいて視覚的および定量的実験で検証した。検証結果は、提案するJCDS²ANが他の高スペクトル変化検出手法を上回ることを示した。

キーワード

高スペクトル画像;リモートセンシング画像;変化検出;多尺度特徴;差分特徴誘導;中心ピクセル

1　引言

基于遥感数据的变化检测（Change Detection）是探测地球表面变化的重要方法，在城市规划（Jaturapitpornchai等，2019）、环境监测（Khan等，2017）、农业调查（Ji等，2019）和灾害评估（Li等，2024）等方面有着广泛的应用。遥感变化检测是指检测同一区域在两个不同时间点中遥感图像的土地覆盖变化（张良培和武辰，2017），能了解地物的空间分布及其变化的定性与定量信息。近年来，随着成像光谱学的发展，多时相高光谱图像HSIs（HyperSpectral Images）已被广泛应用于遥感变化检测。相比于三通道的高分遥感影像，高光谱图像数据包含大量的光谱信息，更有利于区分两幅图像之间的本征地物变化。

在早期的研究中，变化检测方法可分为基于代数、基于变换和基于分类的方法（Hasanlou和Seydi，2018）。基于代数的方法主要包括图像差分、图像比值、图像回归、绝对距离、变化向量分析等。变化向量分析（Bovolo和Bruzzone，2007）是最具代表性的算法，其对两时相图像做差得到光谱变化向量，光谱变化向量的不同大小和方向代表了变化的不同程度和类别。基于代数的方法是在原始图像上进行操作，而基于变换的方法则是将高光谱数据投影到另一个特征空间以突出变化的像素或区域，主要包括主成分分析（Celik，2009）、独立成分分析（Hyvärinen和Oja，2000）、迭代变化检测（Nielsen等，1998）和慢特征分析（Wu等，2014）等。主成分分析是应用最广泛的数据降维算法，该算法将样本数据映射到方差最大的方向来获取主成分；迭代变化检测是利用典型相关性分析来最大化两时相图像特征之间的相关性；慢特征分析则是从两时相图像中提取时间不变性最强的成分。基于分类的方法包括直接分类法和后分类法。后分类法对两时相图像分别进行学习分类，然后对变化进行比较和分析。直接分类法是将多时相图像堆叠在一起输入模型，然后使用分类器检测变化。典型的分类器有K近邻（Abeywickrama等，2016）和支持向量机（Cortes和Vapnik，1995）等。以上传统算法已经能够检测出许多典型的地物变化，但这些算法模块都是人工设计的，难以进行端到端的优化，限制了检测性能。

深度学习在遥感图像处理的分类、目标探测等领域都取得了显著进展，一些研究人员也将其应用到高光谱变化检测中。卷积神经网络CNN（Convolution Neural Network）作为深度学习最典型的架构之一，被广泛用于变化检测（Khelifi和Mignotte，2020）。Wang等（2019）提出了一种通用的端到端二维CNN，该网络对输入的HSIs进行光谱解混得到混合亲和矩阵，再利用CNN挖掘混合亲和矩阵的特征信息。Lin等（2020）提出了一种双线性CNN，它通过获得的组合双线性特征来融合两时相特征图间的关系。Mou等（2019）和Chen等（2020）分别提出使用递归神经网络和长短期记忆单元来探究两时相HSIs的时空关系。然而，这些网络模型缺乏对丰富光谱数据特征的充分考虑和对重要信息的关注，仍有改进的空间。Jiang等（2020）提出了一种基于金字塔特征的注意力引导的孪生网络，它利用各种注意力机制来改善特征的长期依赖性。Qu等（2022）提出了一种多级编解码的注意力网络，引入了多尺度连接和注意力机制，以提取更有效的空间光谱特征。Luo等（2023）提出了一种多尺度差异变化特征融合网络，侧重于对变化特征进行多尺度提取和融合。然而，这些基于深度学习的变化检测方法严重依赖于足够标记样本的精确监督，随着训练样本的减少，其性能往往会下降。在实际场景中，获取标记样本是费时费力的，不仅需要进行辐射校正和几何对齐等预处理操作，还需要人工实地考察来确保标注的准确性。因此，如何在样本不足的情况下获得较好的变化检测性能已成为了高光谱变化检测中的关键问题（Yang等，2023）。

当前，已有一些工作对有限标记样本下的变化检测进行研究。Gong等（2022）提出了一种新的光谱空间注意力网络，该网络使用自适应高斯分布的多个重复空间注意力模块来逐渐增强变化检测相关特征。Qu等（2022）提出了一种双分支差分放大图卷积网络，利用图卷积处理包含少量训练样本的超像素。Song等（2022）提出了一种跨时相对称注意力网络，通过结合自注意力和卷积来提取和整合空谱时间特征。Wang等（2022）提出了一种联合光谱、空间和时间的Transformer，用于提取光谱序列信息和空间纹理信息。Ding等（2022）提出了CDFormer，它将双时相HSIs的像素序列串联起来作为Transformer编码器的输入，来捕获长程的空间—时间依赖关系。Hu等（2024）构建了一个全局时空交互自注意网络，通过多级多头交互注意捕获整图中样本间的全局信息。在标签信息有限的情况下，这些方法使用较小的样本量训练模型，灵活地使用注意力机制来关注空间光谱信息的变化区域，以获得更好的变化结果。

综上，如何在有限标记样本下高效提取特征仍有一定的探索空间。样本不足时，模型难以学习到稳定的共性特征，类内特征波动较大，相对差异明显。在变化检测中，两时相特征间的差分信息通常包含关键变化特性，因此，可以通过增强差分特征中变化相关信息来增强变化特征的稳定性，以获得更具判别力的变化特征。然而，当前针对差分特征的研究尚不充分，先分类后比较的方法未能有效提取蕴含时间相关性的差异信息，先比较后分类的方法则易导致原有时相相关纹理特性丢失，特征提取不充分。此外，部分方法虽将差分特征学习嵌入网络全过程，但多依赖Transformer学习全局上下文信息，未充分挖掘差分中心像素对局部变化特征提取的关键作用。

基于此，本文提出了一种联合中心差异特征和空谱注意力的卷积神经网络JCDS²AN（Joint Central Difference Feature and Spectral-Spatial Attention Network）。该网络充分挖掘两时相图像的差异信息，实现两时相特征和差分特征的信息交互，可以从两时相输入HSIs中学习到有代表性的变化特征，缓解样本受限导致的类内特征波动。并在3个公开数据集上进行验证实验，与其他先进的变化检测方法进行了对比分析和消融实验。

2　研究方法

2.1　整体结构

本文提出的联合中心差异特征和空谱注意力的变化检测网络主要包括3个分支：双时相图像HSIS对应的双分支和中间的差异分支，整体模型的网络框架如Fig. 1所示。原始两时相图像首先进行相对位置编码，然后经过多尺度空谱注意力块MS²A Block（Multi-scale Spatial Spectral Attention Block）提取浅层特征，接着经过差分中心像素交换策略得到更新后的特征，再由MS²A Block学习深层特征，最后联合输出变化检测结果。

Fig. 1 Joint Central Difference feature and Spatial-Spectral Attention change detection Network （JCDS²AN）

假设输入的双时相高光谱图像为和。其中，和分别表示图像的高度和宽度，表示图像的光谱波段数。对原始图像采用滑动窗口采样得到一系列切片，切片大小为。然后，对两输入进行线性映射和位置编码，再相减获得浅层差异特征，将此差异特征作为差异分支的输入。而后，3个分支使用权重共享的MS²A Block来提取各自特征。计算公式如下：

接着，对获得的3个特征图应用差分中心像素交换策略得到新的两时相特征图：。这些特征图被输入另一个MS²A Block得到精细化后的特征图：

对替换后的两时相特征图进行学习，可以实现中心位置的差分像素和周围区域的两时相像素的信息交互。之后，再对得到的特征图进行相减，得到融合了两时相本征信息的更具鉴别力的差分特征。最终，网络的输出为

式中，代表全连接层，为模型最终的变化检测结果。

2.2　相对位置编码

传统卷积具备平移不变性，这使其在应对分类任务时可以更好地学习本质特征，但是，传统卷积难以感知位置信息（Liu等，2018）。对高光谱影像来说，中心像素和邻域像素的相对结构关系对特征提取至关重要。因此，本文引入被广泛应用于Transformer表征模型中的位置编码，以显式建模空间位置关系。首先，对输入的高光谱图像数据进行维度变换，从二维图像数据变为一维序列数据，然后通过线性层映射到统一的维度大小。为加强位置间的相关性，引入了可学习的相对位置编码RPE（Relative Position Embedding）（Shaw等，2018），如Fig. 2所示。

Fig. 2 Schematic diagram of relative position embedding

对输入特征图进行相对位置编码有助于模型保持原有的相对位置关系，提高模型对空间信息的理解能力。具体地，通过加的方式将位置信息分别附加到双时相图像上，即：

2.3　多尺度空谱注意力块

为了实现对空谱和光谱特征的联合提取，本文构建了MS²A Block，包括一个轴向卷积注意力ACA（Axial Convolution Attention）和一个深度卷积注意残差前馈CA（deep Convdutional Attention residual feedforward）。

受到（Dosovitskiy等，2021）的启发，本文设计了一个轴向卷积注意力模块，如Fig. 3所示。首先，使用一个大小为的深度卷积将输入特征映射到一个新的特征空间。然后，使用3个大小不一样的轴向卷积，分别沿特征的高度和宽度方向进行一维卷积，再将不同卷积生成的注意图相加，经过一个大小为的卷积核进行融合以获得最终的注意力图。最后，将注意力图与输入进行相乘操作以自适应分配不同大小的注意力。

Fig. 3 Axial convolution attention

其中，DWConv代表深度可分离卷积（Chollet，2017）。在变化检测场景中，为了缓解对标记样本的依赖，需要利用有限的训练样本来更高效地训练模型。而当训练样本量较小，过于复杂的网络易导致过拟合，因此本文引入DWConv来实现更轻量化的网络。变化地物往往具有多样的大小和形状，使用多尺度轴向卷积可以捕捉到丰富的多尺度特征，有助于提取到更细微的变化。

深度卷积注意残差前馈网络如Fig. 4所示，旨在高效建立局部空间依赖以增强特征表达。首先对特征使用层归一化，再借助一个大小为的卷积核进行升维操作，之后利用GELU激活函数引入非线性感知。一个大小为的深度可分离卷积可以在保持计算效率的条件下，进一步捕捉空间信息，增强相邻像素的联系。最后，使用另一个大小为的卷积核将特征映射到原来的维度空间，整个模块在两个不同的位置分别使用了残差连接结构以缓解梯度消失和爆炸问题。整体而言，深度卷积注意残差前馈模块通过深度可分离卷积与残差结构的协同作用，进一步提升了模型对图像局部细节与空间相关性的建模能力，为后续的精细变化检测奠定了基础。

Fig. 4 Deep convolutional attention residual feedforward

2.4　差分中心像素交换策略

在处理高光谱图像任务时，与自然图像不同，受限于分辨率和光谱变异性（“同谱异物，同物异谱”现象），周围像素对目标像素的分类至关重要。通常，会从待检测像素的邻近区域提取特征并进行学习，以共同确定该像素的类别。因此，中心像素是变化检测的重点，邻近像素则是关键的辅助信息。

两幅高光谱图像采集的时间点不同，受到光照、大气、传感器等的影响，得到的图像往往存在成像差异，形成的伪变化会干扰变化检测的结果。同时，每个时相的图像也蕴含了当前时相的客观地理特征，地物之间的相对固有结构关系有利于变化检测。因此，差异信息和两时相固有信息同样重要。先比较后学习的方法通过直接相减处理两时相图像，可能导致原有地物特征的丢失，尤其是两时相中各自独特的邻域空间和光谱信息。这种处理方式忽略了地物特征的完整性和多样性，从而损失了大量有效信息，使得最终学习到的中心像素特征缺少时相本征特征。然而，先分类后比较的方法，在网络的末端才研究两时相的时间相关性，在两时相的学习过程中缺少差分特征的引导（Khelifi和Mignotte，2020）。因此，本文提出了差分中心像素交换策略，以充分实现差分像素中心和两时相特征的信息交互，如Fig. 5所示。

Fig. 5 Central pixel exchange strategy

本文所设计的差异特征引导结构的重点在于使用差异特征中对应的待检测像素替换掉双时相特征中的待检测像素。具体地，对于第一个MS²A Block的输出，提取差分特征图的中心像素，来替换两分支特征图的中心像素，生成3个具有区分性的差分特征图，即：原始差分特征图和分别融入了时相一、二邻域信息的差分特征图。接着，将这些差分特征图输入第2个MS²A Block，实现原有的两时相邻域信息和差异中心像素的融合学习。

通过中心像素的交换和自注意力融合，不仅实现3个分支间信息的充分利用和交互，还统一了差分特征在网络深层的多维表达，减少了样本不足下网络特征学习的差异性，从而获得更稳定的变化特征。最后，将蕴含两时相信息的差分特征图再进行相减，和原始差分特征图堆叠获得最终差分特征图，经全连接层输出得到最终变化检测结果。

2.5　损失函数

变化检测被视为一种分类任务，双时相高光谱影像的每个像素被分为两类，即变化和不变。因此，可采用交叉熵损失函数来优化网络，计算公式如下：

式中，n为样本数，为训练集样本的地面变化真值。

3　实验结果与分析

3.1　数据集及评价准则

3.1.1　数据集

为了评估本文提出网络模型的有效性，在3个公开数据集上进行实验（图Fig. 6—Fig. 8）。

Fig. 6 Farmland dataset

Fig. 7 River dataset

Fig. 8 Hermiston dataset

第1个数据集是农田数据集，覆盖了中国江苏省盐城市附近的农田区域，分别于2006年5月3日和2007年4月23日由地球观测1号（EO-1）Hyperion传感器获取（Fig. 6）。该数据集有242个波段，波长范围为0.4—2.5 nm，空间分辨率为30 m。去除噪声和吸水波段后，共包含155个光谱波段，每幅图像的空间大小为450140像素。主要变化类型为农田种植变化。

第2个数据集是River数据集，覆盖了中国江苏省的某河流区域，也来自EO-1 Hyperion传感器（Fig. 7）。该数据集的空间大小为463241，去除噪声波段后有198个波段。光谱范围为0.4—2.5 m，光谱分辨率为10 nm，空间分辨率为30 m。主要变化为河道流失。

第3个数据集是赫米斯顿数据集，覆盖美国俄勒冈州赫米斯顿市的灌溉农田，采集于2013年和2014年（Fig. 8）。该数据集由安装在EO-1卫星上的Hyperion传感器获取。消除噪声后，每幅图像的空间大小为307241，包括154个光谱波段。主要变化类型为农田种植变化。

3.1.2　评价准则

为了更好地量化所提方法的性能，使用总准确率OA（Overall Accuracy）和卡帕系数KC（Kappa Coefficient）作为指标，并引入精确率Pr（Precision）、召回率Re（Recall）和F1分数F1（F1-score）作为辅助评价指标。当不同类别的样本比例很不平衡时，比例大的类别往往对评价模型有效性的OA有很大影响。因此，Pr、Re及其调和均值F1被引入来进行综合评价。这些指标的定义如下：

式中，真阳性TP（True Positive）表示被正确分类为变化区域的像素数量，真阴性TN（True Negative）示被正确分类为不变区域的像素数量，假阳性FP（False Positive）表示被错误分类为变化区域的像素数量，假阴性FN（False Negative）表示被错误分类为不变区域的像素数量。这些评价指标的值越大，表示模型的检测性能越好。为了更显著地展现实验结果中的错分像素，本文将TP、TN、FP和FN这4类像素在可视化图中分别以白色、红色、绿色和黑色表示。

3.2　对比方法及实验细节

为了评估所提出的架构的性能，进一步将本方法与8种表现优异的变化检测方法进行了比较，包括传统的变化向量分析CVA（Change Vector Analysis）（Bovolo和Bruzzone，2007）和PCAKM （Celik，2009）方法，以及基于深度学习的BCNNs（Lin等，2020）、CSANet（Song等，2022）、CDFormer（Ding等，2022）、SST-Former（Wang等，2022）、MSDFFN（Luo等，2023）和GlobalMind（Hu等，2024）。CVA和PCAKM是最常用的传统方法。PCAKM使用PCA生成低维特征，并对降维后的特征进行k-means聚类从而获得变化结果。BCNNs通过结合双线性特征来发现双时间特征图间的关系。MSDFFN专注于差分特征学习，并设计了一个多尺度差分特征融合模块。CSA-Net通过自注意和CNN相结合，提取并整合了联合的空间—光谱—时空特征。SST-Former设计了一个联合谱、空间和时间Transformer，其中谱空间Transformer和时间Transformer从切片对中提取谱序列信息和空间纹理特征，通过交叉注意机制检测变化信息。CDFormer提取并整合双时相HSIs的联合加权空间—光谱—时间特征，增强了时间依赖性。GlobalMind使用全局多级多头交互注意力来捕获样本之间的全局信息。

经过消融实验，本文对农田、河流、赫米斯顿数据集分别选择输入切片大小为7、9和5。本文提出的网络使用PyTorch框架在NVIDIA GeForce 3090 GPU（24 G内存）上进行了训练和测试。对于未公布代码的方法，本文根据论文原文复现了这些对比算法的代码。

在实验中，本文从数据集中选取了1%的样本作为训练集，1%的样本作为验证集，其余样本作为测试集。为了保证实验的可靠性，本文进行了5次重复实验，对多次实验结果求均值得到最终的精度。在训练阶段，本文使用了权重衰减为5×10^-3的-SGD优化器。初始学习率设计为1×10^-4，每30个epoch衰减0.1倍。总迭代次数为50，训练样本的批量大小设置为32。在消融实验中，仅有模型结构会根据消融要求进行调整，其余实验参数均保持一致。

3.3　实验结果及分析

3.3.1　在农田数据集上的实验结果

Table 1显示了每个模型在农田数据集上的结果。可见与传统的CVA和PCAKM方法相比，深度学习方法往往具有更好的准确性，因为该方法能够通过卷积层或自注意力层学习更复杂的特征。由于只使用2D CNN提取空间特征，BCNNs在所有基于深度学习的方法中表现最差。CSANet利用注意力机制提高了时间信息的利用率，CDFormer和SST-Former对整体的切片进行全局特征提取，但缺少了细节信息。相比其他方法，本文提出的JCDS²AN具有最佳的检测性能，这说明所设计的差异特征引导可以使模型更关注变化区域，能捕捉到更准确的变化。

Table 1 Comparative quantitative results on the Farmland dataset

方法	OA	KC	F1	Pr	Re
CVA	95.25	88.60	91.97	90.33	93.66
PCAKM	95.14	88.37	91.82	89.78	93.96
BCNNs	96.17	90.79	93.5	94.97	92.08
CSANet	96.34	91.12	93.69	93.60	93.79
CDFormer				95.42
SST-Former	96.81	92.37	94.64	97.19	92.22
MSDFFN	97.12	93.04	95.07	95.76	94.40
GlobalMind	97.00	92.84	94.98	97.95	92.19
本文方法	98.30	95.90	97.10		96.42

在农田数据集上对比实验可视化结果见Fig. 9。可见本文提出的JCDS²AN呈现出最少的假阳性像素，从而获得了最好的视觉性能。其中：传统的CVA，PCAKM方法表现出更多的误分类像素，在不变的区域（黑色区域）有明显的“盐和胡椒”噪声，周围有大量的误分类像素；基于深度学习算法在区分不变的像素方面有更好的性能。然而，稻田之间的区域，仍然有一些假阴性的像素出现；SST-Former和CDFormer具有全局建模能力，但是在细微变化的检测上还存在着缺陷。总之，与其他方法相比，JCDS²AN的误分点更少，变化检测细节也更好。

Fig. 9 Qualitative visualization results on the Farmland dataset

3.3.2　在河流数据集上的实验结果

Table 2为模型在河流数据集上的对比实验结果。可见：与其他方法相比，传统的CVA和PCAKM的精度相对较低；MSDFFN的精度高于CDFormer和SST-Former，说明在有限样本的情况下，相比基于Transformer的模型，基于卷积的模型不易过拟合，也说明了多尺度特征的有效性；与MSDFFN相比，本文提出的网络精度更高，说明本文所提出的MS²A Block可以更有效地从有限样本中提取变化相关特征。

Table 2 Comparative quantitative results on the River dataset

方法	OA	KC	F1	Pr	Re
CVA	92.81	66.18	69.92	54.93	96.17
PCAKM	92.72	65.91	69.69	54.60	96.29
BCNNs	95.12	64.78	67.33	57.85	80.55
CSANet	94.90	61.49	64.09	52.34	82.63
CDFormer	95.23	62.87	65.24	51.55
SST-Former	95.35	66.87	69.33	60.41	81.33
MSDFFN				77.36	83.73
GlobalMind	96.05	76.90	79.06	85.74	73.35
本文方法	97.21	82.31	83.84		84.32

在河流数据集上的可视化结果见Fig. 10。可见：CVA和PCAKM有大量的假阳性像素（绿色区域），说明这两种方法不能很好地区分正样本和负样本；BCNNs有很多错误像素，因为它只是使用识别性能有限的浅层特征来检测变化像素；SST-Former和CDFormer等在影像的左下方出现了大量的假阳性区域，这意味着许多不变的地方被识别为了变化的区域；与同样使用多尺度策略的MSDFFN相比，所提出的JCDS²AN在区分小细节方面具有优势，获得了最好的视觉性能。

Fig. 10 Qualitative visualization results on the River dataset

3.3.3　在赫米斯顿数据集上的实验结果

Table 3显示了每个模型在赫米斯顿数据集上的结果。对于该数据集，变化区域呈现为边缘部分重叠的大块圆形区域，是相对分散的，这一特性增加了变化检测的难度。与另外两个数据集上的表现不同，在该数据集上，具有全局感知能力的GlobalMind反而获得了比MSDFFN更优的精度表现，而本文提出的JCDS²AN依旧取得了比其他方法更好的结果。

Table 3 Comparative quantitative results on the Hermiston dataset

方法	OA	KC	F1	Pr	Re
CVA	92.02	74.16	78.85		66.01
PCAKM	92.01	74.13	78.83	97.90	65.98
BCNNs	94.07	82.33	86.09	81.46	91.27
CSANet	94.06	82.17	85.92	80.47	92.16
CDFormer	93.52	81.09	85.24	83.05	87.54
SST-Former	95.10	85.68	88.82	86.32	91.46
MSDFFN	94.50	83.44	86.90	81.01	93.72
GlobalMind				96.20	85.82
本文方法	95.86	88.07	90.73	89.87

对于赫米斯顿数据集，可视化结果如Fig. 11所示。可见：CVA和PCAKM的检测结果中，圆形变化区域周围的一圈不变像素被错误地分类为变化，分类结果也缺乏足够的细节变化；CSANet和CDFormer显示了大量的假阴性像素，一些大的圆形区域在变化检测结果中丢失了；和上述两个数据集上的性能表现一致，与MSDFFN相比，JCDS²AN的假阳性和假阴性像素更少，并显示出更好的变化检测细节；同时，JCDS²AN检测到了GlobalMind未检测到的零散变化。

Fig. 11 Qualitative visualization results on the Hermistond dataset

3.4　消融研究

3.4.1　对于每个模块的消融

本文提出了4个模块来提高变化特征学习的性能。为了更清楚地显示每个模块的有效性，本文在3个数据集上对每个模块进行了消融实验，包括相对位置编码（PE）、差异特征引导（MS²A Block）、轴向卷积注意力（ACA）和深度残差前馈（CA）。具体来说，本文设计了5个实验，从基础模型开始，逐步添加所设计的模块，实验结果见Table 4。

Table 4 The ablation results of the core module of JCDS²AN on three datasets /%

变化检测数据集	检测指标	模型
变化检测数据集	检测指标	ACA	CA	ACA+CA	ACA+CA+MS²A Block	ACA+CA+MS²A Block+PE
农	OA	96.68	96.51	96.80	98.20	98.36
	KC	91.97	91.61	92.25	95.64	96.03
	F1	94.32	94.07	94.51	96.91	97.19
	Pr	94.91	95.29	94.86	97.28	97.68
	Re	93.76	92.91	94.19	96.55	96.71
河流	OA	95.12	95.26	95.37	96.71	97.17
	KC	64.19	65.70	67.58	79.33	82.03
	F1	66.71	68.19	70.05	81.13	83.58
	Pr	56.57	58.59	62.50	81.40	83.02
	Re	82.23	81.74	80.06	80.91	84.21
赫米斯顿	OA	84.67	85.81	85.91	95.46	95.86
	KC	53.01	56.96	58.01	86.82	88.07
	F1	62.51	65.81	66.88	89.73	90.73
	Pr	56.69	60.70	63.50	88.01	89.87
	Re	69.98	72.35	71.26	91.56	91.64

与完整模型相比，单独删除轴向卷积注意力或者深度残差前馈都会导致准确性的降低，这说明这两个模块在通道信息注意力提取和空间光谱特征融合上都发挥了作用；增加相对位置编码后，模型精度提升，表明添加相对位置编码有助于保持像素间空间关系，有利于特征提取中相邻信息的融合和交互；而去掉差异特征分支后，各数据集上的模型精度都出现了显著的下降，这说明了差异特征的必要性；引入差异特征与两时相特征进行交互，有助于模型学习到与变化更紧密的特征，同时减少有效信息的丢失。此外，在农田数据集上，单个模块加减导致的精度变化不如其他数据集明显，这是因为农田数据集本身易于划分，易获得更好的变化检测结果。总之，在所使用的3个公开数据集上，本文设计的模块都可以提高变化检测性能。

3.4.2　对于位置编码方式的消融

在实验中，本文发现不同的位置编码方式也会对模型表现产生影响。因此，本文在3个数据集上测试了不同位置编码方式下的检测结果，即分别采用无位置编码，随机位置编码和相对位置编码，实验结果见Table 5。结果表明，与不采用位置编码的传统卷积网络相比，显式地添加位置编码可以捕获当前切片中像素点的空间位置关系；而与随机策略相比，相对位置编码通过编码像素点之间的相对距离，能够更精确地建模图像局部区域内像素的相对空间布局，从而在后续的卷积特征提取中，使其具备空间感知能力，学习到平移不变性或者一定程度的平移依赖性，提升特征学习能力。

Table 5 Ablation of position encoding in JCDS²AN /%

数据集	位置编码	OA	KC	F1	Pr	Re
农田	无	98.20	95.64	96.91	97.28	96.55
	随机	98.24	95.73	96.97	97.15	96.79
	相对	98.36	96.03	97.19	97.68	96.71
河流	无	96.71	79.33	81.13	81.40	80.91
	随机	97.10	81.38	82.97	81.21	84.80
	相对	97.21	82.31	83.84	83.42	84.32
赫米斯顿	无	95.46	86.82	89.73	88.01	91.56
	随机	95.79	87.83	90.53	89.27	91.86
	相对	95.86	88.07	90.73	89.87	91.64

3.4.3　对于切片大小的消融

为分析不同输入切片大小对模型性能的影响，本文在3个数据集上测试了尺寸为5、7、9、11的4种输入切片，实验结果见Table 6。基于整体性能表现，本文最终为3个数据集分别选定7、9、5作为最优切片尺寸。同时，实验结果表明，模型精度并未随切片尺寸变化而产生显著波动。这验证了本文所设计的差分中心像素交换策略的有效性，该策略通过强化对邻域信息的充分挖掘与融合，从而降低了对固定空间窗口尺寸的依赖，使模型对输入尺寸具备较强的鲁棒性。

Table 6 Ablation of patchsize in JCDS²AN /%

数据集	切片大小	OA	KC	F1	Pr	Re
农田	5	98.22	95.69	96.96	98.00	95.94
	7	98.36	96.03	97.19	97.68	96.71
	9	98.27	95.82	97.04	97.84	96.26
	11	98.27	95.82	97.04	97.79	96.31
河流	5	97.15	81.94	83.50	83.10	83.98
	7	97.17	82.03	83.58	83.02	84.21
	9	97.21	82.31	83.84	83.42	84.32
	11	97.17	81.94	83.54	82.80	84.35
赫米斯顿	5	95.86	88.07	90.73	89.87	91.64
	7	95.79	87.83	90.54	89.43	91.69
	9	95.79	87.87	90.58	89.74	91.46
	11	95.69	87.72	90.51	91.26	89.78

3.4.4　对于样本量大小的消融

为全面研究训练样本大小对检测结果的影响，本文在3个数据集上测试了不同训练样本下的检测结果。训练样本量被分别设置为10%、20%、30%、40%和50%，以折线图的形式展示了实验结果，见Fig. 12。

Fig. 12 OA results across datasets at different sample size ratios

从整体趋势可见，随着样本量的增加，6种算法的精度均呈上升趋势。这表明训练样本数量的增加使得更多的信息可以参与监督，有利于获取更准确、更具判别力的变化特征。同时，在样本量低于10%时，本文提出的JCDS²AN模型的精度始终优于其他对比算法，只在20%样本时略低于MSDFFN和CDFormer，这说明在少量样本下，本方法可以更好地从有限样本中提取变化特征。

3.4.5　对于计算成本的讨论

本文在农田数据集上测试了所有比较方法的计算成本，如Table 7所示。其中，Flops表示每个模型执行的浮点运算量，通常用来衡量模型的计算复杂度，Params表示模型中可训练的参数数量，Runtime表示模型训练和测试所花费的时间。结果表明，相比传统方法，深度学习方法具有更高的检测精度，但需要更多的训练时间。与其他深度学习方法相比，JCDS²AN通过引入深度可分离卷积，可以在不显著增加计算量的情况下减少参数数量。

Table 7 The runtime cost of various models on the Farmland dataset

方法	PCAKM	BCNNs	CSANet	SST-Former	MSDFFN	GlobalMind	本文方法
#Flops/K	—	31708037	65889152	34473952	92244298	89479040	39859072
Params/K	—	542786	2428114	498794	2619559	549738	332674
Runtime/s	0.21	635	155	211	1136	507	769

4　结论

本研究以高光谱图像变化检测为研究对象，针对样本受限情况，提出了一种联合中心差异特征和空谱注意力的变化检测算法JCDS2AN，并在3个公开数据集上进行对比和消融验证。主要贡献点包括轴向卷积注意力、深度残差卷积前馈和中心差异像素交换策略。本文提出的方法可以更好地获得和分析变化的成分，并且在少量样本的条件下比其他方法具有优势。未来工作将考虑引入半监督思想，同时使用标记和未标记样本来改进高光谱变化检测精度。

References

1.
Abeywickrama T, Cheema M A and Taniar D. 2016. k-nearest neighbors on road networks: a journey in experimentation and in-memory implementation. Proceedings of the VLDB Endowment, 9(6): 492-503
2.
Bovolo F and Bruzzone L. 2007. A theoretical framework for unsupervised change detection based on change vector analysis in the polar domain. IEEE Transactions on Geoscience and Remote Sensing, 45(1): 218-236
3.
Celik T. 2009. Unsupervised change detection in satellite images using principal component analysis and k-means clustering. IEEE Geoscience and Remote Sensing Letters, 6(4): 772-776
4.
Chen H R X, Wu C, Du B, Zhang L P and Wang L. 2020. Change detection in multisource VHR images via deep siamese convolutional multiple-layers recurrent neural network. IEEE Transactions on Geoscience and Remote Sensing, 58(4): 2848-2864
5.
Chollet F. 2017. Xception: deep learning with depthwise separable convolutions//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE: 1800-1807
6.
Cortes C and Vapnik V. 1995. Support-vector networks. Machine Learning, 20(3): 273-297
7.
Ding J G, Li X R and Zhao L Y. 2022. CDFormer: a hyperspectral image change detection method based on transformer encoders. IEEE Geoscience and Remote Sensing Letters, 19: 6015405
8.
Dosovitskiy A, Beyer L, Kolesnikov A, Weissenborn D, Zhai X H, Unterthiner T, Dehghani M, Minderer M, Heigold G, Gelly S, Uszkoreit J and Houlsby N. 2021. An image is worth 16x16 words: transformers for image recognition at scale. arXiv:2010.11929
9.
Gong M G, Jiang F L, Qin A K, Liu T F, Zhan T, Lu D, Zheng H H and Zhang M Y. 2022. A spectral and spatial attention network for change detection in hyperspectral images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5521614
10.
Hasanlou M and Seydi S T. 2018. Hyperspectral change detection: an experimental comparative study. International Journal of Remote Sensing, 39(20): 7029-7083
11.
Hu M Q, Wu C and Zhang L P. 2024. GlobalMind: global multi-head interactive self-attention network for hyperspectral change detection. ISPRS Journal of Photogrammetry and Remote Sensing, 211: 465-483
12.
Hyvärinen A and Oja E. 2000. Independent component analysis: algorithms and applications. Neural Networks, 13(4/5): 411-430
13.
Jaturapitpornchai R, Matsuoka M, Kanemoto N, Kuzuoka S, Ito R and Nakamura R. 2019. Newly built construction detection in SAR images using deep learning. Remote Sensing, 11(12): 1444
14.
Ji M, Liu L F, Du R L and Buchroithner M F. 2019. A comparative study of texture and convolutional neural network features for detecting collapsed buildings after earthquakes using pre- and post-event satellite imagery. Remote Sensing, 11(10): 1202
15.
Jiang H W, Hu X Y, Li K, Zhang J M, Gong J Q and Zhang M. 2020. PGA-SiamNet: pyramid feature-based attention-guided siamese network for remote sensing orthoimagery building change detection. Remote Sensing, 12(3): 484
16.
Khan S H, He X M, Porikli F and Bennamoun M. 2017. Forest change detection in incomplete satellite images with deep neural networks. IEEE Transactions on Geoscience and Remote Sensing, 55(9): 5407-5423
17.
Khelifi L and Mignotte M. 2020. Deep learning for change detection in remote sensing images: comprehensive review and meta-analysis. IEEE Access, 8: 126385-126400
18.
Li F T, Zhou F D, Zhang G, Xiao J F and Zeng P. 2024. HSAA-CD: a hierarchical semantic aggregation mechanism and attention module for non-agricultural change detection in cultivated land. Remote Sensing, 16(8): 1372
19.
Lin Y, Li S T, Fang L Y and Ghamisi P. 2020. Multispectral change detection with bilinear convolutional neural networks. IEEE Geoscience and Remote Sensing Letters, 17(10): 1757-1761
20.
Liu R, Lehman J, Molino P, Such F P, Frank E, Sergeev A and Yosinski J. 2018. An intriguing failing of convolutional neural networks and the CoordConv solution//Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal: Curran Associates Inc.: 9628-9639
21.
Qu J H, Hou S X, Dong W Q, Li Y S, Xie W Y. 2022. A Multilevel Encoder-Decoder Attention Network for Change Detection in Hyperspectral Images. IEEE Transactions on Geoscience and Remote Sensing, 60:5518113
22.
Luo F L, Zhou T Y, Liu J M, Guo T, Gong X W and Ren J C. 2023. Multiscale diff-changed feature fusion network for hyperspectral image change detection. IEEE Transactions on Geoscience and Remote Sensing, 61: 5502713
23.
Mou L C, Bruzzone L and Zhu X X. 2019. Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery. IEEE Transactions on Geoscience and Remote Sensing, 57(2): 924-935
24.
Nielsen A A, Conradsen K and Simpson J J. 1998. Multivariate Alteration Detection (MAD) and MAF postprocessing in multispectral, bitemporal image data: new approaches to change detection studies. Remote Sensing of Environment, 64(1): 1-19
25.
Qu J H, Hou S X, Dong W Q, Li Y S and Xie W Y. 2022a. A multilevel encoder-decoder attention network for change detection in hyperspectral images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5518113
26.
Qu J H, Xu Y S, Dong W Q, Li Y S and Du Q. 2022b. Dual-branch difference amplification graph convolutional network for hyperspectral image change detection. IEEE Transactions on Geoscience and Remote Sensing, 60: 5519912
27.
Shaw P, Uszkoreit J and Vaswani A. 2018. Self-attention with relative position representations//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers). New Orleans: Association for Computational Linguistics: 464-468
28.
Song R X, Ni W H, Cheng W and Wang X H. 2022. CSANet: cross-temporal interaction symmetric attention network for hyperspectral image change detection. IEEE Geoscience and Remote Sensing Letters, 19: 6010105
29.
Wang Q, Yuan Z H, Du Q and Li X L. 2019. GETNET: a general end-to-end 2-D CNN framework for hyperspectral image change detection. IEEE Transactions on Geoscience and Remote Sensing, 57(1): 3-13
30.
Wang Y H, Hong D F, Sha J J, Gao L R, Liu L, Zhang Y G and Rong X H. 2022. Spectral-spatial-temporal transformers for hyperspectral image change detection. IEEE Transactions on Geoscience and Remote Sensing, 60: 5536814
31.
Wu C, Du B and Zhang L P. 2014. Slow feature analysis for change detection in multispectral imagery. IEEE Transactions on Geoscience and Remote Sensing, 52(5): 2858-2874
32.
Yang B, Mao Y, Chen J, Liu J Q, Chen J and Yan K. 2023. Review of remote sensing change detection in deep learning: bibliometric and analysis. National Remote Sensing Bulletin, 27(9): 1988-2005
33.
Zhang L P and Wu C. 2017. Advance and future development of change detection for multi-temporal remote sensing imagery. Acta Geodaetica et Cartographica Sinica, 46(10): 1447-1459

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website

結合中心差分特徴とスペクトル・空間注意に基づく高スペクトル画像変化検出手法

DOI：10.11834/jrs.20255012

サマリー

キーワード

1 引言

2 研究方法

2.1 整体结构

2.2 相对位置编码

2.3 多尺度空谱注意力块

2.4 差分中心像素交换策略

2.5 损失函数

3 实验结果与分析

3.1 数据集及评价准则

3.1.1 数据集

3.1.2 评价准则

3.2 对比方法及实验细节

3.3 实验结果及分析

3.3.1 在农田数据集上的实验结果

3.3.2 在河流数据集上的实验结果

3.3.3 在赫米斯顿数据集上的实验结果

3.4 消融研究

3.4.1 对于每个模块的消融

3.4.2 对于位置编码方式的消融

3.4.3 对于切片大小的消融

3.4.4 对于样本量大小的消融

3.4.5 对于计算成本的讨论

4 结论