“[{"title":"Hybrid-Gird： 遥感图像细粒度分类可解释方法","chapter":"1　引言","content":"遥感图像目标细粒度分类任务是遥感图像智能解译领域的一项重要任务，基于光学遥感图像的目标细粒度分类技术已得到广泛应用，例如空域管制、态势评估、重要港口目标监视等（Zhang等，2023）。不同于对目标的大类进行判断（Chen等，2016），目标细粒度分类旨在对属于同一基础类别的对象进行子类划分，如区分巡洋舰、集装箱船、油轮等不同用途的船舶目标细粒度识别（Han等，2022）。目标细粒度分类任务的关键在于分类模型能否获得对目标类别具有决定性贡献的本质特征。Cheng等（2021）研究证明占据目标较大部分的结构对于分类的贡献度较低，细粒度分类通常强迫神经网络去学习、记忆相似类别间的细微差异，并去除一些共性特征。因此，只有少量的、适应于特定任务的特征会被建模。近年来，随着深度学习的迅猛发展，许多先进的目标细粒度分类网络被提出，并取得了显著的性能提升。已有研究（Nie等，2022；Xiong等，2022；Liang等，2020；Fu等，2019）主要基于深度卷积神经网络，即DCNN（Deep Convolution Neural Network），通过优化特征提取能力和增强特征来提升模型的性能。Yi等（2023）建立了一种基于本质特征挖掘的目标细粒度分类网络EFM-Net，该网络通过局部特征提取、注意力机制、局部区域特征融合以及迁移学习等策略，获取对细粒度类别特定的本质特征表示，并利用这些特征进行准确的分类，在FGSC-23、FGSCR-43、Aircraft-16等具有挑战性的遥感图像目标细粒度分类数据集上取得了优异的结果。尽管这些网络提升了遥感图像目标细粒度分类任务的精度，但深度学习网络模型的“黑盒”性质使人们仍然难以理解网络在细粒度分类任务上的决策依据，这不仅限制了深度神经网络通过反馈指导进行优化提升的可能，更使其无法被人类充分信任并应用于军事、医疗等重要领域。当前，国内外针对深度神经网络的可解释性分析方法可分为激活值最大化分析法、代理模型分析方法、归因分析法、扰动分析法、类激活图分析法及样例分析法等6类方法（Gong等，2022）。而围绕遥感图像智能解译任务，到目前为止，仍主要采用面向自然图像的可解释性分析方法，如IG、GuidedBackPropagation、SmoothGrad、occlusion（Petsiuk等，2018）等。然而，上述方法缺乏统一理论框架，在遥感图像目标细粒度分类任务中存在适用性有限、适用任务范围狭窄等问题。图像分类任务主要使用包括归因分析法、扰动分析法和类激活图分析法在内的归因技术来对分类网络的决策过程进行解释。该技术通过生成显著图（Saliency Map）来显示不同像素对模型的影响，又依据是否需要获取神经网络内部权重和参数分为内在和外在两种。内在归因方法通过神经网络的层将重要性得分从模型的输出反向传播到输入中的各个像素，例如Gradients、Grad-CAM（Selvaraju等，2017；Simonyan等，2014）。但是，由于分类网络内部卷积层的尺度较小，将其映射回原图时会导致显著图丢失细节信息，难以生成较为清晰的特征边缘。而细粒度分类任务主要关注相似目标中的可分性特征，因此，这种归因方法不能精确显示对分类影响最大的本质特征区域，无法对细粒度分类的决策依据给出清晰明确的解释。外在归因方法也即基于遮挡的扰动方法，通过对图像区域进行特定的扰动，如遮挡、添加噪声、修复和模糊（Petsiuk等，2018），观察扰动对模型输出的影响以确定扰动区域的重要性。由于其实现方法会赋予一些干扰像素较高的重要度，在显著图中引入了遮挡偏差，最终导致对细粒度分类网络的可解释工作出现误判。总的来说，现有可解释性分析方法对细粒度特征的描述能力有限，缺乏面向可解释性的细粒度分类任务的数学框架，以及在认知层面刻画本质特征、适用于遥感图像多尺度特性的可解释性分析方法。因此，本文针对现有可解释性分析方法描述能力有限、缺乏统一数学框架等问题，提出一种具有框架一致性、尺度自适应的可解释性分析方法，探究了目标本质特征对网络决策过程的影响情况，能够可视化地诠释细粒度目标本质特征，以期为目标细粒度分类网络的可信应用提供参考。","result":"介绍了遥感图像目标细粒度分类的重要性和应用场景，指出了细粒度分类任务的关键在于提取对目标类别具有决定性贡献的本质特征。随着深度学习的发展，基于深度卷积神经网络的分类网络在性能上取得了显著提升，但模型的“黑盒”性质限制了其在重要领域的应用。现有可解释性分析方法在描述细粒度特征和提供清晰解释方面存在不足。针对这些问题，本文提出了一种具有框架一致性、尺度自适应的可解释性分析方法，旨在可视化地诠释细粒度目标本质特征，提高分类网络的可信度。","language":"zh"},{"title":"Hybrid-Gird： 遥感图像细粒度分类可解释方法","chapter":"2　研究方法","content":"2.1　细粒度分类网络随着高分辨率遥感图像数据的持续增加，遥感图像的有效判读变得越来越重要，也使遥感图像的目标细粒度分类任务成为可能，然而，目标样本长尾分布限制了目标细粒度识别精度的提升，准确获取图像中目标的可分性特征是实现高精度目标细粒度分类的关键。当前领域内主要通过特征挖掘与样本增强来提高分类精度：一方面，通过使用先进的特征提取与融合网络，深度挖掘本质特征；另一方面，通过对目标样本进行数据增强，提高样本质量以优化模型性能。具体来说，PMG-V2是目标细粒度分类领域目前性能最优的模型之一（Du等，2022），该网络由两个相互作用的模块组成。通过一个创新的类别一致块卷积来鼓励网络学习特定粒度中类别一致的特征。在训练阶段，块状卷积使特征图在输入每个卷积层之前被分成一些块，每个块在卷积时不能获取临近部分的信息，这一操作并不会引入人工边界，同时延续了拼图补丁的益处。通过应用一致性约束，进一步在特征块进行卷积时从各个粒度获取具有意义的区域。EFM-Net是遥感图像目标细粒度分类领域目前性能最优的模型之一，由本质特征挖掘模块和数据增强模块组成。EFM-Net通过图像金字塔网络来提取更具代表性的特征，使用ConvNext骨干网络提取目标的本征特征，采用自注意力机制进行特征增强，提出双线性特征聚合池化方法，用以融合本征特征和注意力特征，最终得到最具可分性的本质特征，帮助网络更准确地定位判别区域，抓住对细粒度分类任务最关键的本质特征。在训练阶段，数据增强模块可以自适应地增强训练样本。本质特征挖掘模块和数据增强模块以无监督的方式相互加强以提取准确的特征。除了上述具有代表性的PMG-V2、EFM-Net网络之外，一些经典的分类网络，如ResNet18（He等，2016）也可用于目标细粒度分类任务。因此，本文以PMG-V2、EFM-Net和ResNet18为研究对象，试图建立一种可行的面向遥感图像目标细粒度分类任务的可解释性分析方法。2.2　内在与外在可解释性分析方法现有可适用于目标细粒度分类任务的可解释性分析方法主要专注于模型在测试样本点附近局部空间上的决策行为，也即目标级可解释（Yang等，2023）。根据可解释性分析方法构建过程是否基于网络权重及内部结构，本文将归因方法分为内在、外在2种，并总结了常见的内在、外在归因方法，详见表1。表 1本研究内在与外在归因方法Table 1Subjective and objective attribution methods in this study在内在归因方法中，由于Sigmoid函数的饱和问题或ReLU函数的零梯度区域，深度神经网络的梯度可能会有噪声，并存在梯度消失的问题，导致输出关于输入的梯度或内部层激活在视觉上存在噪音（Wang等，2020）。CAM/Grad-CAM将全局平均池化或最后一个卷积层的梯度信息映射回原图时会导致显著图丢失细节信息，难以生成较为清晰的特征边缘。即当卷积层最后一层得到像素的特征图时，若映射回像素的输入图像，其显示区域将以32个像素为单位。由于细粒度分类任务主要关注于相似目标中的微小细节，这种归因方法不能精确显示对分类影响最大的本质特征区域，无法对细粒度分类的结果给出清晰明确的解释。而外在归因方法，也即基于遮挡的扰动方法，普遍具有噪声和尺度问题。该方法随机生成遮挡图并利用其重要性加权以生成显著图，由于未对遮挡图中有效遮挡和无效噪声进行区分，因此，会错误地赋予一些无关像素较高的归因得分，导致生成的显著图中存在噪声。部分方法设计小尺度的掩膜图像（或遮挡窗口）并将其缩放成原始图像的大小进行遮挡，通过遮挡输入图像的不同部分，观察模型对遮挡的响应可以推断出模型对不同特征的重要性。在尺度缩放的过程中有模糊细粒度特征边缘的可能。2.3　目标细粒度分类任务的博弈竞争数学模型目前仍缺乏统一的数学框架对目标细粒度分类任务进行建模。为了在数学理论上定义目标细粒度分类任务所面对的问题，指导可解释性分析方法的理论设计和优化，本文从目标内部的特征博弈这一角度对目标细粒度分类任务进行数学建模。在细粒度任务的目标级博弈中，需要寻找少量的、适应于特定目标细粒度分类任务的专用特征，这些可分性特征在博弈中一定被赋予最大贡献。因此，细粒度分类任务的决策过程可定义如下： (1)式中，为目标级的内部特征集合，S为内部的独立特征子集，为内部的交互特征子集，为独立特征余项，为交互特征余项。针对目标细粒度分类任务，需要关注独立本质特征集和交互本质特征集当其被分配了最大贡献值时使得该目标细粒度分类问题有解。2.4　本质特征的特征博弈作用为研究目标细粒度分类问题中本质特征的特征博弈作用，首先，基于像素级的特征关系，可以将细粒度分类网络的映射过程按照泰勒级数展开如下：（2）式中，为网络模型，为输入图像，为局部邻域内的参考点。其次，基于局部特征关系，可以将细粒度分类网络的映射过程如下式展开： （3）根据式（2）和（3）的2种展开方式，对于输入网络的任意特征，可以把它对网络输出产生的影响归纳为独立效应和相互作用效应（Deng等，2023）。由于独立效应和相互作用效应都可以量化为特定的泰勒相互作用，所以网络的输出可以分解为不同输入特征的一般独立效应和输入特征集某一子集的一般相互作用效应之和。其中，。因此，表示特征的归因得分为 (4)式中为q的一般独立效应分配给特征的比率，为特征集中特征之间的一般相互作用效应分配给特征的比率。2.5　Hybrid-Grid算法流程基于目标细粒度分类的目标级博弈竞争数学模型（式（4）），本文提出了一种满足泰勒展开框架的可解释性分析方法Hybrid-Grid，该方法融合了像素级特征关系和图像局部特征关系，可以有效地提高目标细粒度分类任务的解释精度。将Hybrid-Grid扩展为特征博弈作用的重新分配，从交互的角度将混合归因重写为独立效应和交互效应的加权和，计算公式如下： （5）式中，为将权重比率整合入独立效应的计算函数，为将权重比率整合入相互作用效应的计算函数，表示所在特征集中的某一像素单元，代表泰勒展开项中的度向量，遮挡窗口，代表经第个窗口遮挡后参与交互的特征度向量集。其中，，对于个类别的细粒度判断问题，当目标归属于第个类别时，=1；否则，=0。Hybrid-Grid方法改进了现有外在归因方法中将特征集中所有的特征都分配独立效应的问题，避免引入不涉及分类器判断的无关特征，从理论上可以减少噪声；同时，还解决了现有内在归因方法中仅将特定神经元的独立效应分配给归因的模式问题，理论上可以提高对特征间相互作用的精准刻画，提高归因结果的精确度和准确性。本文提出的Hybrid-Grid可解释性分析方法的结构如图1所示，具体流程如下：首先将类激活函数对输入图像求偏导得到灵敏图，外在像素级特征提取算法对灵敏图进行遮挡后采样，对每个采样图像的结果灵敏度图取平均值，而后通过阈值进行限定，其公式为 (6)图 1遥感图像目标细粒度分类可解释方法Hybrid-Grid结构示意图Fig. 1Structure diagram of grid based explainable analysis method for essential features然后使用内在局部特征提取算法对图像分类结果预测类别进行反向传播，利用特征层上的梯度信息计算特征图每个通道信息的重要程度，根据重要程度对特征层每个通道进行加权求和，而后通过阈值进行限定： (7)由于内在局部特征是基于梯度构建，而深度模型的复杂度和高度非线性导致梯度存在梯度噪声、梯度饱和、连续性较差等问题，本文提出了基于网格的特征融合解释算法，在特征融合过程中经阈值过滤保留、利用网格法聚合本质特征，最终输出特征显著图，该过程如式（8）—（10）所示。在其遍历过程中，有部分像素点被丢弃，部分像素点被补充，像素点总数基本保持不变。背景中的分散像素点被忽略，突出了前景的目标特征区域，保证了显著图的简洁性和有效性。 (8) (9) （10）基于网格的特征融合解释算法通过指定区域尺度控制了生成显著图的细度，可以设置特征融合解释算法的网格尺度为输入图像尺度的任意因子，以达到自适应遥感图像尺幅的目的。以输入图像尺度为为例，网格尺度可以设置为，，，，，，…，当网格尺度为时，本文提出的遥感图像细粒度分类可解释方法可以在显著图中指示细度为输入图像尺度0.9%的特征信息，因此，该方法生成的显著图具有清晰的特征边缘，能够保证对目标细粒度分类任务的高精度解释。","result":"介绍了遥感图像细粒度分类的可解释方法Hybrid-Grid。首先，讨论了细粒度分类网络的发展，强调了特征挖掘与样本增强在提升分类精度中的重要性，并介绍了PMG-V2、EFM-Net和ResNet18等模型。接着，分析了现有可解释性分析方法的局限性，包括内在归因方法的梯度噪声问题和外在归因方法的噪声与尺度问题。此外，提出了目标细粒度分类任务的博弈竞争数学模型，定义了独立本质特征集和交互本质特征集，以指导可解释性分析方法的设计。进一步，探讨了本质特征的特征博弈作用，通过泰勒级数展开分析了独立效应和相互作用效应。最后，详细介绍了Hybrid-Grid算法流程，该方法融合了像素级和局部特征关系，通过特征博弈作用的重新分配，提高了解释精度，并通过网格法聚合本质特征，生成具有清晰特征边缘的显著图，以实现对目标细粒度分类任务的高精度解释。","language":"zh"},{"title":"Hybrid-Gird： 遥感图像细粒度分类可解释方法","chapter":"3　实验设计","content":"3.1　实验数据集FGSC-23数据集共23类细粒度船舶类的样本，包括塔川类两栖攻击船舶、两栖攻击船舶等船舶类别共22类，以及非船舶类别1类。Aircraft-16数据集共16类细粒度飞机样本，包括云遮挡、小目标和不平衡样本等困难情况。在FGSC-23、Aircraft-16训练集上分别训练了EFM-Net、PMG-V2、Resnet18，并在测试集上验证分类网络的解释情况，为展示测试集样本分布均衡度，FGSC-23、Aircraft-16训练集的类别和样本数如表2所示。表2数据测试集样本分布数量Table 2Number of sample distributions in the data testing set3.2　实验平台本文实验操作平台为 Ubuntu 18.04 操作系统，使用 CUDA11.3 和 cuDNN8 加速训练，处理器为Intel® Xeon® Silver 4214R CPU@2.40 GHz，GPU 为NVIDIA GeForce RTX 3090（24 G显存）。使用的编程语言为Python，开发框架为Pytorch。其中，实验代码为：PMG-V2，https：//github.com/PRIS-CV/PMG-V2‍［2023-06-30］；EFM-Net，https：//github.com/JACYI/EFM-Net-Pytorch［2023-06-30］。3.3　评价指标为定量评价可解释性分析方法的性能，采用平均下降（Average Drop）、一致性（Coherency）、复杂度（Complexity）、ADCC（Average DCC）、删除和精度损失（Deletion and precision loss）作为可解释性分析方法的评价指标（Poppi等，2021）。（1）平均下降（Average Drop）。该评价指标衡量了当模型仅看到解释图而不是完整图像时，目标类别c的置信度平均下降的百分比。其计算公式为（11）（2）一致性（Coherency）。该评价指标用于衡量可解释性分析方法的显著图在解释预测时是否包含所有相关特征并以连贯的方式去除无用特征。因此，对于给定的输入图像和感兴趣的类别，的显著图在以显著图本身为条件时不应发生变化。其计算公式为 （12） （13）（3）复杂度（Complexity），该评价指标要求显著图尽可能简单，即它必须包含最少的像素来解释预测结果。当归因方法仅突出显示少量像素时，复杂度最小化。这个评价指标有助于评估可解释性分析方法的简洁性，即使用最少的像素来解释预测结果。其计算公式为 （14）（4）ADCC（Average DCC），该评价指标提出于论文《重新评估用于解释性的类激活映射：一种新的评估指标和实验分析》（Poppi等，2021），用于对可解释性分析方法进行解释性评估。ADCC综合考虑了平均减少、一致性和复杂度等多个方面，从而提供了对可解释性分析方法可解释性的全面和公正的评估。其计算公式为 （15）（5）删除和精度损失（Deletion and precision loss），该评价指标衡量在从图像中移除重要特征（由可解释性分析方法提供）后，分类器精度的下降程度。该指标的数值越大，表示删除的特征对分类器的预测精度影响越大，反映了模型对于关键特征的依赖程度。其计算公式为 （16）","result":"介绍了遥感图像细粒度分类可解释方法的实验设计。使用了FGSC-23和Aircraft-16两个数据集，分别包含23类和16类细粒度船舶和飞机样本，考虑了云遮挡、小目标和样本不平衡等困难情况。实验在Ubuntu 18.04操作系统上进行，使用CUDA11.3和cuDNN8加速，配备Intel Xeon Silver 4214R CPU和NVIDIA GeForce RTX 3090 GPU。编程语言为Python，开发框架为Pytorch。实验代码包括PMG-V2和EFM-Net，可通过GitHub访问。评价指标包括平均下降、一致性、复杂度、ADCC和删除与精度损失，以定量评估可解释性分析方法的性能。这些指标综合考虑了模型置信度下降、显著图的连贯性、简洁性以及关键特征对分类器精度的影响。","language":"zh"},{"title":"Hybrid-Gird： 遥感图像细粒度分类可解释方法","chapter":"4　结果与分析","content":"4.1　目标细粒度分类网络的可解释性分析效果评估为了对本文提出的遥感图像细粒度分类可解释方法进行效果评估，使用现有的主流归因分析法和本文所提方法Hybrid-Grid对EFM-Net的全局决策进行解释，包括Smooth-Grad、Deep-Lift和Integrated-Gradients，其解释效果如图2（b）—（d）所示。可见：Deep-Lift和Integrated-Gradients生成的显著图存在噪声和解释效果不佳的问题。其中：由于Integrated-Gradients通过引入与输入相似的多个样本来计算梯度，深度模型内部对这些尺度缩放图像的处理可能存在很大的差异，因此会引入虚假相关性（Yang等，2023），导致生成的显著图错误地强调或忽视一些特征，不能够抓住细粒度分类网络判断依据的本质特征；由于Deep-Lift方法涉及对参考激活的选择，参考激活的不准确或不合适会导致无法捕捉到神经元间复杂的相互作用和依赖关系，此外，梯度传播受限也会导致信息传递不完整等问题，因此解释效果欠佳。与上述两种方法相比相比，Smooth-Grad和Grad-CAM得出较为符合目视解译判断依据的显著图。其中：Smooth-Grad可以生成更清晰、细节较多的显著性图，但会错误地指示飞机的影子等并不属于目标细粒度分类本质特征的干扰信息；Grad-CAM可以关注到对全局决策更重要的块状区域，然而由于全局池化操作的使用，Grad-CAM会丢失一些细节区域的信息，同时，受限于目标细粒度分类网络最后一层卷积层的尺度问题，将热力图映射回原图时导致显著图难以生成较为清晰的特征边缘。综上，目前现有的可解释性分析方法都不能对目标细粒度分类网络的决策过程进行可信赖、稳定的解释，并给出符合人类感知的本质特征表示。（a） 输入图像 （b） 平滑梯度 （c） 深度归因 （d） 积分梯度 （e） 混合网格（a） Input image （b） Smooth-Grad （c） Deep-Lift （d） Integrated-Gradients （e） Hybrid-Grid图2不同解释方法对EFM-Net的解释效果对比（红色响应为网络在分类任务中抓取到的关键特征）Fig. 2Comparison of the explaination effect of different explanation methods on EFM-Net （the red area represents the key features captured by the classification network）本文提出的遥感图像细粒度分类可解释方法——Hybrid-Grid对于以EFM-Net为例的遥感图像目标细粒度分类网络具有更好的解释效果，详见图2（e）。红色响应为网络在分类任务中抓取到的关键特征。可见目标细粒度分类网络在决策过程中对目标的关注区域具有一致性。具体而言，对于船舶细粒度分类任务，以FGSC-23数据集为例，网络主要依赖于船舶的停机坪、舰岛、相控阵雷达等区域进行判断。类似地，在飞机目标细粒度分类任务中，以Aircraft-16数据集为例，网络主要依赖于飞机的机翼、发动机等区域进行判断。Hybrid-Grid可以确定目标细粒度分类网络在分类过程中关注的特定区域包含了目标的本质特征，从而深入理解网络的决策过程。从视觉连贯性和判别性的角度来看（Simonyan等，2014；Zeiler和Fergus，2014；Springenberg等，2014；Selvaraju等，2016；Sundararajan等，2017），Hybrid-Grid在解释区域的定位上表现更准确，其指示区域在目标细粒度分类网络感兴趣的细粒度特征上，同时不易受到影子等干扰因素的影响。从视觉感知角度来看，Hybrid-Grid给出的显著图具有较小的噪声，在解释具体目标的分类时保持了归因分析法所具有的像素级信息和细节性，相对于类激活图映射系列方法具有更清晰的特征边缘。另外，Hybrid-Grid的显著图具有较好的像素连贯性，能够实现以区域响应的形式定位目标物体，显示分类器决策依赖的本质特征的区域。综上所述，本文提出的遥感图像细粒度分类可解释方法同时具有先进的原理和较好的视觉解释效果，能给出对目标细粒度分类网络更准确和直观的解释结果。4.2　基于网格的特征融合解释算法参数Hybrid-Grid的先进性之一体现于它对像素级特征和高层特征的良好平衡，通过调节基于网格的特征融合解释算法的参数，一方面可以达到减少噪声、平滑波动、聚合特征的效果，另一方面可以控制生成显著图的细度，使其在保持对目标细粒度分类网络高精度解释效果的情况下适应不同尺度的遥感图像。以的输入图像尺度为例，可以设置特征融合解释算法的网格尺度为输入图像尺度的任意因子。图3为当网格尺度参数设置为不同值时，所提方法Hybrid-grid对参考分类网络在FGSC-23数据集上进行决策的可解释分析示例。可见：从左到右特征融合解释算法的网格尺度逐渐减小，并且随着该参数的变化，Hybrid-Grid生成的显著图细节性越来越好；对目标细粒度分类网络决策依赖的本质特征的边界描述得更加清晰，而特征像素间的聚合性越来越差，对目标决策重要区域响应的定位变得分散。图3不同网格尺寸参数设置下的Hybrid-Grid可解释性分析方法对EFM-Net的解释效果Fig. 3The explanatory effect of different size grids on EFM-Net为了进一步论证上述结论，在表3中，通过本文提出的Hybrid-Grid所指示的本质特征区域，根据之前所提的可解释性分析方法量化评价指标，以EFM-Net在FGSC-23数据集上的分类任务为例，计算遮挡Hybrid-Grid指示区域造成的删除和精度损失，考察Hybrid-Grid可解释性分析方法能否抓住目标细粒度分类决策依据的本质特征，探究特征融合解释算法的网格参数对其产生的影响。可见：遮挡Hybrid-Grid指示的本质特征所在区域可以使目标细粒度分类网络的Top-1准确率、Top-5准确率和F1指标产生大幅下降；同时，随着掩膜尺寸参数的减小，删除和精度损失指标呈现出一种特殊的变化模式。表 3掩膜尺寸对目标细粒度分类网络精度造成的影响Table 3Influence of different mask sizes on the accuracy of target fine-grained classful network具体来说，在调整掩膜尺寸从3到的过程中，删除和精度损失指标，即Hybrid-Grid对目标细粒度分类网络的解释性能，在掩膜尺寸减小的初期阶段有所下降。这是因为较大的网格尺寸使Hybrid-Grid的特征融合解释算法的定位区域较广，过大的掩膜遮挡面积使得目标细粒度分类网络的准确率大幅下降。但与图3所展示的可视化效果结合来看，较大的网格尺寸可能会导致特征融合解释算法不能良好地融合像素级特征信息和高层特征信息，使Hybrid-Grid无法准确地定位细粒度的本质特征信息，导致可解释性分析方法的性能下降。因此，应进一步减小特征融合解释算法的网格参数。随着掩膜尺寸进一步减小，发现删除和精度损失指标持续上升，这是因为较小的网格尺寸能够使特征融合解释算法更好地捕捉到目标细粒度分类网络决策关注的细微特征，从而提高Hybrid-Grid的解释性能。当掩膜尺寸达到时，Hybrid-Grid的删除和精度损失指标达到了最大值，这意味着在输入图像为的情况下，当特征融合解释算法的网格尺寸为时，Hybrid-Grid能够以最佳的方式解释目标细粒度分类网络的分类决策依据，并提供最准确、详细的本质特征定位。4.3　量化指标评价可解释性分析方法使用平均下降、连贯性、复杂度和ADCC指标对Hybrid-Grid及其他现有可解释性分析方法在EFM-Net、PMG-V2、Resnet18上进行量化指标评估，以定量衡量不同可解释性分析方法在目标细粒度分类网络上的性能。对于普通分类网络来说，包括ResNet18、VGG16在内，Samuele Poppi等（2021）发现CAM系列的Score-CAM在ADCC指标上取得了最好的性能指标，这表明Score-CAM方法能够有效地解释传统分类网络的决策过程，因此在本节中，使用Score-CAM作为分类网络的基准可解释性分析方法。使用Hybrid-Grid对经典分类网络应用于细粒度分类网络任务进行解释，表4为Score-CAM在解释ResNet-18应用于FGSC-23测试集的评价指标情况。可见与在传统分类任务中相比，这4个指标都产生了显著的下降。其中，ADCC指标与Samuele Poppi提出的最优数值77.30%相比下降了16.27%。这是因为ResNet-18在目标细粒度分类任务上的适应性不足，无法有效地捕捉到重要的目标区域进行分类。注： 加粗数值表示不同方法的最优数值， “↓”表示越低越好，“↑”表示越高越好。表4不同可解释性分析方法量化指标评估Hybrid-GirdTable 4Evaluating Hybrid-Gird by different quantitative indicators for explainability%为了评估Hybrid-Grid在解释目标细粒度分类网络方面的优势，本文选择EFM-Net作为目标模型，并使用上述量化指标来比较本文提出的可解释性分析方法Hybrid-Grid和基准方法Score-CAM对EFM-Net应用于FGSC-23测试集的解释效果（表4）。可见Hybrid-Grid在所有指标上都取得了最好的结果，该指标证明其能够对提供一致且准确的解释；去除冗余特征、突出本质特征；其解释具有更高的可靠性和稳定性。与之相比，Score-CAM虽然在解释传统分类任务时表现良好，但在解释目标细粒度分类网络时存在一定的局限性，这也证明了现有可解释性分析方法对目标细粒度分类网络关注的本质特征的解释能力有限。为了验证Hybrid-Grid解释方法在其他目标细粒度分类网络上的通用性和有效性，选择了2021年提出的PMG-V2网络作为测试网络，使用FGSC-23作为测试集，将Hybrid-Grid对PMG-V2网络的分类过程进行可解释性分析，并与基准方法Score-CAM进行比较，结果如表4所示。可见：Hybrid-Grid对PMG-V2的解释效果在所有指标（包括平均下降、一致性、复杂度、ADCC）上均优于Score-CAM，并展现出优秀的数值。这表明对于目标细粒度分类网络PMG-V2来说，Hybrid-Grid具有更加准确和稳定的解释能力。该实验证明了Hybrid-Grid不仅适用于之前提出的EFM-Net网络，还可以应用于其他目标细粒度分类网络，且在这些网络上也具备良好的解释性能。综上所述，量化指标结果证明了EFM-Net在目标细粒度分类任务上的先进性，以及Hybrid-Grid在解释目标细粒度分类模型的通用性和优越性。4.4　删除及精度损失实验本文使用删除及精度损失指标对Hybrid-Grid及其他现有可解释性分析方法进行评估，通过在原测试集以及根据不同可解释性分析方法使用掩膜遮挡了测试图像特定区域的测试集进行测试，考察目标细粒度分类网络的精度损失情况。考察的精度指标包括Top-1准确率、Top-5准确率和F1。Top-1准确率是指模型在对单个样本进行分类时，预测的最高置信度类别与实际类别相符的比例；Top-5准确率是指模型在对单个样本进行分类时，在前5个最高置信度的预测类别中，至少有一个与实际类别相符的比例；F1综合考虑了模型的精确率（预测为正例的样本中，真正为正例的比例）和召回率（实际为正例的样本中，被正确预测为正例的比例）的指标，可以评估模型的分类性能。预测结果详见表 5。 可见以在FGSC-23数据集上训练后的EFM-Net为例，遮挡Hybrid-Gird指示的重要区域后，目标细粒度分类网络的Top-1准确率下降了16.92%，Top-5准确率下降了1.61%，F1下降了17.21%；通过与根据其他可解释性分析方法的遮挡结果进行比较，Hybrid-Grid指示的重要区域对Top-1、Top-5准确率和F1指标产生的影响高于其他两个可解释性分析方法。以Aircraft-16数据集为例，所选网络在Aircraft-16测试集上的Top-1准确率下降了12.18%，Top-5准确率下降了2.1%，F1下降了11.95%。通过与其他可解释性分析方法结果进行比较，Hybrid-Grid可解释性分析方法指示的重要区域对Top-1、F1指标产生的影响高于其他两个可解释性分析方法，对Top-5准确率的影响略低于Grad-CAM。表5不同遮挡情况对EFM-Net性能指标的影响Table 5The impact of occlusion experiments on accuracy%因此，Hybrid-Grid抓取的特征确实是对目标细粒度分类网络决策过程最关键的本质特征，证实了Hybrid-Grid对目标细粒度分类网络的解释性能优于现有可解释性分析方法。4.5　可解释性分析方法的适应性和可行性在本研究中，对Hybrid-Gird在不同数据集、不同分类网络上的适应性和可行性进行了实验。本文选择了一个常用的分类网络即传统的ResNet18，以及两个具有代表性的目标细粒度分类网络即PMG-V2和EFM-Net，并将其应用于2个具有代表性的FGSC-23和Aircarf-16数据集，获得在这些数据集上的分类结果。后使用本文提出的可解释性分析方法Hybrid-Gird对这些分类网络的决策过程进行解释，通过该可解释性分析方法，能够可视化输入图像中对网络模型决策具有关键作用的本质特征，这些解释结果如图3所示。可见，从左到右特征融合解释算法的网格尺度逐渐减小，并且随着该参数的变化，Hybrid-Grid生成的显著图细节性越来越好；对目标细粒度分类网络决策依赖的本质特征的边界描述得更加清晰，而特征像素间的聚合性越来越差，对目标决策重要区域响应的定位变得分散。同时，本文还使用了多种评价指标来量化评价Hybrid-Gird的性能。这些评价指标包括平均下降（Average Drop）、一致性（Coherency）、复杂度（Complexity）、ADCC（Average DCC）、删除和精度损失（Deletion and precision loss）等，用于评估Hybrid-Gird在不同数据集和不同目标细粒度分类网络上的表现，以判断可解释性分析方法的适应性和可行性。上述实验结果证明，在不同的数据集和分类网络中，Hybrid-Gird可以准确捕捉到输入图像中与目标分类密切相关的关键特征，并通过可视化结果展示出来。这表明Hybrid-Gird能够应用于不同分类网络、不同数据集进行解释。","result":"提出的遥感图像细粒度分类可解释方法Hybrid-Grid在效果评估中显示出比现有主流归因分析法更优的解释效果。Hybrid-Grid能够生成清晰、细节丰富的显著图，有效捕捉目标细粒度分类网络在决策过程中关注的关键特征，如船舶的停机坪、舰岛、相控阵雷达以及飞机的机翼、发动机等区域。与Smooth-Grad和Grad-CAM等方法相比，Hybrid-Grid在视觉连贯性和判别性上表现更准确，且不易受干扰因素影响。\n\nHybrid-Grid的先进性还体现在对像素级特征和高层特征的良好平衡，通过调节算法参数，可以减少噪声、平滑波动、聚合特征，同时控制生成显著图的细度，适应不同尺度的遥感图像。实验结果表明，随着网格尺度参数的减小，Hybrid-Grid生成的显著图细节性越来越好，边界描述更清晰，但特征像素间的聚合性变差。\n\n量化指标评价显示，Hybrid-Grid在平均下降、连贯性、复杂度和ADCC等指标上均优于现有可解释性分析方法，如Score-CAM。在EFM-Net、PMG-V2、Resnet18等网络的量化评估中，Hybrid-Grid均取得了最佳结果，证明了其在目标细粒度分类网络上的通用性和优越性。\n\n删除及精度损失实验进一步证实了Hybrid-Grid抓取的特征对目标细粒度分类网络决策过程的重要性。遮挡Hybrid-Grid指示的重要区域后，网络的Top-1准确率、Top-5准确率和F1指标均出现显著下降，且Hybrid-Grid指示区域对这些指标的影响高于其他可解释性分析方法。\n\n最后，Hybrid-Gird在不同数据集、不同分类网络上的适应性和可行性得到了验证。实验结果表明，Hybrid-Gird能够准确捕捉输入图像中与目标分类密切相关的关键特征，并通过可视化结果展示出来，证明了其在不同分类网络、不同数据集进行解释的能力。","language":"zh"},{"title":"Hybrid-Gird： 遥感图像细粒度分类可解释方法","chapter":"5　结论","content":"本文通过研究目标细粒度分类任务问题的数学模型，并提出一种基于本质特征博弈数学框架及语义可解释的归因方法Hybrid-grid，探究了目标本质特征对网络决策过程的影响情况。主要结论如下：（1）高分辨率遥感图像内容复杂、特征丰富，现有常用的可解释性分析方法仅考虑目标部件特征之间的竞争关系，不能实现高精度、可视化的可解释性分析；（2）为表明现有目标细粒度分类网络与数据集之间存在的决策偏见和路径依赖，需要对遥感图像目标细粒度分类决策过程建立数学框架，精细刻画目标本质特征，准确描述目标可信识别任务中决策特征归因过程；（3）通过融合像素级特征关系与图像局部特征关系，可以进一步提升目标本质特征的可视化效果和解释准确度，辅助提升细粒度分类网络的分类性能与决策可信性；（4）通过设置和调整特征融合的网格参数，可以实现可解释性分析方法对遥感图像尺度的自适应。未来的工作将进一步提升目标本质特征的可视化效果和解释准确度，辅助提升细粒度分类网络的分类性能与决策可信性。","result":"总结了Hybrid-Grid方法在遥感图像细粒度分类任务中的应用，指出了现有方法的局限性，提出了基于数学框架的可解释性分析方法，并通过融合不同级别特征提升了可视化效果和解释准确度，同时实现了对不同尺度图像的自适应性。未来工作将进一步提高方法的可视化和解释能力，以增强分类性能和决策可信性。","language":"zh"}]”