“[{"title":"分级监督范式指导下的遥感图像超分辨率方法","chapter":"1　引言","content":"近年来，随着在轨卫星数量的增加，遥感图像数据量快速增加，为目标检测（Cheng和Han，2016；Deng等，2018；Li等，2020）、语义分割（Kampffmeyer等，2016；Diakogiannis等，2020；Yuan等，2021）、场景分类（Lu等，2017；Cheng等，2017；Xie等，2019）等任务提供了充足的数据基础。作为输入数据，遥感图像的分辨率对上述图像处理任务精度有较大影响。清晰的高分辨率遥感图像是上述任务取得良好结果的基础。与直接提升遥感卫星成像设备分辨率相比，超分辨率作为一项便捷、低成本提升遥感图像分辨率的技术，可为各类图像处理任务提供更加清晰的数据集，具有广阔的应用价值。现有基于深度学习的超分辨率方法采用卷积神经网络（Wang等，2018；Zhang等，2019；Arun等，2020；陈行和罗斌，2021；唐晓天 等，2022）、生成对抗网络（Jiang等，2019；Gong等，2021；Xu等，2022）、Transformer网络（Liang等，2021；Lei等，2022；Hu等，2022）等不同的骨干网络结构，但其总体网络结构大都具有一个共同点：只对网络输出结果进行一次监督。无论超分辨率倍率如何，现有超分辨率方法大多“一步到位”式地将低分辨率图像重建为高分辨率图像，并且只在网络输出结果处施加一次监督。监督次数的不足将导致超分辨率结果中存在细节损失和伪细节，这对于基于遥感图像的灾害预测（Twumasi等，2019；Im等，2019；Ye，2022；Wang等，2021）、环境保护（甄佳宁 等，2022）、侦察监视（Voinov等，2018）等任务有较大影响，有时甚至会导致严重后果。因此，需尽量减少超分辨率结果中的细节损失与伪细节。在SRCNN方法（Dong等，2014）中，深度网络第一次被运用至超分辨率技术，构建了由特征提取和上采样两大基本模块组成的超分辨率网络基本结构。此后，基于深度学习的超分辨率技术快速发展。FSRCNN方法（Dong等，2016）将SRCNN的前上采样结构修改为后上采样结构，结合修改了特征维度和卷积核参数的网络模型，实现了超分辨率效果与处理速度的同步提升。ESPCN方法（Shi等，2016）则针对超分辨率网络的上采样模块进行改进，提出了适用于图像上采样的亚像素卷积方法，进一步提升了超分辨率效果。在EDSR方法（Lim等，2017）、SRGAN方法（Ledig等，2017）、SwinIR方法（Liang等，2021）中，残差卷积网络、生成对抗网络、Transformer网络被分别被引入至超分辨率网络中，通过增强网络特征提取能力以促进超分辨率效果提升。近年来，超分辨率技术持续发展，多种方法被提出。BSRGAN方法（Zhang等，2021）针对现有基于退化模型的方法对多场景适应性差的问题，提出了包含更复杂模糊、噪声的退化模型，以此为基础训练盲超分辨率对抗生成网络，可使得网络具有更强的泛化性能，满足多种场景下的超分辨率需求。NLSA方法（Mei等，2021）中指出将非局部先验作为正则化加入超分辨率过程，有利于缓解超分辨率非适定性。非局部计算需计算每个点间的相关性，其计算量与图像尺寸的平方成正相关，计算量较大。针对这一问题，NLSA方法提出了一种稀疏的全局注意力模块，通过局部敏感哈希搜索减少计算量，并将其嵌入现有例如EDSR网络以提升超分辨率效果。DCSR方法（Wang等，2021）使用同一成像设备的长焦影像与广角影像进行超分辨率网络训练，无需引入外源图像作为监督。结合自监督自适应机制，取得了良好的超分辨率效果，这对于具备多种成像设备的遥感卫星也具有一定的参考意义。针对目前超分辨率过程中文字区域重建效果不佳的问题，TATT（Ma等，2022）提出了一种文字注意力网络结果。文字注意力网络首先提取文字语义作为先验信息，在文字重构过程中对其进行语义引导。同时，设计文字结构一致性损失函数，对超分辨率重建结果中扭曲变形文字进行监督。遥感影像中也存在地面标识线、建筑墙体文字等细节，TATT方法具有一定的参考意义。目前，超分辨率技术的图像重建效果已经较其问世时有显著提升，但仍与高分辨率真值图像存在差距。这是因为超分辨率的非适定性为超分辨率效果提升带来了困难。对于同一张低分辨率图像，其可由多张不同的高分辨率图像下采样获得。同样，由同一张低分辨率图像出发，可将其重建为多张不同的高分辨率图像，而超分辨率任务便是从所有重建图像中筛选出最接近真值的一张。针对超分辨率非适定性的研究伴随着超分辨率技术的发展而同步进行。在VDSR方法（Kim等，2016）中，研究人员认为网络层数不足，感受野较小会加剧超分辨率非适定性。增加网络层数，增强网络特征提取能力是缓解超分辨率非适定性的途径之一。VDSR方法通过加深卷积网络层数来扩大网络感受野，利用更大范围的图像特征来恢复图像细节，与层数较少的SRCNN方法相比，超分辨率效果显著提升。随着深度学习技术的发展，其网络结构层数与参数量急剧增加。同时，近年来新兴的Transformer网络相比卷积神经网络已具备覆盖整幅图像的感受野。因此，单纯通过堆叠网络层数和增大感受野范围的方式已难以有效抑制超分辨率非适定性。SRGAN方法首次将生成对抗网络应用至超分辨率技术，以取代常用的均方误差损失函数。这是因为均方误差损失函数虽有利于使超分辨率结果具有较高的峰值信噪比，但也具有过度平滑和丢失高频细节的问题。SRGAN方法使用生成对抗网络结构对超分辨率网络进行训练，引导网络输出更接近真值的图像，在提升图像细节重建效果方面取得了良好效果。上述两种思路均实现了超分辨率效果提升，但未能对超分辨率非适定性和网络监督次数之间的关系进行讨论。综上，超分辨率的非适定性主要体现在由低分辨率图像上采样至超分辨率图像时的不唯一性。这导致由低分辨率图像映射至高分辨率图像的函数空间过大，给深度网络训练、拟合及超分辨率效果提升造成困难。针对这一问题，DRN方法（Guo等，2020）提出了具有两级监督的双重回归网络结构。在超分辨率过程前半段，DRN方法与大多超分辨率方法一致，即将低分辨率图像作为输入，依次进行特征提取和上采样处理，得到超分辨率结果，在超分辨率结果与高分辨率真值间计算损失函数并迭代更新网络参数。完成上述处理后，DRN方法为超分辨率添加了后半段过程，将超分辨率结果再次下采样至与低分辨率输入图像相同尺寸，在下采样结果与输入图像间计算第二个损失函数并再次迭代更新网络参数。因此，DRN方法具有两次监督，超分辨率非适定性得到一定程度的抑制。然而，DRN方法的第二次监督施加在下采样的超分辨率结果上，超分辨率重建的图像细节可能在下采样过程中再次丢失，基于低分辨率图像求出的损失函数可能也不完全适合引导高分辨率细节的重建。此外，DRN方法的监督次数随较单次监督有所增加，但未尝试将更多次监督施加至超分辨率过程中。基于上述问题及研究现状，本文提出基于分级监督的遥感图像超分辨率方法（MSSR），其流程如图1所示，与现有超分辨率方法大都采用一步到位式结构和单次监督相比，本文方法将超分辨率过程分为多个阶段，借助分级监督结构将经验知识充分嵌入超分辨率过程。本文的主要创新点为：（1）提出分级监督架构，多级真值图像被作为监督施加在超分辨率网络中各级同构超分辨率模块的输出处，将经验知识充分嵌入超分辨率过程，指引图像细节恢复，提升超分辨率效果。（2）设计轻量化的、具有可调超分辨率倍数的同构超分辨率模块（BSRC），便于灵活搭建具有不同级数不同超分辨率倍数的分级监督网络。各级BSRC网络结构基本相同，便于训练参数迁移，缩短网络训练时间。（3）探究分级监督网络总体超分辨率倍数一定时，不同的分级级数和各级超分辨率倍数组合对超分辨率效果的影响，给出最佳超分辨率网络分级方式。在本文构建的新数据集（RSSRD）和两个已有公开数据集上进行实验，将本文方法与常用超分辨率方法对比，本文方法具有更好的超分辨率效果。图 1基于分级监督的超分辨率网络流程示意图Fig. 1Flow graph of super-resolution network based on multi-level supervision","result":"介绍了遥感图像超分辨率技术的重要性和应用背景，指出高分辨率遥感图像对于目标检测、语义分割和场景分类等任务至关重要。同时，分析了现有基于深度学习的超分辨率方法的局限性，如单次监督导致的图像细节损失和伪细节问题。文章回顾了超分辨率技术的发展，包括SRCNN、FSRCNN、ESPCN、EDSR、SRGAN、SwinIR等方法，并讨论了它们在提升超分辨率效果方面的贡献。此外，还提到了BSRGAN、NLSA、DCSR和TATT等方法在解决特定问题方面的创新。文章强调了超分辨率非适定性问题，并介绍了VDSR和SRGAN等方法在缓解该问题方面的尝试。最后，提出了本文的主要创新点，即基于分级监督的遥感图像超分辨率方法（MSSR），通过多级真值图像监督和轻量化的同构超分辨率模块，实现更优的超分辨率效果，并在新构建的数据集和公开数据集上进行了实验验证。","language":"zh"},{"title":"分级监督范式指导下的遥感图像超分辨率方法","chapter":"2　研究方法","content":"如上文所述，超分辨率是一个非适定性问题。超分辨率的非适定性会导致超分辨率重建结果中出现细节损失和伪细节。为了缓解超分辨率的非适定性。我们提出了基于分级监督的遥感图像超分辨率方法，总体网络结构由多个同构超分辨率模块组成，模块数量及各模块超分辨率倍数可灵活调整。多次监督被分别施加至各模块输出处，各级监督采用不同的损失函数，网络各部分具体实现细节将在本节依次阐述。2.1　分级监督超分辨率网络分级监督超分辨率网络结构如图2所示，其由多个同构超分辨率模块和分级监督结构组成。得益于同构超分辨率模块的级联结构，分级监督超分辨率网络可处理多种放大倍率的超分辨率任务。对于较小倍率，可使用较少的同构超分辨率模块，对于较大倍率，则可考虑适当增加模块数量，使网络整体在参数量与超分辨率效果间取得较好的平衡。每个同构超分辨率模块的图片放大倍数则由网络整体超分辨率倍数和分级级数共同决定。图 2分级监督超分辨率网络结构图Fig. 2Structure of super-resolution network based on multi-level supervision同构超分辨率模块由多尺寸局部特征提取、全局特征提取和图像重建组成，其中，各个模块特征提取部分网络结构相同，图像重建可设置不同超分辨率倍率，兼具通用性与灵活性。对于通用性方面，分级监督网络在相较于单级监督网络引入更多经验知识的同时，也不可避免地导致网络层数的增加，进而导致网络训练时间延长。若在进行整体网络训练时，逐个训练各同构超分辨率模块，则将导致训练过程的枯燥与容差。因此，将各个模块特征提取部分设计为相同网络结构，便于参数迁移。在灵活性方面，每个模块的图像重建部分的超分辨率倍数可自定义，便于搭建多种分级监督网络。在进行分级监督超分辨率网络训练时，首先充分训练第一级同构超分辨率模块，得到较好的第一级输出结果。随后，将第一级同构超分辨率模块特征提取部分已训练完成的网络权重迁移至后续模块，作为后续模块训练起始权重。最后，运行网络完整超分辨率流程，使输入图像经各级模块处理并放大至所需分辨率，同步训练各级模块，微调网络整体至最佳状态。为便于表述分级监督超分辨率网络结构和参数，设网络总体超分辨率倍数为，网络分级级数为，即分级监督网络借助个同构超分辨率模块完成倍超分辨率任务。在每个模块的输出处，超分辨率结果受对应的真值图像监督。这些真值图像由高分辨率真值图像下采样得到，根据各级模块输出图像尺寸，下采样至相应大小。分级监督超分辨率网络的总损失函数可以表示为 (1)式中，为分级监督超分辨率网络的总损失函数，为第级同构超分辨率模块的损失函数，为第级同构超分辨率模块的损失函数的权重。由式（1）可见，分级监督超分辨率网络的训练目标是将各级模块损失函数之和降至最低。同时，考虑到不同模块可能具有不同的超分辨率倍数，为各模块设置了可调整的权重。基于上述设计的分级监督超分辨率网络有利于推动超分辨率效果提升，一方面，分级监督结构引入多级监督图像，充分嵌入经验知识，及时地在各级超分辨率模块输出处监督并纠正错误恢复的图像细节，防止其对后续模块造成不利影响。另一方面，分级监督结构减少了每个同构超分辨率模块在超分辨率过程中需要预测的像素数量。例如，对于常用的一步到位式超分辨率方法，仍假设超分辨率倍数为，则网络需从1个像素预测个像素。对于分级监督超分辨率网络，假设每个同构超分辨率模块倍率相同，则每个模型仅需从1个像素预测个像素。所需要预测的像素数量减少，则由低分辨率图像映射至较高分辨率图像所有可能的函数空间减少，每级超分辨率非适定性减弱，有利于减少超分辨率结果中细节损失和伪细节的出现。2.2　同构超分辨率模块同构超分辨率模块是分级监督超分辨率网络的核心组件，由多尺度局部特征提取、全局特征提取和图像重建组成。遥感图像包含丰富多样的地物细节，较强的特征提取能力是获得良好超分辨率效果的基础。因此，设计具有双重特征提取网络的同构超分辨率模块，同时使用卷积神经网络和Transformer网络进行特征提取。多尺度局部特征提取用于提取图像浅层局部特征信息，全局特征提取则具有更大的感受野，用于在更大范围内提取图像深层特征信息。多尺度局部特征模块提取部分基于轻量化的金字塔型卷积网络设计，卷积层数为3。输入图像依次经各个卷积层处理，得到3张不同尺寸的特征图。各卷积层参数如表1所示。表 1各卷积层参数设置Table 1Parameter settings for each convolutional layer通过设置第1个卷积层尺寸、步长、填充值为3、1、1，使得到的第1张特征图尺寸如输入图像相同。设置第2、3个卷积层尺寸、步长、填充值分别为3、2、1，使得特征图经处理后尺寸减半。第2、3张特征图被传入特征上采样层，通过亚像素卷积方法上采样至与输入图像相同尺寸，与第1张特征图按通道连接，实现特征融合。融合特征图经残差结构与输入图像相加后作为多尺度局部特征提取模块的输出。以上过程可表示为 (2)式中，为低分辨率输入图像，代表第1个卷积层的处理过程，为第1个卷积层的输出特征图。被送入第2、3个卷积层进一步处理，可表示为 (3) (4)式中，‍表示特征上采样层的处理过程。3个卷积层的输出按通道连接并与输入图像进行残差连接，可表示为 (5)式中，表示按通道连接，为多尺寸局部特征提取模块的输出，送入全局特征提取模块做进一步处理。全局特征提取基于Swin Transformer（Liu等，2021）骨干网络设计，Swin Transformer为目前常用的图像处理任务骨干模型，由窗口注意力层和移动窗口注意力层组成一个基本网络块（STB），由多个STB组成一个基本网络层（STL），融合卷积神经网络与Transformer网络的特点，具有感受野大、参数量少的优点。针对分级监督超分辨率任务的需求，首先修改网络层间特征图处理方式，使特征图尺寸不再逐级缩小，而是一直保持与输入图像相同的尺寸，便于进行图像重建处理。其次，在STL内和整个全局特征提取部分添加残差连接结构，STL内的残差连接结构是否生效由STB网络数量决定，当STB数量少于等于2时，残差连接结构不生效，当STB数量大于2时，残差连接结构生效。全局特征提取网络中第个STL层的处理过程可表示为 (6)式中，表示STL层，表示第个STL层的输出。假设STL层数量为4，则全局特征提取网络的输出为 (7)即最后一个STL层的输出与多尺寸局部特征提取网络的输出进行残差连接。STB由层归一化、MLP层、窗口注意力结构和平移窗口注意力结构组成。MSSR网络包含4个STL模块，每个STL分别由2、2、6、2个STB组成。其中，第一个STL中包含Patch Embedding层，用于输入图像分块和编码。最后，被送入图像重建网络，得到最终的超分辨率结果： (8)图像重建网络由卷积层和上采样操作组成，可通过调整上采样参数设置实现包括非整数倍在内的多种倍率图像重建。2.3　超分辨率网络分级方式在搭建分级监督网络完成超分辨率任务时，需首先确定网络的总超分辨率倍数。当网络的总超分辨率一定时，再确定合适的网络分级级数和各级同构超分辨率模块的倍数。此外，各级同构超分辨率模块的倍数也有多种组合方式。对于确定的超分辨率任务，网络总超分辨率倍数也是确定的。随着分级级数的增加，监督次数增加，超分辨率非适定性减弱。同时，网络总层数增加，参数量增加，网络训练时间延长。综合考虑超分辨率网络性能和参数量，则超分辨率网络分级方式的优化目的如下： (9) (10)式中，为第级同构超分辨率模块，为第级超分辨率倍数，为第级超分辨率结果，为第级超分辨率真值。表示根据第级超分辨率结果和真值计算的损失函数，用于衡量第级的超分辨率效果。为第级同构超分辨率模块参数量，用于衡量网络复杂程度和计算量。和分别为权重系数。由上式可见，最佳的超分辨率网络分级方式应再各级网络性能与复杂度间取得良好的平衡，在可接受的参数量之内达到最好的超分辨率效果，使二者值之和最小。同时，由式（9）可以看出，网络损失函数与参数量之和与网络分级级数之间的关系难以预测。不妨假设分级级数从1开始增加，最初，分级级数较小，随着各级网络被充分训练，分级技术的增加有利于网络中监督次数的增加，减少超分辨率结果中的细节损失与伪细节的出现，反应在式（9）中，则是各级模块损失函数之和减小。此时，分级级数的增加虽会导致网络层数增加，但通过设计合适的轻量化超分辨率模块以控制参数量，仍可实现网络损失函数与参数量之和的减小。随着分级级数继续增加，对于一定倍率的超分辨率任务，同构超分辨率模块数量可能已经饱和。更多的网络分级带来的性能提升有限，但大大增加了网络参数量。实际上，在后文展示的实验结果一定程度上验证了这一分析，在4倍超分辨率任务上使用分级监督结构比在2倍超分辨率任务上取得了更大幅度的性能提升，过多的网络分级对于2倍超分辨率是冗余的，但可以显著提升4倍超分辨率效果。在确定了网络分级级数后，每个同构超分辨率模块的超分辨率倍数选择也是值得讨论的问题。假设网络分级级数为，第级模块超分辨率倍数为，则网络分级级数，各级超分辨率倍数于网络总超分辨率倍数的关系如下： (11)由式（11）可见，当增加时，各级超分辨率倍数减小，当趋于无穷大时，趋向于1。这表示每级模块只以非常小的超分辨率倍数放大网络，也只需非常少的参数完成本级超分辨率任务。因此，当趋向于无穷大时，网络总参数量的增减趋势难以预测。综上所述，需对分级监督网络分级方式进行研究，寻找超分辨率网络性能、参数量与网络分级方式间的关系。在进行关于分级监督网络分级方式的实验时，从两个方面展开，即网络分级级数与各级超分辨率倍数。在网络分级级数方面，逐渐增加网络分级级数，综合比较网络总参数量与超分辨率效果，得到最佳分级级数。在网络各级超分辨率倍数方面，设计等差、等比两种均匀分布组合和前段密集、后段密集两种不均匀分布组合，以4倍超分辨率为例，假设将网络分为4级，则各级超分辨率输出相较于输入图像的放大倍数如表2所示。表2网络各级超分辨率倍数组合方式Table 2Combination of super-resolution scale factors of each BSRC2.4　损失函数在深度学习发展过程中，研究学者提出了多种损失函数。其中，损失函数和感知损失函数（Johnson等，2016）是图像处理领域常用的两个损失函数，损失函数计算原理简单，可有效提升超分辨率结果的峰值信噪比（PSNR），但存在过度平滑，丢失高频细节的问题。对于本文提出的分级监督超分辨率网络，在各级设计不同的损失函数，在第1、2级网络输出处使用感知损失函数，在第3、4级网络输出处使用感知损失和损失函数的组合。第1、2级的损失函数可表示为 (12) (13)式中，为感知损失，表示第级网络的损失函数，为权重系数，为第2级网络超分辨率倍数。感知损失函数使用从网络输出图像和真值提取的特征图计算损失函数，有利于在超分辨率早期阶段找出图像细节损失或伪细节产生的深层原因，防止其对后续超分辨率模块产生影响。同时，感知损失函数有利于引导超分辨率网络生成视觉效果更好的图像。在第3、4级网络中，超分辨率结果即将作为网络的处理结果并输出，同时接受损失函数与人眼视觉的双重评估。因此，在第3、4级网络中采用包含感知损失和损失函数的组合损失函数，可表示为 (14)式中，和为权重系数。令、，通过调整寻找和最优值。经多次预先训练尝试，当取0.44，取0.56左右时，超分辨率结果具有较高的SSIM、PSNR值。同时，考虑到超分辨率图像视觉效果与SSIM、PSNR不具有一致性，当SSIM和PSNR较高时，视觉效果反而可能下降。因此，取和为0.5，赋予感知损失和损失平等的权重，使超分辨率结果兼具较好的视觉效果和较高的SSIM、PSNR值。依此为基础，构建第3、4级网络损失函数。考虑分级监督网络级数和各级超分辨率倍数，第3、4级网络损失函数可表示为 (15)如式（12）、（14）所示，第2、3、4级网络损失函数均包含了其之前网络模块的损失，以增强分级监督网络中早期细节恢复效果对后期的影响，同时，为了避免重复计算，将权重的分母设计为。当与间隔网络级数越多、距离越远时，越大，权重越小。","result":"介绍了一种基于分级监督范式的遥感图像超分辨率方法。超分辨率是一个非适定性问题，易导致细节损失和伪细节。为解决这一问题，提出了一种由多个同构超分辨率模块组成的网络结构，这些模块数量和超分辨率倍数可灵活调整，并通过多次监督施加不同的损失函数。\n\n2.1节详细描述了分级监督超分辨率网络的结构，该网络由多个同构超分辨率模块和分级监督结构组成，能够处理不同放大倍率的超分辨率任务。每个模块的图片放大倍数由网络整体超分辨率倍数和分级级数共同决定。同构超分辨率模块由多尺寸局部特征提取、全局特征提取和图像重建组成，具有通用性和灵活性。训练时，先训练第一级模块，然后将权重迁移至后续模块，并同步训练各级模块。\n\n2.2节讨论了同构超分辨率模块的设计，包括多尺度局部特征提取和全局特征提取。多尺度局部特征提取基于轻量化的金字塔型卷积网络设计，而全局特征提取基于Swin Transformer骨干网络，具有大感受野和少参数量的优点。\n\n2.3节探讨了超分辨率网络的分级方式，包括确定网络的总超分辨率倍数、分级级数和各级模块的倍数。实验表明，分级监督结构在4倍超分辨率任务上比2倍任务上取得了更大幅度的性能提升。\n\n2.4节讨论了损失函数的选择。在第1、2级网络输出处使用感知损失函数，而在第3、4级网络输出处使用感知损失和损失函数的组合。通过调整权重系数，可以找到使超分辨率结果具有较高SSIM、PSNR值的最优值。同时，考虑视觉效果与SSIM、PSNR的不一致性，赋予感知损失和损失平等的权重，以获得较好的视觉效果和较高的SSIM、PSNR值。","language":"zh"},{"title":"分级监督范式指导下的遥感图像超分辨率方法","chapter":"3　实验结果与分析","content":"3.1　实验数据近年来，在轨遥感卫星数量快速增长，遥感图像数据资源日益丰富，但现有遥感图像数据集并不完全适用于超分辨率任务。一方面，一些数据集制作时间较早，图像分辨率受当时技术水平所限，难以为超分辨率任务提供充足的图像细节信息。另一方面，大多数数据集针对目标检测任务制作，包含大量的车辆、飞机和舰船图像，缺乏建筑、植被、水面等区域的图像，地物种类和细节不够丰富。因此，本文针对超分辨率任务制作了包含多种场景和地物细节的新数据集RSSRD（图3）。图3RSSRD数据集部分图像展示Fig. 3Selected images from the RSSRD dataset除本文新构建的数据集外，为了充分训练和测试本文方法与对比方法，使用UCMerced（Yang和Newsam，2010）和AID（Xia等，2017）两个现有公开数据集作为训练和测试数据，各数据集中图像波段、分辨率、数据规模如表3所示。表 3各数据集参数表Table 3Details of each dataset实验软件环境为安装10.0版本CUDA和1.6.0版本Pytorch 的Ubuntu 18.04系统。在实验结果方面，使用峰值信噪比（PSNR）和结构相似度（SSIM）作为超分辨率效果评价指标。3.2　分级监督网络分级方式实验构建分级监督网络需确定网络分级级数与各级超分辨率倍数。对于网络分级级数，逐级增加超分辨率模块数量，对比超分辨率效果，4倍超分辨率实验结果如表4所示。对于4倍超分辨率，当网络分级级数由1增加至4时，PSNR与SSIM增幅明显，超分辨率网络性能提升。当网络分级级数由4增加至6时，PSNR与SSIM增幅显著减小，此时继续增加网络级数所带来的性能提升有限。因此，4级网络是较为适合4倍超分辨率的网络分级结构。表 4不同网络分级级数及实验结果Table 4Experiment results of networks with different number of levels确定网络分级级数后，需确定各级网络超分辨率倍数，对于4级4倍超分辨率网络，各级网络超分辨率倍数组合方式及实验结果如表5所示。表5各级网络超分辨率倍数组合方式及实验结果Table 5Experiment results for different combinations of BSRC super-resolution scale factors由表5可见，在4倍4级监督超分辨率过程中，等差、等比两种倍数组合方式的超分辨率效果明显优于前段密集、后段密集两种方式，等比组合方式优于等差组合方式。因此，分级监督超分辨率网络中各级超分辨率倍数按等比数列分布时可取得更好的超分辨率效果。3.3　分级监督网络超分辨率效果实验由上述实验确定网络分级级数和各级网络超分辨率倍数后，构建分级监督网络进行训练与测试，并将实验结果与现有常用超分辨率方法对比。选取的对比方法为SRGAN、RDN（Zhang等，2018a）、RCAN（Zhang等，2018b）、DRN、TransENet（Lei等，2022）、SwinIR、ESRGCNN（Tian等，2022）。其中，SRGAN采用生成对抗网络结构，TransENet采用卷积神经网络与Transformer网络结合的结构，其余方法采用卷积神经网络结构。以上方法均在发表时取得了最佳（SOTA）结果。经充分训练后，使用PSNR和SSIM两种评价指标对分级监督超分辨率网络及对比方法的实验结果进行评估，如表6所示。由表6中数据可见，分级监督超分辨率网络在两种指标、两类超分辨率任务和3个数据集上，除个别数据外，均优于现有常用超分辨率方法。在4倍超分辨率任务中，本文方法比现有方法取得了约0.33—1.48 dB的PSNR提升和约0.0225—0.1188的SSIM提升。在两倍超分辨率任务中，本文方法比现有方法取得了约0.07—0.27 dB的PSNR提升和约0.0069—0.0407的SSIM提升。可以看出，分级监督网络在4倍超分辨率任务上取得了比两倍超分辨率任务更大幅度的性能提升，与前文分析相符。表6分级监督超分辨率网络与现有超分辨率网络对比Table 6Comparison of MSSR method with existing super-resolution methods分级监督超分辨率网络与对比方法的部分实验结果图像如图4所示，其中，HR为高分辨率真值图像，GT为所裁区域的真值图像。在图4中，依次展示了6组图片的实验结果及其对比。在第1、2组实验结果中，分级监督超分辨率网络输出的重建图像与对比方法相比，重建出了更多线条细节，具有更少的细节损失。在第3—6组实验结果中，分级监督超分辨率网络输出的重建图像与对比方法相比具有更少的伪细节。图4分级监督超分辨率网络与现有超分辨率网络实验结果对比Fig. 4Comparison of experiment results of MSSR method with existing super-resolution methods此外，分级监督网络具有一定程度的轻量化设计，其参数量在对比方法仅多于SRGAN、ESRGCNN，各方法运算时间对比如表7所示，可见其运算时间也在众多对比方法中具有一定优势。综上所述，分级监督网络通过引入更多监督，将经验知识充分嵌入超分辨率过程，抑制了超分辨率的非适定性，有效提升了超分辨率效果，且具有一定的轻量化设计。表 7各方法运算时间对比Table 7Time per iteration of each method /s本文提出的MSSR网络由BSRC拼接而成，可根据超分辨率倍数灵活调整分级监督级数以及各级超分辨率倍数。在实验部分，本文主要对两倍和4倍超分辨率下的网络性能进行了实验。此外，对4倍以上超分辨率任务进行了简单的实验探索，MSSR网络在两倍至6倍超分辨率任务中的性能如图5所示。图5不同倍率下的超分辨率性能Fig. 5MSSR performance in super-resolution tasks of different scale factors由图5可见，随超分辨率倍率增大，网络性能下降。这是因为随着超分辨率倍率增大，超分辨率过程的非适定性增强，超分辨率结果中出现细节损失和伪细节的概率增大。因此，评价指标SSIM与PSNR的值减小。同时，注意到曲线有趋于平缓的趋势，推测可能随着超分辨率倍率增大，需要由低分辨率图像预测出更多的地物细节，但得益于本文的分级监督结构，可有效控制图像细节损失，网络性能不会随超分辨率倍率增加而出现较大程度的下降。未来需借助更多相关实验来探索MSSR网络在更大倍率超分辨率任务中的性能表现。","result":"实验结果与分析章节首先指出现有遥感图像数据集在超分辨率任务上的局限性，并介绍了为解决这一问题而创建的新数据集RSSRD。实验使用了UCMerced和AID数据集进行训练和测试，采用PSNR和SSIM作为评价指标。在分级监督网络的构建中，通过实验确定了4级网络结构适合4倍超分辨率任务，且等比数列分布的超分辨率倍数组合效果更佳。对比实验显示，所提出的分级监督超分辨率网络在多个数据集上的性能优于现有常用方法，尤其在4倍超分辨率任务中取得了显著提升。实验图像结果进一步证实了所提方法在细节重建和减少伪细节方面的优势。此外，所提网络具有轻量化特点，运算时间具有竞争力。MSSR网络能够根据超分辨率倍数灵活调整，实验探索表明，随着超分辨率倍率的增加，网络性能有所下降，但分级监督结构有助于控制细节损失，维持性能稳定。","language":"zh"},{"title":"分级监督范式指导下的遥感图像超分辨率方法","chapter":"4　结论","content":"超分辨率是一个典型的非适定性问题，现有超分辨率方法大多采用单级监督结构，监督次数不足，导致超分辨率结果中出现细节损失和伪细节。针对这一问题，提出基于分级监督的遥感图像超分辨率方法，使用分级监督结构引入多级监督图像，将经验知识充分嵌入超分辨率重建过程，抑制其非适定性；设计轻量化的、超分辨率倍数可调整的同构超分辨率模块，为搭建不同级数不同超分辨率倍数的分级监督网络提供了便利；对比不同级数、不同超分辨率倍数组合方式下的超分辨率结果，给出搭建分级监督网络的思路。实验结果表明，分级监督网络有利于抑制超分辨率非适定性，减少超分辨率结果中的细节损失与伪细节，提升超分辨率效果。同时，本文也存在一些不足。一方面，仅探究了分级监督网络在两倍和4倍超分辨率上的效果，未研究其对8倍、16倍等更高倍率的超分辨率的影响。另一方面，在两倍和4倍超分辨率任务中，尝试的网络分级级数与各级超分辨率组合方式有限。今后可基于同构超分辨率模块，搭建更多类型的分级监督网络，研究其对更大倍率超分辨率任务的影响，探究超分辨率非适定性与分级监督网络的深层关系。","result":"总结了基于分级监督的遥感图像超分辨率方法，指出其能有效抑制非适定性问题，减少细节损失和伪细节，提升超分辨率效果。同时指出了研究的局限性，包括仅在两倍和4倍超分辨率上进行了探究，以及网络分级级数和组合方式的尝试有限。未来工作将基于同构超分辨率模块，构建更多类型的分级监督网络，研究其在更大倍率超分辨率任务中的影响，以及与超分辨率非适定性的深层关系。","language":"zh"}]”