Register Login 切换中文
Research Progress | Views : 1034 Downloads: 832 CSCD: 8 More

  • Export

  • Share

  • Collection

  • Album

    • Multi-satellite integrated processing and analysis method under remote sensing big data

    • FU Kun

      123 ,

      SUN Xian

      123 ,

      QIU Xiaolan

      123 ,

      DIAO Wenhui

      12 ,

      YAN Zhiyuan

      12 ,

      HUANG Lijia

      123 ,

      YU Hongfeng

      12
    • Vol. 25, Issue 3, Pages: 691-707(2021)   

      Published： 07 March 2021 ，

    • DOI： 10.11834/jrs.20211058     

    Scan for full text

  • Quote

    PDF

  • Fu K，Sun X，Qiu X L，Diao W H，Yan Z Y，Huang L J and Yu H F. 2021. Multi-satellite integrated processing and analysis method under remote sensing big data. National Remote Sensing Bulletin，25（3）：691-707 DOI： 10.11834/jrs.20211058.
  •  
  •  
    Sections

    Abstract

    With the rapid development of aerospace technology and the continuous increase of China’s high resolution earth observation data acquisition in the past few decades, the era of remote sensing big data has coming now. Developing multi-satellite integrated data processing and application technology has become an important trend. In this paper, we systematically review the technological development process from two aspects, including multi-satellite imaging processing and multi-element information extraction. Then, we analyze the advantages and characteristics of the existing cutting-edge methods, and points out the main challenge of establishing the integrated processing model for imaging processing field and efficient learning model for information extraction field. On this basis, as well as according to the practical application requirements, a novel method of multi-satellite integrated processing and analysis under remote sensing big data is proposed in this paper. We emphatically define the basic concepts, scientific problems, research ideas and solutions of this method. On one hand, in terms of multi-satellite imaging processing, aiming at the problem of difficult estimation of high-dimensional coupled imaging parameters at high resolution, the various errors caused by the whole cycles of electromagnetic waves are calculated quantitatively, including payload error, platform error, data transmission error, atmospheric influence and so on. Then a multi-satellite integrated imaging processing physical model based on the Generative Adversarial Networks (GAN) is constructed to approximate estimate imaging parameters. In this way, we can achieve high-precision geometric corrections and radiation corrections, as well as generate high-quality remote sensing image products. On the other hand, in terms of multi-element information extraction, to solve the problem that the accuracy of the original tasks is difficult to maintain due to the addition of new tasks and requires full sample retraining, we design a multi-task feature sharing model based on few-shot incremental learning. It has a novel memory retention unit and multi-modal joint optimization of convex non-negative matrix factors. Through this model, we can generate parallel and high-precision annotations for multiple objects. Compared with the existing methods, the information between different satellites and payloads, different missions and objects are complementary to each other, leading to the simultaneous improvement of multi-sensor imaging quality and object extraction accuracy. The specific technical approach and preliminary experimental verification are given in detail in this paper. Experiments on multi-satellite imaging processing show that our method can effectively estimate multiple imaging errors. The phase estimation accuracy is within 1 degree when the signal-to-noise ratio is -5dB, which indicates the good performance even under low signal-to-noise ratio condition. At the same time, experiments on multi-element information extraction show that compared to single-modal method, our method, which uses multi-modal data in combination and embedded the novel memory retention unit, improve the extraction accuracy in multi-tasks of object detection and semantic segmentation. In the future, we will pay more attention to the disconnection problem between multi-satellite imaging processing and multi-element information extraction in the field of remote sensing. By establishing a benign mutual feedback mechanism between these two procedures to maximize the benefits of the remote sensing big data.

    transl

    Keywords

    remote sensing big data; multi-satellite integrated; multi-satellite imaging processing; multi-element information analysis; Generative Adversarial Networks(GAN); multi-task

    transl

    1　引 言

    传感器、通信、计算机等技术的革新促进了对地观测及相关产业蓬勃发展。国外主要的高分辨率遥感卫星系统，如美国的Landsat、Terra、Aqua，欧洲的Spot、ERS、ENVISA等卫星系统持续建设。中国也将自主遥感对地观测体系作为重点发展领域。尤其在国家高分辨率对地观测系统重大科技专项的支持下，近年来遥感卫星的数量迅速增长。如图1所示，截至2020-12，中国已发射对地观测卫星190余颗，在轨卫星数量居全球第2。相应的，每日获取遥感数据量呈指数级增长，以高景一号卫星为例，日采集范围可达90万km2（

    Liang，2017），珠海一号系列卫星日数据采集量可达近20 TB（Bai，2019）。可以说，中国正在快速步入遥感大数据时代。
    transl

    fig

    图1  2014年—2020年间中国和全球对地观测卫星发射数量比对(UCS, 2021;

    Liu等, 2020)

    Fig. 1  Comparison of the earth observation satellites number of China and global from 2014 to 2020 (UCS, 2021;

    Liu et al., 2020)

    icon Download:  Full-size image | High-res image | Low-res image

    遥感大数据兼具大数据典型的“4V”特征（

    Viktor等，2013），同时还呈现出新的“四多”特点（图2）。（1）“多载荷”，可见光、红外、高光谱、微波等传感器类型越发丰富，但不同传感器间成像机理不同、预处理方式不同、数据内容和表现形式差异大；（2）“多分辨”，卫星数据的空间分辨率与光谱分辨率不断提高，对目标的细节特征展示更为充分，但相应的背景干扰也越发明显；（3）“多时相”，通过定性或定量方式获取并计算同一区域和地物要素不同时相的变化过程，能够获取该目标对象更为丰富的属性信息；（4）“多要素”，遥感数据覆盖区域范围大、场景杂、类别多，包括植被、道路、水域等多类地物，以及船舶、飞机、车辆等多类目标，各类目标之间尺寸、纹理、颜色等特征差异大，不同目标之间、甚至同类目标在不同模态数据中的特征也不尽相同。可以说，“四多”特点为卫星数据应用效益的发挥带来新的挑战。
    transl

    fig

    图2  遥感大数据的“四多”新特点

    Fig. 2  The new characteristics of remote sensing big data

    icon Download:  Full-size image | High-res image | Low-res image

    事实上，从遥感影像获取到产品生成，再到按需分发是一个相当长的链路，涉及数据引接、数据传输、成像处理、信息提取、共享分发、定制应用等多个环节（图3）。其中，成像处理和信息提取是较为主要的两个核心环节。成像处理的重点任务是对传感器获取的光谱反射或雷达回波数据等进行处理，通过定标、几何校正、辐射校正等方法恢复与观测对象有关的信息。信息提取的任务，则是通过特征映射与计算来对成像数据中的地物要素进行解译提取，最终建立从数据到知识的映射。

    transl

    fig

    图3  遥感大数据处理链路

    Fig. 3  The chain of remote sensing big data processing

    icon Download:  Full-size image | High-res image | Low-res image

    现有技术条件下，针对单颗卫星或单类载荷的成像处理和信息提取方法已较为完善。由于遥感数据资源的丰富与定标手段的改进，针对单颗卫星或单类载荷的几何定标与辐射定标精度越来越高，成像质量大幅提升。同时，得益于遥感样本数据的不断累积和深度学习方法的引入，针对特定载荷中部分目标类别的提取精度大幅提升，在一定程度上解决了单星单载荷处理和应用的问题。

    transl

    值得注意的是，相比单传感器，多星协同的对地观测可提供多分辨、多光谱、多时相的遥感数据，为地物分析、区域监测等各类应用提供更丰富的价值信息（

    Hu等，2017；Li等，2017；Nan等，2019）。如图4所示，在2020年中国南方大面积洪涝灾害中，利用高分、哨兵系列多颗卫星对鄱阳湖附近乡村等灾区进行成像，为防汛减灾提供数据支撑（新华社，2020）。2020年初新冠肺炎疫情突发之时，综合利用高分二号、吉林一号、珠海一号等30余颗卫星对重点省市的防疫生产生活进行监测分析，尤其是对火神山、雷神山医院搭建过程的全覆盖观测（Jin，2020），为抗疫防护和复工复产发挥了积极作用（Zhang，2020）。
    transl

    fig
    icon Download:  | High-res image | Low-res image

    图4  多星协同对地观测

    Fig. 4  Multi-satellite coordinated earth observation

    相比观测手段的进步，多星数据的处理和应用技术仍处于探索阶段，其技术瓶颈主要在于：每颗卫星的传感器类型或特点不同，导致成像数据间非线性辐射差异大、同名点匹配难度大，数据质量难以得到统一保障。对于此，现有的多星一体化处理主要体现在系统架构和数据组织上，处理算法上的统一相对较少。现行方案大多将多源数据统一在一个系统上，以德国布罗克曼公司构建的Calvalus系统为例（

    Brockmann，2019），通过对大量卫星数据的批量处理，完成定标/校验和原始数据处理功能，加快更新周期。上述工作虽实现了数据管理和算法软件的集中，但仅在几何校正等少量处理技术方面统一考虑，性能也有待进一步提升。
    transl

    在多星多载荷信息分析方面，随着以深度学习为代表的机器学习技术被广泛用于遥感数据解译，已有少量基于简单数据融合或模型叠加的多星并行信息提取研究，一定程度上提升了图像中典型目标的提取性能，但距离实用尚有一定差距。究其原因，除了受载荷特性、成像质量影响外，一方面是尚不具备真正的多要素多任务并行处理能力，现有方法针对不同输入、不同目标的特征提取过程各自独立，尚未充分利用不同模态之间的互补信息，实现多源信息联合优化建模，容易陷入针对特定任务的局部最优，模型泛化能力较弱；另一方面是模型在多个任务并行处理时存在“记忆缺失”，不同任务之间的差异较大，在已有任务上学习到的知识难以直接迁移到层出不穷的新目标、新类别，往往需全样本重新训练，资源耗费较大。

    transl

    综上，本文在系统阐述遥感成像处理与信息提取技术发展现状的基础上，提出了一种遥感大数据条件下的多星一体化处理与分析新思路。相比现有方法，更充分的利用不同卫星和载荷之间、不同任务和目标之间的共性特征和互补信息，即基于持续积累并不断更新的图像数据，对多星传感器全链路处理中各环节的误差定量分析。并构建多星一体化成像处理模型，通过对成像参数的逼近估计，实现高精度的几何和辐射校正，生成高质量的海量样本数据。进而，构建面向复杂场景的多任务共享学习网络模型，突破对新旧任务“记忆保持”的能力瓶颈，实现面向多星数据中多类地物要素的并行精准提取。通过多星一体化处理的新方法框架，实现多传感器成像质量和目标对象提取精度的同步提升，进一步发挥遥感数据的应用效益。

    transl

    2　多星成像处理

    2.1　难点挑战

    本文的遥感卫星“成像处理”是指从卫星接收到原始数据到生成交付应用的图像产品的过程。对于光学而言，主要是几何校正和辐射校正，对于SAR而言，则首先需要聚焦成像，再进行几何和辐射校正。在此过程中最重要的是要获得准确的成像处理参数，包括系统参数、轨道参数、大气参数等，其中部分参数通过外源数据获得经验值，部分参数通过地面测量和内定标测量得到，其他未知参数则主要通过人工外场定标得到。

    transl

    人工外场定标法是国际普遍采用的方法，但该方法需要大量定标设备和地面同步观测数据，耗费巨大人力、物力、财力，需定期进行，容易受场地和天气条件的限制，所能提供的定标参数数量有限，无法及时发现传感器的各种状态变化。此外，定标器和辐射定标场地表类型往往过于单一，无法进行多点定标及真实性检验的需求。

    transl

    随着遥感分辨率提升至亚米级，几何辐射精度要求不断提高，其对成像参数的精度要求也随之提升，依靠少量定标器有限次的定标测量，越来越难以满足高分辨率高精度成像对各参数获取的需求，亟需利用多星多载荷的优势，发展新的处理思路。

    transl

    2.2　研究现状

    2.2.1　经典成像处理

    聚焦成像主要针对SAR而言。经典的SAR成像处理都是基于卫星成像几何物理模型构建严密的系统传递函数，基于此推导兼顾效率和精度的成像算法，如经典的BP算法、RD算法（

    Bennett等，1979）、CS算法（Papoulis，1968）、Omega-K算法（Bamler，1992）等。随着SAR卫星功能不断拓展，发展出滑动聚束、滑动扫描、方位/距离多波束等新的体制模式，从而针对性的提出了许多改进的成像算法，包括NLCS（Qiu等，2008）、高阶扰动变标（Wei，2001）等，以修正原有算法中近似误差项。随着分辨率的进一步提升和参数空变效应的不断凸显，逐点的BP算法得到了关注，发展出了CMBP等时频混合的快速算法（Meng等，2015，2017）。
    transl

    上述成像处理算法解决了模型参数已知条件下的精确聚焦问题，然而轨道、系统、大气以及地面目标自身均存在不确定的误差因素，会引起聚焦精度下降。此时，需研究参数估计和自聚焦的方法，这一直是SAR成像处理中的难题。现有的自聚焦方法包括Mapdrift、PGA（

    Wahl等，1994）、以及基于稀疏的处理方法（Chen等，2017），其中参数化稀疏处理的方法还可获得图像增强的效果。但对于高阶复杂误差则目前仍无法有效聚焦，例如，海面船只具有俯仰、偏航、横滚和起伏等复杂多变的运动，目前的聚焦算法无法实现空间非一致性运动误差的准确估计和补偿，对于这类复杂运动引起的高阶非一致性误差的估计和目标自聚焦，仍是待突破的难题（表1）。
    transl

    表1  成像处理方法
    Table 1  Imaging processing method
    类型方法特点
    参数已知下的成像处理 频域为主 RD、CS、WK、及其改进算法，如NLCS、AP-NLCS等 效率高，但对参数的时变和空变性适应能力较弱；经典算法适合传统条带模式，复杂模式需要针对性的改进算法
    时域为主 BP、FBP、FFBP等 效率较低，但对参数的时变和空变性适应能力强，适合各种模式
    时频混合 CMBP算法等 效率/精度可调，适合高分辨率复杂模式
    参数未知下的成像处理 参数法估计 Mapdrift、稀疏处理方法 物理模型约束，结果比较可靠，但若模型不合适，则结果较差
    非参数法估计 PGA、MEA等 无模型约束，适应能力强，但不如参数法估计可靠
    icon Download:  Export CSV icon Download:  Download Table Images

    在几何和辐射校正方面，已发展出针对不同类型卫星的经典物理模型。

    transl

    在几何校正方面，SAR主要基于距离—多普勒模型，光学主要基于有理函数模型RFM（Rational Function Model）进行几何校正。经过几十年的发展，上述模型已相当成熟，随着分辨率和几何精度的提升，近年来的研究重点在于如何更加精确的对各种误差因素进行建模、标定和补偿。在光学方面，

    Grodecki等（2003）基于IKNOS卫星影像数据开展严密几何模型和有理函数模型的对比，有理函数模型在更为稳定，在定位精度上也达到了严密几何模型相似的效果。Li等（2014）将有理函数模型的像方误差分为随机部分与函数部分，基于最小二乘法迭代求解RFM像方误差修正参数，提升几何定位精度。潘红播（2013）等将资源三号原始的分配CCD投影为虚拟CCD，消除投影误差以及交会误差之后再生成有理参数模型，提高了模型的精度。在SAR方面，最早Lebera等（1973）提出一种零多普勒模型可用于机载SAR几何校正。Wivell等（2002）给出一种基于DEM与RD模型的SAR影像正射校正方法，该方法通过建立卫星的位置与速度随时间的变化运动方程进行求解。国内方面，张永红等（2002）提出引入外部DEM作为辅助数据，在构建在RD模型的基础上，提升SAR影像的几何定位精度提升。丁赤飚等（2017）分析了高分三号SAR影像的几何定位精度，并证明精细处理后精度可接近3 m。上述方式主要还是基于人工外场定标和外部支撑数据实现高精度几何校正。
    transl

    在辐射校正方面，SAR的辐射校正包括系统增益控制校正、接收链路增益校正、天线方向图校正、处理增益校正、斜距衰减校正等，主要基于经典的雷达方程建立全链路辐射误差校正模型，并在此基础上通过人工定标器测量得到定标常数，用该常数校正后便可从图像的像素值得到地物散射值。光谱辐射校正主要包括传感器灵敏度特性、光照条件差异、大气校正、地形校正等，目前主要基于经典的辐射传输模型基础上基于大气、地形等外源数据进行校正，并通过人工外场定标得到辐射定标常数值。

    transl

    2.2.2　多星多载荷成像处理

    随着卫星数量和卫星影像资源不断丰富，单星或单载荷的成像处理往往精度有限，利用多星多载荷综合开展成像处理成为重要的研究与发展趋势。

    transl

    在成像处理方面，为简化系统的设计和维护，德国DLR等提出多模式一体化处理算法框架（

    Breit等，2004），在统一的成像算法框架下，通过接入不同的功能模块，用同一套软件实现条带、滑动聚束、滑动扫描模式的成像，实现成像算法框架的一体化。多种成像模式虽然在分辨率、测绘带宽等性能上有很大差别，但由于星地基本的几何关系是相同的，对某一目标来说，各模式的多普勒历程并没有本质区别，对多模式信号进行处理的关键在于如何有效地解决信号混叠问题。目前有分子孔径处理方法、时/频域扩展技术方法等（Chen等，2012）可以高效地处理多模式的回波数据。通用的SAR多模式一体化成像处理算法通过消除多模式SAR回波时频历程的差异，简化处理算法设计的复杂性，使多模式成像算法形成系统的统一框架，方便系统设计和维护的同时也可以节约硬件成本提高算法运行效率，是重要的发展方向。
    transl

    在几何校正方面，随着卫星影像的丰富，在一个地区覆盖有多星、多传感器的影像，利用异源影像交叉定标或联合平差，引起了国内外学者的兴趣。

    Li等（2007）利用佛罗里达地区的IKONOS和QuickBird立体像对和航空影像，开展基于RFM的区域网平差，发现单张高精度的航空影像即可改善IKONOS和QuickBird立体像对的定位精度。Tang等（2016）引入高精度Pleiades-1卫星影像，并在平差解算时考虑主导定位精度的卫星影像RPC参数和连接点坐标，使资源三号和SPOT-7影像的无控平面定位精度由16 m和6 m提升至5 m和2.5 m。Jeong等（2015）利用韩国大田地区的IKONOS、QuickBird和KOMPSAT-2卫星影像，进行不同影像组合下基于RFM的区域网平差试验。结果表明，基于多个光学卫星影像的联合定位可有效改善平面定位精度，但不一定能提高高程精度，尤其在影像弱交会的情况下，因此需要对影像数据进行筛选。利用多个SAR卫星影像进行联合平差实现几何精度提升的研究也已有不少。Bresnahan等（2016）分别基于Cosmo-Skymed卫星影像中的6景Spotlight和4景StripMap成像模式数据联合几何校正，结果表明定标后的几何定位精度优于4 m。吴颖丹等（2012）利用四川地区的2景ENVISAT ASAR影像和１景Radarsat-1影像，基于不同的控制点布设方案，进行基于严格模型和基于RFM模型的区域网平差，平面和高程精度分别为35 m和25 m左右。吕冠南等（2018）仅用5个控制点完成北京、天津、河北地区的5景GF-3影像、3景TanDEM-X以及3景TerraSAR-X的联合几何定标。Jiao等（2019）提出一种新的斜距修正模型和误差加权策略，基于多景GF-3数据提升联合定位精度。以上多星联合几何校正仅限于同源卫星，由于SAR影像和光学影像具有截然不同的成像几何，其联合定位挑战更大。为此，国内外学者也开展了异源联合几何校正的研究。Zhang等（2011）将RPC模型用到SAR/光学立体像对的定向中，证明在合理布设控制点的条件下，基于RPC模型的SAR-SAR、SAR-SPOT影像对可达到1 m的平面/高程精度。程春泉等（2017）建立像方补偿参数先验精度信息的RFM光学/SAR平差模型，用12景TerraSAR和12景SPOT-5影像进行区域网平差试验，发现少量SAR影像即可将区域网无控制定位精度大幅提升至平面6 m和高程4.2 m。
    transl

    在辐射校正方面，已有部分多传感交叉辐射定标的研究。

    Thome等（2013）将EO-1搭载的ALI和Hyperion同ETM+和MODIS进行交叉对比研究，发现ETM+辐射误差小于10%。Helder等（2013）利用MODIS数据和Hyperion数据，构建Libya4的定标场地模型，实现了Landsat卫星的时间序列定标。国内邵琦等（2017）对Landsat 5 TM、Landsat7 ETM+及Landsat 8 OLI交叉定标，得到不同遥感器间的辐射性能差异。杨磊等（2015）对高分一号和Landsat8数据的交叉定标建模，获取有效的定标系数。Zhang等（2018）提出基于ASTER和Landsat ETM+的时间序列定标方法，以内蒙巴丹吉林沙漠作为研究区，实现HJ卫星CCD相机的在轨辐射定标。
    transl

    综上，目前在多星多载荷成像处理方面，或以一个已定标的卫星影像作为基准来校正另一个影像，或基于多影像各自成像物理模型的联合解算从统计上减小误差。当多星同时存在待标定的参数时，要如何一体化进行误差参数标定和校正，相关研究还较少，尚缺乏一套通用的、可兼容各种卫星各类处理的一体化处理思路和方法。未来多星一体化成像处理是一个值得深入研究的方向。

    transl

    3　多要素信息提取

    3.1　难点挑战

    早期的遥感数据解译受分辨率等因素的限制，数据中反映的信息有限，待解译的要素多为植被、水体、建筑区等大型自然或人造地物要素，且局限于目标检测和地物要素分类等单一任务。随着分辨率和图像质量提升，遥感数据中反映的地物要素信息越来越丰富，人们不仅希望能从遥感数据中知道目标是否存在并获取目标的位置信息，还希望区分目标类型并获得目标的形状、姿态以及尺寸等物理信息。为此，亟需突破面向遥感数据的多要素多任务智能解译方法。

    transl

    传统多要素解译与信息提取通常采用“单入单出”解译模式，即针对不同要素或任务设计专用模型或方法，多个任务并行开展。现实情况下，面向待解译场景，通常会获取到多源多模态遥感数据，传统方法虽然针对单一要素或任务能够取得良好的性能，但面对这类“多入多出”（多类数据输入、多任务输出）应用场景其适用性有限，一是专用模型的可拓展性较低，面临新场景或任务时性能难以保证；二是由于特征提取过程各自独立，各类模型或方法的简单叠加难以取得性能线性增益的效果；三是这种专用模型叠加会导致模型计算时间和空间复杂度的大幅提升，实用性较差。

    transl

    围绕上述问题，近年来，陆续出现多要素信息并行提取方面开展研究工作，力求实现多源数据间互补特性、多要素间表示特征的有机结合，改善模型的泛化性能。

    transl

    3.2　研究现状

    3.2.1　典型地物要素提取

    如上文所述，经典遥感要素信息提取通常针对不同要素或任务设计专用模型或方法，其研究问题可大致归纳为两类，一是遥感数据和要素特性分析，以此为基础构建遥感数据要素特征/特性体系，为后续模型构建提供基础依据；二是遥感专用模型构建，即在通用模型或方法的基础上，构建符合遥感领域知识或数据特性的信息提取模型，提升其在遥感要素信息提取中的应用性能。

    transl

    由于遥感数据获取和成像方式的特殊性，遥感数据和要素特性分析重点聚焦于成像特性（如电磁波散射机制）、影像表观特性（如光照、纹理等）、要素分布特性等的分析，以此为基础进行数据特性信息提取或数据仿真。

    Kusk等（2016）和Hansen等（2017）构建了一套针对SAR影像仿真方法，对成像过程中的地形、噪声等进行仿真，并通过3D CAD对不同地物进行建模。Yan等（2019）面向点云数据在三维空间上对舰船目标进行建模，通过投影变换生成仿真舰船数据。Ma等（2018）设计了一种可增强样本真实性的损失函数，可对模型的生成网络和判别网络联合约束。Zhan等（2017）和Zhu等（2017）面向高光谱图像分类，构建了生成对抗分类网络模型。Zhang等（2018）提出了适用于飞机目标识别的条件生成对抗网络模型，实现了飞机目标的高精度仿真。
    transl

    遥感专用模型构建方面，传统研究主要针对要素多尺度、类间分布规律等特性进行相应模型结构或信息提取流程，增强传统模型或方法面向遥感数据的适用性。

    Zhou等（2018）构建了面向高光谱影像的深度模型，通过使网络聚焦源域与目标域的共性特征，并辅以先验信息，提升了高光谱影像分割效果。Luo等（2018）提出对类内分布施加最大均值差异约束进行域间特征对齐来用于高光谱分割任务。在基于度量学习的方法方面，Rao等（2019）面向高光谱地物要素分类，构建了一种可自适应选择距离度量方式的分类器，提升了分类精度。Kampffmeyer等（2016）针对土地监测任务中类别存在的要素分布不均衡问题，突出基于区域分组和像素分组策略的方法。Liu等（2017）针对光学遥感图像中目标多尺度特性，采用沙漏型编解码结构提取更丰富的多尺度上下文信息来提升模型分类精度。
    transl

    现有方法大都基于单一源数据的仿真或特性信息提取，而在多要素信息并行提取中，往往面临同一任务中需要结合不同的特性信息，如在目标检测时同时考虑目标多尺度、多角度、目标类型分布、多时相数据纹理变化等多种特性，目前尚缺乏对各类特性信息的统一分析和提取框架，造成各类特性融合分析存在要素约束尺度不统一、特征共享互补难等问题，制约了一体化要素分析和信息提取的发展，因此亟需研究统一模型框架下的多任务多要素信息并行提取方法。

    transl

    3.2.2　多要素信息并行提取

    在多要素信息并行提取方面，近年来的主要研究方向是如何在同一个模型中并行实现目标或要素类型、位置、深度等多类信息的提取，期望通过相关信息间信息共享表示，提升模型的整体泛化性能。针对上述“多入多出”应用场景，现有方法主要聚焦于专用模型近输出端的多要素数据特征共享和和输入端的多模态数据融合两方面问题（表2）。

    transl

    表2  多要素信息并行提取方法总结
    Table 2  Multi-type feature extraction methods
    方法特点应用领域

    多任务

    特征共享

    		基于硬参数共享的方法 主干网络共享，模型结构简单，任务间关联性较弱 地物要素分类、建筑物提取、深度估计、图像重建、图像锐化、边界检测等
    基于软参数共享的方法 不同模型间信息互换，以共享连接或递归方式改善每个任务的输出 地物要素分类、极化SAR图像地物要素分类、高光谱图像地物要素分类、高光谱目标检测等

    多模态

    数据融合

    		简单融合方式 实现相对简单，计算高效，精度较为一般 多模态数据分类
    双线性池融合 可获得更加充足的特征表示，计算复杂度较高 遥感数据语义检索
    基于注意力的融合 能够基于统一模型架构实现，架构相对复杂 遥感数据语义检索
    icon Download:  Export CSV icon Download:  Download Table Images

    多要素特征共享方面，根据参数共享方式的不同，主要分为两类方法，一是基于硬参数共享（hard-parameter sharing）的方法，即多类要素提取模型共享同一个主干网络，通过在模型输入、输出端融合多个不同分支模型实现多任务的预测；二是基于软参数共享（soft-parameter sharing）的方法，即面向不同要素提取的多个独立网络通过共享连接的方式进行融合，从而实现多个类信息的并行输出。

    transl

    基于硬参数共享的方法在主干网络中共享多要素特征，然后使用一组独立的头处理任务。

    Liebel等（2020）通过将深度估计和建筑物分类两个任务共享编码器，同时各自独享解码器，实现基于遥感图像的城市建设情况评估。Papadomanolaki等（2019）将地物要素分类模型的基础上并行地加入一个解码器分支进行图像重建，其重建结果作为一种正则化约束地物要素分类的结果。Wang等（2020）使用共享编码器和私有解码器的模型结构完成地物要素分类、深度估计和边缘检测3个任务，其中边缘检测作为辅助任务用于在特征空间和输出空间对另外两个主任务进行正则化。Khalel等（2019）提出在共享编码器的基础上实现图像锐化和地物要素分类两个任务。Rosa等（020）提出了一种基于全卷积回归网络的多任务学习方法，用于农作物的种植和监控。
    transl

    基于软参数共享的方法首先利用多个网络进行初始任务预测，然后利用这些初始预测的特征，以共享连接或递归的方式进一步改善每类要素信息的输出。

    Volpi等（2018）针对地物要素分类任务，通过输入原始图像和条件随机场建模数据，分别学习类别内部相似度预测和边界值预测两个独立的任务分支，实现利用多任务框架提升地物要素分类精度。Zhang等（2019）针对极化SAR的复数型数据，将幅值和相位提取作为模型的输入，使用中间分类器对各自独立的特征提取过程进行约束，从而提升地物要素分类精度。Shi等（2020）设计了一种用于高光谱图像地物要素分类的多任务集成学习模型，将光谱特征子空间的生成归结为一个多任务优化问题，并行寻找多个分类器的最优特征子空间。Zhang等（2016）针对高光谱图像的目标检测，使用光谱分组策略探索谱间相关性，相邻波段间的光谱相似性作为任务的相关性约束，从而提升目标检测精度。Li等（2015）提出超像素稀疏表示分类方法，通过多任务特征融合，结合不同特征的互补信息，突出空间相似区域内像素的主要模式，增强超像素的识别能力。
    transl

    此外，不同任务的输入数据往往呈现出多模态的特点，如可见光图像数据含有丰富的纹理信息、高程数据能反映地物目标的三维特性、矢量数据包含了不同地物的拓扑结构特性，通过各类模态数据的有效融合分析，有望提升各类任务模型的泛化性能。

    Chen等（2019）在单分支卷积网络中完成了多模态特征的多尺度融合，实现了基于多模态数据融合的航空影像地物要素分类。Longbotham等（2012）通过利用多时相和多模态图像检测洪水泛滥地区，获得了较单模态图像更好的效果。Fernandez等（2018）提出了一种新的基于主题的图像融合框架，用于融合合成孔径雷达和多光谱成像数据进行无监督地物要素分类。Benson等（2017）提出了一种森林生物量和平均冠层高度估计方法，该方法仅需少量地面特性辅助数据即可有效提升三维场景的估计精度。
    transl

    上述方法虽初步实现了在同一框架下多要素信息的并行提取，但本质仍是单一类型输入数据下多个专用模型或网络分支的叠加，而不同类型、不同来源的遥感数据往往存在不同的维度特性，现有方法尚难以在统一框架下实现不同维度多要素输入的融合分析，使其进一步提升性能的空间有限，同时在进行不同成像条件下的数据解译或新任务扩展时，由于特征域分布的差异容易导致模型综合性能大幅下降。此外，现有多模态数据处理方法多针对地物要素分类等单一任务，因此需探究如何实现多模态数据多任务学习，在多任务模型构建过程中充分融合多模态数据的各自优势以进一步提升性能。

    transl

    4　遥感大数据条件下多星一体化处理和分析

    4.1　基本概念

    多星一体化处理和分析，是借助持续积累的遥感数据样本优势，将统计学习、机器视觉等智能方法与以载荷机理、目标特性为基础的成像计算和目标识别方法相结合，实现多传感器成像质量和目标对象提取精度共同提升的基础应用技术。这是一个具有通用性的模型框架，可适用并贯穿于不同类型卫星的成像处理和信息提取全流程，从而对于一些多载荷多目标共有的误差参数和干扰因子，可以一体化地进行学习求解。

    transl

    相比传统面向单星单载荷的成像和分析方法，多星一体化处理和分析主要具有以下特点：（1）通过将多星传感器各项参数、各类地物要素的特征信息，以及处理分析流程中的各环节误差纳入一个统一的框架，进行定量综合计算，能够更加充分的利用不同卫星和载荷之间、不同任务和目标之间的共性特征和互补信息；（2）处理和分析两个环节相互促进，通过构建面向多源载荷一体化的成像优化处理，旨在生成高质量的多模态遥感数据；基于高质量遥感数据，通过构建面向多任务多目标的优化网络模型，实现复杂遥感场景下的多类信息提取，生成高精度的遥感解译标注结果。可见，该技术与现有技术存在实质的不同，是一种全新的技术思路。

    transl

    4.2　核心科学问题

    为实现多星一体化处理和分析目的，需从海量遥感数据中挖掘成像处理与信息提取两个关键环节所蕴藏的各类共享信息。为此，该方法主要涉及多星高精度成像中全链路误差建模与估计、多目标多任务特征共享网络构建与求解两大核心科学问题。

    transl

    （1）多星高精度成像中全链路误差建模与估计。星载传感器信号地面处理的本质是针对电磁波“天—地”两次循环中全链路产生的各类误差进行校正，实现目标特性的高精度反演。这些误差包括：载荷误差（衰减、噪声、幅度、相位等）、平台误差（位置、速度、姿态等）、数传误差（误码、丢帧、饱和等）、大气影响（温度、湿度、压强、气溶胶、颗粒物、电子浓度等）众多因素（图5）。随着传感器体制的日益复杂，以及分辨率的不断提高，以往一些可以忽略的误差小量，如轨道摄动、卫星颤振等，也需精细获取和补偿，否则参数估计的微小偏差会造成图像质量的显著下降，例如，每0.01°的姿态误差就可能会引起近100 m的几何误差，以及近1 dB的辐射误差。

    transl

    fig

    图5  电磁波循环过程中产生的各类误差

    Fig. 5  Errors in the electromagnetic wave cycle

    icon Download:  Full-size image | High-res image | Low-res image

    从成像结果来看，上述误差高度耦合，难以构建解析的参数化成像模型，从图像结果反推各类误差，并依据成像模型进行精确误差补偿。另一方面，采用定标技术覆盖所有成像条件和工作模式，需投入大量的人力物力，并且难以获取时间非平稳的随机性系统误差。在遥感大数据背景下，系统误差和图像质量之间映射关系的可重复性，为多星一体化成像模型构建提供了一种新的途径。为此，迫切需要构建一种面向多星数据的一体化成像模型，能够基于大数据自适应学习逼近成像参数的最优估计。

    transl

    （2）多目标多任务特征共享网络构建与求解。多星一体化信息提取本质是从多域复杂信息全集中并行提取多类要素的问题，该方面存在几个难点：1）遥感场景下多类目标特征各异，存在尺度差异大、角度变化多、小目标分布密集等特点，尤其对于多源数据，不同目标之间、甚至同一目标在不同模态之间的特征更加多变，以SAR图像为例，部分目标的后向散射系数对角度较为敏感，不同观测角度下目标特性存在显著差异，如飞机、复杂建筑群等（图6）；2）多个任务并行处理时存在“记忆缺失”，如图7所示，不同任务差异较大，其特征域通常分布于不同维度，且难以保证服从相同统计分布，导致现有算法面向持续输入数据的拓展学习能力弱，泛化性不高；3）相比视觉场景，遥感数据具备大场景、多类别与小目标、少样本的矛盾，本质存在小样本问题，部分目标数量屈指可数，甚至只有个位数，如改装车辆、核电厂等，存在样本不平衡现象，如图8所示。

    transl

    fig

    图6  遥感图像中的典型场景

    Fig. 6  Typical scenes in remote sensing images

    icon Download:  Full-size image | High-res image | Low-res image
    fig

    图7  模型“记忆缺失”

    Fig. 7  Memory loss of the model

    icon Download:  Full-size image | High-res image | Low-res image
    fig

    图8  遥感图像DIOR数据集(

    Li等, 2019)中的典型目标实例数量统计（该数据集共包含20类目标192472个目标实例，其中12类目标实例数低于5000个，8类目标实例数量低于2000个）

    Fig. 8  Statistics on the number of instances in the remote sensing image DIOR dataset (

    Li et al., 2019)(The data set contains a total of 192,472 instances with 20 classes. There are twelve classes with instances number less than 5000, and eight classes with instances number less than 2000)

    icon Download:  Full-size image | High-res image | Low-res image

    针对上述问题，现有方法的思路大多仅依靠数据融合、模型叠加，或多类模型并行分布式处理实现，其本质上仍是通过特征升维实现模型性能提升，难以从根本上实现在多目标多任务一体化建模过程中对领域知识构建和共享特征提取过程的联合优化，在实际的复杂环境应用中面临着泛化性能、实用性能的瓶颈。因此，需要创新性发展基于多目标多任务特征共享网络的多星一体化信息分析方法，实现通过相关任务间信息共享过程的动态优化，突破现实识别分类应用中的性能瓶颈。

    transl

    此外，在上述问题解决的基础上，也可以进一步探究成像处理与信息提取的一体化协同机制。可以通过深度学习提取目标特征，并结合目标物理特性作为先验知识，指导全链路校正参数，而更新后的校正参数则反馈给神经网络，提高深度学习特征提取精度，由此过程不断迭代，持续优化校正误差和特征提取误差。

    transl

    4.3　研究思路与解决方案

    4.3.1　多星一体化成像处理

    针对高分辨率下高维耦合成像参数估计困难的问题，一个可行的思路是创建嵌入生成对抗网络的成像物理模型，以不同成像误差参数和大量存档数据为输入，通过成像物理模型得到大量的半物理仿真数据，建立以成像误差参数为标签的仿真数据集作为训练集。在此基础上构建生成对抗网络，习得仿真结果和高维误差参数之间的回归关系。从而，在应用阶段，对于实测数据，可以通过训练好的网络预测得到实测数据对应的比较准确的误差参数估计值。应用这些成像估计得到的成像参数，就可以在成像物理模型中进行很好地校正，从而可以得到优质的成像结果（图9）。

    transl

    fig
    icon Download:  | High-res image | Low-res image

    图9  基于生成对抗网络的成像物理参数逼近

    Fig. 9  Approximation of physical parameters of imaging based on generative countermeasure network

    该方案具有良好的开放性和通用性。以SAR为例，接收到的信号可以概要表示为

    transl

    S(i, j)=g(i, j, x, y, z, t, η, vv, ss, θp, A, ϕ)⊗
    σ(x, y, z)PtGa(θ, φ, θp)λ2rgraDaR4LsysLatmo
         		(1)

    式中，S(i,j)为第i个时刻接收到的一帧信号的第j个采样，g(*)为系统传递函数，σ(x,y,z)为目标后向散射系数，(x,y,z)为目标空间位置，t,η为对应于微波传播速度的快时间和对应于卫星飞行速度的慢时间，vv,ss,θp为卫星的位置、速度和姿态参数，A,ϕ分别为SAR系统相关的幅度和相位参数，Pt为发射功率，Ga(θ,φ,θp)为天线增益随角度的变化和受姿态的影响，λ为波长，rgra分别为距离向和方位向分辨率，Da为接收天线面积，R为卫星到目标的距离，LsysLatmo表示系统和大气带来的损耗。

    transl

    成像的过程，就是由S(i,j)恢复σ(x,y,z)的过程，也即

    transl

    σ(x, y, z)=S(i, j)R4LsysLatmoPtGa(θ, φ, θp)λ2rgraDa
    ⊗
    h(i, j, x, y, z, t, η, vv, ss, θp, A, ϕ)
         		(2)

    式中，h为g的逆函数。成像处理的关键在于如何构造该逆函数，以及如何高精度地获取h的各个参数。经过长期发展，对于各类卫星而言，前者已经较好解决，重点需要突破后者。

    transl

    为验证该思路的可行性，对基于对抗学习的多通道SAR相位误差估计进行初步试验验证。方位多通道SAR成像处理中，通道间的相位误差是影响成像质量的关键因素。卫星姿态、接收通道、天线等多种因素会导致通道间相位误差，该误差会造成图像中存在虚假目标，影响解译应用。随着通道数的增加，待估计量的空间维度升高，相位误差估计难度随之增大。本文采用上述技术思路，通过构建生成对抗网络，实现了误差的估计，并在低信噪比下依然具有较好的估计性能（

    Cui等，2020）。在网络训练阶段，设置场景和不同通道误差仿真得到不同通道误差下的回波，将其用于训练，使网络学习到回波与通道相位误差之间的对应关系。在应用阶段，将网络应用与实测回波之上，测到该实测回波对应的通道高维相位误差。
    transl

    图10和表3给出了信噪比10 dB和-5 dB下的通道相位误差估计结果，可见该方法在通道达到8，且信噪比只有-5 dB时仍然具有很好的估计性能，相位估计精度达到1°以内。

    transl

    fig
    icon Download:  | High-res image | Low-res image

    图10  试验结果

    Fig. 10  Results of experimental

    表3  测试结果评价表
    Table 3  Experimental results
    序号信噪比/dB相位误差估计值与真值均方误差/（°）
    1 10 0.0540
    2 -5 0.6257
    icon Download:  Export CSV icon Download:  Download Table Images

    4.3.2　多星一体化信息分析

    针对多模态数据下的多任务信息提取，一个可行思路是创建可持续学习的、记忆保持的多任务特征共享网络模型，并引入小样本增量训练机制，实现多模态数据下多要素的并行提取，解决新任务加入或动态变化，导致原有旧任务学习精度难以保持、需要全样本重新训练的难题，思路如图11所示。

    transl

    fig

    图11  多模态多任务特征共享网络模型

    Fig. 11  Multi-modal and multi-task feature sharing network model

    icon Download:  Full-size image | High-res image | Low-res image

    对于多模态输入，本文通过特征共享层学习多模态下目标的共性特征，在模型末端设置面向不同任务的分类器，实现多任务的高精度输出。此外，通过在模型中嵌入记忆保持单元，对网络学到的多任务的特征进行存储，以对抗新任务到来时网络的遗忘问题。设计多模态联合优化凸非负矩阵因子，实现在同一个目标函数中对多模态数据的处理，利用多源数据中目标、场景之间的相似性减少噪声的影响，提升多模态数据关联特性。

    transl

    具体为：对输入的N个模态，令Xi表示模态i的特征，对模态i构建内部损失函数L(Xi,H)，该损失函数考虑模态i的内部特性关系。构建指示矩阵H连接N个模态，该矩阵融合N个模态目标、场景间的特性关系，指导多模态数据的对齐、信息扩充，构建联合优化模型：

    transl

    n∑i=1argminWi,HλiL(Xi,H)
    λi=1,λ∈[0,1]
         		(3)

    式中，λ表示线性组合系数。定义损失函数L(Xi,H)如式（4）

    transl

    L(Xi,H)=‖Xi-FiHT‖2F
         		(4)

    式中，H为非负矩阵，为便于解释，使Fi=XiWi，则上式变为

    transl

    L(Xi,H)=‖Xi-XiWiHT‖2F
         		(5)

    式中，Wi和H为非负矩阵，这一约束为凸非负矩阵因子化。F是Xi中每一列的凸组合，反映数据聚类中心点。Wi中每一列的元素值表示每一个数据对于该聚类中心的重要性。H为指示矩阵，表示每个数据属于哪个聚类中心，其每一行中最大元素所在的列表示该数据属于这一聚类中心。当加入新任务时，本文构建如下元学习增量学习机制：

    transl

    设模型共享参数为φ，现有N个任务对应的分类器参数为θ={θi}Ni=1，其中θi表示第i任务对应的分类器参数，模型T对输入图像X的预测为

    transl

    ˆY=T(X,φ,θ)
         		(6)

    对于第N+1个新任务，其对应的分类器参数为θN+1，此时的分类器参数为θ'={θi}N+1i=1，此时，模型对于输入图像X'的预测为

    transl

    ˆY'=T'(X',φ,θ')
         		(7)

    这里，采用元学习器MP对θN+1进行预测，MP以原有任务的分类器参数θ={θi}Ni=1以及第N+1任务的特征为输入，输出第N+1个任务的分类器参数：

    transl

    θN+1=MP(X't,θ)
         		(8)

    从而得到新的预测模型T'，此时的目标函数如下式，其中Y'为对应的标签：

    transl

    φ,θ'←argminφ,θ'L(T'(X',φ,θ'),Y')
         		(9)

    则，整个模型的联合目标函数为

    transl

    loss=n∑i=1argminWi,HλiL(Xi,H)+
    βargminφ,θ'L(T'(X',φ,θ'),Y')
    s.t.n∑i=1λi=1,λ,β∈[0,1]
         		(10)

    式中，β控制对新任务的学习。

    transl

    为验证该思路的可行性，本文利用多模态影像开展多任务信息提取初步试验验证。输入数据选用光学Worldview遥感影像（分辨率0.3 m），与SAR高分三号遥感影像（分辨率1 m），同时进行目标检测与语义分割两项任务。试验结果如图12和表4所示。对比试验结果可得，仅使用单模态数据的提取结果中存在较多缺失信息，通过联合使用多模态数据，可提升模型目标检测与语义分割中的效果。

    transl

    fig

    图12  不同模态输入试验结果

    Fig. 12  Experiment results of different input modal

    icon Download:  Full-size image | High-res image | Low-res image
    表4  不同模态输入试验结果表
    Table 4  Experimental results of different input modal
    输入数据APAP50AP75
    光学/Worldview 29.3 50.7 30.7
    SAR/高分三号 20.7 40.0 18.5
    光学+SAR 31.8 53.4 34.2
    icon Download:  Export CSV icon Download:  Download Table Images

    5　结论

    本文回顾了当前多星一体化成像处理和多要素信息提取的解决思路、技术现状和局限性，指出不同的卫星，成像机理显著不同，处理与信息提取方法差异大，尚未充分利用有效互补信息，成为制约当前对地观测遥感发挥效益的瓶颈难题。

    transl

    为此，文中提出了一种遥感大数据条件下多星一体化处理新方法。在成像处理方面，对多星传感器全链路处理中各环节的误差定量分析，构建了多星一体化成像处理物理模型，实现高精度的几何和辐射校正。在信息提取方面，通过构建多任务特征共享与小样本增量学习网络模型，实现面向多模态数据的多类典型地物要素的并行精准提取。与传统方法相比，本文方法利用不同卫星和载荷之间的信息互为补充，实现了多星一体化处理。

    transl

    在后续工作中，将着眼于遥感领域成像处理与信息提取脱节的问题，在成像处理与信息提取环节建立良性互馈机制。在信息提取过程中，引入载荷特性、载荷参数等成像机理，构建成像参数逼近估计和地物目标特征迭代双向驱动的网络学习方法，持续提高模型提取精度。同时，根据用户需求反过来对载荷类型、参数、成像质量等提出优化指导要求，促进对地观测数据的分辨率与质量的提升。从而形成多星一体化处理的双向良性互馈机制，最大化发挥遥感大数据的效益。

    transl

    参考文献（References）

    Bai J. 2019. Launch of Zhuhai-1 Group 03 Satellite [2021-01-20]. http://www.chinanews.com/gn/2019/09-19/8960059.shtml [Baidu Scholar] 

    Bamler R. 1992. A comparison of range-doppler and wavenumber domain SAR focusing algorithms. IEEE Transactions on Geoscience & Remote Sensing, 30(4): 706-713 [DOI: 10.1109/36.158864] [Baidu Scholar] 

    Bennett J R and Cumming I G. 1979. A digital processor for the production of seasat synthetic aperture radar imagery. Proc. SURGE Workshop, (154):16-18. [Baidu Scholar] 

    Benson M, Pierce L and Sarabandi K. 2017. Estimating the three-dimensional structure of the harvard forest using a database driven multi-modal remote sensing technique. IEEE International Geoscience and Remote Sensing Symposium (IGARSS), 5814-5817. [Baidu Scholar] 

    Breit H, Börner E, Mittermayer J, Holzner J and Eineder M. 2004. The TerraSAR-X multi-mode sar processor algorithms and design. Eusar, Ulm, May. DLR. [Baidu Scholar] 

    Bresnahan P C. 2011. Geolocation accuracy evaluations of commercial satellite imagery: challenges and results. The 34th Annual AAS Guidance and Control Conference. [Baidu Scholar] 

    Brockmann Consult GmbH. 2019. Calvalus Processing System [2021-01-25]. https://www.brockmann-consult.de/portfolio/big-data-in-earth-observation/ [Baidu Scholar] 

    Chen K, Fu K, Gao X, Yan M and Sun X. 2019. Effective fusion of multi-modal data with group convolutions for semantic segmentation of aerial imagery. IEEE International Geoscience and Remote Sensing Symposium, 3911-3914. [Baidu Scholar] 

    Chen Q, He F, Yu A, Dong Z and Liang D. 2012. A multi-mode space-borne synthetic aperture radar signal processor. International Conference on Signal Processing (ICSP), Beijing, China: 2040-2043 [DOI: 10.1109/ICoSP.2012.6491982] [Baidu Scholar] 

    Chen Y, Li G, Zhang Q and Sun J. 2017. Refocusing of moving targets in SAR images via parametric sparse representation. Remote Sensing, 9(8):795 [DOI: 10.3390/rs9080795] [Baidu Scholar] 

    Cheng C Q, Zhang J X, Huang G M, Zhang L and Yang J H. 2017. Combined positioning of TerraSAR-X and SPOT-5 HRS images with RFM considering accuracy information of orientation parameters. Acta Geodaetica et Cartographica Sinica, 46(2): 179-187 [Baidu Scholar] 

    程春泉, 张继贤, 黄国满, 张力, 杨景辉. 2017. 考虑定向参数精度信息的TerraSAR-X和SPOT-5 HRS影像RFM联合定位. 测绘学报, 46(2): 179-187 [DOI: 10.11947/j.AGCS.2017.2016 0138] [Baidu Scholar] 

    Cui L, Qiu X L, Guo J Y, Wen X J, Yang J Y and Fu K. 2020. Multi-channel phase error estimation method based on an error backpropagation algorithm for a multichannel SAR. Journal of Radars, 9(5): 878-885 [Baidu Scholar] 

    崔磊, 仇晓兰, 郭嘉逸, 温雪娇, 杨俊莹, 付琨. 2020. 一种基于误差反向传播优化的多通道SAR相位误差估计方法. 雷达学报, 9(5): 878-885 [DOI: 10.12000/JR20096] [Baidu Scholar] 

    Ding C B, Liu J Y, Lei B and Qiu X L. 2017. Preliminary exploration of systematic geolocation accuracy of gf-3 sar satellite system. Journal of Radars, 6(1): 11-16 [Baidu Scholar] 

    丁赤飚, 刘佳音, 雷斌, 仇晓兰. 2017. 高分三号SAR卫星系统级几何定位精度初探. 雷达学报, 6(1): 11-16 [DOI: 10.12000/JR17024] [Baidu Scholar] 

    Fernandez-Beltran R, Haut J M, Paoletti M E, Plaza J, Plaza A and Pla F. 2018. Remote sensing image fusion using hierarchical multimodal probabilistic latent semantic analysis. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 11(12):4982-4993 [DOI: 10.1109/JSTARS.2018.28813 42] [Baidu Scholar] 

    Grodecki J and Dial G. 2003. Block adjustment of high-resolution satellite images described by rational polynomials. Photogrammetric Engineering & Remote Sensing, 9(7): 12-28. [DOI: 10.14358/PERS.69.1.59] [Baidu Scholar] 

    Helder D, Thome K J. Mishra N, Chander G and Choi T. 2013. Absolute radiometric calibration of landsat using a pseudo invariant calibration site. IEEE Transactions on Geoscience and Remote Sensing, 51(3): 1360-1369. [DOI: 10.1109/TGRS.2013.2243738] [Baidu Scholar] 

    Hu F and Jin S Y. 2017. Analysis on the development of high-resolution optical remote sensing satellite wide-format imaging technology. Geomatics World,24(5): 45-50 [Baidu Scholar] 

    胡芬, 金淑英. 2017. 高分辨率光学遥感卫星宽幅成像技术发展浅析. 地理信息世界,24(5): 45-50 [DOI: cnki:sun:chrk.0.2017-05-010] [Baidu Scholar] 

    Jeong J, Yang C and Kim T. 2015. Geo-positioning accuracy using multiple-satellite images: Ikonos, QuickBird, and Kompsat-2 stereo images. Remote Sensing, 7(4): 4549-4564 [DOI: 10.3390/rs70404549] [Baidu Scholar] 

    Jiao N G, Wang F, You H J, Qiu X L and Yang M D. 2019. Geolocation accuracy improvement of multiobserved GF-3 spaceborne SAR imagery. IEEE Geoscience and Remote Sensing Letters, (99):1-5 [DOI: 10.1109/LGRS.2019.2955491] [Baidu Scholar] 

    Jin H H. 2020. Look at the Huoshenshan hospital from 500 kilometers above [2021-01-20]. http://news.china.com.cn/txt/2020-01/31/content_75662044.htm [Baidu Scholar] 

    Kampffmeyer M, Salberg A B, Jenssen R. 2016. Semantic Segmentation of Small Objects and Modeling of Uncertainty in Urban Remote Sensing Images Using Deep Convolutional Neural Networks. 2016 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Las Vegas, NV,2016, pp. 680-688. [DOI: 10.1109/CVPRW.2016.90] [Baidu Scholar] 

    Khalel A, Tasar O, Charpiat G and Tarabalka Y. 2019. Multi-task deep learning for satellite image pansharpening and segmentation. 2019 IEEE International Geoscience and Remote Sensing Symposium, 4869-4872. [Baidu Scholar] 

    Kusk A, Abulaitijiang A and Dall J. 2016. Synthetic SAR image generation using sensor, terrain and target models. Proceedings of EUSAR 2016: 11th European Conference on Synthetic Aperture Radar. Hamburg, Germany: VDE: 405-409. [Baidu Scholar] 

    Leberl F. 1973. Radargrammetry for Image Interpretation. Paris: International Institute for Aerial Survey and Earth. [Baidu Scholar] 

    Li C, Shen Y, Li B, Gang Q, Liu S, Wang W and Tong X. 2014. An improved geopositioning model of QuickBird high resolution satellite imagery by compensating spatial correlated errors. ISPRS Journal of Photogrammetry and Remote Sensing 96:12-19. [DOI: 10.1016/j.isprsjprs.2014.06.010] [Baidu Scholar] 

    Li J, Zhang H and Zhang L. 2015. Efficient superpixel-oriented multi-task joint sparse representation classification for hyperspectral imagery. 2015 IEEE International Geoscience and Remote Sensing Symposium (IGARSS),2592-2595. [Baidu Scholar] 

    Li K, Wan G, Cheng G, Meng L and Han J. 2019. Object detection in optical remote sensing images: A survey and a new benchmark. ISPRS Journal of Photogrammetry and Remote Sensing, 159:296-307 [DOI: 10.1016/j.isprsjprs.2019.11.023] [Baidu Scholar] 

    Li R, Zhou F, Niu X and Di K. 2007. Integration of Ikonos and QuickBird imagery for geopositioning accuracy analysis. Photogrammetric Engineering and Remote Sensing, 73(9):1067-1074 [DOI: 10.2112/05-0470.1] [Baidu Scholar] 

    Li S Y, Zhang W F and Yang S. 2017. Intelligence fusion method research of multisource high-resolution remote sensing images. Journal of Remote sensing,21(3): 415-424 [Baidu Scholar] 

    李盛阳, 张万峰, 杨松. 2017. 多源高分辨率遥感影像智能融合. 遥感学报,21(3): 415-424 [DOI: 10.11834/jrs.20176386] [Baidu Scholar] 

    Liang J. 2017. Gaojing-1 satellite imagery parameters [2021-02-02]. http://www.ce.cn/xwzx/gnsz/gdxw/201703/15/t20170315_20997952.shtml [Baidu Scholar] 

    Liebel L, Bittner K and Krner M. 2020. A generalized multi-task learning approach to stereo DSM filtering in urban areas. ISPRS Journal of Photogrammetry and Remote Sensing 166:213-227 [DOI: 10.1016/j.isprsjprs.2020.03.005] [Baidu Scholar] 

    Liu L, Yao F and Wang H. 2020. 2020 Global space launch reports [2021-01-16]. https://mp.weixin.qq.com/s/BEdGo7X5NPFhFrAY_ YZnRA [Baidu Scholar] 

    Liu Y, Minh Nguyen D, Deligiannis N, Ding W and Munteanu A. 2017. Hourglass-ShapeNetwork Based Semantic Segmentation for High Resolution Aerial Imagery. Remote Sensing, 9(6):522-535 [DOI: 10.3390/rs9060522] [Baidu Scholar] 

    Longbotham N, Pacifici F, Glenn T, Zare A, Volpi M, Tuia D, Christophe E, Michel J, Inglada J and Chanussot J. 2012. Multi-modal change detection, application to the detection of flooded areas: outcome of the 2009–2010 data fusion contest. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 5(1):331-342 [DOI: 10.1109/JSTARS.2011.2179638] [Baidu Scholar] 

    Luo C and Ma L. 2018. Manifold regularized distribution adaptation for classification of remote sensing images. IEEE Access, 6: 4697-4708 [DOI: 10.1109/access.2018.2789932] [Baidu Scholar] 

    Lyu G N, Tang X M, Ai B, Li T and Chen Q F. 2018. Hybrid geometric calibration method for multi-platform spaceborne sar image with sparse gcps. Acta Geodaetica et Cartographica Sinica, 47(7): 986-995 [Baidu Scholar] 

    吕冠南, 唐新明, 艾波, 李涛, 陈乾福. 2018. 稀少控制的多平台星载SAR联合几何定标方法. 测绘学报, 47(7): 986-995 [DOI: 10.11947/j.AGCS.2018.20170283] [Baidu Scholar] 

    Ma D A, Tang P and Zhao L J. 2018. SiftingGAN: generating and sifting labeled samples to improve the remote sensing image scene classification baseline in vitro. IEEE Geoscience and Remote Sensing Letters, 16(7): 1046-1050 [DOI: 10.1109/lgrs.2018.2890413] [Baidu Scholar] 

    Malmgren-Hansen D, Kusk A, Dall J and Nielsen A. 2017. Engholm R and Skriver H. Improving SAR automatic target recognition models with transfer learning from simulated data. IEEE Geoscience and Remote Sensing Letters, 14(9): 1484-1488 [DOI: 10.1109/lgrs.2017.2717486] [Baidu Scholar] 

    Meng D, Ding C, Hu D, Qiu X, Huang L, Han B, Liu J and Xu N. 2017. On the processing of very high resolution spaceborne SAR data:a chirp-modulated back projection approach. IEEE Transactions on Geoscience and Remote Sensing, 99: 1-11 [DOI: 10.1109/TGRS.2017.2744649] [Baidu Scholar] 

    Meng D, Hu D and Ding C. 2015. Precise focusing of airborne SAR data with wide apertures large trajectory deviations:a chirp modulated back-projection approach. IEEE Transactions on Geoscience and Remote Sensing, 53(5): 2510-2519 [DOI: 10.1109/TGRS.2014.2361134] [Baidu Scholar] 

    Nan K, Qi H and Ye Y X. 2019. A template matching method of multimodal remote sensing images based on deep convolutional feature representation. Acta Geodaetica et Cartographica Sinica, 48(6): 727-736 [Baidu Scholar] 

    南轲, 齐华, 叶沅鑫. 2019. 深度卷积特征表达的多模态遥感影像模板匹配方法. 测绘学报, 48(6): 727-736 [DOI: 10.11947/j.AGCS.2019.20180432] [Baidu Scholar] 

    Pan H B, Zhang G, Tang X M, Wang X, Zhou P, Xu M Z and Li D R. 2013. Analysis and verification of the accuracy of the image products of the zy-3 surveying and mapping satellite. Acta Geodaetica et Cartographica Sinica, 042(005):738-744 [Baidu Scholar] 

    潘红播, 张过, 唐新明, 王霞, 周平, 许妙忠, 李德仁. 2013. 资源三号测绘卫星影像产品精度分析与验证.测绘学报, 042(005):738-744 [DOI: cnki:sun:chxb.0.2013-04-010] [Baidu Scholar] 

    Papadomanolaki M, Karantzalos K and Vakalopoulou M. 2019. A multi-task deep learning framework coupling semantic segmentation and image reconstruction for very high-resolution imagery. 2019 IEEE International Geoscience and Remote Sensing Symposium. [Baidu Scholar] 

    Papoulis A. 1968. System and transforms with applications in optics. New York: McGraw-Hill. [Baidu Scholar] 

    Qiu X, Hu D and Ding C. 2008. An improved NLCS algorithm with capability analysis for one-stationary BiSAR. IEEE Transactions on Geoscience & Remote Sensing, 46(10): 3179-3186 [DOI: 10.1109/TGRS.2008.921569] [Baidu Scholar] 

    Rao M B, Tang P and Zhang Z. 2019. Spatial-spectral relation network for hyperspectral image classification with limited training samples. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(12): 5086-5100 [DOI: 10.1109/jstars.2019.2957047] [Baidu Scholar] 

    Rosa L, Zortea M, Gemignani B H, Oliveira D and Feitosa R. 2020. FCRN-based multi-task learning for automatic citrus tree detection from uav images. 2020 IEEE Latin American GRSS & ISPRS Remote Sensing Conference (LAGIRS), 403-408 [DOI: 10.5194/isprs-annals-IV-3-W2-2020-65-2020] [Baidu Scholar] 

    Shao Q, Wang S Y, Yang C X and Zhang X H. 2017. Landsat 5 tm, landsat 7 etm+ and landsat 8 oli cross calibration research. Industry and Technology Forum, 16(017): 54-57 [Baidu Scholar] 

    邵琦, 王思懿, 杨春熙, 张雪红. 2017. Landsat 5 tm,landsat 7 etm+及landsat 8 oli交叉定标研究. 产业与科技论坛, 16(017): 54-57 [Baidu Scholar] 

    Shi J, Shao T, Liu X, Zhang X and Lei Y. 2020. Evolutionary multi-task ensemble learning model for hyperspectral image classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing,99:1-15[10.1109/JSTARS.2020.3037353] [Baidu Scholar] 

    Tang S, Wu B, Zhu Q. 2016. Combined adjustment of multi-resolution satellite imagery for improved geo-positioning accuracy. ISPRS Journal of Photogrammetry & Remote Sensing, 114:125-136 [DOI: 10.1016/j.isprsjprs.2016.02.003] [Baidu Scholar] 

    Thome K, Mccorkel J and Czapla-Myers J. 2013. In-situ transfer standard and coincident-view intercomparisons for sensor cross-calibration. IEEE Transactions on Geoscience and Remote Sensing, 51(3): 1088-1097. [DOI: 10.1109/TGRS.2013.2243841] [Baidu Scholar] 

    UCS satellite database [2021-01-15].https://www.ucsusa.org/sites/default/files/2020-10/UCS-Satellite-Database-8-1-2020.xls [Baidu Scholar] 

    Viktor M S and Kenneth C. 2013. Big Data: A Revolution That Will Transform How We Live, Work and Think. London: Hodder [DOI: 10.1080/1369118X.2014.923482] [Baidu Scholar] 

    Volpi M and Tuia D. 2018. Deep multi-task learning for a geographically-regularized semantic segmentation of aerial images. ISPRS journal of photogrammetry and remote sensing, 144: 48-60 [DOI: 10.1016/j.isprsjprs.2018.06.007] [Baidu Scholar] 

    Wahl D E and Eichel P H. 1994. Phase gradient autofocus-a robust tool for high resolution SAR phase correction. IEEE Transactions on Aerospace and Electronic Systems, 30(3): 827-834 [DOI: 10.1109/7.303752] [Baidu Scholar] 

    Wang Y, Ding W, Zhang R and Li H. 2020. Boundary-aware multi-task learning for remote sensing imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, (99):1-15 [DOI: 10.1109/JSTARS.2020.3043442] [Baidu Scholar] 

    Wei Z Q. 2001. Synthetic aperture radar satellite. Beijing: Science Press. (魏钟铨. 2001. 合成孔径雷达卫星. 北京：科学出版社.) [Baidu Scholar] 

    Wivell C E, Steinwand D R, Kelly G G and Meyer D J. 2002. Evaluation of terrain models for the geocoding and terrain correction, of synthetic aperture radar (SAR) images. IEEE Transactions on Geoscience & Remote Sensing, 30(6), 1137-1144 [DOI: 10.1109/36.193789] [Baidu Scholar] 

    Wu Y D and Ming Y. 2012. Multi-source SAR image joint positioning method lacking ground control points. Journal of Hubei University of Technology. 27(4): 13-17. [Baidu Scholar] 

    吴颖丹, 明洋. 2012. 缺少地面控制点的多源SAR影像联合定位方法. 湖北工业大学学报,27(4): 13-17 [DOI: 10.3969/j.issn.1003-4684.2012.04.027] [Baidu Scholar] 

    Xinhua News Agency. 2020. Through the clouds and soaking rain! High-resolution satellite hits the red flood warning of the Yangtze River [2021-01-12]. https://baijiahao.baidu.com/s?id=167229470 7973973457&wfr=spider&for=pc [Baidu Scholar] 

    Yang L, Fu Q Y, Pan Z Q, Zhang X W, Han Q J and Liu L. 2015. Research on Radiation Cross Calibration of Gaofen-1 Satellite Camera. Infrared and Laser Engineering, 44(8): 2456-2456 [Baidu Scholar] 

    杨磊, 傅俏燕, 潘志强, 张学文, 韩启金, 刘李. 2015. 高分一号卫星相机的辐射交叉定标研究. 红外与激光工程, 44(8): 2456-2456 [DOI: 10.3969/j.issn.1007-2276.2015.08.036] [Baidu Scholar] 

    Yan Y M, Tan Z C and Su N. 2019. A data augmentation strategy based on simulated samples for ship detection in rgb remote sensing images. ISPRS International Journal of Geo-Information, 8(6): 276 [DOI: 10.3390/ijgi8060276] [Baidu Scholar] 

    Zhan Y, Hu D, Wang Y T and Yu X C. 2017. Semisupervised hyperspectral image classification based on generative adversarial networks. IEEE Geoscience and Remote Sensing Letters, 15(2): 212-216 [DOI: 10.1109/lgrs.2017.2780890] [Baidu Scholar] 

    Zhang L, Dong H and Zou B. 2019. Efficiently utilizing complex-valued PolSAR image data via a multi-task deep learning framework. ISPRS Journal of Photogrammetry and Remote Sensing, 157: 59-72 [DOI: 10.1016/j.isprsjprs.2019.09.002] [Baidu Scholar] 

    Zhang G, Li Z, Pan H B, Qiang Q and Zhai L. 2011. Orientation of spaceborne SAR stereo pairs employing the RPC adjustment model. IEEE Transactions on Geoscience and Remote Sensing, 49(7): 2782-2792 [DOI: 10.1109/TGRS.2011.2107559] [Baidu Scholar] 

    Zhang S W. 2020. More than 30 satellites escort the fight against the epidemic [2021-01-20]. http://news.sciencenet.cn/htmlnews/2020/3/437404.shtm. [Baidu Scholar] 

    Zhang Y, Du B, Zhang L and Liu T. 2016. Joint sparse representation and multitask learning for hyperspectral target detection. IEEE Transactions on Geoscience and Remote Sensing, 55(2): 894-906 [DOI: 10.1109/TGRS.2016.2616649] [Baidu Scholar] 

    Zhang Y H, Lin Z J, Zhang J X and Gan M L. 2002. SAR image geometric correction. Acta Geodaetica et Cartographica Sinica, 31(2):134-138 [Baidu Scholar] 

    张永红, 林宗坚, 张继贤, 甘梦龙. 2002. SAR影像几何校正. 测绘学报, 31(2):134-138 [DOI: 10.3321/j.issn:1001-1595.2002.02.009] [Baidu Scholar] 

    Zhang Y H, Zhong B, Yang F J and Liu Q H. 2012. BRDF feature extraction based on TM/ETM and DEM data. Journal of Remote Sensing, 16(2):361-377 [Baidu Scholar] 

    张玉环,仲波,杨锋杰,柳钦火.2012.基于TM/ETM和DEM数据的BRDF特征提取.遥感学报,16(2):361-377 [DOI: 10.11834/jrs.20102423] [Baidu Scholar] 

    Zhang Y H, Sun H, Zuo J W, Wang H Q, Xu G L and Sun X. 2018. Aircraft type recognition in remote sensing images based on feature learning with conditional generative adversarial networks. Remote Sensing, 10(7): 1123 [DOI: 10.3390/rs10071123] [Baidu Scholar] 

    Zhou X and Prasad S. 2018. Deep feature alignment neural networks for domain adaptation of hyperspectral data. IEEE Transactions on Geoscience and Remote Sensing, 56(10): 5863-5872 [DOI: 10.1109/tgrs.2018.2827308] [Baidu Scholar] 

    Zhu L, Chen Y S, Ghamisi P and Benediktsson J A. 2018. Generative adversarial networks for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 56(9): 5046-5063 [DOI: 10.1109/tgrs.2018.2805286] [Baidu Scholar] 

    Alert me when the article has been cited
    Submit

    Related Articles

    Related Author

    No data

    Related Institution

    School of Geography and Remote Sensing, Guangzhou University
    China Institute of Water Resources and Hydropower Research
    School of Geography and Remote Sensing, Hohai University
    Agricultural Science and Technology Information Research Institute, Guangxi Academy of Agricultural Sciences
    State Key Laboratory of Remote Sensing Science, Aerospace Information Research Institute, Chinese Academy of Sciences
    0