предыдущий|следующий

Усиленное сопоставление оптических и SAR-изображений на основе глубокой перестройки функций

  • role： First author第一作者
  • Affiliation：

    Faculty of Geosciences and Engineering,Southwest Jiaotong University, Chengdu 611756,China

  • Email：yc18483685462@163.com
  • Introduction：杨超，研究方向为遥感图像处理与分析。E-mail： yc18483685462@163.com
YANG Chao,  
  • Affiliation：

    Faculty of Geosciences and Engineering,Southwest Jiaotong University, Chengdu 611756,China

LIU Chang,  
  • Affiliation：

    Faculty of Geosciences and Engineering,Southwest Jiaotong University, Chengdu 611756,China

TANG Tengfeng,  
  • role： Corresponding author通信作者
  • Affiliation：

    Faculty of Geosciences and Engineering,Southwest Jiaotong University, Chengdu 611756,China

  • Email：yeyuanxin@home.swjtu.edu.cn
  • Introduction：叶沅鑫，研究方向为多源遥感图像智能解译。E-mail： yeyuanxin@home.swjtu.edu.cn
YE Yuanxin*

реферат

Из-за фундаментального различия в принципе изображения синтетической апертурной радарной (SAR) картинки и оптической камеры, они проявляют заметные различия в радиационных и геометрических характеристиках, и их точное автоматическое сопоставление всегда было горячей темой академических исследований в мире. На сегодняшний день большинство методов сопоставления на основе глубокого обучения сосредоточены на извлечении глубоких функций изображения, но эти модели обычно игнорируют многомасштабное объединение функций и выражение общих функций, что приводит к недостаточной устойчивости и сложности работы с сложными и переменными сценами. Учитывая это, в данном исследовании был предложен метод сопоставления оптических и SAR-изображений, основанный на усилении глубокой перестройки функций. Этот метод основан на построении сети извлечения общей функции путем объединения многомасштабных глубинных функций и перестройки изображения. Во-первых, благодаря масштабированной архитектуре извлечения функций сеть может эффективно извлекать глубокие функции пары оптического и SAR-изображений на уровне пикселя. Во-вторых, была разработана ветвь трансляции ложного SAR-изображения для оптического изображения, которая использует глубокую перестройку изображения для усиления способности сети выражать общие функции. Наконец, была построена совместная функция потерь на основе сходства многократного сопоставления функций и средней квадратичной ошибки перестройки изображения, что привело к достижению устойчивого сопоставления оптических и SAR-изображений. В сравнительных экспериментах на наборах данных дистанционного зондирования различной разрешающей способности, содержащих различные земельные участки (городские, пригородные, пустынные, горные, водные), результаты показали, что предложенные методы всегда проявляют наивысшие показатели точности сопоставления по сравнению с некоторыми передовыми методами сопоставления.

ключеви́че слова́

Дистанционное зондирование; Оптическое изображение; Синтетический апертурный радарный образ; Сопоставление изображений; Глубокое обучение

References

  1. 1.
    Cheng F F, Fu Z T, Huang L, Niu B S, Chen P D, Wang L G and Ji X R. 2022. Review of deep learning in optical and SAR image fusion. National Remote Sensing Bulletin, 26(9): 1744-1756
  2. 2.
    Fan Z L, Zhang L, Liu Y X, Wang Q D and Zlatanova S. 2021. Exploiting high geopositioning accuracy of SAR data to obtain accurate geometric orientation of optical satellite images. Remote Sensing, 13(17): 3535
  3. 3.
    Fang Y Y, Hu J, Du C, Liu Z B and Zhang L. 2022. SAR-optical image matching by integrating siamese U-Net with FFT correlation. IEEE Geoscience and Remote Sensing Letters, 19: 4016505
  4. 4.
    Gao C Z, Li W, Tao R and Du Q. 2022. MS-HLMO: multiscale histogram of local main orientation for remote sensing image registration. IEEE Transactions on Geoscience and Remote Sensing, 60: 5626714
  5. 5.
    Gazzea M, Sommervold O and Arghandeh R. 2023. MARU-Net: multiscale attention gated residual U-Net with contrastive loss for SAR-optical image matching. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 16: 4891-4899
  6. 6.
    He M M, Guo Q, Li A, Chen J, Chen B and Feng X X. 2018. Automatic fast feature-level image registration for high-resolution remote sensing images. Journal of Remote Sensing (in Chinese), 22(2): 277-292
  7. 7.
    Isola P, Zhu J Y, Zhou T H and Efros A A. 2017. Image-to-image translation with conditional adversarial networks//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE: 5967-5976
  8. 8.
    Li J J, Zhang J C, Yang C, Liu H Y, Zhao Y G and Ye Y X. 2023. Comparative analysis of pixel-level fusion algorithms and a new high-resolution dataset for SAR and optical image fusion. Remote Sensing, 15(23): 5514
  9. 9.
    Li J Y, Hu Q W and Ai M Y. 2020. RIFT: multi-modal image matching based on radiation-variation insensitive feature transform. IEEE Transactions on Image Processing, 29: 3296-3310
  10. 10.
    Li J Y, Xu W Y, Shi P C, Zhang Y J and Hu Q W. 2022. LNIFT: locally normalized image for rotation invariant multimodal feature matching. IEEE Transactions on Geoscience and Remote Sensing, 60: 5621314
  11. 11.
    Li X H, Ai W H, Feng R T and Luo S J. 2023. Survey of remote sensing image registration based on deep learning. National Remote Sensing Bulletin, 27(2): 267-284
  12. 12.
    Merkle N, Luo W J, Auer S, Müller R and Urtasun R. 2017. Exploiting deep matching and SAR data for the geo-localization accuracy improvement of optical satellite images. Remote Sensing, 9(6): 586
  13. 13.
    Ronneberger O, Fischer P and Brox T. 2015. U-Net: convolutional networks for biomedical image segmentation//18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich: Springer: 234-241
  14. 14.
    Schmitt M, Hughes L H and Zhu X X. 2018. The sen1-2 dataset for deep learning in SAR-optical data fusion. ISPRS Annals of the Photogrammetry. Remote Sensing and Spatial Information Sciences, IV-1: 141-146
  15. 15.
    Suri S and Reinartz P. 2010. Mutual-information-based registration of TerraSAR-X and Ikonos imagery in urban areas. IEEE Transactions on Geoscience and Remote Sensing, 48(2): 939-949
  16. 16.
    Wang N, Li B, Wei X X, Wang Y H and Yan H Q. 2021. Ship detection in spaceborne infrared image based on lightweight CNN and multisource feature cascade decision. IEEE Transactions on Geoscience and Remote Sensing, 59(5): 4324-4339
  17. 17.
    Xiang D L, Xie Y Z, Cheng J D, Xu Y H, Zhang H and Zheng Y P. 2022. Optical and SAR image registration based on feature decoupling network. IEEE Transactions on Geoscience and Remote Sensing, 60: 5235913
  18. 18.
    Xiang Y M, Wang X Q, Wang F, You H J, Qiu X L and Fu K. 2023. A global-to-local algorithm for high-resolution optical and SAR image registration. IEEE Transactions on Geoscience and Remote Sensing, 61: 5215320
  19. 19.
    Xu W Y, Yuan X H, Hu Q W and Li J Y. 2023. SAR-optical feature matching: a large-scale patch dataset and a deep local descriptor. International Journal of Applied Earth Observation and Geoinformation, 122: 103433
  20. 20.
    Ye Y X, Bruzzone L, Shan J, Bovolo F and Zhu Q. 2019. Fast and robust matching for multimodal remote sensing image registration. IEEE Transactions on Geoscience and Remote Sensing, 57(11): 9059-9070
  21. 21.
    Ye Y X and Shen L. 2016. HOPC: a novel similarity metric based on geometric structural properties for multi-modal remote sensing image matching. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, III-1: 9-16
  22. 22.
    Ye Y X, Sun M M, Zhou L, Yang C, Liu T Y and Hao S Y. 2023. Main body, edge decomposition and reorganization network for building change detection. Acta Geodaetica et Cartographica Sinica, 52(1): 71-81
  23. 23.
    Ye Y X, Yang C, Gong G Q, Yang P Z, Quan D and Li J Y. 2024. Robust optical and SAR image matching using attention-enhanced structural features. IEEE Transactions on Geoscience and Remote Sensing, 62: 5610212
  24. 24.
    Yin K Y, Huang G and Huang Z Y. 2021. SAR platform’s scene matching positioning method based on generalized pseud-range. Radar Science and Technology, 19(5): 589-597
  25. 25.
    Zhang H, Lei L, Ni W P, Tang T, Wu J Z, Xiang D L and Kuang G Y. 2022a. Optical and SAR image matching using pixelwise deep dense features. IEEE Geoscience and Remote Sensing Letters, 19: 6000705
  26. 26.
    Zhang H, Lei L, Ni W P, Tang T, Wu J Z, Xiang D L and Kuang G Y. 2022b. Explore better network framework for high-resolution optical and SAR image matching. IEEE Transactions on Geoscience and Remote Sensing, 60: 4704418
  27. 27.
    Zhou L, Ye Y X, Tang T F, Nan K and Qin Y. 2022. Robust matching for SAR and optical images using multiscale convolutional gradient features. IEEE Geoscience and Remote Sensing Letters, 19: 4017605
  28. 28.
    Zhu B, Yang C, Dai J K, Fan J W, Qin Y and Ye Y X. 2023. R₂FD₂: fast and robust matching of multimodal remote sensing images via repeatable feature detector and rotation-invariant feature descriptor. IEEE Transactions on Geoscience and Remote Sensing, 61: 5606115

Читать полностью

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website