Früher|Nächster

Fernerkundungsveränderungserkennung mit Fokus auf semantische Konsistenz

  • role： First author第一作者
  • Affiliation：

    College of Computer Science and Technology, Ocean University of China, Qingdao 266100, China

  • Email：wuhucheng1@163.com
  • Introduction：吴虎承，研究方向为遥感智能解译。E-mail：wuhucheng1@163.com
WU Hucheng1,  
  • role： Corresponding author通信作者
  • Affiliation：

    College of Computer Science and Technology, Ocean University of China, Qingdao 266100, China

    College of Big Data and Software Engineering, Zhejiang Wanli University, Ningbo 315100, China

  • Email：renfang_wangac@126.com
  • Introduction：王仁芳，研究方向为数字图像处理、机器学习、遥感智能解译。E-mail：renfang_wangac@126.com
WANG Renfang12*,  
  • Affiliation：

    College of Big Data and Software Engineering, Zhejiang Wanli University, Ningbo 315100, China

QIU Hong2,  
  • Affiliation：

    College of Big Data and Software Engineering, Zhejiang Wanli University, Ningbo 315100, China

WANG Feng2,  
  • Affiliation：

    College of Big Data and Software Engineering, Zhejiang Wanli University, Ningbo 315100, China

    Popsmart Technology(Zhejiang) Co., Ltd., Ningbo 315042, China

GAO Guang23,  
  • Affiliation：

    College of Big Data and Software Engineering, Zhejiang Wanli University, Ningbo 315100, China

    Popsmart Technology(Zhejiang) Co., Ltd., Ningbo 315042, China

WU Dun23

Resümee

Die semantische Veränderungserkennung bei Fernerkundungsbildern spielt eine wichtige Rolle im ökologischen Umfeld, bei der Landnutzung und der Überwachung der Landbedeckung. In den letzten Jahren sind auf Deep Learning basierende Veränderungserkennungsmethoden ein Schwerpunkt der intelligenten Fernerkundungsinterpretation. Die bestehenden dreigleisigen semantischen Veränderungserkennungsmethoden fehlen jedoch eine Modellierung der Konsistenz zwischen der Veränderungs- und Semantikzweig, was zu Widersprüchen bei der semantischen Veränderungserkennung zweier Zeitpunkte führt. Zur Lösung dieses Problems wird in diesem Artikel ein semantischer Veränderungserkennungsalgorithmus für Fernerkundungsbilder basierend auf siamesischen CNNs und Transformer vorgeschlagen. In der Kodierungsphase wird zunächst ein siamesisches ResNet34-Netzwerk entwickelt, um mehrskalige Merkmale aus Bildern zu extrahieren, unterstützt durch ein Differenzverstärkungsmodul zur Erhöhung des Fokus auf Veränderungsinformationen; anschließend wird ein semantischer Marker verwendet, um die Merkmalskarte in kompakte semantische Tokens zu transformieren, und durch einen Transformer-Encoder werden semantische und Veränderungsinformationen zweier Zeitpunkte gemeinsam modelliert, um die „Semantik-Veränderung“-Konsistenz abzubilden. In der Dekodierungsphase werden durch den Transformer-Decoder mit Sprungverbindungen semantische Informationen verschiedener Detailgenauigkeiten fusioniert, um eine verfeinerte semantische Merkmalskarte zu erzeugen; nach dem Upsampling und maskierten Multiplikation wird das Ergebnis der semantischen Veränderung zweier Zeitpunkte erhalten. Die experimentellen Ergebnisse auf den öffentlichen Datensätzen SECOND und Landsat-SCD zur semantischen Veränderungserkennung in der Fernerkundung zeigen, dass der vorgeschlagene Algorithmus effektiv auf veränderte Bereiche fokussiert, die Konsistenz von Veränderungs- und Semantikergebnissen aufrechterhält und hervorragende Bewertungsmetriken und visuelle Effekte erzielt.

Schlüsselwort

Fernerkundungsbild; Veränderungserkennung; semantische Konsistenz; Differenzverstärkung; mehrskalige Merkmale; siamesisches Netzwerk; ResNet34; Transformer

References

  1. 1.
    Bruzzone L, Prieto D F and Serpico S B. 1999. A neural-statistical approach to multitemporal and multisource remote-sensing image classification. IEEE Transactions on Geoscience and Remote Sensing, 37(3): 1350-1359
  2. 2.
    Bruzzone L and Serpico S B. 1997. An iterative technique for the detection of land-cover transitions in multitemporal remote-sensing images. IEEE Transactions on Geoscience and Remote Sensing, 35(4): 858-867
  3. 3.
    Daudt R C, Le Saux B and Boulch A. 2018. Fully convolutional siamese networks for change detection//2018 25th IEEE International Conference on Image Processing (ICIP). Athens: IEEE: 4063-4067
  4. 4.
    Demir B, Bovolo F and Bruzzone L. 2012. Detection of land-cover transitions in multitemporal remote sensing images with active-learning-based compound classification. IEEE Transactions on Geoscience and Remote Sensing, 50(5): 1930-1941
  5. 5.
    Deng Y P, Chen J S, Yi S M, Yue A Z, Meng Y, Chen J B and Zhang Y. 2022. Feature-guided multitask change detection network. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 9667-9679
  6. 6.
    Ding L, Guo H T, Liu S C, Mou L C, Zhang J and Bruzzone L. 2022. Bi-temporal semantic reasoning for the semantic change detection in HR remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5620014
  7. 7.
    Dosovitskiy A, Beyer L, Kolesnikov A, Weissenborn D, Zhai X, Unterthiner T, Dehghani M, Minderer M, Heigold G, Gelly S, Uszkoreit J and Houlsby N. 2021. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale[A]. arXiv.
  8. 8.
    El-Hattab M M. 2016. Applying post classification change detection technique to monitor an Egyptian coastal zone (Abu Qir Bay). The Egyptian Journal of Remote Sensing and Space Science, 19(1): 23-36
  9. 9.
    Li T, Cui L Z, Xu Z H, Hu R H, Joshi P K, Song X F, Tang L, Xia A Q, Wang Y F, Guo D, Zhu J P, Hao Y B, Song L and Cui X Y. 2021. Quantitative analysis of the research trends and areas in grassland remote sensing: a scientometrics analysis of web of science from 1980 to 2020. Remote Sensing, 13(7): 1279
  10. 10.
    Liu S C, Du K C, Zheng Y J, Chen J, Du P J and Tong X H. 2023.Remote sensing change detection technology in the Era of artificial intelligence: inheritance, development and challenges. National Remote Sensing Bulletin, 27(9): 1975-1987
  11. 11.
    Liu Y, He X, Li D Y, Yue H and Wei J L. 2024. CBAM UNet+++: attention mechanism to guide change detection studies of full-scale connected networks. National Remote Sensing Bulletin, 28(4): 1052-1065
  12. 12.
    Luo H, Liu C, Wu C and Guo X. 2018. Urban change detection based on dempster-Shafer theory for multitemporal very high-resolution imagery. Remote Sensing, 10(7): 980
  13. 13.
    Lv Z Y, Wang F J, Cui G Q, Benediktsson J A, Lei T and Sun W W. 2022. Spatial-spectral attention network guided with change magnitude image for land cover change detection using remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 60: 4412712
  14. 14.
    Moustafa M S, Mohamed S A, Ahmed S and Nasr A H. 2021. Hyperspectral change detection based on modification of UNet neural networks. Journal of Applied Remote Sensing, 15(2): 028505
  15. 15.
    Shi W Z, Zhang M, Zhang R, Chen S X and Zhan Z. 2020. Change detection based on artificial intelligence: state-of-the-art and challenges. Remote Sensing, 12(10): 1688
  16. 16.
    Singh A. 1989. Review article digital change detection techniques using remotely-sensed data. International Journal of Remote Sensing, 10(6): 989-1003
  17. 17.
    Wang Y, Shao Z F, Lu T, Liu L F, Huang X, Wang J M, Jiang K and Zeng K L. 2023. A lightweight distillation CNN-transformer architecture for remote sensing image super-resolution. International Journal of Digital Earth, 16(1): 3560-3579
  18. 18.
    Wu C, Du B, Cui X H and Zhang L P. 2017. A post-classification change detection method based on iterative slow feature analysis and Bayesian soft fusion. Remote Sensing of Environment, 199: 241-255
  19. 19.
    Xiang S, Wang M, Jiang X F, Xie G Q, Zhang Z Q and Tang P. 2021. Dual-task semantic change detection for remote sensing images using the generative change field module. Remote Sensing, 13(16): 3336
  20. 20.
    Yang B, Mao Y, Chen J, Liu J Q, Chen J and Yan K. 2023. Review of remote sensing change detection in deep learning: bibliometric and analysis. National Remote Sensing Bulletin, 27(9): 1988-2005
  21. 21.
    Yang K P, Xia G S, Liu Z C, Du B, Yang W, Pelillo M, Zhang L P. 2022. Asymmetric Siamese networks for semantic change detection in aerial images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5609818
  22. 22.
    Yuan P L, Zhao Q Z, Zhao X B, Wang X W, Long X F and Zheng Y C. 2022. A transformer-based Siamese network and an open optical dataset for semantic change detection of remote sensing images. International Journal of Digital Earth, 15(1): 1506-1525
  23. 23.
    Zhao M Q, Zhao Z F, Gong S, Liu Y F, Yang J, Xiong X and Li S Y. 2022. Spatially and semantically enhanced siamese network for semantic change detection in high-resolution remote sensing images. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 2563-2573
  24. 24.
    Zheng Z, Zhong Y F, Tian S Q, Ma A L and Zhang L P. 2022. ChangeMask: Deep multi-task encoder-transformer-decoder architecture for semantic change detection. ISPRS Journal of Photogrammetry and Remote Sensing, 183: 228-239
  25. 25.
    Zhou C L, Shi Q, Li J and Zhang X C. 2024. Spectral-frequency domain attribute pattern fusion for hyperspectral image change detection. National Remote Sensing Bulletin, 28(1): 105-120
  26. 26.
    Zhu C H, Chen X H, Chen J, Yuan Y H and Tang K. 2023. A siamese Nested-UNet for change detection in posterior probability space (SNU-PS). National Remote Sensing Bulletin, 27(9): 2006-2023
  27. 27.
    Zhu Q Q, Guo X, Deng W H, Shi S N, Guan Q F, Zhong Y F, Zhang L P and Li D R. 2022. Land-use/land-cover change detection based on a Siamese global learning framework for high spatial resolution remote sensing imagery. ISPRS Journal of Photogrammetry and Remote Sensing, 184: 63-78

Lesen Sie die ganze Passage

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website