Früher|Nächster

Waldklassifikation basierend auf Cross-Attention-Fusion von multispektralen und SAR-Daten

  • role： First author第一作者
  • Affiliation：

    State Key Laboratory of Efficient Production of Forest Resources, Beijing Forestry University, Beijing 100083, China

    Beijing Key Laboratory of Precision Forestry, College of Forestry, Beijing Forestry University, Beijing 100083, China

    Key Laboratory of Forest Cultivation and Protection, Ministry of Education, Beijing Forestry University, Beijing 100083, China

  • Email：18801495791@163.com
  • Introduction：谢一帆，研究方向为林业遥感与信息技术。E-mail： 18801495791@163.com
XIE Yifan,  
  • Affiliation：

    State Key Laboratory of Efficient Production of Forest Resources, Beijing Forestry University, Beijing 100083, China

    Beijing Key Laboratory of Precision Forestry, College of Forestry, Beijing Forestry University, Beijing 100083, China

    Key Laboratory of Forest Cultivation and Protection, Ministry of Education, Beijing Forestry University, Beijing 100083, China

JIA Zihan,  
  • role： Corresponding author通信作者
  • Affiliation：

    State Key Laboratory of Efficient Production of Forest Resources, Beijing Forestry University, Beijing 100083, China

    Beijing Key Laboratory of Precision Forestry, College of Forestry, Beijing Forestry University, Beijing 100083, China

    Key Laboratory of Forest Cultivation and Protection, Ministry of Education, Beijing Forestry University, Beijing 100083, China

  • Email：zhangxl@bjfu.edu.cn
  • Introduction：张晓丽，研究方向为林业遥感与信息技术。E-mail： zhangxl@bjfu.edu.cn
ZHANG Xiaoli*

Resümee

Die Fernerkundungstechnologie hat sich aufgrund ihrer großflächigen Abdeckung, hohen Aktualität und Fähigkeit zur multidimensionalen Informationsgewinnung zu einem wichtigen Werkzeug in der Forstwirtschaftsforschung entwickelt. Multispektrale Fernerkundungsbilder weisen eine hohe räumliche und spektrale Auflösung auf und können effektiv spektrale Unterschiede zwischen verschiedenen Landbedeckungen erfassen, während Synthetic Aperture Radar (SAR)-Daten stabile Informationen über Oberflächenstrukturen und Texturmerkmale liefern, die eine wichtige Ergänzung zu spektralen Merkmalen darstellen. Allerdings führen Unterschiede in der Modalstruktur und Informationsdarstellung zwischen aktiven und passiven Fernerkundungsdaten häufig zu begrenzten Fusionswirkungen, was die Klassifikationsgenauigkeit beeinträchtigt. Um diesem Problem zu begegnen, wurde in dieser Studie ein Teilbereich der Stadt Pu’er in der Provinz Yunnan als Untersuchungsgebiet gewählt, wobei drei Waldbaumarten (Gruppen) (Pinus kesiya, Eukalyptus, Eiche) sowie ein wirtschaftlicher Waldtyp (Teegarten) und weitere drei Landbedeckungsarten als Klassifikationsobjekte ausgewählt wurden. Es wurde ein Tiefenlernnetzwerk für die Waldklassifikation unter Berücksichtigung kleiner Stichprobenbedingungen entwickelt, das aktive und passive Fernerkundungsdaten fusioniert. Die Methode fusioniert Sentinel-2-Multispektralbilder und Sentinel-1-SAR-Daten, schlägt ein von multispektralen Bildern dominiertes Cross-Attention-Fusionsnetzwerk vor und führt einen regulierenden Gate-Mechanismus mit lernbaren Dropout-Raten ein, um eine dynamische Fusion von Self-Attention- und Cross-Attention-Merkmalen zu ermöglichen. Im Fusionsprozess extrahiert das Modell mit Hilfe des Self-Attention-Mechanismus ausgeprägte Merkmale der multispektralen Bilder und kombiniert diese mit Cross-Attention, um die Reaktion auf wichtige SAR-Bereiche zu steuern, und kontrolliert dynamisch den Beitrag der einzelnen Modalitäten in der Merkmalsfusion. Die experimentellen Ergebnisse zeigen, dass die vorgeschlagene Methode unter mehreren Fusionsstrategien und -ebenen die beste Leistung erzielt, mit einer Gesamtklassifikationsgenauigkeit von 95,24 %, während die Klassifikationsgenauigkeit für Eukalyptus, Teegarten, Eiche und Pinus kesiya jeweils 96,78 %, 94,07 %, 91,73 % bzw. 92,90 % beträgt. Die Studie bestätigt die Wirksamkeit des Cross-Attention-Mechanismus in der kooperativen Modellierung aktiver und passiver Fernerkundungsinformationen und bietet einen praktikablen Ansatz und technische Unterstützung für die multisource Fernerkundungswaldklassifikation in komplexen Umgebungen.

Schlüsselwort

Sentinel-2;Sentinel-1;Cross-Attention;Merkmalsfusion;Waldklassifikation;Prototypnetzwerk;Concrete Dropout

References

  1. 1.
    Adrian J, Sagan V and Maimaitijiang M. 2021. Sentinel SAR-optical fusion for crop type mapping using deep learning and Google Earth Engine. ISPRS Journal of Photogrammetry and Remote Sensing, 175: 215-235
  2. 2.
    Arasumani M, Bunyan M and Robin V V. 2021. Opportunities and challenges in using remote sensing for invasive tree species management, and in the identification of restoration sites in tropical montane grasslands. Journal of Environmental Management, 280: 111759
  3. 3.
    Bahdanau D, Cho K and Bengio Y. 2016. Neural machine translation by jointly learning to align and translate. arXiv preprint arXiv:1409.0473
  4. 4.
    Bjerreskov K S, Nord-Larsen T and Fensholt R. 2021. Classification of nemoral forests with fusion of multi-temporal sentinel-1 and 2 data. Remote Sensing, 13(5): 950
  5. 5.
    Boudiaf M, Masud Z I, Rony J, Dolz J, Piantanida P and Ben Ayed I. 2020. Information maximization for few-shot learning. arXiv:2008.11297
  6. 6.
    Chen B, Huang B and Xu B. 2017. Multi-source remotely sensed data fusion for improving land cover classification. ISPRS Journal of Photogrammetry and Remote Sensing, 124: 27-39
  7. 7.
    Chen C, He X Y, Guo B Y, Zhao X and Chu Y L. 2020. A pixel-level fusion method for multi-source optical remote sensing image combining the principal component analysis and curvelet transform. Earth Science Informatics, 13(4): 1005-1013
  8. 8.
    Chen L, Tian X M, Chai G Q, Zhang X L and Chen E. 2021. A new CBAM-P-net model for few-shot forest species classification using airborne hyperspectral images. Remote Sensing, 13(7): 1269
  9. 9.
    Dai Y M, Gieseke F, Oehmcke S, Wu Y Q and Barnard K. 2021. Attentional feature fusion//Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision. Waikoloa: IEEE: 3559-3568
  10. 10.
    Dubois C, Mueller M M, Pathe C, Jagdhuber T, Cremer F, Thiel C and Schmullius C. 2020. Characterization of land cover seasonality in sentinel-1 time series data. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, V-3-2020: 97-104
  11. 11.
    Gal Y, Hron J and Kendall A. 2017. Concrete dropout//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc.: 3584-3593
  12. 12.
    Gao J, Li P, Chen Z K and Zhang J N. 2020. A survey on deep learning for multimodal data fusion. Neural Computation, 32(5): 829-864
  13. 13.
    Ghassemian H. 2016. A review of remote sensing image fusion methods. Information Fusion, 32: 75-89
  14. 14.
    Grabska E, Hostert P, Pflugmacher D and Ostapowicz K. 2019. Forest stand species mapping using the Sentinel-2 time series. Remote Sensing, 11(10): 1197
  15. 15.
    Hościło A and Lewandowska A. 2019. Mapping forest type and tree species on a regional scale using multi-temporal Sentinel-2 data. Remote Sensing, 11(8): 929
  16. 16.
    Hu B X, Li Q and Hall G B. 2021. A decision-level fusion approach to tree species classification from multi-source remotely sensed data. ISPRS Open Journal of Photogrammetry and Remote Sensing, 1: 100002
  17. 17.
    Hu J, Shen L and Sun G. 2018. Squeeze-and-excitation networks//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 7132-7141
  18. 18.
    Immitzer M, Neuwirth M, Böck S, Brenner H, Vuolo F and Atzberger C. 2019. Optimal input features for tree species classification in Central Europe based on multi-temporal Sentinel-2 data. Remote Sensing, 11(22): 2599
  19. 19.
    Li S T, Kang X D, Fang L Y, Hu J W and Yin H T. 2017. Pixel-level image fusion: a survey of the state of the art. Information Fusion, 33: 100-112
  20. 20.
    Li X Y, Tian X, Duan T, Cao X M, Yang K J, Lu Q and Wang F. 2023. Estimation of fractional woody and herbaceous vegetation cover in Temperate Sparse Forest Grassland using fusion of UAV and Satellite imagery. National Remote Sensing Bulletin, 27(9): 2139-2152.
  21. 21.
    Liu Y N, Gong W S, Hu X Y and Gong J Y. 2018. Forest type identification with random forest using Sentinel-1A, Sentinel-2A, multi-temporal Landsat-8 and DEM data. Remote Sensing, 10(6): 946
  22. 22.
    Ma W L, Karakuş O and Rosin P L. 2022. AMM-FuseNet: attention-based multi-modal image fusion network for land cover mapping. Remote Sensing, 14(18): 4458
  23. 23.
    Mori A S, Lertzman K P and Gustafsson L. 2017. Biodiversity and ecosystem services in forest ecosystems: a research agenda for applied forest ecology. Journal of Applied Ecology, 54(1): 12-27
  24. 24.
    Persson M, Lindberg E and Reese H. 2018. Tree species classification with multi-temporal Sentinel-2 data. Remote Sensing, 10(11): 1794
  25. 25.
    Phiri D, Simwanda M, Salekin S, Nyirenda V R, Murayama Y and Ranagalage M. 2020. Sentinel-2 data for land cover/use mapping: a review. Remote Sensing, 12(14): 2291
  26. 26.
    Pimentel C S, McKenney J, Firmino P N, Calvão T and Ayres M P. 2020. Sublethal infection of different pine species by the pinewood nematode. Plant Pathology, 69(8): 1565-1573
  27. 27.
    Shafer G. 1992. Dempster-shafer theory. Encyclopedia of Artificial Intelligence, 1: 330-331
  28. 28.
    Shahdoosti H R and Ghassemian H. 2012. Spatial PCA as a new method for image fusion//The 16th CSI International Symposium on Artificial Intelligence and Signal Processing. Shiraz: IEEE: 90-94
  29. 29.
    Smith W B. 2002. Forest inventory and analysis: a national inventory and monitoring program. Environmental Pollution, 116: S233-S242
  30. 30.
    Snell J, Swersky K and Zemel R. 2017. Prototypical networks for few-shot learning//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc.: 4080-4090
  31. 31.
    Tang C, Zheng X, Zhang W, Liu X W, Zhu X Z and Zhu E. 2023. Unsupervised feature selection via multiple graph fusion and feature weight learning. Science China Information Sciences, 66(5): 152101
  32. 32.
    Tian L, Tao Y, Fu W X, Li T, Ren F and Li M Y. 2022. Dynamic simulation of land use/cover change and assessment of forest ecosystem carbon storage under climate change scenarios in Guangdong Province, China. Remote Sensing, 14(10): 2330
  33. 33.
    Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez A N, Kaiser Ł and Polosukhin I. 2017. Attention is all you need//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc.: 6000-6010
  34. 34.
    Wang Z J, Chen B, Lu R Y, Zhang H, Liu H W and Varshney P K. 2020. FusionNet: an unsupervised convolutional variational network for hyperspectral and multispectral image fusion. IEEE Transactions on Image Processing, 29: 7565-7577
  35. 35.
    White J C, Coops N C, Wulder M A, Vastaranta M, Hilker T and Tompalski P. 2016. Remote sensing technologies for enhancing forest inventories: a review. Canadian Journal of Remote Sensing, 42(5): 619-641
  36. 36.
    Xia Q, Li J H, Dai S, Zhang H and Xing X M. 2023. Mapping high-resolution mangrove forests in China using GF-2 imagery under the tide. National Remote Sensing Bulletin， 27(6): 1320-1333.
  37. 37.
    Xu X D, Li W, Ran Q, Du Q, Gao L R and Zhang B. 2018. Multisource remote sensing data classification based on convolutional neural network. IEEE Transactions on Geoscience and Remote Sensing, 56(2): 937-949
  38. 38.
    Xu Y J, Zhou J and Zhang Z. 2024. A new Bayesian semi-supervised active learning framework for large-scale crop mapping using Sentinel-2 imagery. ISPRS Journal of Photogrammetry and Remote Sensing, 209: 17-34
  39. 39.
    Zhang L, Luo W T, Zhang H H, Yin X W and Li B. 2023. Classification scheme for mapping wetland herbaceous plant communities using time series Sentinel-1 and Sentinel-2 data. National Remote Sensing Bulletin, 27(6): 1362-1375
  40. 40.
    Zheng Y Z, Dong W, Yang Z P, Lu Y H, Zhang X, Dong Y N and Sun F Q. 2024. A new attention-based deep metric model for crop type mapping in complex agricultural landscapes using multisource remote sensing data. International Journal of Applied Earth Observation and Geoinformation, 134: 104204

Lesen Sie die ganze Passage

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website