Anterior|Siguiente

SWSACNet: un modelo de red de detección de cambios en edificios derrumbados para imágenes de múltiples fuentes

  • role： First author第一作者
  • Affiliation：

    Institute of Earthquake Forecasting, China Earthquake Administration, Beijing 100036, China

  • Email：longying_98@163.com
  • Introduction：龙颖，研究方向为遥感与地震风险评估。 E-mail： longying_98@163.com
LONG Ying1,  
  • role： Corresponding author通信作者
  • Affiliation：

    Institute of Earthquake Forecasting, China Earthquake Administration, Beijing 100036, China

  • Email：axdothy@163.com
  • Introduction：窦爱霞，研究方向为遥感与地震灾害风险评估。 E-mail： axdothy@163.com
DOU Aixia1*,  
  • Affiliation：

    Henan Earthquake Agency, Zhengzhou 450016, China

WANG Feifei2,  
  • Affiliation：

    Institute of Earthquake Forecasting, China Earthquake Administration, Beijing 100036, China

WANG Shumin1

resumen

Para resolver el problema de la heterogeneidad espacial de las imágenes satelitales de múltiples fuentes en diferentes épocas, este estudio mejoró el modelo de la red FTN (Fully Transformer Network) y presentó el modelo de la red de detección de cambios en edificios derrumbados SWSACNet (Sliding-Window-Shift Attention Convolution mix Network), que se basa en un enfoque de extremo a extremo y se apoya en el potenciamiento de características mediante una ventana deslizante y un mecanismo de mezcla de atención de convolución. SWSACNet se basa en el marco del modelo FTN, utiliza ACmix (Attention Convolution mix) para identificar eficazmente las características de los edificios derrumbados en las imágenes de múltiples fuentes, y atenúa el efecto del desplazamiento espacial en las imágenes de múltiples fuentes al comparar las características de similitud de las ventanas deslizantes. Tomando como ejemplo el terremoto de magnitud 7.8 en Turquía el 6 de febrero de 2023, al recolectar imágenes de alta resolución antes del terremoto, imágenes de Google y imágenes de Beidou-3 después del terremoto para construir un conjunto de datos de detección de cambios en edificios colapsados, se entrenaron modelos SWSACNet, FTN y otros 5 modelos para detectar cambios y extraer edificios derrumbados en el área del terremoto. Los resultados del experimento mostraron que la precisión de reconocimiento de SWSACNet alcanzó el 80.8%, mIoU fue del 67.8%, lo que es mejor que otros 4 modelos. Aplicado a los escenarios 3Fevaipasa, Nurdagi e Islahiye, la precisión promedio del modelo F1 fue del 60.84%, lo que indica que el modelo necesita mejorar en términos de rendimiento de generalización.

palabra clave

Teledetección; imágenes de múltiples fuentes; aprendizaje profundo; detección de cambios; extracción de edificios derrumbados

References

  1. 1.
    Adriano B, Yokoya N, Xia J S, Miura H, Liu W, Matsuoka M and Koshimura S. 2021. Learning from multimodal and multitemporal earth observation data for building damage mapping. ISPRS Journal of Photogrammetry and Remote Sensing, 175: 132-143
  2. 2.
    Bianet. 2023. Erdoğan: earthquakes to cost Turkey 104 billion dollars. [2024-05-17]. .
  3. 3.
    CGTN. 2023. Death toll from earthquakes rises to 50,500 in Türkiye[EB/OL]. [2024-05-17]. .
  4. 4.
    Chen H and Shi Z W. 2020. A spatial-temporal attention-based method and a new dataset for remote sensing image change detection. Remote Sensing, 12(10): 1662
  5. 5.
    Chen J, Yuan Z Y, Peng J, Chen L, Huang H Z, Zhu J W, Liu Y and Li H F. 2021. DASNet: dual attentive fully convolutional Siamese networks for change detection in high-resolution satellite images. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 1194-1206
  6. 6.
    Chen M and Wang X Q. 2019. The study on extraction of seismic damage of buildings from remote sensing image based on fully convolutional neural network. Technology for Earthquake Disaster Prevention, 14(4): 810-820
  7. 7.
    Daudt R C, Le Saux B, Boulch A and Gousseau Y. 2018. Urban change detection for multispectral earth observation using convolutional neural networks//IGARSS 2018-2018 IEEE International Geoscience and Remote Sensing Symposium. Valencia: IEEE: 2115-2118
  8. 8.
    Dong L G and Shan J. 2013. A comprehensive review of earthquake-induced building damage detection with remote sensing techniques. ISPRS Journal of Photogrammetry and Remote Sensing, 84: 85-99
  9. 9.
    Gao M T. 2023. Turkey earthquake: another alarm bell for the big quake and catastrophe. China Emergency Management, (2): 34-36
  10. 10.
    Ge J Y, Tang H and Ji C. 2023. Self-incremental learning for rapid identification of collapsed buildings triggered by natural disasters. Remote Sensing, 15(15): 3909
  11. 11.
    Girshick R, Donahue J, Darrell T and Malik J. 2014. Rich feature hierarchies for accurate object detection and semantic segmentation//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE: 580-587
  12. 12.
    Krizhevsky A, Sutskever I and Hinton G E. 2017. ImageNet classification with deep convolutional neural networks. Communications of the ACM, 60(6): 84-90
  13. 13.
    Lin T Y, Goyal P, Girshick R, He K M and Dollár P. 2017. Focal loss for dense object detection//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 2999-3007
  14. 14.
    Miyamoto T and Yamamoto Y. 2021. Using 3-D convolution and multimodal architecture for earthquake damage detection based on satellite imagery and digital urban data. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 8606-8613
  15. 15.
    Pan X R, Ge C J, Lu R, Song S J, Chen G F and Huang Z Y. 2022. On the integration of self-attention and convolution//Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE: 805-815
  16. 16.
    Rasika A K, Kerle N and Heuel S. 2006. Multi-scale texture and color segmentation of oblique airborne video data for damage classification//Proceedings of the ISPRS Commission VII Symposium. Enschede: International Institute for Geo-Information Science and Earth Observation.
  17. 17.
    Reuters. 2023. Turkey quake kills 912 in historic disaster, Erdogan says[EB/OL]. [2024-05-17]. .
  18. 18.
    Shen Y, Zhu S J, Yang T J N, Chen C, Pan D L, Chen J Y, Xiao L and Du Q. 2022. BDANet: multiscale convolutional neural network with cross-directional attention for building damage assessment from satellite images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5402114
  19. 19.
    Shorten C and Khoshgoftaar T M. 2019. A survey on image data augmentation for deep learning. Journal of Big Data, 6(1): 60
  20. 20.
    Wang T L and Jin Y Q. 2012. Evaluation of multiple mutual information for building damages after earthquake using pre-event optical image and post-event SAR image. National Remote Sensing Bulletin, 16(2): 248-261
  21. 21.
    Wang Z, Bovik A C, Sheikh H R and Sheikh E P. 2004. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing, 13(4): 600-612
  22. 22.
    Wu Y Y. 2020. Research on the Method of Extracting the Building Seismic Damage Information Based on Improved U-Net. Chengdu: Southwest Jiaotong University
  23. 23.
    Yan T Y, Wan Z F and Zhang P P. 2022. Fully transformer network for change detection of remote sensing images//Proceedings of the 16th Asian Conference on Computer Vision. Macao, China: Springer: 75-92
  24. 24.
    Zheng Z, Zhong Y F, Wang J J, Ma A L and Zhang L P. 2021. Building damage assessment for rapid disaster response with a deep object-based semantic change detection framework: from natural disasters to man-made disasters. Remote Sensing of Environment, 265: 112636

Leer el texto completo

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website