Anterior|Siguiente

Método de interpretación fina de bajo costo para imágenes de teledetección basado en segmentación de instancias débilmente supervisada

  • role： First author第一作者
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

  • Email：chenmanhjdx@163.com
  • Introduction：陈满，研究方向为遥感图像处理。E-mail： chenmanhjdx@163.com
CHEN Man,  
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

HUANG Yongjie,  
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

XU Lei,  
  • role： Corresponding author通信作者
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

  • Email：panzhisong@aeu.edu.cn
  • Introduction：潘志松，研究方向为模式识别与机器学习。E-mail： panzhisong@aeu.edu.cn
PAN Zhisong*

resumen

La segmentación de instancias en imágenes de teledetección puede lograr simultáneamente la localización a nivel de objeto de interés y la clasificación a nivel de píxel, siendo una tarea importante y muy desafiante. La mayoría de los métodos actuales de segmentación de instancias en imágenes de teledetección dependen de anotaciones precisas a nivel de píxel, cuyo costo de producción es alto. Además, los fondos mezclados y los contornos complejos de los objetos en las imágenes de teledetección también aumentan la dificultad de la segmentación. Para enfrentar estos desafíos, este artículo construye un sistema de información prioritaria adecuado para la tarea de segmentación de instancias débilmente supervisada en imágenes de teledetección, y propone una red de segmentación de instancias débilmente supervisada basada en múltiples criterios prioritarios. Específicamente, la información prioritaria en la tarea de segmentación de instancias débilmente supervisada se divide según su origen en prioridad de tarea y prioridad de imagen, donde la prioridad de tarea se origina de la tarea de detección de cajas delimitadoras estrechamente relacionada con la segmentación de instancias, y la prioridad de imagen proviene de la inducción y extracción de la información propia de la imagen. Además, se diseñan tres componentes específicos para materializar la información de prioridad de tarea: restricción de coherencia de proyección de cuadro-máscara, función de caracterización de dificultad de distinción de píxeles y restricción de prioridad de posición central, que impulsan la red a determinar el tamaño de la máscara y a centrarse plenamente en los píxeles y áreas clave de la imagen; se diseñan dos componentes para construir la información de prioridad de imagen: restricción de coherencia visual de vecindad y restricción de coherencia de gradiente, que permiten a la red distinguir eficazmente entre primer plano y fondo y adaptarse a los contornos complejos de los objetivos en las imágenes de teledetección. Los resultados experimentales en conjuntos de datos de imágenes de teledetección ópticas y SAR muestran que el método propuesto logra valores AP de 52.5 y 54.1 respectivamente sin necesidad de ninguna anotación a nivel de píxel, superando los métodos actuales de segmentación débilmente supervisada y alcanzando el 89.3 % y el 84.3 % del Mask R-CNN supervisado completamente. Este método puede proporcionar una solución de alto rendimiento y bajo costo para la interpretación fina de imágenes de teledetección.

palabra clave

imágenes de teledetección; segmentación de instancias; interpretación fina; aprendizaje débilmente supervisado; información prioritaria; sistema impulsor; contornos de objetos; costo de anotación

References

  1. 1.
    Ahn J, Cho S and Kwak S. 2019. Weakly supervised learning of instance segmentation with inter-pixel relations//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE: 2204-2213
  2. 2.
    Arun A, Jawahar C V and Kumar M P. 2020. Weakly supervised instance segmentation by learning annotation consistent instances//Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer: 254-270
  3. 3.
    Bolya D, Zhou C, Xiao F Y and Lee Y J. 2019. YOLACT: real-time instance segmentation//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9156-9165
  4. 4.
    Cai Z W and Vasconcelos N. 2018. Cascade R-CNN: delving into high quality object detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE: 6154-6162
  5. 5.
    Chen M, Zhang Y, Chen E P, Hu Y H, Xie Y F and Pan Z S. 2023. Meta-knowledge guided weakly supervised instance segmentation for optical and SAR image interpretation. Remote Sensing, 15(9): 2357
  6. 6.
    Chen Z Q, Shang Y H, Python A, Cai Y X and Yin J W. 2022. DB-BlendMask: decomposed attention and balanced BlendMask for instance segmentation of high-resolution remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5615915
  7. 7.
    Cheng G, Zhou P C and Han J W. 2016. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 54(12): 7405-7415
  8. 8.
    Hao S Y, Wang G A and Gu R S. 2021. Weakly supervised instance segmentation using multi-prior fusion. Computer Vision and Image Understanding, 211: 103261
  9. 9.
    He K M, Gkioxari G, Dollár P and Girshick R. 2020. Mask R-CNN. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2): 386-397
  10. 10.
    He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 770-778
  11. 11.
    Hsu C C, Hsu K J, Tsai C C, Lin Y Y and Chuang Y Y. 2019. Weakly supervised instance segmentation using the bounding box tightness prior//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver, BC, Canada: Curran Associates Inc.: 591 [DOI: 10.5555/3454287.3454878]
  12. 12.
    Huang L, Han X Y, Wang X L, Zhang Y D, Yang J F, Fen A P, Li J G and Zhu N H N W. 2022. Coupling with high-resolution remote sensing data to evaluate urban non-point source pollution in Tongzhou, China. Science of the Total Environment, 831: 154632
  13. 13.
    Lan S Y, Yu Z D, Choy C, Radhakrishnan S, Liu G L, Zhu Y K, Davis L S and Anandkumar A. 2021. DiscoBox: weakly supervised instance segmentation and semantic correspondence from box supervision//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision. Montreal, QC, Canada: IEEE: 3386-3396
  14. 14.
    Lee J, Yi J H, Shin C and Yoon S. 2021. BBAM: bounding box attribution map for weakly supervised semantic and instance segmentation//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE: 2643-2651
  15. 15.
    Li M Q, Fang S B, Zhu Y C, Wu Y J, Cao Y, Zhuo W and E Y H. 2022. Spatial and temporal distributions of waterlogging disasters in the summer of 2021 in Mainland China and their possible impacts. National Remote Sensing Bulletin, 26(9): 1886-1894
  16. 16.
    Li Y H, Xue Y, Li L F, Zhang X J and Qian X M. 2022. Domain adaptive box-supervised instance segmentation network for mitosis detection. IEEE Transactions on Medical Imaging, 41(9): 2469-2485
  17. 17.
    Li Z L, Wang L Y, Jiang S, Wu Y H and Zhang Q J. 2021. On orbit extraction method of ship target in SAR images based on ultra-lightweight network. National Remote Sensing Bulletin, 25(3): 765-775
  18. 18.
    Lin T Y, Dollár P, Girshick R, He K M, Hariharan B and Belongie S. 2017. Feature pyramid networks for object detection//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 936-944
  19. 19.
    Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P and Zitnick C L. 2014. Microsoft COCO: common objects in context//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer: 740-755
  20. 20.
    Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 3431-3440
  21. 21.
    Lyu J, Wang S Q, Sun D Y, Nie J W, Jiao H B, Zhang H L and Liang H W. 2022. Remote sensing of spatial and temporal variations of euphotic zone depth in the Bohai Sea and Yellow Sea during recent 20 years (2002—2020). National Remote Sensing Bulletin, 26(12): 2507-2517
  22. 22.
    Lyu S Y, Li J T, A X H, Yang C, Yang R C and Shang X M. 2023. Res_ASPP_UNet++: building an extraction network from remote sensing imagery combining depthwise separable convolution with atrous spatial pyramid pooling. National Remote Sensing Bulletin, 27(2): 502-519
  23. 23.
    Ma T Q, Wang Q L, Zhang H Z and Zuo W M. 2022. Delving deeper into pixel prior for box-supervised semantic segmentation. IEEE Transactions on Image Processing, 31: 1406-1417
  24. 24.
    Miao W, Geng J and Jiang W. 2022. Semi-supervised remote-sensing image scene classification using representation consistency Siamese network. IEEE Transactions on Geoscience and Remote Sensing, 60: 5616614
  25. 25.
    Milletari F, Navab N and Ahmadi S A. 2016. V-Net: fully convolutional neural networks for volumetric medical image segmentation//Proceedings of the 2016 Fourth International Conference on 3D Vision. Stanford, CA, USA: IEEE: 565-571
  26. 26.
    Pont-Tuset J, Arbeláez P, Barron J T, Marques F and Malik J. 2017. Multiscale combinatorial grouping for image segmentation and object proposal generation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(1): 128-140
  27. 27.
    Rother C, Kolmogorov V and Blake A. 2004. “GrabCut”: interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics (TOG), 23(3): 309-314
  28. 28.
    Su H, Wei S J, Liu S, Liang J D, Wang C, Shi J and Zhang X L. 2020. HQ-ISNet: high-quality instance segmentation for remote sensing imagery. Remote Sensing, 12(6): 989
  29. 29.
    Tian Z, Shen C H and Chen H. 2020. Conditional convolutions for instance segmentation//Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer: 282-298
  30. 30.
    Tian Z, Shen C H, Chen H and He T. 2019. FCOS: fully convolutional one-stage object detection//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9626-9635
  31. 31.
    Tian Z, Shen C H, Wang X L and Chen H. 2021. BoxInst: high-performance instance segmentation with box annotations//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE: 5439-5448
  32. 32.
    Wang X L, Liang Z Y and Liu T. 2023. Feature attention pyramid-based remote sensing image object detection method. National Remote Sensing Bulletin, 27(2): 492-501
  33. 33.
    Waqas Zamir S, Arora A, Gupta A, Khan S, Sun G L, Shahbaz Khan F, Zhu F, Shao F, Xia G S and Bai X. 2019. iSAID: a large-scale dataset for instance segmentation in aerial images. arXiv: 1905. (12886)
  34. 34.
    Wei S J, Zeng X F, Zhang H, Zhou Z C, Shi J and Zhang X L. 2022. LFG-Net: low-level feature guided network for precise ship instance segmentation in SAR images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5231017
  35. 35.
    Wu Q Q, Wang S, Wang B and Wu Y L. 2022. Road extraction method of high-resolution remote sensing image on the basis of the spatial information perception semantic segmentation model. National Remote Sensing Bulletin, 26(9): 1872-1885
  36. 36.
    Yang F, Yuan X Y, Ran J, Shu W Q, Zhao Y, Qin A Y and Gao C Q. 2021. Accurate instance segmentation for remote sensing images via adaptive and dynamic feature learning. Remote Sensing, 13(23): 4774
  37. 37.
    Zhang T, Yang X G, Lu X Q, Lu R T and Zhang S X. 2022. Ship detection in remote sensing image based on dense RFB and LSTM. National Remote Sensing Bulletin, 26(9): 1859-1871
  38. 38.
    Zhang T Y, Zhang X R, Zhu P, Tang X, Li C, Jiao L C and Zhou H Y. 2022. Semantic attention and scale complementary network for instance segmentation in remote sensing images. IEEE Transactions on Cybernetics, 52(10): 10999-11013
  39. 39.
    Zhao D P, Zhu C B, Qi J, Qi X H, Su Z H and Shi Z W. 2021. Synergistic attention for ship instance segmentation in SAR images. Remote Sensing, 13(21): 4384

Leer el texto completo

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website