Précédent|Prochain

Méthode d’interprétation fine à faible coût des images de télédétection basée sur la segmentation d’instances faiblement supervisée

  • role： First author第一作者
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

  • Email：chenmanhjdx@163.com
  • Introduction：陈满，研究方向为遥感图像处理。E-mail： chenmanhjdx@163.com
CHEN Man,  
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

HUANG Yongjie,  
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

XU Lei,  
  • role： Corresponding author通信作者
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

  • Email：panzhisong@aeu.edu.cn
  • Introduction：潘志松，研究方向为模式识别与机器学习。E-mail： panzhisong@aeu.edu.cn
PAN Zhisong*

résumé

La segmentation d'instances sur des images de télédétection permet à la fois la localisation au niveau de l'objet d’intérêt et la classification au niveau pixel, constituant une tâche importante et très difficile. La plupart des méthodes actuelles de segmentation d’instances pour les images de télédétection dépendent d’annotations pixel précises, dont le coût de production est élevé. De plus, l’arrière-plan mélangé et les contours complexes des objets dans les images de télédétection augmentent également la difficulté de segmentation. Pour relever ces défis, cet article construit un système d’informations a priori adapté à la tâche de segmentation d’instances faiblement supervisée sur images de télédétection, et propose un réseau de segmentation d’instances faiblement supervisée basé sur des a priori multiples. Plus précisément, les informations a priori dans la tâche de segmentation d’instances faiblement supervisée sont réparties selon leur origine en a priori de tâche et a priori d’image, où l’a priori de tâche provient de la tâche de détection de boîtes englobantes étroitement liée à la segmentation d’instances, tandis que l’a priori d’image découle de la synthèse et de l’exploration des informations de l’image elle-même. De plus, trois composants spécifiques sont conçus pour incarner l’information a priori de tâche : la contrainte de cohérence projection cadre-masque, la fonction de représentation de la difficulté de distinction des pixels et la contrainte d’a priori de position centrale, qui poussent le réseau à déterminer la taille du masque et à se concentrer pleinement sur les pixels et zones clés dans l’image ; deux composants pour construire l’information a priori d’image sont aussi conçus : la contrainte de cohérence visuelle de voisinage et la contrainte de cohérence de gradient, permettant au réseau de distinguer efficacement l’avant-plan et l’arrière-plan et de s’adapter aux contours complexes des objets dans les images de télédétection. Les résultats expérimentaux sur les jeux de données d’images de télédétection optiques et SAR montrent que la méthode proposée atteint des valeurs AP de 52,5 et 54,1 respectivement sans aucune annotation au niveau pixel, surpassant les méthodes actuelles de segmentation faiblement supervisée et atteignant 89,3 % et 84,3 % des performances du Mask R-CNN supervisé totalement. Cette méthode fournit une solution performante et à faible coût pour l’interprétation fine des images de télédétection.

mots-clés

images de télédétection; segmentation d’instances; interprétation fine; apprentissage faiblement supervisé; information a priori; système piloté; contours d’objets; coût d’annotation

References

  1. 1.
    Ahn J, Cho S and Kwak S. 2019. Weakly supervised learning of instance segmentation with inter-pixel relations//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE: 2204-2213
  2. 2.
    Arun A, Jawahar C V and Kumar M P. 2020. Weakly supervised instance segmentation by learning annotation consistent instances//Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer: 254-270
  3. 3.
    Bolya D, Zhou C, Xiao F Y and Lee Y J. 2019. YOLACT: real-time instance segmentation//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9156-9165
  4. 4.
    Cai Z W and Vasconcelos N. 2018. Cascade R-CNN: delving into high quality object detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE: 6154-6162
  5. 5.
    Chen M, Zhang Y, Chen E P, Hu Y H, Xie Y F and Pan Z S. 2023. Meta-knowledge guided weakly supervised instance segmentation for optical and SAR image interpretation. Remote Sensing, 15(9): 2357
  6. 6.
    Chen Z Q, Shang Y H, Python A, Cai Y X and Yin J W. 2022. DB-BlendMask: decomposed attention and balanced BlendMask for instance segmentation of high-resolution remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5615915
  7. 7.
    Cheng G, Zhou P C and Han J W. 2016. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 54(12): 7405-7415
  8. 8.
    Hao S Y, Wang G A and Gu R S. 2021. Weakly supervised instance segmentation using multi-prior fusion. Computer Vision and Image Understanding, 211: 103261
  9. 9.
    He K M, Gkioxari G, Dollár P and Girshick R. 2020. Mask R-CNN. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2): 386-397
  10. 10.
    He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 770-778
  11. 11.
    Hsu C C, Hsu K J, Tsai C C, Lin Y Y and Chuang Y Y. 2019. Weakly supervised instance segmentation using the bounding box tightness prior//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver, BC, Canada: Curran Associates Inc.: 591 [DOI: 10.5555/3454287.3454878]
  12. 12.
    Huang L, Han X Y, Wang X L, Zhang Y D, Yang J F, Fen A P, Li J G and Zhu N H N W. 2022. Coupling with high-resolution remote sensing data to evaluate urban non-point source pollution in Tongzhou, China. Science of the Total Environment, 831: 154632
  13. 13.
    Lan S Y, Yu Z D, Choy C, Radhakrishnan S, Liu G L, Zhu Y K, Davis L S and Anandkumar A. 2021. DiscoBox: weakly supervised instance segmentation and semantic correspondence from box supervision//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision. Montreal, QC, Canada: IEEE: 3386-3396
  14. 14.
    Lee J, Yi J H, Shin C and Yoon S. 2021. BBAM: bounding box attribution map for weakly supervised semantic and instance segmentation//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE: 2643-2651
  15. 15.
    Li M Q, Fang S B, Zhu Y C, Wu Y J, Cao Y, Zhuo W and E Y H. 2022. Spatial and temporal distributions of waterlogging disasters in the summer of 2021 in Mainland China and their possible impacts. National Remote Sensing Bulletin, 26(9): 1886-1894
  16. 16.
    Li Y H, Xue Y, Li L F, Zhang X J and Qian X M. 2022. Domain adaptive box-supervised instance segmentation network for mitosis detection. IEEE Transactions on Medical Imaging, 41(9): 2469-2485
  17. 17.
    Li Z L, Wang L Y, Jiang S, Wu Y H and Zhang Q J. 2021. On orbit extraction method of ship target in SAR images based on ultra-lightweight network. National Remote Sensing Bulletin, 25(3): 765-775
  18. 18.
    Lin T Y, Dollár P, Girshick R, He K M, Hariharan B and Belongie S. 2017. Feature pyramid networks for object detection//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 936-944
  19. 19.
    Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P and Zitnick C L. 2014. Microsoft COCO: common objects in context//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer: 740-755
  20. 20.
    Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 3431-3440
  21. 21.
    Lyu J, Wang S Q, Sun D Y, Nie J W, Jiao H B, Zhang H L and Liang H W. 2022. Remote sensing of spatial and temporal variations of euphotic zone depth in the Bohai Sea and Yellow Sea during recent 20 years (2002—2020). National Remote Sensing Bulletin, 26(12): 2507-2517
  22. 22.
    Lyu S Y, Li J T, A X H, Yang C, Yang R C and Shang X M. 2023. Res_ASPP_UNet++: building an extraction network from remote sensing imagery combining depthwise separable convolution with atrous spatial pyramid pooling. National Remote Sensing Bulletin, 27(2): 502-519
  23. 23.
    Ma T Q, Wang Q L, Zhang H Z and Zuo W M. 2022. Delving deeper into pixel prior for box-supervised semantic segmentation. IEEE Transactions on Image Processing, 31: 1406-1417
  24. 24.
    Miao W, Geng J and Jiang W. 2022. Semi-supervised remote-sensing image scene classification using representation consistency Siamese network. IEEE Transactions on Geoscience and Remote Sensing, 60: 5616614
  25. 25.
    Milletari F, Navab N and Ahmadi S A. 2016. V-Net: fully convolutional neural networks for volumetric medical image segmentation//Proceedings of the 2016 Fourth International Conference on 3D Vision. Stanford, CA, USA: IEEE: 565-571
  26. 26.
    Pont-Tuset J, Arbeláez P, Barron J T, Marques F and Malik J. 2017. Multiscale combinatorial grouping for image segmentation and object proposal generation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(1): 128-140
  27. 27.
    Rother C, Kolmogorov V and Blake A. 2004. “GrabCut”: interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics (TOG), 23(3): 309-314
  28. 28.
    Su H, Wei S J, Liu S, Liang J D, Wang C, Shi J and Zhang X L. 2020. HQ-ISNet: high-quality instance segmentation for remote sensing imagery. Remote Sensing, 12(6): 989
  29. 29.
    Tian Z, Shen C H and Chen H. 2020. Conditional convolutions for instance segmentation//Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer: 282-298
  30. 30.
    Tian Z, Shen C H, Chen H and He T. 2019. FCOS: fully convolutional one-stage object detection//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9626-9635
  31. 31.
    Tian Z, Shen C H, Wang X L and Chen H. 2021. BoxInst: high-performance instance segmentation with box annotations//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE: 5439-5448
  32. 32.
    Wang X L, Liang Z Y and Liu T. 2023. Feature attention pyramid-based remote sensing image object detection method. National Remote Sensing Bulletin, 27(2): 492-501
  33. 33.
    Waqas Zamir S, Arora A, Gupta A, Khan S, Sun G L, Shahbaz Khan F, Zhu F, Shao F, Xia G S and Bai X. 2019. iSAID: a large-scale dataset for instance segmentation in aerial images. arXiv: 1905. (12886)
  34. 34.
    Wei S J, Zeng X F, Zhang H, Zhou Z C, Shi J and Zhang X L. 2022. LFG-Net: low-level feature guided network for precise ship instance segmentation in SAR images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5231017
  35. 35.
    Wu Q Q, Wang S, Wang B and Wu Y L. 2022. Road extraction method of high-resolution remote sensing image on the basis of the spatial information perception semantic segmentation model. National Remote Sensing Bulletin, 26(9): 1872-1885
  36. 36.
    Yang F, Yuan X Y, Ran J, Shu W Q, Zhao Y, Qin A Y and Gao C Q. 2021. Accurate instance segmentation for remote sensing images via adaptive and dynamic feature learning. Remote Sensing, 13(23): 4774
  37. 37.
    Zhang T, Yang X G, Lu X Q, Lu R T and Zhang S X. 2022. Ship detection in remote sensing image based on dense RFB and LSTM. National Remote Sensing Bulletin, 26(9): 1859-1871
  38. 38.
    Zhang T Y, Zhang X R, Zhu P, Tang X, Li C, Jiao L C and Zhou H Y. 2022. Semantic attention and scale complementary network for instance segmentation in remote sensing images. IEEE Transactions on Cybernetics, 52(10): 10999-11013
  39. 39.
    Zhao D P, Zhu C B, Qi J, Qi X H, Su Z H and Shi Z W. 2021. Synergistic attention for ship instance segmentation in SAR images. Remote Sensing, 13(21): 4384

Lire l'article complet

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website