предыдущий|следующий

Метод низкозатратной тонкой интерпретации дистанционных изображений на основе слабо контролируемой сегментации экземпляров

  • role： First author第一作者
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

  • Email：chenmanhjdx@163.com
  • Introduction：陈满，研究方向为遥感图像处理。E-mail： chenmanhjdx@163.com
CHEN Man,  
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

HUANG Yongjie,  
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

XU Lei,  
  • role： Corresponding author通信作者
  • Affiliation：

    College of Command and Control Engineering, Army Engineering University of PLA, Nanjing 210007, China

  • Email：panzhisong@aeu.edu.cn
  • Introduction：潘志松，研究方向为模式识别与机器学习。E-mail： panzhisong@aeu.edu.cn
PAN Zhisong*

реферат

Сегментация экземпляров на дистанционных изображениях позволяет одновременно осуществлять локализацию объектов заинтересованности на уровне целевых областей и классификацию на уровне пикселей, что является важной и сложной задачей. Большинство современных методов сегментации экземпляров для дистанционных изображений опираются на подробную разметку на уровне пикселей, что требует значительных затрат. Кроме того, смешанный фон и сложные контуры объектов на дистанционных изображениях также усложняют сегментацию. Для решения этих задач в статье построена система приоритетной информации, пригодная для задачи слабо контролируемой сегментации экземпляров дистанционных изображений, и предложена сеть слабо контролируемой сегментации экземпляров, основанная на многократных приоритетах. Конкретно, приоритетная информация в задаче слабо контролируемой сегментации экземпляров делится в зависимости от источника на приоритеты задачи и приоритеты изображения, где приоритет задачи происходит от плотно связанной задачи обнаружения ограничивающих рамок, а приоритет изображения — от обобщения и извлечения информации самого изображения. Далее разработаны три конкретных компонента для воплощения приоритетной информации задачи: ограничение согласованности проекции рамки и маски, функция характеристики сложности различения пикселей и ограничение приоритета центрального положения, которые позволяют сети определять размер маски и полностью фокусироваться на ключевых пикселях и областях изображения; а также два компонента для построения приоритетной информации изображения: ограничение соседней визуальной согласованности и ограничение градиентной согласованности, которые позволяют сети эффективно разделять передний и задний план и адаптироваться к сложным контурам объектов в дистанционных изображениях. Экспериментальные результаты на оптических и SAR наборах данных дистанционных изображений показывают, что предложенный метод достигает значения AP 52.5 и 54.1 соответственно без использования какой-либо разметки на уровне пикселей, превосходя существующие методы слабоконтролируемой сегментации и достигая 89.3% и 84.3% от полно контролируемого Mask R-CNN. Данный метод предоставляет высокоэффективное и низкозатратное решение для тонкой интерпретации дистанционных изображений.

ключеви́че слова́

дистанционные изображения; сегментация экземпляров; тонкая интерпретация; слабое обучение; приоритетная информация; система управления; контуры объектов; стоимость разметки

References

  1. 1.
    Ahn J, Cho S and Kwak S. 2019. Weakly supervised learning of instance segmentation with inter-pixel relations//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach, CA, USA: IEEE: 2204-2213
  2. 2.
    Arun A, Jawahar C V and Kumar M P. 2020. Weakly supervised instance segmentation by learning annotation consistent instances//Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer: 254-270
  3. 3.
    Bolya D, Zhou C, Xiao F Y and Lee Y J. 2019. YOLACT: real-time instance segmentation//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9156-9165
  4. 4.
    Cai Z W and Vasconcelos N. 2018. Cascade R-CNN: delving into high quality object detection//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA: IEEE: 6154-6162
  5. 5.
    Chen M, Zhang Y, Chen E P, Hu Y H, Xie Y F and Pan Z S. 2023. Meta-knowledge guided weakly supervised instance segmentation for optical and SAR image interpretation. Remote Sensing, 15(9): 2357
  6. 6.
    Chen Z Q, Shang Y H, Python A, Cai Y X and Yin J W. 2022. DB-BlendMask: decomposed attention and balanced BlendMask for instance segmentation of high-resolution remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5615915
  7. 7.
    Cheng G, Zhou P C and Han J W. 2016. Learning rotation-invariant convolutional neural networks for object detection in VHR optical remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 54(12): 7405-7415
  8. 8.
    Hao S Y, Wang G A and Gu R S. 2021. Weakly supervised instance segmentation using multi-prior fusion. Computer Vision and Image Understanding, 211: 103261
  9. 9.
    He K M, Gkioxari G, Dollár P and Girshick R. 2020. Mask R-CNN. IEEE Transactions on Pattern Analysis and Machine Intelligence, 42(2): 386-397
  10. 10.
    He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE: 770-778
  11. 11.
    Hsu C C, Hsu K J, Tsai C C, Lin Y Y and Chuang Y Y. 2019. Weakly supervised instance segmentation using the bounding box tightness prior//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver, BC, Canada: Curran Associates Inc.: 591 [DOI: 10.5555/3454287.3454878]
  12. 12.
    Huang L, Han X Y, Wang X L, Zhang Y D, Yang J F, Fen A P, Li J G and Zhu N H N W. 2022. Coupling with high-resolution remote sensing data to evaluate urban non-point source pollution in Tongzhou, China. Science of the Total Environment, 831: 154632
  13. 13.
    Lan S Y, Yu Z D, Choy C, Radhakrishnan S, Liu G L, Zhu Y K, Davis L S and Anandkumar A. 2021. DiscoBox: weakly supervised instance segmentation and semantic correspondence from box supervision//Proceedings of 2021 IEEE/CVF International Conference on Computer Vision. Montreal, QC, Canada: IEEE: 3386-3396
  14. 14.
    Lee J, Yi J H, Shin C and Yoon S. 2021. BBAM: bounding box attribution map for weakly supervised semantic and instance segmentation//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE: 2643-2651
  15. 15.
    Li M Q, Fang S B, Zhu Y C, Wu Y J, Cao Y, Zhuo W and E Y H. 2022. Spatial and temporal distributions of waterlogging disasters in the summer of 2021 in Mainland China and their possible impacts. National Remote Sensing Bulletin, 26(9): 1886-1894
  16. 16.
    Li Y H, Xue Y, Li L F, Zhang X J and Qian X M. 2022. Domain adaptive box-supervised instance segmentation network for mitosis detection. IEEE Transactions on Medical Imaging, 41(9): 2469-2485
  17. 17.
    Li Z L, Wang L Y, Jiang S, Wu Y H and Zhang Q J. 2021. On orbit extraction method of ship target in SAR images based on ultra-lightweight network. National Remote Sensing Bulletin, 25(3): 765-775
  18. 18.
    Lin T Y, Dollár P, Girshick R, He K M, Hariharan B and Belongie S. 2017. Feature pyramid networks for object detection//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE: 936-944
  19. 19.
    Lin T Y, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P and Zitnick C L. 2014. Microsoft COCO: common objects in context//Proceedings of the 13th European Conference on Computer Vision. Zurich, Switzerland: Springer: 740-755
  20. 20.
    Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA: IEEE: 3431-3440
  21. 21.
    Lyu J, Wang S Q, Sun D Y, Nie J W, Jiao H B, Zhang H L and Liang H W. 2022. Remote sensing of spatial and temporal variations of euphotic zone depth in the Bohai Sea and Yellow Sea during recent 20 years (2002—2020). National Remote Sensing Bulletin, 26(12): 2507-2517
  22. 22.
    Lyu S Y, Li J T, A X H, Yang C, Yang R C and Shang X M. 2023. Res_ASPP_UNet++: building an extraction network from remote sensing imagery combining depthwise separable convolution with atrous spatial pyramid pooling. National Remote Sensing Bulletin, 27(2): 502-519
  23. 23.
    Ma T Q, Wang Q L, Zhang H Z and Zuo W M. 2022. Delving deeper into pixel prior for box-supervised semantic segmentation. IEEE Transactions on Image Processing, 31: 1406-1417
  24. 24.
    Miao W, Geng J and Jiang W. 2022. Semi-supervised remote-sensing image scene classification using representation consistency Siamese network. IEEE Transactions on Geoscience and Remote Sensing, 60: 5616614
  25. 25.
    Milletari F, Navab N and Ahmadi S A. 2016. V-Net: fully convolutional neural networks for volumetric medical image segmentation//Proceedings of the 2016 Fourth International Conference on 3D Vision. Stanford, CA, USA: IEEE: 565-571
  26. 26.
    Pont-Tuset J, Arbeláez P, Barron J T, Marques F and Malik J. 2017. Multiscale combinatorial grouping for image segmentation and object proposal generation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(1): 128-140
  27. 27.
    Rother C, Kolmogorov V and Blake A. 2004. “GrabCut”: interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics (TOG), 23(3): 309-314
  28. 28.
    Su H, Wei S J, Liu S, Liang J D, Wang C, Shi J and Zhang X L. 2020. HQ-ISNet: high-quality instance segmentation for remote sensing imagery. Remote Sensing, 12(6): 989
  29. 29.
    Tian Z, Shen C H and Chen H. 2020. Conditional convolutions for instance segmentation//Proceedings of the 16th European Conference on Computer Vision. Glasgow, UK: Springer: 282-298
  30. 30.
    Tian Z, Shen C H, Chen H and He T. 2019. FCOS: fully convolutional one-stage object detection//Proceedings of 2019 IEEE/CVF International Conference on Computer Vision. Seoul, Korea (South): IEEE: 9626-9635
  31. 31.
    Tian Z, Shen C H, Wang X L and Chen H. 2021. BoxInst: high-performance instance segmentation with box annotations//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, TN, USA: IEEE: 5439-5448
  32. 32.
    Wang X L, Liang Z Y and Liu T. 2023. Feature attention pyramid-based remote sensing image object detection method. National Remote Sensing Bulletin, 27(2): 492-501
  33. 33.
    Waqas Zamir S, Arora A, Gupta A, Khan S, Sun G L, Shahbaz Khan F, Zhu F, Shao F, Xia G S and Bai X. 2019. iSAID: a large-scale dataset for instance segmentation in aerial images. arXiv: 1905. (12886)
  34. 34.
    Wei S J, Zeng X F, Zhang H, Zhou Z C, Shi J and Zhang X L. 2022. LFG-Net: low-level feature guided network for precise ship instance segmentation in SAR images. IEEE Transactions on Geoscience and Remote Sensing, 60: 5231017
  35. 35.
    Wu Q Q, Wang S, Wang B and Wu Y L. 2022. Road extraction method of high-resolution remote sensing image on the basis of the spatial information perception semantic segmentation model. National Remote Sensing Bulletin, 26(9): 1872-1885
  36. 36.
    Yang F, Yuan X Y, Ran J, Shu W Q, Zhao Y, Qin A Y and Gao C Q. 2021. Accurate instance segmentation for remote sensing images via adaptive and dynamic feature learning. Remote Sensing, 13(23): 4774
  37. 37.
    Zhang T, Yang X G, Lu X Q, Lu R T and Zhang S X. 2022. Ship detection in remote sensing image based on dense RFB and LSTM. National Remote Sensing Bulletin, 26(9): 1859-1871
  38. 38.
    Zhang T Y, Zhang X R, Zhu P, Tang X, Li C, Jiao L C and Zhou H Y. 2022. Semantic attention and scale complementary network for instance segmentation in remote sensing images. IEEE Transactions on Cybernetics, 52(10): 10999-11013
  39. 39.
    Zhao D P, Zhu C B, Qi J, Qi X H, Su Z H and Shi Z W. 2021. Synergistic attention for ship instance segmentation in SAR images. Remote Sensing, 13(21): 4384

Читать полностью

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website