Research on Semantic Segmentation Algorithm for Remote Sensing Images Based on Image Decomposition to Remove Entanglement and Edge Guidance

Lian Yuanfeng ,  

Li Keke ,  

摘要

Снимки дистанционного зондирования обладают ярко выраженным различием в размерах объектов и сложностью фона, что приводит к смешиванию спектров земных признаков и нечеткости границ характеристик. Это увеличивает сложность задачи семантической сегментации. В связи с трудностями семантической сегментации изображений дистанционного зондирования, вызванными взаимозависимостью признаков объектов в различных условиях освещения, в настоящей статье предлагается модель семантической сегментации изображений дистанционного зондирования на основе декомпозиции изображения и разрешения зависимостей признаков отражения - светоотражение (LRD-Net) и мультимодальной сети семантической сегментации (MSS-Net). Во-первых, используется сеть LRD-Net, разработанная на основе теории Ретинекс, для разложения признаков освещения и отражения в оптическом изображении с использованием совместного трансформатора веса (WS-Transformer) для извлечения глобальных и локальных признаков цели; Во-вторых, вводится многомасштабный шумовой модуль для адаптивного усиления компонента освещения для повышения способности модели к разрешению зависимостей, с помощью модуля усиления ярких признаков (SE) выделяются различные информации между компонентами признаков; Наконец, использование модуля извлечения граничных признаков (EE) для улучшения способности распознавания границ удаленных целей и с использованием мультимодальной сети семантической сегментации (MSS-Net) для слияния признаков освещения и отражения для улучшения производительности семантической сегментации. Оценка производительности на общих наборах данных ISPRS Vaihingen и ISPRS Potsdam показала, что средняя оценка перекрытия (mIoU) составила соответственно 84,60% и 87,42%. Результаты эксперимента показывают, что предложенная модель превосходит другие модели в задаче семантической сегментации изображений дистанционного зондирования.

关键词

semantic segmentation;Image decomposition;Retinex theory;Transformer

阅读全文