Алгоритм семантической сегментации дистанционных изображений на основе декомпозиции изображения, устранения взаимосвязей и направляющих краев

LIAN Yuanfeng ,  

LI Keke ,  

摘要

Дистанционные изображения характеризуются значительными различиями в размере объектов и сложным изменчивым фоном, присутствуют такие явления, как спектральное смешение объектов и нечеткие границы признаков, что усложняет задачу семантической сегментации. Для решения проблемы трудностей семантической сегментации объектов на дистанционных изображениях при различных условиях освещения, вызванных взаимозависимостью признаков, в данной статье предлагается модель семантической сегментации дистанционных изображений на основе декорреляции, состоящая из сети декорреляции освещения-отражения (LRD-Net) и многомодальной сети семантической сегментации (MSS-Net). Сначала сеть LRD-Net разрабатывается на основе теории Retinex для разложения оптического изображения на компоненты освещения и отражения, с использованием совместно взвешенного трансформера (WS-Transformer) для извлечения глобальных и локальных признаков объекта; затем вводится многомасштабный шумовой модуль для адаптивного усиления компонентов освещения с целью улучшения способности модели к декорреляции, через модуль усиления значимых признаков (SE) выделяющей различия между свойствами компонентов; в конце используется модуль извлечения краевых признаков (EE) для улучшения способности распознавания краев объектов дистанционного зондирования, и с помощью многомодальной сети семантической сегментации (MSS-Net) объединяются признаки освещения и отражения для повышения эффективности семантической сегментации. По общим наборам данных ISPRS Vaihingen и ISPRS Potsdam метрика mIoU достигает 84,60% и 87,42% соответственно. Экспериментальные результаты показывают, что предложенная модель превосходит другие модели в задаче семантической сегментации дистанционных изображений.

关键词

семантическая сегментация;декомпозиция изображения;теория Retinex;Transformer

阅读全文