Research on Semantic Segmentation Algorithm for Remote Sensing Images Based on Image Decomposition to Remove Entanglement and Edge Guidance

Lian Yuanfeng ,  

Li Keke ,  

摘要

Las imágenes de teledetección presentan diferencias significativas en el tamaño de los objetivos y la complejidad cambiante del fondo, lo que conlleva a una confusión espectral de los elementos del terreno y a la difuminación de los límites de las características. Esto aumenta la dificultad de la tarea de segmentación semántica. Ante las dificultades de segmentación semántica de imágenes de teledetección debido a la interdependencia de las características de los objetivos en diferentes condiciones de iluminación, en este artículo se propone un modelo de segmentación semántica de imágenes de teledetección basado en la desenredamiento de la imagen y la resolución de las dependencias de las características de reflexión - iluminación (LRD-Net) y de la red de segmentación semántica multimodal (MSS-Net). En primer lugar, se utiliza la red LRD-Net, basada en la teoría de Retinex, para descomponer las características de iluminación y reflexión en la imagen óptica, a través de un transformador de peso compartido (WS-Transformer) para extraer las características globales y locales del objetivo; En segundo lugar, se introduce un módulo de ruido a múltiples escalas para aumentar adaptativamente el componente de iluminación para mejorar la capacidad del modelo para resolver las dependencias, a través del módulo de realce de características llamativas (SE) para resaltar la información diferente entre los componentes de características; Por último, se utiliza el módulo de extracción de características de borde (EE) para mejorar la capacidad de identificación de bordes de objetivos de teledetección y el uso de la red de segmentación semántica multimodal (MSS-Net) para fusionar las características de iluminación y reflexión para mejorar el rendimiento de la segmentación semántica. La evaluación del rendimiento en los conjuntos de datos comunes ISPRS Vaihingen y ISPRS Potsdam mostró que el mIoU (Índice de Intersección sobre Unión medio) alcanzó el 84,60% y el 87,42% respectivamente. Los resultados experimentales muestran que el modelo propuesto supera a otros modelos en la tarea de segmentación semántica de imágenes de teledetección.

关键词

semantic segmentation;Image decomposition;Retinex theory;Transformer

阅读全文