Algoritmo de segmentación semántica de imágenes de teledetección basado en descomposición de imagen, desenredado y guía de bordes

LIAN Yuanfeng ,  

LI Keke ,  

摘要

Las imágenes de teledetección tienen características de diferencias significativas en el tamaño de los objetivos y fondos complejos y variables, con fenómenos como la confusión espectral de objetos y límites de características poco claros, lo que aumenta la dificultad de la tarea de segmentación semántica. Para abordar el problema de la dificultad en la segmentación semántica de objetivos en imágenes de teledetección bajo diferentes condiciones de iluminación debido a la dependencia mutua de las características, este artículo propone un modelo de segmentación semántica basado en desenredado para imágenes de teledetección, que consta de una red de desenredado de iluminación-reflexión (LRD-Net) y una red de segmentación semántica multimodal (MSS-Net). Primero, se diseñó la red LRD-Net basada en la teoría Retinex para descomponer las características de iluminación y reflexión en imágenes ópticas, extrayendo características globales y locales de los objetivos mediante un Transformer con peso compartido (WS-Transformer); en segundo lugar, se introduce un módulo de ruido multiescala para mejorar adaptativamente el componente de iluminación para aumentar la capacidad de desenredado del modelo, destacando las diferencias entre las características de los diferentes componentes mediante un módulo de refuerzo de características salientes (SE); finalmente, se utiliza un módulo de extracción de características de borde (EE) para mejorar la capacidad de reconocimiento de bordes de objetivos de teledetección, y mediante la red de segmentación semántica multimodal (MSS-Net) se fusionan las características de iluminación y reflexión para mejorar el rendimiento de la segmentación semántica. En los conjuntos de datos generales ISPRS Vaihingen e ISPRS Potsdam, el índice mIoU alcanza 84.60 % y 87.42 % respectivamente. Los resultados experimentales muestran que el modelo propuesto supera a otros modelos en la tarea de segmentación semántica de imágenes de teledetección.

关键词

segmentación semántica;descomposición de imagen;teoría Retinex;Transformer

阅读全文