Estructura de red de integración de tres ramas para la segmentación semántica de imágenes de teledetección de alta resolución

SHAN Huilin ,  

WANG Xingtao ,  

LIU Wenxing ,  

MENG Xiangyuan ,  

WANG Zhihao ,  

ZHANG Yinsheng ,  

摘要

La segmentación semántica profunda es crucial para la comprensión de escenas de alta resolución mediante teledetección. Las imágenes de teledetección presentan una gran diversidad en cuanto al número y la escala de los objetos de diferentes categorías, así como características espaciales y semánticas complejas. El método de fusión directa de características espaciales y semánticas tiene la desventaja de una extracción insuficiente de las ricas características presentes en la imagen. Por lo tanto, en este artículo se propone un algoritmo de segmentación semántica de imágenes de alta resolución mediante teledetección basado en una red de integración de tres ramas, que resuelve los problemas de extracción insuficiente de características y uso insuficiente de características. En primer lugar, se diseñan ramas de extracción de características separadas para características espaciales y semánticas, con el fin de aprovechar al máximo la información espacial y semántica de las imágenes de teledetección, fortaleciendo la complementariedad de las características. En segundo lugar, se propone un concepto de rama de coherencia, que tiene como objetivo aprender las características de coherencia semántica y espacial para mejorar el rendimiento de la red en la segmentación. Por último, se propone un módulo de fusión de características multi-escala para fusionar ponderadamente las características de las tres ramas, mejorando así las capacidades adaptativas del modelo. Además, en este artículo se propone un método de aumento de datos de muestreo aleatorio centrado en la coherencia espacial, y se incorpora una función de pérdida mixta para resolver el problema del desequilibrio en el número de categorías en el conjunto de datos, aliviando eficazmente el sobreajuste debido a un número insuficiente de muestras de clases en el conjunto de datos. Los resultados de los experimentos muestran que el algoritmo propuesto en la segmentación de imágenes de teledetección en los conjuntos de datos de Potsdam y Vaihingen logra un promedio de 87,84 % y 87,49 % respectivamente, lo que demuestra que este algoritmo es capaz de extraer y fusionar eficazmente las características semánticas y espaciales de imágenes de teledetección de alta resolución, mejorando la precisión de la segmentación de imágenes de teledetección.

关键词

imágenes de teledetección de alta resolución; segmentación semántica; fusión multi-escala; aumento de datos; extracción de características de múltiples ramas; coherencia espacial

阅读全文