Segmentación semántica de imágenes de teledetección de alta resolución basada en una red integrada de tres ramas

SHAN Huilin ,  

WANG Xingtao ,  

LIU Wenxing ,  

MENG Xiangyuan ,  

WANG Zhihao ,  

ZHANG Yinsheng ,  

摘要

La segmentación semántica profunda es crucial para la comprensión de escenas de teledetección de alta resolución. Las imágenes de teledetección presentan grandes diferencias en la cantidad y escala de las diferentes categorías de objetos, además de poseer características espaciales y semánticas complejas. La forma directa de fusionar características espaciales y semánticas presenta la desventaja de no explotar completamente las ricas características contenidas en la imagen. Por lo tanto, para resolver los problemas de extracción poco específica y utilización insuficiente de características, este artículo propone un algoritmo de segmentación semántica para imágenes de teledetección de alta resolución basado en una red integrada de tres ramas. En primer lugar, se diseñaron ramas de extracción de características diferentes para las características espaciales y semánticas, para aprovechar plenamente la información espacial y semántica de las imágenes de teledetección, aumentando la complementariedad de las características; en segundo lugar, se propone el concepto de rama de consistencia, que tiene como objetivo aprender características de consistencia semántica y espacial, mejorando el rendimiento de segmentación de la red; finalmente, se propone un módulo de fusión multiescala para fusionar ponderadamente las características de las tres ramas, mejorando la capacidad adaptativa del modelo. Además, este artículo propone un método de aumento de datos con recorte de muestreo aleatorio que presta atención a la consistencia espacial, y añade una función de pérdida mixta para resolver el problema del desequilibrio en el número de clases en el conjunto de datos, aliviando efectivamente el sobreajuste causado por una cantidad insuficiente de muestras de algunas clases. Los resultados experimentales muestran que el algoritmo propuesto alcanza una media de intersección sobre unión del 87.84% y 87.49% en los conjuntos de datos ISPRS Potsdam y Vaihingen respectivamente, demostrando que este algoritmo puede extraer y fusionar eficazmente las características semánticas y espaciales de imágenes de teledetección de alta resolución, mejorando la precisión de segmentación.

关键词

imágenes de teledetección de alta resolución;segmentación semántica;fusión multiescala;aumento de datos;extracción de características multirrama;consistencia espacial

阅读全文