Segmentação semântica de imagens de sensoriamento remoto em alta resolução baseada em rede integrada de três ramos

SHAN Huilin ,  

WANG Xingtao ,  

LIU Wenxing ,  

MENG Xiangyuan ,  

WANG Zhihao ,  

ZHANG Yinsheng ,  

摘要

A segmentação semântica profunda é crucial para a compreensão de cenas de sensoriamento remoto em alta resolução. As imagens de sensoriamento remoto apresentam grandes diferenças na quantidade e escala das diversas categorias de objetos, além de possuírem características espaciais e semânticas complexas. A forma direta de fusão das características espaciais e semânticas apresenta a desvantagem de não explorar totalmente as ricas características contidas na imagem. Portanto, para resolver problemas de extração insuficiente de características específicas e utilização inadequada das mesmas, este artigo propõe um algoritmo de segmentação semântica para imagens de sensoriamento remoto em alta resolução baseado em uma rede integrada de três ramos. Primeiramente, ramos diferentes de extração de características foram projetados para as características espaciais e semânticas, a fim de aproveitar ao máximo as informações espaciais e semânticas das imagens de sensoriamento remoto, aumentando a complementaridade das características; em segundo lugar, é proposto o conceito de ramo de consistência, que visa aprender as características de consistência semântica e espacial, melhorando o desempenho da segmentação da rede; finalmente, é proposto um módulo de fusão multiescala para realizar uma fusão ponderada das características dos três ramos, aumentando a capacidade adaptativa do modelo. Além disso, este artigo propõe um método de aumento de dados baseado em recorte de amostragem aleatória com foco na consistência espacial e adiciona uma função de perda mista para resolver o problema do desequilíbrio no número de classes no conjunto de dados, aliviando efetivamente o sobreajuste causado pela baixa amostragem de algumas classes. Os resultados experimentais mostram que o algoritmo proposto atinge uma média de interseção sobre união de 87,84% e 87,49% nos conjuntos de dados ISPRS Potsdam e Vaihingen, respectivamente, comprovando que o algoritmo pode extrair e fundir eficientemente as características semânticas e espaciais das imagens de sensoriamento remoto em alta resolução, melhorando a precisão da segmentação das imagens de sensoriamento remoto.

关键词

imagens de sensoriamento remoto em alta resolução;segmentação semântica;fusão multiescala;aumento de dados;extração de características de múltiplos ramos;consistência espacial

阅读全文