Segmentação Semântica de Imagens de Sensoriamento Remoto com Adaptação de Domínio Não Supervisionada baseada em Aprendizado Colaborativo Multitarefa

WANG Yu ,  

FENG Yuting ,  

GONG Sishi ,  

MAO Yanqin ,  

LI Shengwen ,  

FANG Fang ,  

ZHOU Shunping ,  

摘要

A segmentação semântica de imagens de sensoriamento remoto desempenha um papel importante na classificação da cobertura e uso do solo, planejamento urbano e detecção de mudanças. A tecnologia de adaptação de domínio, como um método promissor de aprendizagem não supervisionada, impulsionou significativamente o desenvolvimento da segmentação semântica de imagens de sensoriamento remoto. No entanto, os modelos existentes ainda se baseiam no aprendizado de tarefa única, resultando em características de segmentação insuficientemente aprendidas, dificultando o reconhecimento preciso de regiões complexas nas imagens de sensoriamento remoto durante o processo de segmentação. Para resolver esse problema, este artigo propõe uma rede de segmentação semântica de adaptação de domínio de aprendizagem multitarefa MTLDANet (Muti-Task Learning Domain Adaption Network), que melhora a capacidade de aprendizado das características de segmentação por meio da aprendizagem colaborativa das informações semânticas e de elevação nas imagens de sensoriamento remoto. Especificamente, o método insere características semânticas e de elevação específicas da tarefa em um módulo de aprendizado de associação de características entre tarefas, explorando a correlação latente entre tarefas para obter uma expressão mais forte das características específicas da tarefa, e melhora a qualidade das pseudoetiquetas por meio de um módulo de aprendizagem de consistência mista guiado por pseudoetiquetas, alcançando alinhamento global e local. Além disso, um módulo de alinhamento em nível de classe guiado por entropia reforça ainda mais a discriminabilidade das classes de difícil classificação. Finalmente, com base nos conjuntos de dados ISPRS 2D e US3D, foram realizados quatro grupos de experimentos de segmentação semântica de imagens de sensoriamento remoto em cenários entre cenas. Os resultados mostram que o método proposto supera significativamente os métodos existentes de adaptação de domínio em vários cenários complexos entre domínios.

关键词

segmentação semântica; adaptação de domínio não supervisionada; imagens de sensoriamento remoto; aprendizado multitarefa; informação de elevação; informação semântica; pseudoetiquetas; entropia

阅读全文