Detecção de mudanças em imagens de sensoriamento remoto com foco na consistência semântica

WU Hucheng ,  

WANG Renfang ,  

QIU Hong ,  

WANG Feng ,  

GAO Guang ,  

WU Dun ,  

摘要

A detecção de mudanças semânticas em imagens de sensoriamento remoto desempenha um papel importante no ambiente ecológico, uso da terra, monitoramento da cobertura do solo e outros aspectos. Nos últimos anos, os métodos de detecção de mudanças baseados em aprendizado profundo têm sido um foco na interpretação inteligente de sensoriamento remoto. Entretanto, os métodos atuais de detecção de mudanças semânticas com três ramos carecem da modelagem da consistência entre o ramo de mudanças e o ramo semântico, levando a contradições na detecção semântica de mudanças de dois momentos. Para resolver esse problema, este artigo propõe um algoritmo de detecção de mudanças semânticas em imagens de sensoriamento remoto baseado em CNNs gêmeas e Transformer. Na fase de codificação, primeiramente é projetada uma rede ResNet34 gêmea para extrair características multiescala da imagem, e um módulo de realce de diferenças é incorporado para aumentar a atenção às informações de mudanças; em seguida, um marcador semântico é utilizado para mapear o mapa de características em tokens semânticos compactos, e por meio do codificador Transformer são modeladas conjuntamente as informações semânticas e mudanças de dois momentos para modelar a consistência “semântica-mudança”. Na fase de decodificação, por meio do decodificador Transformer e conexões de salto, diferentes granularidades de informações semânticas são fundidas para gerar um mapa de características semânticas refinado; após a restauração por upsampling e a multiplicação por máscara, obtém-se o resultado das mudanças semânticas de dois momentos. Os resultados experimentais em conjuntos públicos de dados de detecção de mudanças semânticas em sensoriamento remoto, SECOND e Landsat-SCD, mostram que o algoritmo proposto pode focar efetivamente nas áreas de mudança, manter a consistência entre os resultados de mudança e semânticos, e alcançar excelentes métricas de avaliação e efeitos visuais.

关键词

imagem de sensoriamento remoto; detecção de mudanças; consistência semântica; realce de diferenças; características multiescala; rede gêmea; ResNet34; Transformer

阅读全文