La detección de cambios semánticos en las imágenes de teledetección desempeña un papel importante en la monitorización del medio ambiente ecológico, el uso de la tierra y la monitorización del uso del suelo. En los últimos años, los métodos de detección de cambios basados en el aprendizaje profundo se han convertido en un tema de interés clave en la interpretación inteligente de la teledetección; sin embargo, los métodos actuales de detección de semi-inconsistencia carecen de modelado de la coherencia entre la rama de cambios y la rama de significado, lo que resulta en contradicciones en la detección de cambios semánticos de doble tiempo. Ante este problema, en este artículo se propone un algoritmo de detección de cambios semánticos en imágenes de teledetección basado en el gemelo CNN y Transformer. En la etapa de codificación, primero se diseña una red gemela ResNet34 para extraer características multiescala de la imagen, y se incorpora un módulo de mejora de diferencias para aumentar la atención a la información de cambio; luego se utiliza un marcador semántico para mapear las características en tokens semánticos compactos, y a través de un codificador Transformer se modela conjuntamente la información semántica y de cambio de doble tiempo. En la etapa de decodificación, mediante un decodificador Transformer y una conexión de salto, se fusionan diferentes niveles de información semántica para obtener mapas de características semánticas refinadas. Después de una recuperación de alta resolución y una multiplicación de máscaras, se obtienen los resultados de los cambios semánticos de doble tiempo. Los resultados experimentales en los conjuntos de datos públicos de detección de cambios semánticos de teledetección SECOND y Landsat-SCD muestran que el algoritmo propuesto puede concentrarse de manera efectiva en las áreas de cambio, mantener la coherencia de los resultados de cambio con los resultados semánticos y lograr excelentes indicadores de evaluación y efectos visuales.
关键词
imágenes de teledetección; detección de cambio; coherencia semántica; mejora de diferencias; características multiescala; red gemela; ResNet34; Transformer