PMC-Net: Red de fusión panaguda basada en estrategia de prefusión y Mamba-CNN

WANG Huaiyou ,  

KANG Jiayin ,  

ZHANG Yangyang ,  

ZHANG Wenhui ,  

ZHANG Xue ,  

YAO Yiming ,  

摘要

La fusión panaguda de imágenes multiespectrales de baja resolución espacial (LRMS) con imágenes pancromáticas de alta resolución espacial (PAN) tiene como objetivo generar una imagen multiespectral de alta resolución espacial (HRMS). Los métodos existentes generalmente realizan un sobremuestreo directo de imágenes LRMS y luego extraen, fusionan y reconstruyen imágenes HRMS. Esta estrategia de fusión puede causar desenfoque o distorsión espectral. Por ello, este artículo propone un método de fusión basada en una estrategia de prefusión combinando Mamba y redes neuronales convolucionales (CNN). Primero, se utiliza la diferencia gaussiana para extraer la información de alta frecuencia de las imágenes PAN para mejorar la textura de las imágenes LRMS; luego, CNN y Mamba extraen características locales y globales respectivamente, y mediante una rama de fusión intermedia basada en CNN se logra la interacción y fusión completa de la información local y global de las dos modalidades, reconstruyendo finalmente una imagen HRMS de alta calidad. Los experimentos en los conjuntos de datos públicos QuickBird e IKONOS muestran que el método propuesto supera tanto en evaluación visual subjetiva como objetiva a métodos tradicionales como GS, PCA y a métodos avanzados de aprendizaje profundo como PanFormer y Pan-Mamba. Los resultados indican que, en comparación con el promedio de las métricas de estos métodos, el propuesto mejora el pico de relación señal-ruido y el índice de calidad de imagen universal en un 10.91% y 5.62% respectivamente; además reduce el error cuadrático medio, el error global adimensional relativo y el índice de distorsión espectral en un 30.52%, 18.56% y 60.41%. Además, los experimentos de ablación confirman la efectividad de la estrategia de prefusión y el módulo Mamba. En resumen, el método propuesto proporciona una solución efectiva para mejorar la fusión panaguda y tiene un valor práctico para aplicaciones de imágenes remotas.

关键词

imágenes remotas; fusión panaguda; prefusión; diferencia gaussiana; Mamba; modelo de espacio de estados; red neuronal convolucional; multiespectral; pancromático

阅读全文