Los métodos actuales de fusión espacio-temporal basados en aprendizaje profundo equilibran los errores de píxeles dentro de regiones locales durante las operaciones de convolución, lo que resulta en detalles pobres de la textura y bordes difusos en la imagen fusionada. Este artículo propone un modelo de fusión espacio-temporal que combina redes generativas adversariales (GAN) y la transformación wavelet no submuestreada por corte (NSST). Primero, se introducen una rama de convolución dilatada y un módulo de diferencia-atención (SUB-AM) en la estructura del codificador del generador, para que la extracción de características finas tenga en cuenta la globalidad, y se ajustan las características finas extraídas utilizando los cambios aproximados capturados por el módulo SUB-AM, mejorando la precisión de predicción. Segundo, mediante la descomposición NSST y un bloque de reconstrucción adaptativa (NSST-ARM), se reconstruyen la información de alta y baja frecuencia de los resultados generados por el codificador-decodificador y la imagen fina de referencia en el momento, reforzando los detalles de alta frecuencia en la imagen fusionada; finalmente, se introduce un término de pérdida de nitidez en la función de pérdida para reducir la pérdida de claridad en la imagen fusionada. Los resultados experimentales muestran que, en comparación con los métodos avanzados, el método propuesto mejora en promedio el valor de similitud estructural (SSIM) en un 1.5%, reduce en promedio el error global relativo adimensional (ERGAS) en un 14%, y mejora la expresión de detalles de textura y la claridad de la estructura de los bordes en la imagen fusionada. Los experimentos demuestran la efectividad del método.

fusión espacio-temporal;redes generativas adversariales;convolución dilatada;transformación wavelet no submuestreada