Настоящая статья решает проблему балансировки ошибок пикселей в локальных областях во время свёртки в современных методах пространственно-временного слияния на основе глубокого обучения, что приводит к плохой детализации текстуры и размытым границам областей на объединённом изображении. В статье предложена пространственно-временная модель слияния, сочетающая генеративно-состязательные сети (GAN) и несубдискретное сдвиговое вейвлет-преобразование (NSST). Во-первых, расширенная свёртка и модуль разницы-внимания (SUB-AM) введены в структуру кодера генератора, обеспечивая баланс между извлечением тонких и глобальных признаков, при этом выходы SUB-AM используются для регулировки тонких признаков с целью улучшения точности прогноза. Во-вторых, с помощью декомпозиции NSST и адаптивного реконструктивного блока (NSST-ARM) реконструируется высокочастотная и низкочастотная информация результатов кодер-декодер генератора и ссылочного высокоточного изображения, улучшая высокочастотные детали объединённого изображения; наконец, в функцию потерь добавлен компонент потерь резкости для снижения потери чёткости объединённого изображения. Эксперименты показали, что по сравнению с передовыми методами, предложенный подход увеличивает среднее значение структурного сходства (SSIM) на 1,5%, снижает среднюю относительную безразмерную глобальную ошибку (ERGAS) на 14%, улучшая выражение текстурных деталей и чёткость структур краёв объединённых изображений. Эксперименты подтвердили эффективность предложенного метода.

пространственно-временное слияние;генеративно-состязательные сети;расширенная свёртка;несубдискретное сдвиговое вейвлет-преобразование