Fusion of panchromatic and multispectral remote sensing images using a dual-branch generative adversarial network combined with Transformer

JI Yunxiang ,  

KANG Jiayin ,  

MA Hanyan ,  

摘要

Les images satellitaires multispectrales ont la capacité de refléter des informations spectrales riches qui reflètent diverses caractéristiques d'objets, mais leur résolution spatiale est relativement faible et les informations sur la texture sont relativement insuffisantes. En revanche, les images satellitaires couleur ont une haute résolution spatiale et des informations de texture abondantes, mais elles manquent d'informations spectrales riches qui reflètent les caractéristiques des objets. La technologie de fusion d'images permet de les intégrer ensemble afin de tirer parti de leurs avantages respectifs, ce qui permet à l'image fusionnée de mieux répondre aux besoins des tâches aval. À cette fin, cet article propose une méthode de fusion d'images multispectrales et couleur sur la base d'un réseau génératif double et d'un transformateur. En particulier, en utilisant un filtre directeur, l'image source (image multispectrale source et image couleur source) est décomposée en composantes de base reflétant l'information principale de l'image et des composantes de détail reflétant l'information de texture et de détail; ensuite, les composantes de base extraites des images multispectrales et couleur sont fusionnées, tout comme les composantes de détail extraites de chacune d'entre elles; ensuite, les composantes de base fusionnées et les composantes de détail fusionnées sont respectivement introduites dans les branches de générateurs doubles; puis, en tenant compte des différentes propriétés des composantes de base et des composantes de détail, l'information caractéristique est extraite à partir de chaque branche à l'aide de réseaux Transformer et de réseaux de neurones convolutionnels, de manière à extraire l'information spectrale globale et l'information de texture locale; enfin, grâce à un entraînement d'opposition continu entre le générateur et les double discriminateurs (discriminateur de base et discriminateur de détail), une image fusionnée comportant à la fois des informations spectrales riches et une haute résolution spatiale est obtenue. Des expériences comparatives qualitatives et quantitatives avec plusieurs méthodes représentatives sur des ensembles de données publics montrent que la méthode proposée a un certain avantage, c'est-à-dire qu'elle permet d'obtenir de bons résultats en termes d'effet visuel subjectif et d'indicateurs d'évaluation objectifs.

关键词

remote sensing image fusion;Guided filtering;convolutional neural network;Generate adversarial network;transformer network;Basic layer;Detail layer;Panchromatic;multispectral

阅读全文