Fusion of panchromatic and multispectral remote sensing images using a dual-branch generative adversarial network combined with Transformer

JI Yunxiang ,  

KANG Jiayin ,  

MA Hanyan ,  

摘要

Multispektrale Satellitenbilder haben die Fähigkeit, reichhaltige spektrale Informationen widerzuspiegeln, die verschiedene Merkmale von Objekten widerspiegeln, aber ihre räumliche Auflösung ist relativ gering und die Texturinformationen sind relativ knapp. Dagegen haben Färbesatellitenbilder eine hohe räumliche Auflösung und reichhaltige Texturinformationen, aber es fehlen reichhaltige spektrale Informationen, die die Merkmale von Objekten widerspiegeln. Die Bildfusionstechnologie ermöglicht es, sie zusammenzuführen, um ihre jeweiligen Vorteile zu nutzen, so dass das fusionierte Bild besser auf die Anforderungen nachgelagerter Aufgaben abgestimmt ist. Zu diesem Zweck schlägt dieser Artikel eine Methode zur Fusion von Multispektral- und Farbsatellitenbildern auf der Basis eines doppelten generativen Netzwerks und eines Transformators vor. Insbesondere wird das Ausgangsbild (das Ausgangsbild mit Multispektralfarben und das Ausgangsbild mit Vollfarben) mithilfe eines Leitfilters in Basiskomponenten zerlegt, die die Hauptinformation des Bildes und Detailkomponenten widerspiegeln, die die Textur- und Detailinformationen widerspiegeln; dann werden die aus den Multispektral- und Farbsatellitenbildern extrahierten Basiskomponenten fusioniert, ebenso wie die aus den Basiskomponenten der Fusion, ebenso wie die aus den Basiskomponenten der Fusion, ebenso wie die aus den Basiskomponenten der Fusion, ebenso wie die aus den Basiskomponenten der Fusion, wird dann, unter Berücksichtigung der unterschiedlichen Eigenschaften der Basiskomponenten und der Detailkomponenten, charakteristische Informationen aus jedem Zweig unter Verwendung von Transformer-Netzwerken und Faltungsschleifennetzwerken extrahiert, um globale spektrale Informationen und lokale Texturinformationen zu extrahieren; schließlich wird durch kontinuierliches oppositionelles Training zwischen dem Generator und den doppelten Diskriminatoren (Basisdiskriminator und Detaildiskriminator) ein fusioniertes Bild mit reichen spektralen Informationen und hoher räumlicher Auflösung erhalten. Experimente mit mehreren repräsentativen Methoden auf öffentlichen Datenbanken zeigen, dass die vorgeschlagene Methode einige Vorteile bietet, die gute Ergebnisse sowohl in Bezug auf den subjektiven visuellen Effekt als auch auf die objektiven Bewertungsindikatoren erzielt.

关键词

remote sensing image fusion;Guided filtering;convolutional neural network;Generate adversarial network;transformer network;Basic layer;Detail layer;Panchromatic;multispectral

阅读全文