Fusion of panchromatic and multispectral remote sensing images using a dual-branch generative adversarial network combined with Transformer

JI Yunxiang ,  

KANG Jiayin ,  

MA Hanyan ,  

摘要

Многозональные спутниковые изображения обладают способностью отражать обширную спектральную информацию, отражающую разнообразные признаки объектов, однако их пространственное разрешение относительно низкое, а информация о текстуре относительно недостаточна. В свою очередь, полноколорные спутниковые изображения обладают высоким пространственным разрешением и обширной информацией о текстуре, но они лишены обширной спектральной информации, отражающей разнообразные признаки объектов. Технология объединения изображений позволяет интегрировать их вместе для того, чтобы осуществить взаимодополняемое использование их преимуществ и тем самым сделать объединенное изображение более подходящим для потребностей последующих задач. Для этой цели в данной работе предложен метод фьюжна многозональных и полноколорных спутниковых изображений на основе двойной генеративной сети и трансформатора. В частности, сначала исходное изображение (исходное многозональное и полноколорное спутниковое изображение) разлагается с использованием направленного фильтра на базовые компоненты, отражающие основную информацию изображения и детали; затем базовые компоненты, полученные из многозонального и полноколорного спутникового изображения, объединяются, а также объединяются детальные компоненты, полученные из них; затем объединенные базовые компоненты и объединенные детальные компоненты вводятся в двупутевой генератор, в базовый путь и путь деталей соответственно; затем, с учетом различных свойств базовых и детальных компонент, извлекаются информационные свойства посредством преобразователя из каждого пути, благодаря чему извлекается общая спектральная информация и локальная текстурная информация; наконец, путем непрерывного противоборствующего обучения между генератором и двойным дискриминатором (базовый дискриминатор и детальный дискриминатор) получается объединенное изображение, одновременно обладающее богатой спектральной информацией и высоким пространственным разрешением. Путем качественного и количественного сравнительного эксперимента с несколькими репрезентативными методами на общедоступных наборах данных в данной работе показано, что предложенный метод обладает определенным преимуществом, то есть достигает хороших результатов с точки зрения субъективного визуального эффекта и объективных оценочных показателей.

关键词

remote sensing image fusion;Guided filtering;convolutional neural network;Generate adversarial network;transformer network;Basic layer;Detail layer;Panchromatic;multispectral

阅读全文