Масштабное картографирование земного покрова на основе мультимодальных данных и мульти-модельного слияния

RU Yifan ,  

TANG Guoliang ,  

LI Chunlai ,  

摘要

Современное картографирование изменения земного покрова сталкивается с такими основными проблемами, как ограниченность однородных источников данных, высокая гетерогенность данных и недостаточная обобщающая способность одиночных моделей. В связи с этим в настоящем исследовании на основе спектральных характеристик мультиспектральных изображений MSI (Multispectral Imagery) и особенностей данных синтетической апертурной радиолокации SAR (Synthetic Aperture Radar) была построена мультимодальная база данных (MSI+SAR) для компенсации недостатков одиночных данных SAR в сложных условиях. Кроме того, после систематической оценки 7 репрезентативных моделей на уровне моделей предложен метод мульти-модельного слияния, объединяющий 3 типа архитектур: FCN, представляющий сверточные нейронные сети (CNN); ConViT, представляющий визуальные трансформеры (ViT); CoAtNet, представляющий гибридную архитектуру CNN-ViT. Результаты экспериментов показывают, что мультимодальные данные (MSI+SAR) обеспечивают значительное улучшение по сравнению с одиночными SAR по двум ключевым показателям семантической сегментации: общая точность (OA) и частотно-взвешенное пересечение пересечения (FWIoU). Предложенная структура мульти-модельного слияния дополнительно улучшает показатели OA и FWIoU. Предложенный в исследовании инновационный метод не только усиливает способность моделей извлекать сложные характеристики объектов, но и эффективно повышает качество классификации в масштабном картографировании земного покрова, подтверждая мощный потенциал мультимодальных данных и мульти-модельного слияния в дистанционном зондировании.

关键词

картографирование земного покрова;мультиспектральный;синтетическая апертура радара;мультимодальный;мульти-модельное слияние;сверточная нейронная сеть;визуальный трансформер

阅读全文