Детекция изменений в изображениях дистанционного зондирования с фокусом на семантической согласованности

WU Hucheng ,  

WANG Renfang ,  

QIU Hong ,  

WANG Feng ,  

GAO Guang ,  

WU Dun ,  

摘要

Детекция семантических изменений в изображениях дистанционного зондирования играет важную роль в экологическом мониторинге, использовании земель и мониторинге земельного покрова. В последние годы методы детекции изменений на основе глубокого обучения стали актуальной темой в интеллектуальной интерпретации дистанционного зондирования, однако текущие методы детекции полувариантности не учитывают моделирование согласованности между ветвями изменения и ветвью смысла, что приводит к противоречиям полувременного семантического изменения. Для решения этой проблемы в настоящей работе предлагается алгоритм детекции семантического изменения на изображениях дистанционного зондирования на основе трансформера и симметричной сверточной нейронной сети. На этапе кодирования сначала проектируется симметричная сеть ResNet34 для извлечения многомасштабных признаков изображения и встраивается модуль повышения внимания к различиям для увеличения внимания информации об изменении; затем используется семантический маркер для преобразования карты признаков в компактные семантические токены и путем использования кодировщика Transformer моделируется совместная информация о полувременном семантическом и измененном. На этапе декодирования с использованием декодера Transformer и прыжкового соединения объединяются различные уровни семантической информации и получают улучшенные карты признаков смысла. После восстановления высокого разрешения и умножения маски получаются результаты полувременного семантического изменения. Результаты экспериментов на открытых наборах данных детекции семантического изменения в дистанционном зондировании SECOND и Landsat-SCD показывают, что предложенный алгоритм может эффективно сосредоточиться на областях изменений, сохраняя согласованность результатов изменений с результатами смысла и достигая отличных показателей оценки и визуальных эффектов.

关键词

изображения дистанционного зондирования; детекция изменений; семантическая согласованность; повышение различий; многомасштабные признаки; двухветвевая сеть; ResNet34; трансформер

阅读全文