Устойчивое сопоставление оптических и радиолокационных изображений на основе усиления глубоких признаков

YANG Chao ,  

LIU Chang ,  

TANG Tengfeng ,  

YE Yuanxin ,  

摘要

Из-за фундаментальных различий в принципах формирования оптических и радиолокационных (синтезированная апертура) изображений, изображения демонстрируют значительные радиационные и геометрические различия, и в течение последних нескольких лет точное сопоставление изображений было актуальной проблемой в международных академических исследованиях. В настоящее время большинство методов сопоставления, основанных на глубоком обучении, сосредоточены на извлечении глубоких характеристик изображений, но эти модели обычно игнорируют многомасштабное объединение характеристик изображений, что приводит к недостаточной устойчивости и затрудняет адаптацию к сложным и изменчивым природным сценам. В этой связи в данном исследовании предлагается метод устойчивого сопоставления оптических и радиолокационных изображений на основе усиления глубоких признаков. Данный метод использует сеть извлечения общих черт путем многомасштабного извлечения глубоких признаков и восстановления изображений. Во-первых, с помощью многомасштабной архитектуры извлечения признаков сеть может эффективно извлекать многомасштабные глубокие признаки оптических и радиолокационных изображений на уровне пикселей. Во-вторых, для оптических изображений разработана ветвь перевода радиолокационных изображений, использующая восстановление глубоких признаков изображений для усиления способности сети к выражению общих характеристик. Наконец, построена структура совместной функции потери, основанной на схожести мультиуровневых признаков и средней ошибке восстановления изображений, что обеспечивает устойчивое сопоставление оптических и радиолокационных изображений. Проведено сравнительное экспериментальное исследование на наборе данных изображений с разной разрешающей способностью и с различными природными сценами (городской, пригородной, пустынной, горной, водной территорий), результаты показывают, что предложенный метод демонстрирует самый высокий уровень правильного сопоставления по сравнению с несколькими передовыми существующими методами.

关键词

оптические изображения; радиолокационные изображения; сопоставление изображений; глубокое обучение

阅读全文