Robust matching of optical and SAR images based on deep feature reconstruction enhancement

YANG Chao ,  

LIU Chang ,  

TANG Tengfeng ,  

YE Yuanxin ,  

摘要

Из-за основных различий в принципах образования изображения оптические и радарные изображения синтетической апертуры (SAR) проявляют значительные радиационные и геометрические различия между изображениями, и их автоматическое точное сопоставление всегда является актуальной темой академических исследований в настоящее время. В настоящее время большинство методов сопоставления, основанных на глубоком обучении, сосредоточены на извлечении глубоких особенностей изображений, но эти модели часто игнорируют многомасштабное объединение особенностей изображений и выражение общих особенностей, что приводит к недостаточной устойчивости и трудностям в адаптации к сложным изменяющимся географическим сценам. В связи с этим в данном исследовании был предложен метод устойчивого сопоставления оптических и SAR-изображений на основе улучшения глубоких особенностей. В этом методе была построена сеть извлечения ложных двойных многомасштабных особенностей и восстановления изображений. Во-первых, через архитектуру извлечения многомасштабных особенностей сеть может эффективно извлекать глубокие особенности оптических и SAR-изображений на уровне пикселей. Во-вторых, для оптических изображений была разработана структура филиала перевода ложных изображений SAR, используя восстановление глубоких особенностей изображений для усиления способности сети к обучению общих особенностей. Наконец, была построена совместная функция потерь на основе многомасштабного соответствия особенностей и средней ошибки восстановления изображений, реализующая устойчивое сопоставление оптических и SAR-изображений. На двух наборах удаленных изображений с разным разрешением и содержащих различные географические сцены (города, пригороды, пустыни, горы, водоемы) проведены сравнительные эксперименты, результаты показали, что предложенный метод проявил самые высокие правильные показатели сопоставления по сравнению с несколькими передовыми методами сопоставления в настоящее время.

关键词

remote sensing;optical image;SAR image;image matching;deep learning

阅读全文