阅读原文

предыдущий|следующий

Несанкционированная адаптация домена для семантической сегментации изображений дистанционного зондирования с многозадачным совместным обучением

реферат

Семантическая сегментация изображений дистанционного зондирования играет важную роль в классификации землепользования и покрытий, городском планировании и обнаружении изменений. Технология адаптации домена, как многообещающий метод обучения без учителя, значительно способствовала развитию семантической сегментации изображений дистанционного зондирования. Однако существующие модели основаны на обучении одной задаче, в результате чего получаемые сегментационные признаки недостаточно полные, что приводит к трудностям в точном распознавании сложных областей на изображениях дистанционного зондирования в процессе сегментации. Для решения этой проблемы в статье предлагается многозадачная сетевая модель адаптации домена MTLDANet (Muti-Task Learning Domain Adaption Network) для семантической сегментации, которая посредством совместного обучения семантической и высотной информации в изображениях дистанционного зондирования повышает способность обучения сегментационных признаков. В частности, метод вводит специфические для задач семантические и высотные признаки в модуль межзадачного корреляционного обучения признаков, выявляя скрытую взаимосвязь между задачами, что позволяет получить более сильное выражение признаков, специфичных для задач. Модуль согласованного обучения с псевдо-метками улучшает качество псевдо-меток для достижения глобального и локального выравнивания. Кроме того, модуль выравнивания на уровне классов, управляемый энтропией, дополнительно усиливает различимость трудно классифицируемых классов. Наконец, на базах данных ISPRS 2D и US3D проведены четыре группы экспериментов по семантической сегментации изображений дистанционного зондирования в разных сценариях. Результаты показывают, что предлагаемый метод значительно превосходит существующие методы адаптации домена в различных сложных междоменных сценариях.

ключеви́че слова́

семантическая сегментация; обучение без учителя; адаптация домена; изображения дистанционного зондирования; многозадачное обучение; информация о высоте; семантическая информация; псевдо-метки; энтропия

Введение

семантическое разделение изображений дистанционного зондирования - это процесс распределения пиксельных меток на конкретные объекты в изображениях дистанционного зондирования, которые служат основой для задачи интерпретации изображений дистанционного зондирования (Zhu等，2017bЭто важная предпосылка для понимания сцены, обнаружения объектов и 3D - реконструкции и других задач (Kussul等，2017Широко используется в таких областях, как городское планирование, экологический мониторинг, оценка стихийных бедствий и прогнозирование (Luo和Ji，2022В)). Благодаря быстрому развитию технологии дистанционного зондирования сбор изображений, полученных с помощью дистанционного зондирования, стал более эффективным и удобным, что значительно увеличило объем и разнообразие имеющихся данных. Эти обширные ресурсы данных не только включают большое количество образцов изображений, но и объединяют различные виды вспомогательной информации, тем самым закладывая прочную основу для совершенствования задач автоматической интерпретации изображений, полученных с помощью дистанционного зондирования.

Благодаря постоянному развитию глубокого обучения, подход к полному надзору позволил добиться значительного прогресса в семантическом разделении задач. В частности, первая полностью сверточная сеть (Long等，2015Появление сверточной нейронной сети CNN (Convolutional Neral Networks) в значительной степени способствовало широкому применению в обработке изображений дистанционного зондирования.Maggiori等，2017В)). Тем не менее, есть некоторые проблемы с традиционным CNN. С одной стороны, CNN обычно включает в себя операции пулирования и отбора проб, которые не могут восстановить потерю информации во время пулирования, что приводит к снижению пространственного разрешения профилей и потере подробной информации; С другой стороны, изображения дистанционного зондирования должны быть вырезаны в подходящих размерах в качестве входных изображений, что приводит к потере контекстной информации. Существующие исследования предлагают способы решения этих проблем, например, ABCNet разработала двустороннюю структуру для захвата пространственных деталей и глобальной фоновой информации (Li等，2021aВ)).Zhang等（2020）Была разработана многомасштабная сеть контекстной агрегации, которая использует модули пространственных рассуждений для изучения пространственной корреляции и использует адаптивные пространственные пулы для агрегирования контекстной информации. E - D - Net эффективно улучшает проблему неточного прогнозирования края при извлечении из здания, проектируя две подсети для захвата информации о краю изображения и детализации, соответственно, и объединяя их.Zhu等，2021В)). Тем не менее, вышеупомянутый подход к семантическому разделению, основанный на полном надзоре, требует большого количества пиксельных тегов, которые трудно получить, что создает трудности для практического применения. Кроме того, в полностью контролируемом подходе данные обучения и тестовые данные обычно предполагают, что они исходят из одного и того же распределения, и их производительность значительно снижается, когда модель применяется к данным в новой области.

Чтобы уменьшить зависимость модели от высококачественных меток и улучшить ее обобщение, подход к семантическому разделению, основанный на UDA (Unsupervised Domain Adaptation) без надзора, получил широкое внимание и исследования. Модель UDA позволяет делать высокоточные прогнозы, перенося знания о помеченных исходных доменах данных в целевые домены без меток. Существующие методы UDA подразделяются на четыре категории: основанные на генерировании (Chang等，2019Методы, основанные на конфронтации (Zheng等，2022Метод, основанный на энтропии (Vu等，2019a) и методы самообучения (Gao et al, 2021). Основываясь на этом подходе, исследователи предлагают различные стратегии UDA для уменьшения различий между доменами. Например,Yao等（2021）В сочетании с противодействием энтропии была создана адаптивная структура домена для повышения точности прогнозирования цели;Xu等（2022）Предлагается генерировать антагонистические сети восприятия классов для уменьшения различий между классами и классами в исходных и целевых доменах;Zhang等（2022）Разработаны локальные и глобальные адаптивные рамки, основанные на курсах, которые адаптируют характеристики от локальной семантики к глобальной структуре. В дополнение к вышеуказанным методам, основанным на генерировании метода CycleGAN (Zhu等，2017aВ Dualgan (Yi等，2017Классическая сеть, основанная на выравнивании распределения данных на пиксельном уровне. Например,Li等（2021b）Перевод изображений с помощью DualGAN и добавление нескольких слабых контрольных ограничений в разделенную сеть повышают точность междоменного разделения изображений дистанционного зондирования;Yan等（2022）Сосредоточившись на пикселях, которые не были распределены с псевдотегами, они разработали кросс - среднюю сеть учителей, чтобы более эффективно использовать информацию о всех пикселях. Однако вышеупомянутый адаптивный семантический метод разделения неконтролируемых полей на основе одного оптического изображения чрезвычайно затрудняет выявление явлений гомологического спектра и гомосексуального инородного тела. Эта трудность ограничивает эффект адаптивного разделения домена и делает его более сложным.

Чтобы преодолеть ограничения одного оптического изображения, в последние годы большое внимание уделяется многозадачному обучению. Основная идея многозадачного обучения заключается в том, что различные визуальные задачи могут учиться вместе, чтобы совместно оптимизировать производительность прогнозирования. Общие визуальные задачи включают семантическое разделение, оценку глубины / высоту (Cipolla等，2018() Обнаружение края (Song等，2020Оценка нормали (Bhattacharjee等，2022) и т.д.) и т.д. Благодаря внедрению различной информации мониторинга для обучения моделям, изображения дистанционного зондирования могут широко использоваться для прогнозирования типов объектов, оценки высоты объектов, обнаружения краев зданий и других задач. Среди них информация о высоте и семантическая информация тесно связаны, а в изображениях дистанционного зондирования информация о высоте имеет сильную связь с пространственной геометрией объекта, может предоставить дополнительную идентификационную информацию о типе объекта. В отличие от этого, обнаружение края в основном зависит от пограничной информации на изображении, и хотя это помогает различать границы объекта, в сложных сценариях простой информации о краю может быть недостаточно, чтобы точно различать категории объектов. Высокая разность энергии многих объектов значительно улучшает классификационные характеристики модели, особенно в сложных географических условиях, где информация о высоте обеспечивает более богатый пространственный контекст для модели. Поэтому многие исследования пытались объединить вспомогательные задачи, такие как оценки высоты, обнаружение края и семантическое разделение задач, в одну модель для совместного обучения. Этот подход направлен на то, чтобы косвенно помочь модели определить категории объектов, используя информацию из других задач, тем самым повышая способность модели распознавать сложные области. Например,Vu等（2019b）Добавление остаточных вспомогательных блоков на основе CNN для оценки глубины создало прогноз восприятия глубины путем слияния результатов двух задач, что эффективно повысило точность семантического разделения.Kundu等（2019）Предлагается модуль регуляризации контента на основе контуров и межзадачной дистилляции для извлечения согласованности задач и совместной работы по обнаружению края, оценке глубины и прогнозированию семантического разделения.Saha等（2021）Предлагается межзадачный уровень отношений, который используется для кодирования семантических прогнозов и зависимостей от задач для прогнозирования глубины.Wang等（2021）Считается, что задачи оценки глубины специфичны для области, поэтому они используют разницу в глубине между двумя выходами декодера глубины, чтобы вывести адаптивную сложность домена, а затем уточнить семантическое разделение псевдотегов.Chen等（2018）Далее было отмечено, что совместное обучение семантическому разделению и задачам оценки высоты может ослабить внимание модели к конкретной информации о домене, такой как текстура, спектральная информация и т. Д., И больше сосредоточиться на изучении неизменной информации домена. Нынешний подход к семантическому разделению, основанный на многозадачном обучении, демонстрирует хорошие перспективы, но все еще имеет значительные недостатки. Во - первых, вес миссии трудно сбалансировать, и различия в вкладах различных миссий могут привести к чрезмерному доминированию одной задачи и подорвать эффективность обучения в других задачах. Во - вторых, необходимо повысить точность анализа согласованности между миссиями, а точная фиксация и использование связей между миссиями остается сложной задачей. Кроме того, существуют трудности с изучением неизменных характеристик области, и модели склонны чрезмерно полагаться на конкретную информацию в области (например, текстуру и спектр), что влияет на их способность обобщать. Извлечение надежных, не связанных с областью характеристик по - прежнему является основной проблемой, стоящей перед нынешним подходом.

С этой целью в этой статье предлагается адаптивная семантическая структура для неконтролируемого домена совместного обучения с несколькими задачами. В этой статье изучается информация о высоте путем введения задач оценки высоты, использования межзадачного обучения, связанного с характеристиками, для совместной оптимизации характеристик различных задач, использования гибридного последовательного обучения под руководством псевдотегов для достижения улучшения качества псевдотегов и содействия эффективной миграции знаний между различными доменами. Наконец, использование метода выравнивания классов, управляемого энтропией, еще больше улучшает производительность модели для определения характеристик, которые трудно классифицировать. Это исследование помогает улучшить возможности междоменной обобщения и точность разделения модели в сложных сценариях, чтобы обеспечить техническую поддержку для применения интерпретации изображений дистанционного зондирования.

2 В этой статье предлагается метод

2.1 Общие рамки

Адаптивный семантический раздел домена на основе многозадачного обучения MTLDANet (Muti - Task Learning Domain Adaption Network).Fig. 1Показано. Среди них, исходные оптические изображения и оптические изображения целевого домена вводятся в модуль извлечения начальных характеристик, извлечения начальных семантических характеристик и начальных высотных характеристик с помощью кодера совместного использования параметров и узких мест в задачах; Модуль обучения межзадачности, связанный с характеристиками, через непрерывные перекрестные характеристики, усиливает перекрестное соединение элементов с конкретными семантическими характеристиками миссии и высотными характеристиками для оптимизации представления характеристик; Модуль обучения гибридной согласованности, управляемый псевдотегами, вводит данные целевого домена в модель учителя для создания псевдотегов и контролирует изучение смешанной выборки студенческой моделью с оптимизированными псевдотегами, чтобы приблизить распределение данных в исходном и целевом доменах; Модуль выравнивания классов, управляемый энтропией, взвешивает энтропию до уровня класса, который направляет мелкозернистость в результате разделения, чтобы повысить производительность адаптивной сети домена.

Fig. 1 A framework for domain adaptive semantic segmentation based on multi-task learning

2.2 Адаптивный семантический метод разделения домена

2.2.1 Модули обучения, связанные с межмиссионными характеристиками

Исследования показали, что характеристики, связанные с различными задачами, могут эффективно интегрировать дополнительную информацию в исходные характеристики, чтобы улучшить представление характеристик (Bhattacharjee等，2022В)). Чтобы максимизировать роль реляционного обучения, в этой статье построен модуль обучения межзадачности, чтобы перекрестно улучшить представление характеристик различных задач. Модуль состоит из двух кросс - функциональных модулей, которые в основном включают в себя ASPP (Atrous Spatial Pyramid Pooling), блок слияния внимания CAFB (Cross Attention Fusion Block) и структуру управления дверью, такую как:Fig. 2Показано.

Fig. 2 Detailed structure of cross-task feature correlation learning

Во - первых, примитивные семантические характеристики& ВысотаВведите ASPP для конкретных задач, изучите многомасштабную информацию и улучшите способность сети захватывать контекст. Затем блок слияния перекрестного внимания используется для полного захвата отличительных особенностей высотных и семантических характеристик и дальнейшего адаптивного выбора комплементарных характеристик для интеграции в исходные характеристики миссии, получения оптимизированных высотных и семантических характеристик. Этот процесс называется кросс - функциональным модулем улучшения. В модуле обучения межзадачности, связанном с характеристиками, были вставлены два модуля улучшения перекрестных характеристик, которые генерируют промежуточные характеристики для разных задач.и& Конечная характеристикаи. В качестве примера возьмем семантическое разделение задач, которое усиливает ячейки с помощью непрерывных перекрестных характеристик, что позволяет сети уделять больше внимания дополнительной информации высокого уровня, тем самым более глубоко уточняя представление семантических характеристик. Чтобы избежать чрезмерного внимания к дополнительной информации в конкретных характеристиках миссии в процессе совместного обучения характеристикам, игнорируя эффективное обучение оригинальной задаче, в этой статье будут представлены оригинальные характеристики& Промежуточные характеристикиОбъединение через канал и с конечной характеристикойВведите вместе в структуру управления дверью, тесно интегрируя исходные и дополнительные характеристики для получения адаптивных характеристик слияния. Формула действия слияния выражена следующим образом:

ФормулаЭто представляет собой операцию по снижению размера канала, которая уменьшает количество каналов до половины,Операция объединения каналов,Это функция активации,Представляет собой адаптивную весовую матрицу.

Перекрестить внимание на детальную структуру блока слияния, напримерFig. 3Показано. Чтобы максимально сосредоточиться на важных характеристиках и подавить обучение без шума, семантические и высотные характеристики, выводимые из ASPP, последовательно проходят через CAM (Channel Attention Module).Hu等，2018Космическое внимание (Spatial Attention Module)Woo等，2018Интеграция значительных семантических характеристик из измерений канала и пространства& Заметные высотные характеристикиПосле получения отличительных характеристик, используя встроенную структуру слияния управления дверью, перекрестно интегрируйте характеристики миссии, отличительные черты миссии и отличительные черты между задачами, чтобы полностью улучшить представление характеристик различных задач. Для семантического разделения задач этот процесс может быть представлен как

В формуле,Это представляет собой операцию по снижению размера канала, которая уменьшает количество каналов до половины,Операция объединения каналов,Это функция активации.

Fig. 3 Detailed structure of the cross-attention fusion block

2.2.2 Модуль обучения гибридной согласованности для руководства по псевдомаркировке

Чтобы облегчить миграцию знаний из исходного домена в целевой домен, чтобы соответствовать глобальному распределению данных, в этой статье используется последовательное обучение на основе гибридных образцов. Во - первых, взять образец целевого поляСкачать ClassMix (Olsson等，2021Способ смешивания с выбором источникаСоздание новых гибридных образцов с помощью улучшения данных. Затем на студенческой модели обучаются гибридные образцы и образцы исходного домена, а на педагогической модели - образцы целевого домена. Модель учителя обновляет параметры путем экспоненциального скольжения средней модели студента. В частности, гибридная маска генерируется с помощью ClassMix в соответствии с наземными истинными значениями исходного домена, псевдометки целевого домена генерируются с помощью модели учителя, а псевдометки исходного домена и цели умножаются на смешанную маску, чтобы сформировать смешанную метку, смешанную метку, используемую для мониторинга студенческой модели. Этот процесс может привнести конкретные знания в целевые области в студенческую модель, тем самым распространяя модель на целевые области.

В вышеприведенном процессе производительность студенческой модели сильно коррелирует с качеством псевдометок. Если в псевдотеге слишком много пикселей с низким уровнем достоверности, это может привести к тому, что модель студента узнает неправильное знание целевого домена; Если в псевдотеге слишком мало информации, это может привести к тому, что модель будет склоняться к изучению знаний исходного домена. Очевидно, что по мере увеличения количества итераций способность модели к представлению характеристик будет постепенно увеличиваться. Чтобы сбалансировать возможности отображения характеристик модели и качество псевдотегов, в этой статье предлагается простая стратегия постепенного скрининга псевдотегов. Минимальный порогМаксимальный порогОбщее число итераций& Текущее количество итерацийОпределение текущего порога и скрининг поддельных меток по следующей формуле:

В формуле,Это поддельная метка после скрининга,Это оригинальная псевдометка целевого поля,Использовать для создания фальшивых метокПрогнозируемая вероятностная карта.

Как задачи оценки высоты, так и задачи семантического разделения получают информацию о характеристиках из оптических изображений, поэтому прогнозы оценки высоты также имеют отношение к семантической информации изображения. Высокая оценка сложности адаптации может быть перенесена на семантику (Wang等，2021Он может быть взвешен в качестве штрафного веса для потери кросс - энтропии в гибридной выборке, чтобы лучше ориентировать оптимизацию сети. Во время тренировки семантическое разделение потерьРасчетные потери и высотаФормула определения является следующей:

В формуле,иПоказывает ширину и высоту изображения,Количество категорий объектов. Кроме того,иЭто семантическое разделение и оценка высоты, соответствующие истинным значениям земли,иЭто прогнозы семантического разделения сетевых выходов и прогнозы высотных оценок соответственно.

Для смешанной выборки взвешенная формула разделения потерь является следующей:

В формуле,Это очень адаптивный вес смешанной выборки,Это смешанная выборка,Это поддельная метка смешанного образца,Это диаграмма прогнозируемых вероятностей смешанной выборки,АиОтдельные вероятностные карты.Длина, ширина и количество каналов,иКлассификаторы высотных оценок, представляющие соответственно исходные и целевые области,Значение истинной высоты для смешанной выборки.

2.2.3 Выравнивание классов по энтропии

Энтропия может быть использована для оценки неопределенности или надежности прогноза. Исследования, связанные с адаптацией домена, полностью продемонстрировали важную роль энтропии (Saporta等，2020) (Xu等，2021В)). Как правило, выборка источника дает более точные прогнозы, энтропия, как правило, ниже, а высокая энтропия обычно появляется на семантических границах. Прогнозы целевого домена будут иметь больше неправильной классификации и шума, и большинство областей демонстрируют высокую энтропию. Таким образом, энтропийная карта может очень интуитивно отражать различия между исходным и целевым доменами. Чтобы еще больше облегчить семантическое выравнивание исходного и целевого доменов, в этой статье предлагается модуль выравнивания классов, управляемый энтропией для мониторинга обучения гибридных образцов.

Во - первых, средняя энтропия каждого класса рассчитывается на основе энтропии и нормализуется до 0 - 1. Средние значения энтропии для каждого класса отражают категории, которые трудно классифицировать в смешанной выборке, и чем выше их значение, тем сложнее адаптация для класса, тем ниже надежность прогноза для класса. Взвешивание разницы 1 за вычетом среднего энтропийного значения для каждого класса в прогнозную вероятностную диаграмму может уменьшить число случаев неправильной классификации объектов как ненадежных категорий. Поскольку энтропия отражает неточность прогнозов для каждого пикселя, она может быть использована в качестве штрафного веса для повышения интенсивности обучения в трудноклассифицированных областях. Добавляя средние энтропии и энтропии каждого класса к разделительным потерям, разделение различных классов может быть усилено на семантическом уровне. В этой статье эта потеря определяется как взвешенная потеря энтропии. Формула расчета выглядит следующим образом:

В формуле,Представляет собой карту вероятности прогноза,АиОтдельные вероятностные карты.Длина, ширина и количество каналов,Значение метки,Метки представителейКоличество пикселей, относящихся к классу c .

2.2.4 Стратегия сетевого обучения

В частности, итерация всей сквозной сети состоит из трех этапов обучения.

Во - первых, использование истинных значений тегов для оптимизации сети и повышения способности сети представлять характеристики семантической и высотной информации. Для расчета потерь перекрестной энтропии и потерь berHu с соответствующими прогнозами используются данные о наземной точности и высоте исходного поля, данные о высоте целевого поля в качестве контрольной информации:

В формуле,Отражает фрагментированные потери в области источника,иРасчетные потери представляют собой высоту выборки источника и смешанной выборки, соответственно.иЭто истинная высота выборки источника и смешанной выборки соответственно.иПредставляет собой первоначальное разделение прогнозов и конечное разделение прогнозов.иЭто первоначальный прогноз высоты и окончательный прогноз высоты выборки источника,иЭто первоначальный прогноз высоты и окончательный прогноз высоты для смешанной выборки.

Во - вторых, использование гибридных псевдотегов для оптимизации сети, улучшения сетевого обучения немаркированным образцам посредством обучения гибридной согласованности и содействия глобальному выравниванию исходного и целевого доменов. Используя смешанные псевдометки в качестве контрольной информации, результаты семантического разделения со смешанными образцами вычисляют взвешенные потери кросс - энтропии следующим образом:

Наконец, используя энтропию для оптимизации сети, энтропия взвешивается в прогнозах немаркированных образцов, что облегчает изучение сети полезной информации. Использование псевдометок в качестве контрольной информации, взвешенной с энтропией после семантического разделения результатов для расчета взвешенной потери кросс - энтропии, зарегистрированной как потеря энтропииРасчет производится следующим образом:

Общие потери могут быть получены путем консолидации этих потерь:

3 Результаты и анализ экспериментальных данных

3.1 Краткое описание набора данных

Для оценки эффективности предлагаемой методологии в настоящем документе используются два набора данных для проверки и анализа.

Первый набор данных представляет собой открытый набор данных ISPRS 2D, который был представлен Международным обществом фотограмметрии и дистанционного зондирования на конкурсе семантической маркировки 2D (Rottensteiner等，2012Включая наборы данных Potsdam и Vaihingen. какFig. 4Показано. Набор данных Potsdam содержит 38 положительных изображений с высоким разрешением 6000 × 6000 и соответствующие высококачественные изображения с разделительной меткой и изображения DSM, в которых представлены изображения в трех режимах RGB, IRRG и RGB - IR. В этой статье используются изображения в режимах IRRG и RGB с наземным выбором проб на расстоянии 5 см. Наземные объекты отмечены как одна из шести категорий: шум / фон, непроницаемость воды, автомобили, деревья, низкая растительность и здания. Изображение было вырезано из 4 598 подпрограмм 512 × 512, из которых 2 904 были помечены, а 1 694 - нет. Набор данных Vaihingen содержит 33 изображения с высоким разрешением около 2000 × 2000, DSM и 6 маркировочных изображений, причем положительное изображение обеспечивает только режим IRRG, а расстояние отбора проб на земле составляет 9 см. Изображения были вырезаны на 1696 подпрограмм 512 × 512, 896 из которых помечены, а 800 - нет.

Fig. 4 Example of Potsdam and Vaihingen datasets

Второй набор данных представляет собой массивный набор данных дистанционного зондирования US3D, предложенный DATA FUSION CONTEST 2019.Le等，2019Были предоставлены соответствующие данные дистанционного зондирования в Джексонвилле, штат Флорида, и Омахе, штат Небраска, США, включая оптические изображения RGB, данные о высоте над землей (AGL) и соответствующие семантические метки. Изображения AGL показывают высоту объекта над землей и могут использоваться для получения информации о высоте. В наборе данных US3D есть пять категорий объектов: земля, растительность, здания, воды и виадуки. Наборы данных подразделяются по регионам на маркированные и немаркированные данные которые используются для обучения и тестирования. Изображения были разрезаны на подкатегории размером 512×512, в Джексонвилле было 2112 изображений с метками и 1948 изображений без меток, а в Омахе - 3588 изображений с метками и 3484 изображения без меток.Fig. 5Показать некоторые примеры данных US3D.

Fig. 5 Example of US3D dataset

3.2 Показатели оценки

В этом эксперименте, используя F1 Score и IoU для оценки производительности предложенного метода, F1 Score определяется следующим образом:

В формуле, для множественных семантических задач разделения,(True Positive) - количество пикселей с положительными прогнозами и истинными значениями.(False Positive) - количество пикселей с отрицательным, но прогнозируемым положительным классом, а False Negative - количество пикселей с отрицательным, но положительным классом.Это означает, что правильная выборка предсказана в процентах от всех прогнозируемых положительных образцов, иЭто означает, что правильная выборка предсказана пропорционально всем истинным значениям положительной выборки,даиСредневзвешенное значение, которое измеряет стабильность модели.

Расчет соотношения между прогнозируемым разделением и реальным разделением позволяет измерить точность разделения модели. Формула расчета была следующей:

3.3 Эксперименты и параметры

В этой статье используется фреймворк DeeplabV2 в качестве общего кодера и декодера для конкретных задач, в основе которого лежит сеть ResNet101, предварительно обученная на ImageNet. В начальном модуле извлечения характеристик узкое место задачи состоит из двух сверточных блоков 3×3, а первоначальный классификатор состоит из сверточных блоков 1×1. Коэффициент отбора проб ASPP в декодере для конкретной задачи составляет [6, 12, 18, 24], а коэффициент отбора проб ASPP в межзадачном обучении, связанном с характеристиками, составляет [1, 4, 8, 12]. Учебные программы этого метода основаны на CorDA, где способы улучшения данных устанавливаются для случайного горизонтального опрокидывания, случайного вертикального опрокидывания, дрожания цвета и гауссового шума.

Сетевая архитектура этой статьи реализована на основной платформе PyTorch, и все эксперименты проводились на рабочих станциях с графической картой NVIDIA GeForce RTX 3090 с 24 ГБ памяти. В тренировке использовался оптимизатор снижения рандомизированного градиента с ускорением Нестерова. Импульс установлен на уровне 0,9, ослабление веса - на уровне 5×10 ^{- 4}, начальная скорость обучения - на уровне 2.5×10 ^{- 4}. Размеры пакетов и epoch установлены на 2 и 10 соответственно. Минимальные и максимальные пороговые значения для изучения соответствия псевдометок составляют 0,4 и 0,6 соответственно.иВсе они установлены на 1.

3.4 Результаты экспериментов

3.4.1 Методология определения исходных условий

Экспериментальное сравнение в этой статье основано на методах только исходного домена (Source Only) и четырех самых современных методах UDA, основанных на многозадачном обучении: адаптивной сети глубокого восприятия DADA (Vu等，2019bСеть межзадачных отношений CTRL (Saha等，2021Адаптивная сеть интеринформационных доменов MIDA (Chen等，2022Адаптивная сеть домена знаний Corda (Wang等，2021В)). Предложенные рамки многозадачного обучения устраняют адаптивные компоненты домена и формируют многозадачные учебные сети. Метод Source Only обучает исходные данные в этой сети и тестирует их непосредственно на целевом поле для получения прогнозов. DADA помогает семантическому разделению с помощью задач прогнозирования глубины, обогащая представление характеристик глубины слияния и улучшая производительность разделения. CTRL предлагает уровни межзадачных отношений для кодирования зависимости от семантических прогнозов и задач глубокого прогнозирования, а также для дальнейшего изучения отношений между различными семантическими категориями и уровнями глубины с помощью технологии глубокой дискретизации. MIDA предлагает модули взаимодействия с характеристиками и модули внимания к интерактивной информации для изучения потенциальных связей между двумя задачами. CorDA предлагает модули корреляции характеристик миссии, которые изучают характерные корреляции различных задач и уточняют семантические псевдотеги целей с разной глубиной.

3.4.2 Результаты сопоставления с методологией определения исходных условий

Чтобы проверить эффективность этого метода в задачах адаптивного семантического разделения неконтролируемых полей изображений дистанционного зондирования и его прочность в различных сценариях, в этой статье были проведены четыре эксперимента на наборах данных ISPRS2D и наборах данных US3D. Наборы данных ISPRS2D значительно различаются по внешнему виду объектов, а сцена сложна; Наборы данных US3D имеют меньшие отличия по внешнему виду. В эксперименте с набором данных ISPRS2D в качестве исходных полей использовались изображения Potsdam IRRG и RGB, а в качестве целевых полей использовался Vaihingen. В эксперименте с наборами данных US3D Джексонвилл и Омаха чередуются в качестве целевых и исходных областей. Метки исходных и немаркированных данных целевых полей используются для обучения, а помеченные данные целевых полей используются для тестирования.

Адаптация домена в сложных сценариях - Potsdam IRRG → Vaihingen IRRG. В ходе кросс - доменного эксперимента Potsdam IRRG → Vaihingen IRRG была оценена эффективность данного метода в различных географических условиях и при больших различиях в внешнем виде объектов одного вида. какTable 1Показано. Можно видеть, что этот метод обеспечивает более высокую точность всех адаптивных методов домена по сравнению с Source Only. В целом, средний F1 score и средний IoU данного метода выше, чем Source only35,22% и 33,76% соответственно, и имеют оптимальную точность во всех категориях объектов. Кроме того, этот метод значительно повышает точность прогнозов для классов беспорядка или фона и уменьшает путаницу между классификацией объектов с большими различиями между классами и другими объектами.

Table 1 Quantitative results with Potsdam IRRG as source domain and Vaihingen IRRG as target domain /%

方法	评估指标	杂波或背景	不透水面	汽车	树木	低矮植被	建筑	总体
Source only	F1_Score	3.00	54.87	34.71	69.71	17.20	63.47	40.49
Source only	IoU	1.53	37.80	21.00	53.51	9.40	46.48	28.29
DADA	F1_Score	1.04	68.74	37.06	70.61	43.08	69.20	48.29
DADA	IoU	0.52	52.37	22.75	54.57	27.45	52.90	35.10
CTRL	F1_Score	4.02	70.29	16.38	68.92	49.99	75.85	47.58
CTRL	IoU	2.05	54.20	8.92	52.57	33.32	61.10	35.36
MIDA	F1_Score	16.57	79.88	4.96	71.58	56.10	87.01	52.68
MIDA	IoU	9.04	66.51	2.54	55.75	38.99	77.01	41.64
CorDA	F1_Score	7.24	83.80	48.21	71.54	63.20	88.29	60.38
CorDA	IoU	3.76	72.12	31.76	55.69	46.20	79.04	48.10
本文	F1_Score	70.29	87.03	64.42	71.99	68.62	91.93	75.71
本文	IoU	54.19	77.05	47.51	56.24	52.23	85.07	62.05

Визуализация результатов, напримерFig. 6Было показано, что из - за отсутствия адаптивности домена прогнозы, сделанные методом Source Only в районах плотной застройки и затененных районах, являются более шумными, и существует большое количество фоновых классов, которые путаются с другими классификациями объектов. В отсутствие доменной адаптивности знания категорий (например, деревьев) без фиксированной формы и с небольшими различиями в классе легче перемещаться из области источника в область назначения. Напротив, четыре адаптивных базисных метода применения уменьшают путаницу в классификации между зданиями, непроницаемостью воды и беспорядками и повышают точность идентификации небольших целей. Тем не менее, на эти методы по - прежнему влияют классы беспорядка, что приводит к неправильным результатам прогнозирования. В отличие от этого, прогнозы данного метода являются более точными и значительно уменьшают путаницу в классификации между различными объектами, особенно в пограничных районах. Несмотря на незначительные искажения здания на оригинальном изображении и его укрытие деревьями, этот метод создает наиболее четкие контуры здания и успешно идентифицирует небольшие цели, такие как низкая растительность. В теневых помехах этот метод компенсирует недостаток спектральной информации путем сочетания информации о высоте, значительно снижая влияние тени и достигая оптимальной производительности. Кроме того, этот метод отлично зарекомендовал себя в идентификации различных типов объектов, особенно небольших целей и границ. В целом, этот метод эффективно объединяет многозадачную характеристическую информацию, уменьшает ошибки классификации, вызванные спектром, и обеспечивает наиболее надежные результаты разделения.

Fig. 6 Partial visualization of segmentation results for the Potsdam IRRG to Vaihingen IRRG experiment

Адаптация домена в сложных сценариях - Potsdam RGB → Vaihingen IRRG. С помощью кросс - доменного эксперимента Potsdam RGB → Vaihingen IRRG была оценена эффективность этого метода в случае значительных различий в географической среде и изображениях. Из - за различий в изображениях между исходным и целевым доменами отображение аналогичных объектов становится сложным, что затрудняет выравнивание доменов. какTable 2Это показывает, что по мере увеличения разрыва в домене разница в точности между другими передовыми методами и только Source уменьшается, возможно, из - за различных фокусов адаптивной обработки домена. Например, метод CTRL имеет самую высокую точность в категории деревьев, но наименьшую точность в категории автомобилей; В то время как MIDA и Corda менее точны в древесных классах. Напротив, этот метод уменьшает негативное влияние пробелов в домене на производительность, явно создавая релевантность семантической и высотной информации и ограничивая выравнивание мелких частиц. Результаты показали, что этот метод достиг оптимального среднего значения F1 Score 61,67% по всем методам и среднего IoU 48,02% по всем пяти категориям объектов. Хотя этот метод имеет низкую точность для типов деревьев, он уменьшает путаницу классификации между деревьями и низкой растительностью, балансируя точность этих типов, демонстрируя эффективность в сложных задачах междоменного разделения.

Table 2 Quantitative results with Potsdam RGB as source domain and Vaihingen IRRG as target domain /%

方法	评估指标	杂波或背景	不透水面	汽车	树木	低矮植被	建筑	总体
Source only	F1_Score	1.29	62.24	38.52	56.55	16.35	62.54	39.58
Source only	IoU	0.65	45.18	23.86	39.42	8.91	45.48	27.25
DADA	F1_Score	2.44	65.28	27.33	66.32	32.71	62.78	42.81
DADA	IoU	1.23	48.46	15.83	49.61	19.55	45.75	30.07
CTRL	F1_Score	0.67	68.03	10.00	73.16	33.51	69.74	42.52
CTRL	IoU	0.34	51.56	5.26	57.68	20.13	53.55	31.42
MIDA	F1_Score	10.73	68.67	39.66	14.06	51.33	83.10	44.59
MIDA	IoU	5.67	52.29	24.73	7.57	34.52	71.09	32.64
CorDA	F1_Score	5.02	70.75	54.06	1.38	49.22	74.68	42.52
CorDA	IoU	2.58	54.74	37.04	0.70	32.65	59.59	31.22
本文	F1_Score	24.94	80.81	65.22	49.99	58.10	90.97	61.67
本文	IoU	14.25	67.81	48.39	33.32	40.94	83.44	48.02

Визуализация результатов, напримерFig. 7Как показано, метод Source Only затрудняет различие между зданиями и непроницаемыми для воды, но лучше распознает деревья; Другие адаптивные фоновые методы улучшили классификацию зданий и непроницаемых вод, но шум все еще присутствует на границе, особенно в крупных зданиях и затененных районах. В отличие от этого, этот метод значительно превосходит другие методы, а результаты прогнозирования имеют лучшую контекстную связь и уменьшают классификацию ошибок. Этот метод точно определяет контуры зданий и точную идентификацию растительности и растительных зон, особенно с точки зрения позиционирования и прогнозирования небольших целей. Общие результаты показывают, что этот метод может эффективно идентифицировать лесные районы, уравновешивая точность деревьев и низкорослых растительных классов, в то время как другие методы лучше работают только в одной категории, что может быть связано с миграцией ложных знаний из - за увеличения региональных разрывов. В целом, этот метод дает наилучшие результаты разделения на большинстве объектов, эффективно использует информацию о высоте для оптимизации неоднозначности спектральной информации и адаптации к различным доменным адаптационным сценариям.

Fig. 7 Partial visualization of segmentation results from Potsdam RGB to Vaihingen IRRG experiment

(3) Адаптация домена в простом сценарии - Омаха → Джексонвилль. В ходе междоменного эксперимента в Омахе - Джексонвилле была оценена эффективность этого метода в различных географических условиях, но при более схожем внешнем виде объектов. какTable 3Общая точность DADA и CTRL и точность большинства классов ниже, чем у метода Source Only. Это показывает, что для адаптивности домена в простом сценарии неправильное направление улучшения может иметь отрицательную миграцию или переориентацию, что приводит к снижению производительности. Другие передовые методы не сильно отличаются от точности только Source, что указывает на то, что адаптивные методы домена в простых сценариях имеют ограниченные улучшения. Из всех методов этот метод по - прежнему обеспечивает самую высокую производительность и превосходит другие методы в наземных, растительных и строительных категориях. Из - за небольшого количества образцов в категориях воды и виадуков в Омахе, в то время как этот метод фокусируется на дополнительном изучении семантической и высотной информации, трудно полностью изучить соотношение семантической и высотной информации в условиях небольшого количества образцов, поэтому метод несколько недостаточен в распознавании этих двух категорий.

Table 3 Quantitative results with Omaha as source domain and Jacksonville as target domain

方法	评估指标	地面	植被	建筑	水域	高架桥	总体
Source only	F1_Score	84.50	74.03	75.22	85.62	33.68	70.61
Source only	IoU	73.15	58.77	60.28	74.86	20.25	57.46
DADA	F1_Score	82.48	68.64	69.45	87.59	12.68	64.17
DADA	IoU	70.18	52.26	53.20	77.92	6.77	52.06
CTRL	F1_Score	82.64	66.94	69.97	85.74	10.81	63.22
CTRL	IoU	70.41	50.32	53.81	75.04	5.72	51.06
MIDA	F1_Score	85.64	73.90	75.44	83.01	39.51	71.50
MIDA	IoU	74.88	58.61	60.57	70.96	24.62	57.93
CorDA	F1_Score	85.48	75.57	78.79	90.66	21.58	70.42
CorDA	IoU	74.64	60.74	65.00	82.92	12.09	59.08
本文	F1_Score	85.89	76.69	79.51	89.25	28.26	71.92
本文	IoU	75.27	62.19	65.99	80.58	16.46	60.10

Визуализация результатов, напримерFig. 8Было показано, что в бездоменной адаптивной ситуации метод Source Only лучше поддерживает контекстные отношения, но его легко путать с окружающими объектами при прогнозировании объектов с нерегулярной формой, особенно при классификации объектов с землей, а небольшие цели легко пропускаются. В методах DADA и CTRL прогнозы по объектам были хуже, чем у метода Source Only, виадуки с небольшим количеством образцов были легко спутаны с наземными классами со сходным спектром, а точность и полнота обнаружения зданий и вод были ниже, чем у метода Source Only. Методы MIDA и CorDA хорошо зарекомендовали себя по всем типам объектов, но, судя по деталям, в растительных и строительных классах все еще есть много ошибок и неполных прогнозов. Напротив, метод, предложенный в этой статье, демонстрирует лучшую производительность во всех видах объектов, уменьшая утечки и ошибки в небольших целевых объектах. В то же время этот метод показывает более гладкую и упорядоченную форму объекта, особенно границы здания. В целом, этот метод также обеспечивает оптимальную производительность в сценариях с низкой адаптацией домена и значительно улучшает разделение зданий и растительности, доказывая, что предлагаемый метод обладает сильной обобщающей способностью и может широко использоваться в различных сценариях адаптации домена.

Fig. 8 Visualization of segmentation results for the Omaha to Jacksonville experiment

(4) Адаптация домена в простом сценарии - Jacksonville → Omaha. В ходе кросс - доменного эксперимента Jacksonville → Omaha была оценена эффективность данного метода в различных географических условиях, но при более схожем внешнем виде. какTable 4Было показано, что, как и в эксперименте Omaha → Jacksonville, DADA и CTRL были менее точными, чем метод Source Only, в то время как этот метод получил 67,83% лучших F1 Score и 52,98% лучших средних IoU и достиг лучшей точности в большинстве категорий объектов. Стоит отметить, что этот метод значительно улучшает разделительные свойства виадука, хотя точность этого метода несколько ниже оптимальной точности в категориях земли, растительности и воды. Это говорит о том, что данный метод обладает более высокой способностью к представлению характеристик и переносу доменов для небольших образцов по сравнению с другими методами.

Tabel 4 Quantitative results with Jacksonville as source domain and Omaha as target domain /%

方法	评估指标	地面	植被	建筑	水域	高架桥	总体
Source only	F1_Score	88.01	55.94	72.41	45.08	33.04	58.90
Source only	IoU	78.58	38.83	56.75	29.10	19.79	44.61
DADA	F1_Score	88.65	55.76	68.98	52.54	28.30	58.85
DADA	IoU	79.61	38.66	52.65	35.63	16.48	44.61
CTRL	F1_Score	88.64	58.45	70.13	42.97	32.06	58.45
CTRL	IoU	79.59	41.30	54.00	27.37	19.09	44.27
MIDA	F1_Score	89.90	60.45	75.36	47.18	44.62	63.50
MIDA	IoU	81.66	43.32	60.47	30.87	28.72	49.01
CorDA	F1_Score	90.22	58.44	75.10	56.44	50.53	66.15
CorDA	IoU	82.17	41.28	60.14	39.31	33.81	51.34
本文	F1_Score	90.10	58.02	75.84	55.16	60.05	67.83
本文	IoU	81.98	40.87	61.08	38.09	42.91	52.98

Визуализация результатов, напримерFig. 9Показано. При бездоменной адаптивности метод Source Only в целом работает хорошо, но существует путаница в классификации между землей и другими объектами. После добавления адаптивного домена, несмотря на частичное уменьшение путаницы, все еще есть большие ошибки в строительстве, небольшие строительные сцепления и неполное распознавание виадука. Наблюдения показали, что путаница в классификации происходит главным образом в сильно различающихся областях, где другие методы по - прежнему подвержены ошибкам. В отличие от этого, этот метод может точно предсказать местоположение и форму здания, особенно в густонаселенных районах с небольшим зданием, с меньшим количеством склеивания здания. В целом, границы объектов данного метода более гладкие, поддерживая хорошие характеристики разделения на всех видах объектов. Эти результаты показывают, что подход, предложенный в настоящем документе, имеет лучшие преимущества.

Fig. 9 Visualization of segmentation results for the Jacksonville to Omaha experiment

3.5 Абляционные эксперименты и обсуждения

3.5.1 Эксперименты с абляцией

Чтобы проверить эффективность различных модулей в этом методе, различные модули были объединены в базовые исследования абляции. Во - первых, удалите модули CFCL, PMCL и ECA в рамках MTLDANet и установите метод доменной адаптации в качестве базовой модели (Baseline), соответствующей методу Корды. Результаты экспериментов с различными комбинациямиTable 5Как показано, базовый метод может получить 49,27% среднего IoU и 61,42% среднего F1 Score. Это показывает, что внедрение многозадачных рамок обучения действительно может эффективно использовать информацию высокого уровня для улучшения семантической информации. Затем в исходный уровень был добавлен модуль обучения межзадачности (+ CFCL) для проверки эффективности комбинированных высотных и семантических характеристик для модели, модуль обучения гибридной согласованности (+ PMCL) с подробным структурным руководством для различных интегрированных структур управления дверью с псевдометками для проверки оптимизированных улучшений обучения псевдометкам и согласованности, а также модуль выравнивания классов с энтропией (+ ECA) для проверки его вклада в адаптацию домена.

Table 5 Quantitative results of ablation experiments /%

方法	CFCL	PMCL	ECA	平均F1_Score	平均IoU
Baseline				61.42	49.27
+CFCL	√			64.67	51.81
+PMCL		√		67.57	52.92
+ECA			√	69.75	55.31
+CFCL、PMCL	√	√		71.52	59.41
+ECA、PMCL		√	√	70.44	56.01
+ECA、CFCL	√		√	69.19	56.48
Ours	√	√	√	75.71	62.05

какTable 5Как показано, добавление этих трех модулей в исходный уровень отдельно обеспечивает средний показатель IoU 51,81 процента, 52,92 процента и 55,31 процента, соответственно. Можно видеть, что улучшение связи между высотными и семантическими характеристиками помогает улучшить способность модели распознавать семантику, повышение согласованности между высоконадежными целевыми и исходными образцами может способствовать хорошей миграции знаний в исходных областях, а содействие выравниванию классов между исходными и целевыми областями под руководством энтропийной информации может значительно повысить эффективность междоменного разделения. После добавления модулей CFCL (+ CFCL, PMCL) или ECA (+ ECA, PMCL) на основе PMCL средний IoU был на 6,49% и 3,09% выше, чем « + PMCL», соответственно. Кроме того, после добавления модуля ECA (+ ECA, + CFCL) на основе CFCL средний IoU на 4,67% выше, чем « + CFCL». Это усиление является еще одним доказательством того, что различные модули могут работать вместе для достижения большей точности. Кроме того, метод добавления всех модулей, MTLDANet, значительно повышает точность разделения: средний IoU и средний F1 Score на 12,78% и 14,29% выше базового уровня, соответственно. Это говорит о том, что сосредоточение внимания на тесном взаимосвязанном обучении между различными задачами и выравнивании деталей между различными доменами может повысить производительность кросс - доменного семантического разделения.

3.5.2 Влияние различных интеграционных структур контроля доступа в межзадачном обучении

Ключевым моментом в модуле обучения межзадачности является то, как эффективно изучать взаимосвязь между конкретными особенностями миссии, отличительными особенностями миссии и отличительными особенностями миссии, чтобы полностью улучшить и оптимизировать представление различных характеристик миссии. В соответствии с различными комбинациями в этом подразделе установлены три типа интегрированной структуры управления дверью, а именно: объединенная структура управления дверью, встроенная структура управления дверью и параллельная структура управления дверью. Например, интеграция высотных характеристик в семантические характеристики, такие какFig. 10Показано. Вставьте эти три структуры в модуль обучения межзадачности для экспериментовTable 6Количественные результаты представлены в таблице.

Fig.10 Detailed structure of different fusion gating structures

Table 6 Quantitative results using different fusion gating structure models /%

融合门控结构类型	平均F1_Score	平均IoU
合并后融合门控结构	70.57	56.73
本文嵌套融合门控结构	74.03	60.55
并列融合门控结构	63.12	51.57

отTable 6Можно видеть, что лучшей структурой слияния является встроенная структура управления дверью слияния, которая получила 60,55% среднего IoU и 74,03% среднего F1 Score соответственно. Во - вторых, интеграция структуры управления дверью после слияния, в то время как параллельная интеграция структуры управления дверью имеет наихудшую производительность. Это полностью показывает, что различные структуры управления доступом могут сильно влиять на эффективность модулей обучения, связанных с межзадачными характеристиками. В разных структурах встроенная интегрированная структура управления дверью может в полной мере использовать взаимодополняемость различных задач, тем самым более точно объединяя информацию о характеристиках между задачами, тем самым повышая точность прогнозирования.

Fig. 11В некоторых образцах визуализируются различные типы выходных характеристик и прогнозов. Модели, использующие различные структуры слияния, имеют аналогичную точность разделения на деревьях, низкой растительности, автомобилях и других объектах, в основном между беспорядками, зданиями и непроницаемой поверхностью воды. Например, предсказать входной образец, какFig. 11Когда средняя истинная величина является областью беспорядка, структура интегрированного модуля слияния более заметна как на непроницаемой воде, так и на беспорядке, поэтому результат показывает, что беспорядки ошибочно классифицируются как непроницаемые. В то время как параллельные структуры управления дверью слияния более заметны в характеристиках класса непроницаемой воды, шум в прогнозах полностью ошибочно классифицируется как непроницаемый. Прогнозируемый входной образец 2.Fig. 11В тех случаях, когда средняя истинная величина является непроницаемой для воды областью, в теневой области как структура интегрированного модуля слияния, так и параллельная структура управления дверью слияния характеризуются значительными характеристиками здания, поэтому все они ошибочно разделены на здания. В целом, модели, использующие встроенные интегрированные структуры управления дверью, лучше всего предсказывают, что позволяет лучше различать беспорядки и непроницаемость воды, а также точно идентифицировать здания со сходным спектром и непроницаемость воды, уменьшая помехи тени. Это может быть связано с тем, что специфические характеристики миссии, характерные особенности миссии и межзадачные отличительные особенности имеют различное значение для семантического разделения задач, поэтому деградация характеристик миссии путем иерархической иерархии встроенной структуры управления доступом может способствовать эффективному сочетанию различных отличительных особенностей с конкретными характеристиками миссии.

Fig. 11 Visualization of the output feature maps generated by different fusion gating structures

3.5.3 Влияние количества модулей повышения междисциплинарности в межзадачном обучении

Другим ключевым фактором, влияющим на производительность модуля обучения, связанного с межзадачными характеристиками, является модуль улучшения перекрестных характеристик. Чтобы оптимизировать работу модуля обучения межзадачности, количество модулей улучшения кросс - характеристик было установлено на уровне 1, 2 и 3 соответственно, и были проведены три набора экспериментов, которые количественно оценивали результаты, такие как:Table 7Показано. Можно видеть, что по мере того, как количество кросс - улучшений постепенно увеличивается, средний F1 Score и средний IoU демонстрируют тенденцию сначала увеличиваться, а затем снижаться с оптимальной точностью при количестве 2.

Table 7 Quantitative results for models with different numbers of cross-feature enhancement units /%

交叉特征增强单元数量	平均F1_Score	平均IoU
1	62.09	50.45
2（本文）	74.03	60.55
3	65.17	53.91

В целях дальнейшего анализа влияния различных перекрестных характеристик на количество модулейFig. 12В нем отображены некоторые распространенные ошибки. Можно видеть, что, когда количество элементов усиления перекрестных характеристик составляет 1, низкоэтажные здания легко классифицируются как непроницаемые, а непроницаемые воды могут быть ошибочно классифицированы как беспорядки и низкая растительность. Это может быть связано с тем, что отдельные элементы улучшения перекрестных характеристик не могут хорошо сочетать высокомерные высотные и высокомерные семантические характеристики, что приводит к путанице в прогнозировании результатов, когда спектральная информация сложна и информация о высоте невелика. В то время как количество единиц улучшения перекрестных характеристик составляет 3, прогнозы деревьев более точны, но здания путаются с классификацией низкого растительного покрова, и возникает большая неправильная классификация. Эти классификационные путаницы обычно возникают в областях, где значение высоты не является очевидным, что может быть чрезмерным количеством перекрестных элементов улучшения, которые включают слишком много высотных характеристик в семантические характеристики, что делает информацию о высоте, которая не является существенной в сложных сценариях, вводящей в заблуждение семантическую информацию. При количестве 2 модель полностью сочетает в себе значительную информацию от различных задач, улучшая представление характеристик модели и лучшую производительность прогнозирования в сложных сценариях. В целом, когда количество ячеек слишком мало, комплементарность между высокомерными характеристиками, исходящими из семантических и высотных задач, не очень хорошо структурирована, а когда количество ячеек слишком велико, модель чрезмерно использует взаимодополняющую информацию о различных задачах и ослабляет внимание к первоначальной задаче. В обоих случаях это влияет на прогноз конечной семантической информации. Оптимальный баланс может быть достигнут при увеличении числа перекрестных характеристик до 2.

Fig. 12 Visualization results of the model using different numbers of cross-feature enhancement units

3.5.4 Влияние методов смешивания выборки в обучении смешанной согласованности

При обучении гибридной согласованности различные способы смешивания образцов могут влиять на прочность и помехоустойчивость модели. Региональное смешивание - это разделение изображения на области одинакового размера, смешанные изображения из области источника и целевой области, соединенные в соответствии с региональной маской, напримерFig. 13Показано. Региональная смесь устанавливает шесть региональных масок, которые случайным образом выбирают любую форму сращивания во время обучения. При смешивании классов половина классов выбирается случайным образом из всех классов исходного изображения, а области, в которых расположены эти категории, заменяются пикселями той же области в изображении целевого домена, например:Fig. 13Показано. Для получения оптимального способа смешивания образцов, смешанный подход в обучении гибридной согласованности устанавливается как региональная смесь и смешивание классов для проведения 2 групп экспериментов, соответственно.Table 8Показаны количественные результаты. Можно видеть, что модель, использующая смешивание классов, обеспечивает оптимальную общую производительность, а точность в каждом классе объектов лучше, чем модель, использующая смешивание регионов. Это говорит о том, что смешивание категорий имеет лучшую прочность и может лучше способствовать переносу знаний из исходной области в целевую область. В частности, модели, использующие смешивание классов, имеют точность примерно на 10% выше, чем модели, использующие смешивание регионов, на менее дифференцированных объектах, таких как автомобили, деревья и низкая растительность, и примерно на 5% выше, чем модели, использующие смешивание регионов. Это также свидетельствует о том, что метод смешивания классов в целом оптимизирует идентификационную способность различных объектов и в большей степени способствует точному разделению объектов в пределах класса с небольшими различиями.

Table 8 Quantization results of different mixing methods /%

方法	评估指标	杂波或背景	不透水面	汽车	树木	低矮植被	建筑	总体
区域混合	F1_Score	71.17	83.84	38.33	64.09	59.94	88.67	67.67
区域混合	IoU	55.24	72.17	23.71	47.16	42.79	79.64	53.45
类别混合（本文）	F1_Score	75.35	86.75	49.91	72.10	68.27	91.77	74.03
类别混合（本文）	IoU	60.45	76.59	33.26	56.37	51.82	84.79	60.55

Fig. 13 Illustration of the mixing process for the regional mixing approach and the category mixing approach

3.5.5 Анализ гиперпараметрической чувствительности

Для изучения влияния различных гиперпараметрических значений на производительность модели в этом разделе будут взвешены отдельноиЗначения установлены на 0.1, 0.5 и 1.0, и их количественные результаты показаныTable 9иTable 10.Когда фиксацияДля 0,5,При изменении от 0,1 до 1 можно наблюдать постепенное повышение общей точности,Оптимальная точность была достигнута в 1 час. В этом процессе способность к междоменному разделению постепенно уравновешивается способностью прогнозировать высоту. С точки зрения деталей, с увеличением веса миссии для оценки высоты, наиболее заметным является резкое повышение точности класса беспорядка и быстрое снижение точности класса автомобиля. Это может быть связано с тем, что улучшение информации о высоте более полезно для разделения объектов, которые значительно различаются и легко классифицируются и путаются, в то время как добавление информации о высоте может ослабить семантическую идентификацию для автомобилей с небольшими значениями высоты и небольшими изменениями внешнего вида.

Table 9 Quantization results for different （=0.5） /%

	评估指标	杂波或背景	不透水面	汽车	树木	低矮植被	建筑	总体
0.1	F1_Score	6.60	86.47	68.83	72.35	66.86	91.83	65.49
0.1	IoU	3.41	76.16	52.48	56.68	50.23	84.89	53.98
0.5	F1_Score	48.86	86.37	65.79	71.33	67.02	91.59	71.83
0.5	IoU	32.32	76.02	49.02	55.45	50.39	84.47	57.95
1.0	F1_Score	75.35	86.75	49.91	72.10	68.27	91.77	74.03
1.0	IoU	60.45	76.59	33.26	56.37	51.82	84.79	60.55

Table 10 Quantization results for different （=1） /%

	评估指标	杂波或背景	不透水面	汽车	树木	低矮植被	建筑	总体
0.1	F1_Score	57.20	86.57	57.65	72.86	68.33	91.61	72.37
0.1	IoU	40.05	76.33	40.50	57.31	51.89	84.52	58.43
0.5	F1_Score	75.35	86.75	49.91	72.10	68.27	91.77	74.03
0.5	IoU	60.45	76.59	33.26	56.37	51.82	84.79	60.55
1.0	F1_Score	77.69	87.00	56.17	68.00	68.32	91.98	74.86
1.0	IoU	63.52	77.00	39.05	51.53	51.89	85.14	61.36

когдаФиксирован на 1,При изменении от 0,1 до 1 можно увидеть, что общая точность повышается с 58,43% до 61,36%, а при значении 1 достигается оптимальная производительность. С точки зрения деталей, точность автомобилей, деревьев и низкой растительности с относительно небольшими различиями в классе постепенно снижается, в то время как точность других категорий с большими различиями в классе постепенно увеличивается. Это может быть связано с тем, что энтропия более чувствительна к областям с высокой энтропией, то есть к категориям с высокой сложностью прогнозирования. Таким образом, сПовышая, модели более склонны улучшать распознавание доменов, которые адаптируются к сложным объектам.

3.5.6 Анализ пороговых значений псевдомаркировки

Для повышения надежности выборки целевого домена в смешанном обучении согласованности был введен механизм порога псевдомаркировки. По мере увеличения количества тренировок порог ложной маркировки постепенно увеличивается от минимального до максимального. Чтобы проверить влияние различных пороговых диапазонов на производительность модели, минимальные пороговые значения были установлены на уровне 0,2, 0,3 и 0,4, в то время как максимальные пороговые значения были увеличены с 0,6 до 0,9 с интервалом 0,1, чтобы сформировать 12 групп экспериментов. Средний F1 Score и средний IoU в каждой группе экспериментовFig. 14Показано. Можно видеть, что при минимальном пороге 0,4 и максимальном пороге 0,6 модель достигла оптимальной производительности. Если минимальный порог слишком низок, то ненадежные образцы могут быть введены, в то время как слишком высокий порог может привести к тому, что количество образцов, способных к обучению, будет слишком малым, и негативные последствия в обоих случаях могут быть лучше подавлены только в том случае, если порог находится в промежуточном диапазоне; Производительность различных пороговых диапазонов не имеет четкой регулярности. Как правило, модель работает лучше, когда минимальный порог превышает 0,3, максимальный порог не превышает 0,7, а разница между максимальным порогом и минимальным порогом не превышает 0,3.

Fig. 14 Matrix of quantization results for different threshold ranges

3.5.7 Анализ сложности модели

Для количественной оценки эффективности модели в этой статье используются параметры модели и вычисления FLOPs (floating - point operations per second) в качестве показателей для проверки сложности модели при том же размере входного изображения (512×512 пикселей). Результат какTable 11Показано. По сравнению с методологией MIDA этот метод демонстрирует заметное улучшение в FLOPS. По сравнению с методом Корды, который демонстрирует наилучшую общую производительность в базовом методе, этот метод демонстрирует лучшую производительность разделения в четырех междоменных экспериментах, хотя параметры и FLOP этого метода выше, чем у метода Корды, соответственно. Подводя итог, этот метод достиг лучшего баланса с точки зрения точности и эффективности.

Table 11 Number of parameters and FLOPs for the test models

方法	模型参数量/M	FLOPs/GB
DADA	46.58	402.42
CTRL	47.13	203.10
MIDA	50.34	1691.78
CorDA	46.50	400.62
Ours	57.54	453.79

4 Заключение

В этой статье предлагается метод адаптивного семантического разделения неконтролируемых полей изображений дистанционного зондирования для многозадачного обучения. Этот метод, изучая информацию о высоте в задачах оценки высоты и сливаясь с семантической информацией, в сочетании с многозадачными рамками обучения, совместно улучшает способность модели распознавать « гомологичный спектр», « гомосексуальные инородные тела» и высокодифференцированные объекты. Информация о высоте дает модели дополнительные пространственные характеристики, в то время как многозадачные рамки улучшают представление семантических характеристик, которые взаимодействуют, уменьшая двусмысленность спектральной и пространственной информации и улучшая производительность модели в сложных междоменных сценариях. В частности, метод строит корреляцию задач посредством межзадачных связей характеристик и улучшает представление семантических характеристик. Смешанное последовательное обучение с оптимизацией псевдометок способствует переносу знаний исходного домена в целевой домен, а выравнивание классов, управляемых энтропией, усиливает внимание к трудноклассифицированным объектам и способствует сходству и разделению классов. Этот метод может эффективно улучшить путаницу в классификации гомосексуальных и гомосексуальных инородных тел и значительно уменьшить неправильную классификацию объектов с большой разницей в высоте. Этот метод, который был опробован в четырех группах экспериментов на стандартных наборах данных ISPRS 2D и US3D, показал, что он хорошо зарекомендовал себя в задачах классификации объектов, особенно в рамках многозадачного обучения, которое значительно превосходит другие существующие методы.

References

1.
Bhattacharjee D, Zhang T, Süsstrunk S and Salzmann M. 2022. MulT: an end-to-end multitask learning transformer//Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE: 12021-12031
2.
Chang W L, Wang H P, Peng W H and Chiu W C. 2019. All about structure: adapting structural information across domains for boosting semantic segmentation//Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE: 1900-1909
3.
Chen L C, Papandreou G, Kokkinos I, Murphy K and Yuille A L. 2018. DeepLab: semantic image segmentation with deep convolutional nets, Atrous convolution, and fully connected CRFs. IEEE Transactions on Pattern Analysis and Machine Intelligence, 40(4): 834-848
4.
Chen H Y, Zhang H Y, Yang G Y and Li S Y. 2022. A Mutual Information Domain Adaptation Network for Remotely Sensed Semantic Segmentation. IEEE Transactions on Geoscience and Remote Sensing, 60: 1-16 .
5.
Cipolla R, Gal Y and Kendall A. 2018. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 7482-7491
6.
Gao L, Zhang L F and Zhang Q. 2021. Addressing domain gap via content invariant representation for semantic segmentation//Proceedings of the 39th AAAI Conference on Artificial Intelligence: Palo Alto: AAAI Press: 7528-7536
7.
Hu J, Shen L and Sun G. 2018. Squeeze-and-excitation networks//Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 7132-7141
8.
Kundu J N, Lakkakula N and Radhakrishnan V B. 2019. UM-adapt: unsupervised multi-task adaptation using adversarial cross-task distillation//Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE: 1436-1445
9.
Kussul N, Lavreniuk M, Skakun S and Shelestov A. 2017. Deep learning classification of land cover and crop types using remote sensing data. IEEE Geoscience and Remote Sensing Letters, 14(5): 778-782
10.
Le Saux B, Yokoya N, Hänsch R and Brown M. 2019. Data fusion contest 2019 (DFC2019)[EB/OL].
11.
Li R, Zheng S Y, Zhang C, Duan C X, Wang L B and Atkinson P M. 2021a. ABCNet: attentive bilateral contextual network for efficient semantic segmentation of Fine-Resolution remotely sensed imagery. ISPRS Journal of Photogrammetry and Remote Sensing, 181: 84-98
12.
Li Y S, Shi T, Zhang Y J, Chen W and Wang Z B and Li H. 2021b. Learning deep semantic segmentation network under multiple weakly-supervised constraints for cross-domain remote sensing image semantic segmentation. ISPRS Journal of Photogrammetry and Remote Sensing, 175: 20-33
13.
Long J, Shelhamer E and Darrell T. 2015. Fully convolutional networks for semantic segmentation//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston: IEEE: 3431-3440
14.
Luo M Y and Ji S P. 2022. Cross-spatiotemporal land-cover classification from VHR remote sensing images with deep learning based domain adaptation. ISPRS Journal of Photogrammetry and Remote Sensing, 191: 105-128.
15.
Maggiori E, Tarabalka Y, Charpiat G and Alliez P. 2017. Convolutional neural networks for large-scale remote-sensing image classification. IEEE Transactions on Geoscience and Remote Sensing, 55(2): 645-657.
16.
Olsson V, Tranheden W, Pinto J and Svensson L. 2021. ClassMix: segmentation-based data augmentation for semi-supervised learning//Proceedings of the 2021 IEEE Winter Conference on Applications of Computer Vision. Waikoloa: IEEE: 1369-1377
17.
Rottensteiner F, Sohn G, Jung J, Gerke M, Baillard C, Benitez S and Breitkopf U. 2012. The ISPRS benchmark on urban object classification and 3D building reconstruction//ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. Melbourne: ISPRS: 293-298
18.
Saha S, Obukhov A, Paudel D P, Kanakis M, Chen Y H, Georgoulis S and Van Gool L. 2021. Learning to relate depth and semantics for unsupervised domain adaptation//Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE: 8193-8203
19.
Saporta A, Vu T H, Cord M and Pérez P. 2020. ESL: entropy-guided self-supervised learning for domain adaptation in semantic segmentation. arXiv preprint arXiv: 2006.08658
20.
Song X, Zhao X, Fang L J, Hu H W and Yu Y Z. 2020. EdgeStereo: an effective multi-task learning network for stereo matching and edge detection. International Journal of Computer Vision, 128(4): 910-930
21.
Vu T H, Jain H, Bucher M, Cord M and Pérez P. 2019a. ADVENT: adversarial entropy minimization for domain adaptation in semantic segmentation//Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE: 2512-2521 [DOI: 10.1109/CVPR.2019.00262].
22.
Vu T H, Jain H, Bucher M, Cord M and Pérez P P. 2019b. Dada: depth-aware domain adaptation in semantic segmentation//Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Seoul: IEEE: 7363-7372
23.
Wang Q, Dai D X, Hoyer L, Van Gool L and Fink O. 2021. Domain adaptive semantic segmentation with self-supervised depth estimation//Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Montreal: IEEE: 8495-8505
24.
Woo S, Park J, Lee J Y and Kweon I S. 2018. CBAM: convolutional block attention module//Proceedings of the 15th European Conference on Computer Vision (ECCV). Munich: Springer: 3-19
25.
Xu H Q, Yang M, Deng L Y, Qian Y Q and Wang C X. 2021. Neutral cross-entropy loss based unsupervised domain adaptation for semantic segmentation. IEEE Transactions on Image Processing, 30: 4516-4525
26.
Xu Q S, Yuan X and Ouyang C J. 2022. Class-aware domain adaptation for semantic segmentation of remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 60: 4500317
27.
Yan L, Fan B, Xiang S M and Pan C H. 2022. CMT: cross mean teacher unsupervised domain adaptation for VHR image semantic segmentation. IEEE Geoscience and Remote Sensing Letters, 19: 6002205
28.
Yao X D, Wang Y D, Wu Y L and Liang Z Y. 2021. Weakly-supervised domain adaptation with adversarial entropy for building segmentation in cross-domain aerial imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 8407-8418
29.
Yi Z L, Zhang H, Tan P and Gong M L. 2017. DualGAN: unsupervised dual learning for image-to-image translation//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 2868-2876
30.
Zhang B, Chen T and Wang B. 2022. Curriculum-style local-to-global adaptation for cross-domain remote sensing image segmentation. IEEE Transactions on Geoscience and Remote Sensing, 60: 5611412
31.
Zhang J, Lin S F, Ding L and Bruzzone L. 2020. Multi-scale context aggregation for semantic segmentation of remote sensing images. Remote Sensing, 12(4): 701
32.
Zheng A H, Wang M, Li C L, Tang J and Luo B. 2022. Entropy guided adversarial domain adaptation for aerial image semantic segmentation. IEEE Transactions on Geoscience and Remote Sensing, 60: 5405614
33.
Zhu J Y, Park T, Isola P and Efros A A. 2017a. Unpaired image-to-image translation using cycle-consistent adversarial networks//Proceedings of the 2017 IEEE International Conference on Computer Vision. Venice: IEEE: 2242-2251
34.
Zhu X X, Tuia D, Mou L C, Xia G S, Zhang L P, Feng X and Fraundorfer F. 2017b. Deep learning in remote sensing: a comprehensive review and list of resources. IEEE Geoscience and Remote Sensing Magazine, 5(4): 8-36
35.
Zhu Y T, Liang Z L, Yan J W, Chen G and Wang X Q. 2021. E-D-net: automatic building extraction from high-resolution aerial images with boundary information. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 4595-4606

Читать полностью

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website