предыдущий|следующий

Разъединённая сеть прототипов уверенности для междоменной классификации гиперспектральных изображений с малым количеством образцов

  • role： First author第一作者
  • Affiliation：

    College of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China

  • Email：wangxuesongcumt@163.com
  • Introduction：王雪松，研究方向为机器学习与模式识别。E-mail：wangxuesongcumt@163.com
WANG Xuesong,  
  • Affiliation：

    College of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China

JIANG Wenchao,  
  • role： Corresponding author通信作者
  • Affiliation：

    College of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China

  • Email：kongyicumt@163.com
  • Introduction：孔毅，研究方向为遥感图像智能解译。E-mail：kongyicumt@163.com
KONG Yi*,  
  • Affiliation：

    College of Information and Control Engineering, China University of Mining and Technology, Xuzhou 221116, China

CHENG Yuhu

реферат

В связи с труднодоступностью аннотированных гиперспектральных изображений (HSI) методы классификации HSI на основе обучения с малым количеством образцов привлекают большое внимание. Обычно методы обучения с малым количеством образцов предполагают, что распределения тренировочных и тестовых данных совпадают, однако из-за влияния условий съемки и других факторов распределения между разными HSI часто различаются, что затрудняет достижение высокой производительности традиционными методами. В связи с этим в данной работе предложен метод перекрестной доменной классификации HSI с малым количеством образцов, основанный на разъединённой сети прототипов уверенности. Сначала используется 3D остаточная сверточная сеть для извлечения глубоких признаков образцов с целью полной эксплуатации пространственно-спектральной информации HSI; затем с помощью сети разъединения происходит функциональное разделение глубоких признаков для более сфокусированного представления доменно-инвариантных и доменно-специфичных признаков; далее сеть прототипов уверенности отбирает образцы с высокой уверенностью из набора запросов и повторно вычисляет более надежные прототипы классов; наконец, за счет комплексного использования прототипов классов с высокой уверенностью и исходных прототипов достигается более точная классификация с малым количеством образцов. Эффективность предложенного метода подтверждена на нескольких реальных гиперспектральных наборах данных в сравнении с другими существующими методами.

ключеви́че слова́

гиперспектральные изображения; классификация; обучение с малым количеством образцов; разъединённая сеть; адаптация домена; прототип класса; сверточные нейронные сети; перенос обучения

1 Введение

Гиперспектральные изображения HSI (Hyperspectral Image) представлены в виде трехмерного куба, который содержит богатые спектральные характеристики и сложную пространственную информацию и широко используется в развитии городов.Baur等，2018Мониторинг окружающей среды (Wang等，2016и разведка полезных ископаемых (Siebels等，2020) В таких областях, как. Классификация HSI является одной из основных и важных задач для этих приложений, и ее целью является присвоение уникальных меток категории для каждого пикселя в соответствии с пространственными и спектральными характеристиками HSI. Классификация HSI обычно включает в себя неглубокие модели и модели глубины (Kong等，2024В)). Среди них неглубокие методы часто затрудняют извлечение сложных спектральных и пространственных характеристик HSI. Для этого метод глубокого обучения применяется к задачам классификации HSI. Например:Hang等（2021）В сочетании с модулем внимания и сверточной нейронной сетью CNN были созданы подсети спектрального и пространственного внимания соответственно;Zhang等（2018）Изучайте контекстное взаимодействие HSI с использованием CNN и весовых факторов в нескольких регионах, чтобы получить более дискриминируемые спектрально - пространственные характеристики; В ответ на существующую проблему игнорирования CNN неглубокой и глубокой дополнительной информации,Feng等（2019）Слияние многослойных пространственно - спектральных характеристик и предварительная маркировка образцов с высокой степенью достоверности облегчили проблему перекодировки CNN во время обучения.
Хотя глубокое обучение демонстрирует отличную производительность в задачах классификации HSI, оно часто зависит от большого количества маркированных образцов. Однако маркировка образцов HSI требует значительных затрат времени и труда. Таким образом, использование небольшого количества маркированных образцов для достижения высокоточной классификации HSI стало одной из горячих точек исследований в области дистанционного зондирования в последние годы.朱传海等（2023）Предлагается двойная сеть, основанная на пространстве вероятности после классификации, которая снижает зависимость от выборки путем объединения информации о вероятности после классификации земного покрова.陈杰虎和汪西莉（2022）Используйте диаграммы для моделирования сходства изображений в характеристическом пространстве и используйте операции свертывания диаграмм для сглаживания характеристик изображений одного и того же класса, чтобы улучшить зональное деление характеристик изображений разных категорий. Миграционное обучение предлагает новые идеи для решения проблемы дефицита маркированных образцов, которые направлены на перенос знаний, полученных из заданий с достаточным количеством маркированных образцов (исходных полей), на задачи с меньшим количеством маркированных образцов (целевых полей). Тем не менее, под влиянием атмосферных условий, влаги в почве, параметров датчика и других факторов, даже различные HSI от одного и того же датчика все еще имеют определенные различия в распределении, что значительно влияет на производительность классификатора. Адаптация домена, как классический метод обучения миграции, может отображать данные из разных, но близких областей в одно и то же характеристическое пространство, извлекая неизменные характеристики домена из обоих полей и используя их для классификации задач (Deng等，2019В)). какZhao等（2022）Использование дробного порядка слияния для сохранения пространственной информации HSI и использования данных лазерного радара для спектрального сравнения с HSI и, наконец, уменьшения различий в распределении спектрально - пространственных характеристик с помощью локальной адаптивной сети.周莲等（2024）Предлагается модуль синергического внимания, который направляет сеть, чтобы сосредоточиться на целевой информации и улучшить данные учебных образцов, чтобы расширить масштаб набора данных и, наконец, построить совместную стратегию обучения с помощью разработанной сравнительной ветви обучения для повышения точности классификации.Yu等（2021）Предлагаются сети на основе плотности и используются для извлечения дискриминируемых спектрально - пространственных характеристик и уменьшения различий в распределении между различными областями с помощью конфронтационного обучения.Zhong等（2020）Сначала адаптивный метод комбинированного распределения вероятности адаптируется к периферийному распределению вероятности и условному распределению вероятности в различных областях, а затем параметры модели, обученные в поле источника, перемещаются в целевое поле и подстраиваются.Ganin和Lempitsky（2014）Идея, основанная на конфронтационном обучении, предлагает полевые антисетевые сети DANN (Domain Adversarial Neural Networks), которые приобретают свойства неизменяемости поля через конфронтацию между детекторами полей и экстракторами характеристик. Однако вышеупомянутый подход к домену обычно предполагает, что целевой домен имеет общее пространство для меток с исходным доменом и не может классифицировать новые классы невидимых целевых доменов.
В последние годы была предложена и использована для решения вышеуказанных проблем небольшая выборка обучения FSL (Few Shot Learning). Обучение на небольших образцах также часто рассматривается как проблема миграции из источника в целевой домен (Sun等，2019Однако, в отличие от традиционных методов адаптации к доменам, их исходные и целевые домены не должны разделять одно и то же пространство тегов. Маленькая выборка - это, по сути, метаметод обучения (Wang等，2021Общие знания (метазнания), полученные путем использования стратегий обучения, основанных на задачах (метазадачах) в поле источника, тем самым помогая классифицировать целевые области, в которых отмечены только один или несколько образцов. В последнее время обучение на небольших образцах также использовалось для классификации гиперспектральных изображений. какLiu等（2019）Предлагается метод малой выборки глубины DFSL (Deep Few Shot Learning), который объединяет остаточные механизмы (He等，2016Внедрение сети Residual Three Dimensional Convolutional Neural Network, состоящей из 3D - CNN, для извлечения глубоких пространственно - спектральных характеристик и изучения метрического пространства из четырех источников гиперспектральных данных путем объединения прототипных сетей. В этом метрическом пространстве образцы одного и того же типа приближаются друг к другу, а образцы разных классов удаляются друг от друга. Кроме того, при тестировании отдельно используется поддерживающий векторный аппарат SVM (Support Vector Machine).Melgani和Bruzzone，2004) и ближайший классификатор NN (Nearest Neighbor) для прогнозирования данных в целевых доменах без меток.陈华杰等（2024）Предлагается алгоритм обучения междоменной миграции, основанный на ранжировании корреляции выборки источника. Сначала образец целевого домена добавляется в обратном направлении к задаче классификации исходного домена для сортировки релевантности выборки исходного домена, а затем используется совместная стратегия обучения самоконтролю, которая вводит вспомогательную ветвь самоконтроля для прогнозирования в сети классификации целевого домена.
Обучение с небольшими выборками дало хорошие результаты в классификации, когда выборка целевого поля была малой, но неявное предположение о том, что выборка целевого домена была из той же области, что и выборка исходного домена. Тем не менее, выборка исходного и целевого доменов часто имеет большие различия в распределении и даже не перекрывает пространство классов. Кроме того,Guo等（2020）Было отмечено, что некоторые небольшие выборки обучения менее эффективны при решении задач, связанных с кросс - доменными выборками. Таким образом, решение проблемы различий в распределении доменов в небольших выборках обучения является серьезной проблемой. В ответ на эту проблему,Li等（2022）Предлагается метод глубокого кросс - доменного обучения с малым выбором DCFSL (Deep Cross Domain Few Shot), который использует условия для борьбы с сетевой адаптацией CDAN (Conditional Adversarial Domain Adaptation) при изучении метазнаний.Long等，2018Уменьшение различий в характеристиках двух полей и прогнозирование данных по остальным четырем целевым областям с использованием гиперспектральных данных из одного источника. Тем не менее, чрезмерное междоменное выравнивание может подорвать способность к обучению на небольших образцах, и для решения этой проблемы использование развязных сетей для развязки характеристик выборки в постоянные домены и специфические особенности домена. Используйте только неизменные свойства домена для небольших задач классификации выборки, избегая, насколько это возможно, влияния конкретных характеристик домена.
В связи с этим, чтобы смягчить проблему, связанную с уменьшением обобщения моделей из - за различий в распределении HSI между доменами, и повысить точность классификации малых образцов, в этой статье предлагается новая междоменная классификация малых образцов HSI на основе DCPN (Disentangled Confidence Prototype Network). Во - первых, использование 3D - остатков CNN для получения глубоких спектрально - пространственных характеристик HSI и функционального разделения глубинных характеристик с помощью развязных сетей; Затем отображается выборка набора запросов с высоким уровнем достоверности и вычисляется более надежный прототип категории; Наконец, более точная классификация мелких образцов достигается путем сочетания прототипов исходных классов с прототипами классов с высокой степенью достоверности. Экспериментальная проверка на шести открытых наборах данных HSI с использованием таких методов, как обучение на небольших выборках, с целью обеспечить эффективный технический резерв для решения таких проблем, как нехватка образцов и смещение доменов при интеллектуальном интерпретации изображений дистанционного зондирования.

2 Прототип развязанной доверительной сети

Набор исходных данныхНабор данных целевого поляСодержит отдельноиКатегории 1. В зависимости от того, имеет ли образец метку, набор данных целевого поля может быть разделен на набор помеченных образцов& Набор образцов без маркировкиА.Используется для метаобучения, в то время как модельТочность классификации, как результат оценки DCPN. Однако,Недостаточно для создания набора поддержки и набора запросов для небольших выборок задач в целевом поле, поэтомуВыберите 5 образцов для каждого класса и добавьте случайный гауссовый шум для расширения данныхА.
DCPN состоит из двух частей: мета - обучения и мета - тестирования. В том числе, метатренинг какFig. 1Показано. Состоит в основном из кросс - доменных небольших образцов исходного домена и кросс - доменных небольших выборочных заданий целевого домена. Возьмем, к примеру, кросс - доменные задачи для небольших образцов, которые в основном разделены на следующие три этапа:
figure

Fig. 1 Meta-training flowchart for HSI cross-domain few-shot classification based on DCPN

(1) Использование выборки исходного домена для формирования метазадачи, в которой метазадача состоит из набора поддержкиAnd query setСостав. Кроме того, маркировка набора данных из целевого поляСлучайно выбранные несколько образцов образуют выборку целевого поля. Использовать экстрактор характеристик для извлечения встроенных характеристик HSI отдельноАи. Затем встроенные характеристики вводятся в развязную сеть, извлекая неизменные характеристики домена в двух доменах по отдельностиААОсобенности & доменаАА*
2) Направление неизменных характеристик домена набора поддержки исходного домена и набора запросов в сеть доверительных прототипов для расчета потерь в обучении на небольших выборкахВыберите образец набора запросов с высокой степенью достоверности в сочетании с набором поддержки для расчета исправленного прототипа. Расчет и уменьшение расстояния между центром класса поддержки и прототипом в европейском стиле*
(3) Направление в классификатор доменов постоянства домена источника и целевого домена и специфических характеристик домена, вычислительное поле смешивает потериОпределение потерь в полеЭтапы тестирования, такие какFig. 2Во - первых, используя предварительно обученный экстрактор характеристик и извлечение из сети развязкииНеизменные свойства поляАИ использовать классификатор NN после всех оставшихся незамеченных образцовПрогнозирование категорий.
figure

Fig. 2 Meta-testing flowchart for HSI cross-domain few-shot classification based on DCPN

2.1 Извлечение признаков

Извлечение региональных ближних блоков HSI в качестве входной выборки и одновременная обработка пикселей вдоль пространственной оси и спектральной оси с помощью 3D - CNN позволяют получить более дискриминируемые пространственно - спектральные характеристики HSI. Поддерживает домен источника как
В формуле,А,Количество категорий поддержки,Показывает количество образцов для каждого класса,Для длины / ширины,Показывает спектральные измерения набора данных в области источника.
Набор запросов к источнику
В формуле,Показывает количество немаркированных образцов, поддерживающих наборы и выборки запросов не совпадают.
Набор данных целевой области
В формуле,А,Показывает спектральные измерения данных в целевом поле,Для того чтобыКоличество выборок целевых полей, выбранных случайным образом.
Для согласования спектральных измерений данных в исходном и целевом доменах данные в обоих доменах предварительно обрабатываются с использованием слоя отображения исходного и целевого доменов соответственно. Среди них слой отображения реализуется 2D - CNN, процесс отображения выглядит следующим образом:
В формуле,исверточное ядро, отображающее исходный и целевой домены, соответственно,Операция свертки. Экспорт характеризуетсяВ том числеЕдиное спектральное измерение для обоих полей, обработанных слоем отображения. Затем, используя глубинный остаток 3D - CNN для извлечения характеристик на выходе из слоя отображения, чтобы получить встроенные характеристикиАи. Среди них слой отображения и глубинный остаток 3D - CNN вместе образуют характеристический экстракторА,Для измерения характеристик.

2.2 Развязка сетей

Различия в распределении данных обучения и тестовых данных могут привести к снижению обобщения методов обучения на небольших выборках. Для решения этой проблемы обычно используется распределение однородных и целевых областей. Однако этот подход неизбежно приведет к выравниванию специфических характеристик домена. Кроме того, поскольку категория целевого домена не совпадает с исходным доменом, выравнивание специфических характеристик домена влияет на обобщение модели в целевом домене. Таким образом, специфические свойства домена в характеристиках могут быть отделены, а небольшие выборки могут быть классифицированы только с использованием неизменных характеристик домена, тем самым уменьшая негативные последствия выравнивания распределения чрезмерной области. какLiu等（2018）Впервые в сочетании с адаптивным подходом к домену и идеей развязки цель трансдоменной миграции знаний достигается путем развязывания характеристик исходного домена в постоянные характеристики домена и специфические характеристики домена. Cao et al. (2018) указывают на то, что глубокие нейронные сети могут создавать высокосвязанные характеристики, которые должны быть развязаны в различные потенциальные характеристики, чтобы сделать их более объяснимыми.Fu等（2021）Используя кодирующую часть двух вариационных автоматических кодеров для извлечения потенциальных характеристик развязки, эта статья использует настройки этой статьи, чтобы разбить глубинные встроенные характеристики HSI на постоянные характеристики домена и специфические характеристики домена, чтобыПример:
Первый кодерДля получения неизменных характеристик поля, формула вычисления
Код 2Для извлечения определенных характеристик домена формула вычисления
В формуле,иПараметры для двух кодеров. Благодаря этой функциональной развязке сеть в конечном итоге получает неизменные характеристики поля для набора поддержки исходного домена, набора запросов исходного домена и целевого доменаААОсобенности доменаААА.иЭто, соответственно, постоянная характеристика домена и конкретное характеристическое измерение домена.

2.3 Доверительные прототипы сетей

Использование неизменных характеристик доменаиДля расчета классификационных потерь по малым выборкам каждый тип прототипа представляет собой среднее значение, поддерживающее набор характеристик по каждому типу выборки по следующей формуле:
В формуле,Поддерживать домен источникаКоличество образцов классов,Выражается какПрототип класса. Образец набора запросов для вычисления сети прототипаРасстояние между прототипами классов и вычисление распределения классов для каждого набора запросов. АПринадлежит №Формула расчета вероятности класса выглядит следующим образом:
В формуле,формула для расчета расстояния в Европе,Общее количество категорий для набора поддержки. По выборке набора запросовИ настоящие метки.Отрицательная логарифмическая вероятность, потеря классификации всех наборов запросов представлена как
Классификация небольших образцов зависит от маркированных образцов, поддерживающих набор. Поэтому, когда выборка маркировки невелика, расчетный прототип категории может иметь отклонения. Таким образом, в этой статье используется сеть доверенных прототипов для распределения весов для немаркированных образцов наборов запросов для пересчета прототипов этого класса. тогдаИсправленный прототип классаРасчет производится следующим образом:
В формуле,Уровень достоверности выборки для набора поддержки всегда равен 1.Выражение поддержки ¦Типовой набор классов.Образец набора запросов с высокой степенью достоверности, выбранный по следующим критериям:
В формуле,Чтобы установить порог достоверности, в нем участвуют только выборки наборов запросов, уровень доверия которых превышает этот порог.式（8）Расчеты, если у определенного класса нет выборки с высоким уровнем достоверности, продолжайте использовать式（5）В прототипе. Расчет суммы расстояний по Евклиду между прототипом выравнивания всех классов и прототипом набора поддержки:

2.4 Классификация доменов

Классификация доменовОтображая характеристики в дроби на двух полях, одна из задач классификации доменов состоит в том, чтобы запутать классификатор доменов с использованием неизменных характеристик домена и вычислить потери смешения домена:
В формуле,Параметры классификатора доменов,АиНабор поддержки исходного домена, набор запросов исходного домена и постоянный тег домена для выборки целевого домена, значение каждой строки устанавливается какА,Функция расчета потерь рассеяния Куллбака - Лейблера. Другая задача классификатора домена состоит в том, чтобы специфические характеристики домена могли быть идентифицированы классификатором домена, тогда формула расчета потерь для определения домена выглядит следующим образом:
В формуле,АиЭто набор поддержки исходного домена, набор запросов исходного домена и идентификатор домена образца целевого домена, соответственно,иВсе значения установлены в 1,Все значения равны нулю,Функция перекрестной энтропии.

2.5 Целевая функция

Общая целевая функция задачи с небольшой выборкой
В формуле,ААиЭто коэффициент каждой потери,Показывает общую потерю в ходе миссии по кросс - доменной выборке в районе источника. Задачи небольшой выборки целевого домена аналогичны задаче исходного домена, тогда общая целевая функция DCPN является
Общая целевая функция式（13）И (14) обновляются поочередно, пока модель не сходится.

3 Эксперименты и анализ результатов

3.1 Введение в набор данных

Для проверки эффективности метода DCPN выберите шесть открытых наборов данных HSI, включая UP（University of Pavia）、PC（Pavia Center）、IP（Salinas、Indian Pines）、Chikusei И (WHU - Hi - LongKou) LK для проведения экспериментов. Выберите Чикусей, самый большой класс объектов, в качестве набора данных для исходного домена, а остальные пять наборов данных - в качестве тестовых наборов для целевого домена (Li等，2022В)). Набор данных Chikusei был получен 29 июля 2014 года с помощью датчика изображений Headwall Hyperspec - VNIR - C в японском городе Цуси и охватывает 19 категорий объектов и 128 диапазонов. Длина волны 343 - 1018 нм, всегоПиксели, пространственное разрешение 2,5 м, подробные категории и информация о выборке, напримерFig. 3Показано.
figure

Fig. 3 Class and sample information of the Chikusei dataset

Набор данных UP был получен датчиком ROSIS в Университете Павии, Италия.Один пиксель с пространственным разрешением 1,3 м, после удаления шума, атмосферного и водного поглощения и перекрывающихся диапазонов, оставшиеся 103 диапазона используются для экспериментов, длина волны 430 - 860 нм, включая 9 классов объектов, подробные категории и информацию о выборке, например:Fig. 4Показано.
figure

Fig. 4 Class and sample information of the UP dataset

Наборы данных PC были получены с помощью датчиков ROSIS в северных итальянских городах.Компонент пикселей, пространственное разрешение 1,3 м, содержит 102 диапазона, длина волны 430 - 806 нм, набор данных PC содержит 9 классов объектов, экспериментальный перехват части PC для экспериментов, подробные категории и выборочная информация, например,Fig. 5Показано.
figure

Fig. 5 Class and sample information of the PC dataset

Набор IP - данных был собран спектрометром AVIRIS в 1992 году на северо - западе Индианы. После удаления шумного диапазона набор IP - данных состоит из 200 диапазонов с длиной волны 40 - 2500 нм, включая2 пикселя с пространственным разрешением 20 м. Изображение в основном используется для связанных с сельским хозяйством исследований, в общей сложности 16 категорий, подробных категорий и выборочной информации, таких какFig. 6Показано.
figure

Fig. 6 Class and sample information of the IP dataset

Набор данных Salinas был сфотографирован с помощью датчика AVIRIS в долине Салинас, штат Калифорния, с спектральным охватом 400 - 2500 нм.Пиксели, в общей сложности 204 диапазона для классификации, этот набор данных содержит 16 видов объектов с пространственным разрешением 3,7 м, подробные категории и данные выборки, такие какFig. 7Показано.
figure

Fig. 7 Class and sample information of the Salinas dataset

Набор данных LK был сфотографирован бортовой гиперспектральной камерой в сельскохозяйственном районе города Лункоу провинции Хубэй. Набор данных состоит из 270 спектральных диапазонов,Пиксели в общей сложности 9 категорий с пространственным разрешением 0463 м, подробные категории и выборочная информация, напримерFig. 8Показано.
figure

Fig. 8 Class and sample information of the LK dataset

3.2 Экспериментальные настройки

Для проверки эффективности метода DCPN выберите шесть реальных наборов данных HSI. В качестве исходного домена был выбран Чикусей, самый большой класс объектов, а остальные пять наборов данных были выбраны в качестве целевого домена. Все эксперименты проводились с PyTorch Framework 3.6 и Matlab 2017a на компьютерах с аппаратной конфигурацией процессора Intel Core i7 - 6850K, Nvidia GeForce GTX 1080 Ti и 32 ГБ памяти. В эксперименте были выбраны четыре показателя производительности: точность классификации классов, общая точность классификации (OA), коэффициент Каппы и средняя точность классификации (AA). Каждый эксперимент проводился независимо друг от друга 10 раз и получал средние значения.
Для сравнения выберите семь методов классификации, неглубокий метод классификации (SVM), метод глубокого обучения (Res - 3D - CNN), метод адаптации домена (DANN и CDAN), метод обучения с малыми выборками (DFSL + SVM и DFSL + NN) и метод кросс - доменного малого выборки (DCFSL). Для SVM и Res - 3D - CNN, используйтеВ качестве учебных наборов DFSL + SVM и DFSL + NN ссылаются на настройки DFSL, которые формируют исходные домены Chikusei, Houston, Botswana и Kennedy Space Center, отбрасывая категории из менее чем 200 образцов и выбирая 100 диапазонов для обеспечения последовательности измерений входных данных. Для доменных адаптационных методов DANN и CDAN исходный домен соответствует DCPN и будетДля выравнивания распределения между двумя доменами используются не отмеченные образцы целевых полей.
Возьмем, к примеру, задачу кросс - доменной выборки в исходном домене, чтобы обеспечить достаточное количество образцов, отброситьЕсть классы с помеченной выборкой менее 200 и, в соответствии с парадигмой метаобучения, во время каждой тренировкиСредняя случайная выборкаКласс, случайный отбор для каждого классаВыборка как набор поддержки исходного доменаВ остальных образцах они были взяты случайным образом.Выборка как набор запросовПриказ.А,А,Из.Случайный отбор 128 образцов для создания набора данных без меток в целевом полеВведите HSI длиной и шириной 9. Параметры кросс - доменной выборки целевого домена идентичны вышеуказанным.
Структура сети извлечения характеристик, напримерFig. 9Как показано, он состоит из слоя отображения, двух остаточных блоков, двух максимумов пулирования и одного катушечного слоя. Conv2d - это слой отображения 2D - CNN, предназначенный для отображения спектральных измерений исходного и целевого доменов в одном измерении. ядро свёртки слоя отображенияАПараметры определяются входными данными. Конв означает размер3D - рулонный слой, Pooling означает максимальный слой пулирования, шаг. Экспорт какАиСеть развязки состоит из двухуровневого кодера, в котором FC1 используется для извлечения общих характеристик, FC21a и FC22a - для извлечения неизменных характеристик домена, FC21b и FC22b - для извлечения специфических характеристик домена. Классификатор доменов состоит из полного уровня соединения и Dropout. Выберите Адама в качестве оптимизатора с количеством итераций обучения 10000.
figure

Fig. 9 Diagram of feature extractor

Другие параметры, такие какTable 1Показано.

Table 1 Hyperparameter settings on different datasets

数据集学习率
UP10080400.0100.31.01.01.0
PC10080400.0100.21.01.01.0
IP9080400.0030.31.01.01.0
Salinas120128320.0030.30.81.00.6
LK60100500.0100.00.50.10.1

3.3 Результаты экспериментов и анализ

В таблице 2 - 6 приведены результаты сравнения классификационных характеристик классификаторов SVM, Res - 3D - CNN, DANN, CDAN, DFSL + SVM, DFSL + NN и DCFSL (данный метод) по пяти наборам данных, соответственно.
(1) Методы адаптации доменов DANN и CDAN классифицируют некоторые категории с меньшей точностью, чем SVM, что указывает на то, что чрезмерное выравнивание характеристик снижает точность классификации для исходных и целевых полей, где классы не совпадают;
(2) В случае нехватки образцов, отмеченных целевым полем, стратегии обучения задачам, используемые в методах обучения с небольшим выбором, могут помочь моделям изучать общие метазнания и, следовательно, получать более высокую точность распознавания новых классов по сравнению с другими методами;
(3) По сравнению с методом обучения с небольшими выборками, метод обучения с малыми выборками DCFSL обеспечивает более высокую точность классификации в целевом поле. Это связано с тем, что этот метод учитывает различия в распределении между исходным и целевым доменами и сужает распределение между исходным и целевым доменами, изучая метазнания о переносимости исходного домена, тем самым получая более обобщенные модели;
(4) DCPN достиг наивысшего OA по всем наборам данных, поскольку DCPN может развязать глубинные характеристики, извлеченные из глубокой сети, чтобы получить постоянные и специфические для домена характеристики, а также сократить разрыв в распределении между исходным и целевым доменами в сочетании с классификаторами доменов. В то же время DCPN вычисляет модифицированные прототипы путем отбора образцов с более высоким уровнем достоверности запросов, что позволяет модифицированным прототипам и прототипам вспомогательных наборов постоянно сближаться во время обучения, тем самым в определенной степени избегая проблем с предвидением неточностей в выборке запросов из - за недостаточного количества образцов, отмеченных поддерживающей лентой;
(5) На всех наборах данных DCPN занимает больше времени, главным образом потому, что, с одной стороны, DCPN использует 3D - свертки, что, одновременно улучшая способность сети извлекать исходные пусто - спектральные характеристики HSI, также приводит к более высокой вычислительной сложности; С другой стороны, рамки метаобучения включают обучение и тестирование между миссиями, а также обучение и тестирование в рамках миссии. Большое количество тестовых образцов на учебных заданиях привело к более длительным затратам времени на DCPN.

Table 2 Comparison of classification results by different methods on the UP dataset

类别SVMRes-3D-CNNDANNCDANDFSL+SVMDFSL+NNDCFSLDCPN
柏油路面/%61.9499.9073.1275.4580.9573.1873.32
草地/%55.8469.6090.3666.4182.1789.1994.79
碎石路面/%49.9540.8841.4550.5350.5752.2055.25
树木/%85.8884.6791.8390.1991.7398.2088.95
金属板屋顶/%99.1098.5886.6497.7698.51100.00
裸地/%63.0821.5456.3586.0072.4763.8164.51
沥青/%87.7781.2156.4575.0978.0478.9479.85
砖/%71.6346.5969.9270.1766.0657.9886.65
阴影/%100.0094.37100.0097.8899.7999.6899.47
OA/%64.4470.1569.6073.3073.9877.8384.65
AA/%75.6168.6671.6471.0279.5478.8282.98
Kappa0.56000.59690.62000.64000.67000.71000.8000
耗时/s5.31939.03997.311976.141991.891357.802118.96

Table 3 Comparison of classification results by different methods on the PC dataset

类别SVMRes-3D-CNNDANNCDANDFSL+SVMDFSL+NNDCFSLDCPN
水体/%100.0098.11100.00100.00100.00100.00100.00
树木/%71.9391.2589.7394.2392.5290.4990.49
草地/%76.4367.5242.5953.0980.4181.5496.93
砖瓦地/%98.0396.9676.2595.7499.9599.2598.78
裸露土地/%87.5783.6574.2276.0986.0087.0599.30
草地/%95.2097.2693.0894.9995.7594.2699.01
沥青路面/%90.6695.2260.2790.7197.4197.9797.47
砖块/%88.1499.2825.0652.2347.4862.0398.85
阴影/%99.7092.2099.4698.9899.0799.76100.00
OA/%95.2396.0386.1392.0594.4195.1999.13
AA/%89.7792.3072.3984.0688.7590.5697.88
Kappa0.92870.94010.79330.88110.91610.92780.9870
耗时/s4.631257.741309.382262.872302.591463.872379.79

Table 4 Comparison of classification results by different methods on the IP dataset

类别SVMRes-3D-CNNDANNCDANDFSL+SVMDFSL+NNDCFSLDCPN
苜蓿/%68.2987.8039.0297.5697.5697.56
非犁耕玉米地/%14.976.3927.4822.5626.0722.3545.82
少犁耕玉米地/%43.1525.5826.1827.7635.8838.4254.18
玉米地/%43.5333.1942.2453.4578.0287.9383.19
草地/牧地/%76.1551.8855.6560.2574.2783.2675.31
草地/树木/%75.7250.0785.9394.6288.9689.52
草地/修剪过的牧地/%100.00100.00100.00100.00100.00100.00100.00
干草堆/%73.7881.4090.0697.4694.2994.9392.39
燕麦/%100.00100.00100.00100.00100.00100.00
非犁耕的大豆地/%44.5757.7054.1956.2661.6354.4065.25
少犁耕的大豆地/%47.4358.2438.6528.8265.0664.5376.29
清理过的大豆地/%31.2938.6137.5931.2934.6934.5250.34
小麦/%92.0098.0096.5097.5098.50100.0095.50
森林/%42.2970.5673.2067.2285.9568.3385.16
建筑/草地/树木/机器/%23.6227.3057.2254.8667.1979.7962.47
石钢塔/%84.0996.5994.3288.64100.0096.59
OA/%50.7752.5645.4349.3162.4761.3669.92
AA/%61.6564.0739.4567.6275.5375.3878.83
Kappa0.44730.46890.60070.43830.57580.56820.6574
耗时/s1.18706.47714.871898.061902.092240.705465.74

Table 5 Comparison of classification results by different methods on the Salinas dataset

类别SVMRes-3D-CNNDANNCDANDFSL+SVMDFSL+NNDCFSLDCPN
西兰花-幼苗期1/%87.8098.3595.9694.9198.25100.00100.00
西兰花-幼苗期2/%98.9014.9796.3590.3899.6298.2399.81
休耕地/%78.5925.5837.8578.4488.3390.9297.46
休耕地-粗犁/%98.6333.19100.0099.7199.4299.78
休耕地-平整/%98.0251.8888.2593.0494.0994.4694.20
残茬地/%97.2789.9399.3499.49100.00100.00100.00
芹菜/%99.05100.0097.8295.7599.2299.5599.05
葡萄-未整形/%60.7881.4014.2656.5452.0971.9766.97
葡萄园-裸地/发育土壤/%98.6193.3399.0891.5988.7498.6999.90
玉米-衰老期伴生杂草/%82.1957.7022.3665.8440.0287.8183.50
罗马生菜-生长4周/%91.7258.2468.9683.3597.6597.0899.72
罗马生菜-生长5周/%100.0038.6185.4391.1099.12100.0099.27
罗马生菜-生长6周/%98.6898.0097.0497.1598.6899.7898.02
罗马生菜-生长7周/%88.9270.5698.3194.3798.0398.2299.34
葡萄园-自然生长/%37.5627.3061.7985.2174.3875.3577.35
葡萄园-垂直架式/%91.8496.5983.9686.5789.6297.23100.00
OA/%80.2282.5169.9080.2281.8887.6290.35
AA/%88.7191.7279.3878.1080.0393.4595.03
Kappa0.78090.80650.67090.86900.86280.87020.8929
耗时/s6.47735.72757.091976.792030.752338.015372.43

Table 6 Comparison of classification results by different methods on the LK dataset

类别SVMRes-3D-CNNDANNCDANDFSL+SVMDFSL+NNDCFSLDCPN
玉米/%86.3998.6794.2097.4298.0099.9398.81
棉花/%42.6893.5639.4626.9792.3972.1798.29
芝麻/%73.4011.4384.5777.3678.1293.0382.85
阔叶大豆/%64.5889.3762.4055.1070.1575.2081.58
窄叶大豆/%54.9789.5668.5575.9577.2398.4695.88
大米/%85.8083.1272.3779.6392.3995.6691.91
水体/%99.9599.9798.3499.7899.94
道路和房屋/%49.2850.3235.8264.0266.6494.4182.68
混合杂草/%62.8863.7363.1149.7567.9490.9572.32
OA/%79.5591.0679.3277.5487.4987.9793.85
AA/%68.8875.5269.3267.2686.5182.9694.66
Kappa0.74190.882973.920.71800.84140.84580.9199
耗时/s12.862335.092411.932338.782407.391677.832629.08
Для более наглядного сопоставления результатов классификации различных методов классификации на различных наборах данныхFig. 10- Да.Fig. 14Эффекты классификации для различных наборов данных. Как видно из диаграммы, предлагаемый DCPN позволяет получить более гладкую и детализированную классификацию эффектов на всех наборах данных.
figure
figure
figure
figure
figure
figure
figure
figure

Fig. 10 Classification maps on the UP dataset

figure
figure
figure
figure
figure
figure
figure
figure

Fig. 11 Classification maps on the PC dataset

figure
figure
figure
figure
figure
figure
figure
figure

Fig. 12 Classification maps on the IP dataset

figure
figure
figure
figure
figure
figure
figure
figure

Fig. 13 Classification maps on the Salinas dataset

figure
figure
figure
figure
figure
figure
figure
figure

Fig. 14 Classification maps on the LK dataset

Примером может служить набор данных Indian Pines.Fig. 12Показано. По сравнению с другими методами, DCPN имеет больше ошибок в нескольких категориях (например, в лесах и т. Д.), что связано с выбором DCPN, который не является оптимальным гиперпараметром. Как известно, оптимальный гиперпараметрический поиск, основанный на методе DL, является труднодостижимым, и DCPN добавляет к целям обучения DCFSL потерю смешивания доменов, потерю дискриминации доменов и потерю расстояния между прототипом выравнивания и прототипом набора поддержки, что, одновременно улучшая способность к распознаванию и миграции модели, вводит дополнительные суперпараметры. Тем не менее, DCPN по - прежнему может достичь эффекта классификации, аналогичного или лучшего по сравнению с другими методами в большинстве категорий. Другие методы могут привести к ошибочному разделению большего числа очищенных соевых бобов на участки с меньшим количеством соевых бобов и участки без соевых бобов; b) ошибочное разделение большего числа полей соевых бобов, обрабатываемых с меньшим количеством плугов, на кукурузные поля, не обрабатываемые плугом; · Неправильное разделение большего количества лугов / деревьев на стоги сена и леса. Все большее число полей кукурузы, не обрабатываемых плугом, кукурузных полей, не обрабатываемых плугом, соевых полей, не обрабатываемых плугом, и очищенных участков соевых бобов ошибочно подразделяются на участки, на которые возделывается меньше соевых бобов. Кроме того, использование DCPN позволяет получить значительно более высокие результаты классификации по сравнению с другими методами сравнения по таким категориям, как луга в наборе данных UP, виноградники - голые земли / растущие почвы в наборе данных Salinas и широколиственные соевые бобы в наборе данных LK.
Кроме того, эта статья организует абляционные эксперименты для проверки влияния различных компонентов DCPN на классификационные свойства, такие какTable 7Показано. отTable 7Можно знать:

Table 7 Comparison of OA on the five datasets in ablation studies of different loss functions

数据集DCPN（w/ FSL）DCPN（w/FSL and FC）DCPN（w/FSL and FS）DCPN
UP82.5280.5081.0383.49
PC97.1397.7197.7198.66
IP66.5768.0868.5969.08
Salinas87.9688.4089.5791.46
LK93.7992.6891.7893.85
С одной стороны, с помощью потерь FC и FS DCPN обеспечивает смешение характеристик в различных областях в структурированном пространстве постоянных характеристик домена, а также дифференциацию характеристик в пространстве конкретных характеристик домена, что позволяет достичь цели развязки характеристик и выравнивания только постоянных характеристик домена, тем самым смягчая проблему отрицательной миграции, вызванную выравниванием конкретных характеристик домена; С другой стороны, минимизируяБыла достигнута выравнивание между прототипом оригинальной категории и прототипом категории с высокой степенью достоверности, что облегчило проблему снижения точности классификации из - за смещения прототипа категории.

3.4 СверхпараметрыиАнализ влияния точности классификации

Для проверки надпараметровАВлияние на характеристики классификации DCPN, проведение экспериментов по анализу параметров на 5 наборах данных HSI, результаты которых:Fig. 15Показано. Видно:
figure
figure
figure
figure
figure

Fig. 15 Influence of and over OA on different datasets

(1) Слишком большойЭто означает чрезмерное сближение модифицированных прототипов и центров поддержки категорий в процессе обучения; Слишком малыйЭто указывает на то, что в процессе обучения набор запросов классифицируется главным образом на основе центра категорий поддержки. Слишком большая или слишком малая выборка может привести к снижению OA;
(2) Во всех наборах данных, сУвеличение, OA в целом показывает тенденцию сначала вверх, а затем вниз. Это потому, что они слишком маленькие.Получение значений приводит к недостаточному обучению метазнаниям в области источника.Это может привести к переориентации модели на область источника.
Подводя итог, рекомендуемые параметры устанавливают диапазонА,А.

4 Выводы

В ответ на проблему снижения точности классификации, вызванную тем, что обучение на небольших образцах на основе метаобучения затрудняет эффективное реагирование на различия в областях обучения на этапе обучения, а также на проблему снижения характеристик классификации из - за неточного прогнозирования прототипов классов в сети прототипов, в этой статье предлагается междоменная классификация малых образцов гиперспектральных изображений, основанная на сети развязанных доверительных прототипов. Основные выводы заключаются в следующем: (1) использование развязной сети для получения неизменных характеристик домена и специфических характеристик домена, а также для классификации небольших выборок только неизменных характеристик домена, тем самым уменьшая негативное влияние конкретных характеристик домена; (2) Предложить сеть доверенных прототипов, которая присваивает соответствующие веса немаркированным образцам наборов запросов для перерасчета прототипов каждой категории и в сотрудничестве с Центром категорий оригинальных наборов поддержки выполняет задачу классификации небольших образцов высокого качества. Эксперименты, проведенные на реальных наборах данных HSI, показывают, что метод, предложенный в этой статье, может обеспечить более высокую точность междоменной классификации и получить более гладкие и подробные результаты классификации. Учитывая, что полученные гиперспектральные изображения часто зависят от атмосферных условий, оборудования для сбора и других факторов, стоит изучить вопрос о том, как получить более прочные общие, доменные особенности на основе этого метода.

References

  1. 1.
    Baur J, Dobler G, Bianco F, Sharma M and Karpf A. 2018. Persistent hyperspectral observations of the urban lightscape//IEEE Global Conference on Signal and Information Processing. Anaheim: IEEE: 983-987
  2. 2.
    Cao J M, Katzir O, Jiang P, Lischinski D, Cohen-Or D, Tu C H and Li Y Y. 2021. DiDA: iterative boosting of disentangled synthesis and domain adaptation//Proceedings of the 11th International Conference on Information Technology in Medicine and Education
  3. 3.
    Chen H J, Lyu D N, Zhou X and Liu J. 2024. Cross-domain transfer learning algorithm for few-shot ship recognition in remote-sensing images. National Remote Sensing Bulletin, 28(3): 793-804
  4. 4.
    Chen J H and Wang X L. 2022. Multi-graph convolutional network for a remote sensing image few shot classification. National Remote Sensing Bulletin, 26(10): 2029-2042
  5. 5.
    Deng W Y, Lendasse A, Ong Y S, Tsang I W H, Chen L and Zheng Q H. 2019. Domain adaption via feature selection on explicit feature map. IEEE Transactions on Neural Networks and Learning Systems, 30(4): 1180-1190
  6. 6.
    Feng J, Chen J T, Liu L G, Cao X H, Zhang X R, Jiao L C and Yu T. 2019. CNN-based multilayer spatial-spectral feature fusion and sample augmentation with local and nonlocal constraints for hyperspectral image classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(4): 1299-1313
  7. 7.
    Fu Y Q, Fu Y W and Jiang Y G. 2021. Meta-FDMixup: cross-domain few-shot learning guided by labeled target data//Proceedings of the 29th ACM International Conference on Multimedia. [s.l.]: Association for Computing Machinery: 5326-5334
  8. 8.
    Ganin Y and Lempitsky V. 2014. Unsupervised domain adaptation by backpropagation. //Proceedings of the 32nd International Conference on International Conference on Machine Learning. Lille: JMLR.org: 1180-1189
  9. 9.
    Guo Y H, Codella N, Karlinsky L, Codella J V, Smith J R, Saenko K, Rosing T and Feris R. 2020. A broader study of cross-domain few-shot learning//16th European Conference on Computer Vision. Glasgow: Springer: 124-141
  10. 10.
    Hang R L, Li Z, Liu Q S, Ghamisi P and Bhattacharyya S S. 2021. Hyperspectral image classification with attention-aided CNNs. IEEE Transactions on Geoscience and Remote Sensing, 59(3): 2281-2293
  11. 11.
    He K M, Zhang X Y, Ren S Q and Sun J. 2016. Deep residual learning for image recognition//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE: 770-778
  12. 12.
    Kong Y, Cheng Y H, Chen Y and Wang X S. 2024. Joint classification of hyperspectral image and LiDAR data based on spectral prompt tuning. IEEE Transactions on Geoscience and Remote Sensing, 62: 5521312
  13. 13.
    Li Z K, Liu M, Chen Y S, Xu Y M, Li W and Du Q. 2022. Deep cross-domain few-shot learning for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 60: 5501618
  14. 14.
    Liu B, Yu X C, Yu A Z, Zhang P Q, Wan G and Wang R R. 2019. Deep few-shot learning for hyperspectral image classification. IEEE Transactions on Geoscience and Remote Sensing, 57(4): 2290-2304
  15. 15.
    Liu Y C, Yeh Y Y, Fu T C, Wang S D, Chiu W C and Wang Y C F. 2018. Detach and adapt: learning cross-domain disentangled deep representation//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE: 8867-8876
  16. 16.
    Long M S, Cao Z J, Wang J M and Jordan M I. 2018. Conditional adversarial domain adaptation//Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal: Curran Associates Inc.: 1647-1657
  17. 17.
    Melgani F and Bruzzone L. 2004. Classification of hyperspectral remote sensing images with support vector machines. IEEE Transactions on Geoscience and Remote Sensing, 42(8): 1778-1790
  18. 18.
    Siebels K, Goïta K and Germain M. 2020. Estimation of mineral abundance from hyperspectral data using a new supervised neighbor-band ratio unmixing approach. IEEE Transactions on Geoscience and Remote Sensing, 58(10): 6754-6766
  19. 19.
    Sun Q R, Liu Y Y, Chua T S and Schiele B. 2019. Meta-transfer learning for few-shot learning//IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE: 403-412
  20. 20.
    Wang T, Zhang H S and Lin H. 2016. High-level impervious surfaces classification in urban environments from hyperspectral imagery//Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing. Los Angeles: IEEE: 1-5
  21. 21.
    Wang Y Q, Yao Q M, Kwok J T and Ni L M. 2021. Generalizing from a few examples: a survey on few-shot learning. ACM Computing Surveys, 53(3): 63
  22. 22.
    Yu C Y, Liu C Y, Yu H Y, Song M P and Chang C I. 2021. Unsupervised domain adaptation with dense-based compaction for hyperspectral imagery. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 14: 12287-12299
  23. 23.
    Zhang M M, Li W and Du Q. 2018. Diverse region-based CNN for hyperspectral image classification. IEEE Transactions on Image Processing, 27(6): 2623-2634
  24. 24.
    Zhao X D, Zhang M M, Tao R, Li W, Liao W Z and Philips W. 2022. Cross-domain classification of multisource remote sensing data using fractional fusion and spatial-spectral domain adaptation. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 15: 5721-5733
  25. 25.
    Zhong C X, Zhang J P, Wu S F and Zhang Y. 2020. Cross-scene deep transfer learning with spectral feature adaptation for hyperspectral image classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 13: 2861-2873.
  26. 26.
    Zhou L, He C, Wang D W and Guo Z Q. 2024. Few-shot object detection in optical remote sensing images. National Remote Sensing Bulletin, 28(7): 1693-1701
  27. 27.
    Zhu C H, Chen X H, Chen J, Yuan Y H and Tang K. 2023. A siamese nested-UNet for change detection in posterior probability space (SNU-PS). National Remote Sensing Bulletin, 27(9): 2006-2023

Читать полностью

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website