이전|다음

특징 강화 및 대조 학습을 융합한 자가 지도 원격 탐사 영상 잡음 제거

  • role： First author第一作者
  • Affiliation：

    School of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, China

  • Email：228002070392@stu.nepu.edu.cn
  • Introduction：何晓晴，研究方向为遥感图像处理。E-mail： 228002070392@stu.nepu.edu.cn
HE Xiaoqing1,  
  • role： Corresponding author通信作者
  • Affiliation：

    School of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, China

    Bohai-Rim Energy Research Institute, Northeast Petroleum University, Qinhuangdao 066004, China

  • Email：wangzhibao@nepu.edu.cn
  • Introduction：王志宝，研究方向为遥感大数据。E-mail： wangzhibao@nepu.edu.cn
WANG Zhibao12*,  
  • Affiliation：

    School of Communication and Electronic Engineering, Qiqihar University, Qiqihar 161000, China

ZHAO Man3,  
  • Affiliation：

    School of Computer and Information Technology, Northeast Petroleum University, Daqing 163318, China

    State Key Laboratory of Remote Sensing Science, Aerospace Information Research Institute, Chinese Academy of Sciences, Beijing 100101, China

    University of Chinese Academy of Sciences, Beijing 100049, China

CHEN Liangfu145,  
  • Affiliation：

    School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing 400065, China

BI Xiuli6

추상적인

원격 탐사 영상의 독특한 획득 방식으로 인해 수집 과정이 잡음에 쉽게 영향을 받아 정보가 심각하게 손상되며, 실제 세계에서는 동일한 장면의 깨끗한 영상과 잡음 영상 쌍을 얻기 어렵다. 따라서 자가 지도 학습 기반 영상 잡음 제거가 인기 있는 연구 방향이 되었다. 복잡한 질감의 원격 탐사 영상에 대해 기존의 잡음 제거 방법은 세부 정보 손실과 배경 흐림 문제를 가지고 있다. 이에 본 논문에서는 특징 강화와 대조 학습을 기반으로 한 자가 지도 원격 탐사 영상 잡음 제거 알고리즘을 제안하며, 잡음 제거 분기와 대조 분기 두 부분으로 구성된다. 잡음 제거 분기에서는 먼저 특징 강화된 합성곱 오토인코더 잡음 제거 네트워크를 설계하고, 전역 특징 추출 모듈과 주의 모듈을 도입하여 다양한 스케일의 얕은 윤곽 특징과 국부 세부 특징을 각각 획득한다. 이후 동적 특징 강화 모듈을 이용해 수용 영역을 확장하여 더 많은 공간 구조 정보를 융합한다. 마지막으로 영상 재구성 모듈에서는 동적 적응 혼합 연산을 통해 깊고 얕은 층의 정보 흐름을 유지한다. 대조 분기에서는 대조 학습 전략을 통해 잡음 영상에 포함된 정보를 충분히 활용해 새로운 대조 인지 손실을 구성하고, 재구성 손실과 총 변분 손실을 결합해 잡음 제거 영상의 부드러움과 세부 유지 능력을 평가하여 배경 흐림 현상을 효과적으로 줄인다. 마지막으로 NWPU-RESISC45와 UC Merced Land Use 두 데이터셋에서 본 논문 방법을 다른 잡음 제거 방법들과 비교하였다. 결과는 Gaussian 잡음에서 평균 PSNR이 1.47~4.34 dB 및 2.06~4.95 dB 향상되었고, 평균 구조 유사도는 2.3%~11.8% 및 2.6%~11.5% 향상되었음을 보여준다. 또한 스펙클 잡음, 줄무늬 잡음 및 실제 잡음 원격 탐사 영상에서도 본 방법이 우수한 잡음 제거 효과를 얻었다.

키워드

원격 탐사;영상 잡음 제거;딥 러닝;자가 지도 학습;오토인코더;대조 학습;대조 인지 손실;세부 유지

1 인용문

광학 원격 탐지 영상은 정보 획득의 중요한 수단으로서 이미 토지 커버리지 변화 검측에 광범위하게 응용되었다 (Feng等，2023), 유정 목표 식별 (Zhang等，2023b) 및 가스관 의미 분할 (Wang等，2024a) 등 분야.그러나 원격 탐지 영상 장치 성능의 물리적 특성과 외부 환경의 간섭으로 인해 원격 탐지 영상은 무작위 소음의 파괴를 받기 쉽고 정보 내용의 퇴화를 초래한다.이러한 퇴화는 이미지의 가독성뿐만 아니라 다운스트림 작업의 처리 정밀도에도 영향을 미칩니다.따라서 원격 탐지 이미지의 사전 처리에서 노이즈를 효율적으로 제거하는 것이 여전히 중요한 문제입니다.
일반적인 이미지 노이즈 제거 방법은 일반적으로 일부 필터 방법을 사용합니다 (Yu等，2022，Jia等，2022) 를 사용하여 노이즈를 제거하지만 높은 노이즈 수준에서 지나치게 부드럽게 만들기 쉽습니다.이미지의 텍스쳐 특성을 더 잘 유지하기 위해 전체 변분 기반 (Geng等，2023) 의 방법은 이미지 노이즈를 제거하지만 튜닝이 복잡하고 계산 비용이 많이 듭니다.전통적인 방법에 비해 딥 러닝에 기반한 소음 제거 방법은 심층 특징을 효율적으로 추출할 수 있어 소음을 더 잘 제거할 수 있다.Zhang等（2017）처음으로 잔차 학습과 귀일화 조작을 도입하여 이미지 소음 제거를 진행하는데, 이 방법은 이미지 소음 제거 영역의 기준으로 간주된다.그런 다음Zhang等（2018）또 FFDNet이 더 넓은 범위의 소음 수준을 처리할 수 있다는 것을 제시했다.그런 다음Lehtinen等（2018）처음으로 깨끗한 이미지의 제한에서 벗어나 소음을 제거할 수 있다는 것을 증명했지만, 이 방법은 같은 장면에서 소음 이미지 쌍을 얻어야 한다.이 제한을 없애기 위해,Moran等（2020）노이즈 실습을 통해 원래 노이즈 이미지를 다시 손상시키지만 배경이 흐려지기 쉽습니다.Huang等（2022）랜덤 인접 하위 샘플링기를 사용하여 훈련 데이터 샘플링을 수행합니다.요즘,Li等（2023）이미지의 평탄한 영역과 텍스쳐 영역에 대해 각각 다른 위조 감독 메커니즘을 구축하여 실제 소음에서의 자체 감독 소음 제거 성능을 향상시켰다.그러나 이 방법은 여러 개의 하위 네트워크를 훈련해야 하기 때문에 훈련 비용이 많이 든다.Pan等（2023）샘플 부족 문제를 완화하기 위해 무작위 하위 샘플 생성 전략을 제안했지만 이 방법은 샘플링 교란의 선택에 민감합니다.Zhang等（2023a）다중 마스크 전략을 제시하여 소음의 공간 관련성을 파괴하는 동시에 맹점 네트워크와 결합하여 다중 마스크 층 추출의 특징을 융합하면 실제 소음을 효과적으로 제거할 수 있다.일반적인 이미지 노이즈 제거와 달리 자연 이미지는 일반적으로 비교적 안정적인 환경에서 촬영되며 높은 해상도를 가지고 있습니다.그러나 광학 원격 탐지 이미지의 이미지 환경은 비교적 복잡하며, 그 해상도 차이가 비교적 크고 더욱 복잡한 텍스처 특징을 포함하기 때문에 소음을 제거해야 할 뿐만 아니라 선명한 세부 텍스처를 재구성해야 한다.
딥러닝 기반 원격 탐지 영상 소음 제거 분야에서는 크게 감독 유무, 감독 유무, 자체 감독 세 종류로 나눌 수 있다.네트워크를 훈련하기 위해 페어링된 깨끗하고 잡음 이미지를 사용해야 하는 감독 방법이 있습니다.세부 정보를 더 잘 추출하기 위해Han等（2022）다중 척도 특성 추출 모듈과 주의력 메커니즘을 사용하여 소음을 제거합니다.요즘,Wang等（2024c）Transformer 기반의 개선된 알고리즘을 제시하여 U형 소음 제거 모듈을 사용하여 이미지 특징 매핑 사이의 의미 격차를 줄인다.Cheng等（2025）심층 인터렉션 서브네트워크와 결합하여 원격 탐지 이미지의 다자도 특징을 추출하여 세부 사항이 손실되지 않도록 합니다.그러나 광학 원격 탐지 이미지의 경우 동일한 장면에서 깨끗한 이미지와 노이즈 이미지를 얻는 것은 비교적 어렵습니다.
데이터 획득 비용을 줄이기 위해 연구원들은 위조 라벨이 필요 없이 데이터에서 학습된 데이터의 구조와 분포를 직접 표시하지 않는 감독 없는 소음 제거 방법을 제시했다.Liu等（2023b）먼저 잔차 이미지와 무작위 마스크를 이용하여 생성된 소음 모델을 얻은 다음 위조 감독 모듈을 사용하여 소음을 제거한다.Li等（2024）이중 분기 분산 제거 네트워크를 구축하면 원격 감지 이미지에서 분산 잡음을 효과적으로 제거할 수 있습니다.요즘,Luo等（2024）무감독 적응 학습을 기반으로 한 원격 탐지 영상 소음 제거 네트워크를 설계하여 배경 정보를 잘 유지할 수 있다.감독되지 않는 방법은 쌍을 이루는 훈련 데이터가 필요하지 않지만, 노이즈 모델의 정확한 추정에 크게 의존하며, 복잡한 노이즈 모델을 최적화할 때 더 큰 계산 자원과 시간을 소모할 수 있다.
자체 감독 방법은 감독하는 방법과 감독하지 않는 방법의 장점을 결합시켜 데이터에 감독 신호를 표시하지 않고 효과적인 특징 표현을 학습할 수 있다(Tao等，2023）。Liu等（2023a）동적 적응형 주의력 유도의 자체 감독 단일 원격 탐지 이미지 소음 제거 네트워크 DAA-SSID를 제시하여 원격 탐지 이미지에서 고스 소음을 효과적으로 제거할 수 있다.Wang等（2024b）비교 학습 사상과 결합하여 양과 음 샘플 쌍을 구축하여 다양한 원격 감지 영상 소음에서 좋은 소음 제거 효과를 얻었다.또한 볼륨 자체 인코더는 인코딩 및 디코딩 프로세스를 통해 데이터의 피쳐 표현을 자동으로 추출하여 이미지의 로컬 피쳐와 세부 피쳐를 유지할 수 있는 일반적인 자체 감독 모델입니다.Thai等（2023）잡음을 제거하기 위해 혼합 변분 자동 인코더를 제시했다.노이즈 제거 이미지의 품질을 향상시키기 위해张杰等（2024）잔차 밀집 볼륨 자체 인코더 네트워크를 설계하여 이미지의 깊은 특징을 발굴했다.그러나 원격 탐지 이미지는 더 풍부한 세부 텍스쳐를 포함하며 기존 방법은 세부 유지 측면에서 여전히 개선될 여지가 있습니다.
딥러닝에 기반한 소음 제거 방법은 이미 많은 성과를 거두었지만, 여전히 세부 특징의 분실과 효과적인 감지 손실의 결여 등 도전이 존재한다.이를 위해 본고는 특징 강화와 대비 학습을 바탕으로 하는 자체 감독 원격 탐지 이미지 소음 제거 알고리즘을 제시했다. 이 방법은 쌍으로 된 깨끗한 이미지와 소음 이미지가 필요 없고 소음 제거 지점과 대비 지점으로 구성된다.소음 제거 분기에서 본고는 특징이 강화된 볼륨 자체 인코더 소음 제거 네트워크를 구축하여 우선 전역 특징 추출 모듈을 통해 서로 다른 척도의 얕은 윤곽 특징을 획득한다;그런 다음 주의력 추출 모듈을 사용하여 복잡한 텍스쳐 특징에 초점을 맞춥니다.이어 동적 특징을 이용하여 모듈 융합 공간 구조 정보를 강화한다.마지막으로 이미지 재구성 모듈에 동적 적응 혼합 조작을 도입하여 심층 특징을 더욱 잘 융합시킨다.비교 지점에서 본고는 소음 이미지가 가지고 있는 특징 정보를 충분히 활용하여 서로 다른 데이터 강화 전략을 이용하여 새로운 대비 감지 손실을 설계하는 동시에 재건 손실과 총 변분 손실을 결합시켜 이미지의 가장자리 디테일을 더욱 잘 보존한다.NWPU-RESISC45와 UC Merced Land Use 두 데이터 세트에서 이 글의 방법을 기존의 소음 제거 방법과 비교하여 제시된 방법이 다양한 소음 조건에서의 유효성과 노봉성을 검증한다.

2 연구 방법

2.1 전체 프레임워크

Fig. 1원격 감지 이미지의 잡음 제거를 위한 전체 프레임워크는 훈련 단계 (Fig. 1) 및 추리 단계 (Fig. 1）。노이즈 제거 분기에서 데이터 향상 작업을 통해 노이즈 이미지를 생성한 다음 노이즈 제거 네트워크 FCADNet으로 노이즈 이미지를 보내 노이즈 이미지를 재구성합니다.비교 분기에서 원본 이미지에 대해 이전과 다른 데이터 향상 작업을 사용하여 추가 노이즈를 도입하지 않고 이미지의 시각적 특성을 변경합니다.그런 다음 노이즈 이미지와 기타 향상된 이미지 사이에 양수 및 음수 샘플 쌍을 구성하여 일관된 피쳐 공간으로 보내 구속합니다.마지막으로 훈련 단계에서 재건 손실, 총 변분 손실과 대비 감지 손실을 연합 손실 함수로 사용하여 네트워크 훈련을 지도한다.추론 단계에서 노이즈 이미지를 FCADNet에 전송하여 노이즈 제거 이미지를 얻습니다.
figure
figure

Fig. 1 Overall framework

2.2 특징이 강화된 볼륨 자체 인코더 소음 제거 네트워크

본고에서 제시한 특징 강화의 볼륨 자체 인코더 소음 제거 네트워크 FCADNet은 전역 특징 추출 모듈 GFEM, 주의력 추출 모듈 AEM, 동적 특징 강화 모듈 DEM과 이미지 재구성 모듈 IRM으로 구성되어 있다. 예를 들어Fig. 2와 같습니다.네트워크의 입력은 노이즈 원격 감지 이미지로, 먼저 전역 특징 추출 모듈 GFEM을 통해 서로 다른 척도의 얕은 층 특징을 추출한다.그런 다음 4번의 샘플링 작업 및 주의력 추출 모듈 AEM을 통해 다양한 해상도 공간에서 로컬 피쳐 표현을 학습합니다.더 많은 공간 구조화 정보를 융합하기 위해 동적 특징 강화 모듈 DEM을 구축하여 네트워크의 변화 능력을 강화한다.마지막으로, 소음 제거 이미지를 얻기 위해 해당 4차례 샘플링 작업과 이미지 재구성 모듈 IRM을 사용합니다.이미지 재구성 모듈 IRM에서 동적 적응형 블렌드 작업을 사용하여 AMO가 깊고 얕은 계층의 정보 흐름을 적응적으로 융합하여 피쳐 손실을 줄입니다.
figure

Fig. 2 FCADNet network architecture

2.2.1 글로벌 특징 추출 모듈

일반 볼륨에 비해 빈 볼륨은 매개변수 양을 크게 늘리지 않고 이미지 해상도를 유지하면서 감각을 확장할 수 있습니다.이 문서에서 설계한 글로벌 피쳐 추출 모듈 GFEM에는 다음과 같은 4개의 분기가 포함되어 있습니다.Fig. 3와 같습니다.기존의 많은 방법은 팽창률이 1, 3, 5, 7인 공동권적을 사용하지만 고정스텝에 따라 점차적으로 증가하는 이런 팽창률은 쉽게 격자효과를 초래할수 있다.이 문서에서는 공통 볼륨 설계 방법인 HDC(Wang等，2018) 의 3가지 원칙은 톱니 모양의 팽창률 1, 2, 3, 2를 사용하여 계산 영역의 픽셀점 이용률을 높이는 것이다.그런 다음 4개의 브랜치를 피쳐화하여 결합하면 총 채널의 4배가 출력됩니다.마지막으로 1 × 1 볼륨 적층을 사용하여 특징의 차원을 낮추고 전역적인 특징을 얻는다, 프로세스는 다음과 같이 정의됩니다.
식중,노이즈 이미지의 경우일반 볼륨을 위해,피쳐 융합 레이어에 대해함수를 활성화하려면귀일화 계층을 위해공허한 볼륨을 위해,출력 채널의 경우볼륨 코어 크기로,팽창률입니다.
figure

Fig. 3 Global feature extraction module architecture

2.2.2 주의력 추출 모듈

이전의 주의력 메커니즘은 보통 통로나 공간 정보에만 초점을 맞추고 양자의 정보 상호작용을 고려하지 않았다.그 후,CBAM（Woo等，2018) 통로와 공간의 가중치를 각각 추정하고 이를 결합하여 3차원 주의력 메커니즘을 실현하지만 계산 시간이 비교적 길다.그리고 SimAM(Yang等，2021) 이러한 문제를 효과적으로 극복하고 각 피쳐 채널에 대해 유의성을 계산하고 가중치를 부여하여 피쳐 표현을 강화합니다.피쳐 플롯을 다음과 같이 가정합니다.，C, H 및 W가 각각 채널 수, 높이 및 너비인 경우표시 제개의 피쳐 맵 채널입니다.먼저, 각 피쳐 맵 채널에 대해계산 중요도계산 공식은 다음과 같습니다.
식중,와평균과 표준 차이입니다.은 매우 작은 양수로 나누어져 0이 되는 것을 방지합니다.그런 다음 Sigmoid 함수를 사용하여 유의성 점수를 주의력 계수로 매핑합니다.즉,
마지막으로 주의력 계수를원본 피쳐에 적용:
이를 바탕으로 이 문서에서 작성한 주의력 추출 모듈 AEM은 다음과 같습니다.Fig. 2와 같습니다.각 AEM은 먼저 3 × 3 볼륨 적층 두 그룹, 대량 귀일화 레이어 및 활성화 함수 레이어를 통해 중간 피쳐를 얻습니다.그런 다음 향상된 SimAM 피쳐로 중간 피쳐를 보냅니다.. 프로세스는 다음과 같이 정의됩니다.
In the equation,이전 모듈의 마지막 출력 피쳐입니다.

2.2.3 동적 특징 강화 모듈

전통적인 볼륨 작업의 샘플링 위치는 고정되어 있어 목표의 기하학적 변환에 잘 적응할 수 없으며, 가변형 볼륨은 학습 가능한 오프셋 양을 도입하여 복잡한 기하학적 변환을 더 잘 포착할 수 있습니다. 예를 들어Fig. 4와 같습니다.상술한 계발을 받아 이 글은 가변형권적을 통해 동적특징을 구축하여 모듈 DEM을 강화하여 모델의 변환능력을 제고시켰다.일반 볼륨 계산 오프셋은 네트워크의 매개변수 양을 크게 증가시키기 때문에 이 문서에서는 깊이를 사용하여 볼륨을 분리하여 일반 볼륨을 대체합니다.구체적으로, 먼저 깊이를 사용하여 볼륨을 분리하여 오프셋을 얻은 다음, 각 핵 요소의 변형 위치 이동 후의 위치 인덱스를 얻은 다음, 쌍선형 보간 방법을 이용하여 비정수 위치의 특징 값을 얻은 다음, 다시 오프셋 특징 그림을 원래의 특징 도형 모양으로 조합하고, 마지막으로 재구성 특징 그림을 롤업하여 최종 특징 도형을 얻는다. 프로세스는 다음과 같이 정의됩니다.
식중,깊이를 위해 볼륨을 분리,피쳐 맵 함수를 재구성하려면는 이중 선형 보간 함수입니다.오프셋 위치 색인 함수입니다.최종적으로 본고는 두 개의 동적 특징 강화 모듈을 이용하여 더 많은 공간 구조화 정보를 융합시킨다.
figure

Fig. 4 Dynamic feature enhancement module architecture

2.2.4 이미지 재구성 모듈

네트워크 깊이가 증가함에 따라 일부 가장자리와 프로파일과 같은 얕은 레벨 피쳐는 점차 퇴화됩니다.기존의 점프 연결은 다양한 레벨과 크기의 특성을 결합할 때 유연성이 부족합니다.이를 위해 이 글은 얕은 층과 깊은 정보를 적응적으로 융합하는 동적 적응형 혼합 조작 AMO를 설계했다. 예를 들어Fig. 5와 같습니다.주어진와각각 얕은 피쳐와 깊은 피쳐입니다.우선, 접합 조작을 사용하여 초보적인 융합 특징을 얻는다.이어 1×1 볼륨 적층과 Sigmoid 함수를 통해 학습 가능한 융합 가중치 α, 즉
식중,의 범위는 (0, 1)이고 S는 Sigmoid 함수입니다.그런 다음얕은 피쳐에 개별적으로 작용및 심층 피쳐올라와서 융합 특징을 얻다즉,
결국 각 이미지 재구성 모듈 IRM은 AMO와 3 × 3 볼륨 레이어 두 그룹, 대량 귀일화 레이어 및 활성화 함수 레이어로 구성되어 이미지 재구성 특징을 얻습니다. 구체적으로 정의하는 절차는 다음과 같습니다.
이 메서드의 가중치는 가져온 피쳐 맵의 내용에 따라 동적으로 생성되므로 피쳐 융합의 유연성을 높이고 더 많은 세부 피쳐를 유지할 수 있습니다.
figure

Fig. 5 Dynamic adaptive mix-up operation

2.3 비교 감지 손실

본고는 비교 감지 손실을 구축하여 네트워크의 내용 감지 능력을 강화한다.SimCLR(Chen等，2020) 는 동일한 이미지 세트에 대해 양수 및 음수 샘플 쌍을 구성하는 두 가지 향상된 방법을 사용하여 영감을 줍니다.먼저 합성 노이즈 이미지를 깨끗한 이미지의 첫 번째 향상된 샘플로 앵커로 기록합니다.그 후 뒤집기, 색상 변환 및 자르기와 같은 일련의 다른 데이터 향상 기술을 선택하여 두 번째 강화 샘플로 같은 깨끗한 이미지 세트에 적용하여 추가 노이즈를 도입하지 않고 이미지의 시각적 특성을 변경합니다.그 중, 앵커와 그 내용과 같은 증강 샘플은 정 샘플 쌍을 구성하고, 앵커와 그 내용과 다른 증강 샘플은 마이너스 샘플 쌍을 구성한다.대하여각 샘플에 대해 말하자면, 각 샘플은 모두 하나의 정샘플 쌍과개의 마이너스 샘플 쌍, 구축 과정은 다음과 같다.Fig. 6와 같습니다.그런 다음 이 문서에서는 피쳐 공간으로 사전 훈련 모델 VGG19를 선택합니다.다양한 계층의 피쳐 정보를 추출하여 다중 레벨 피쳐 표현에서 앵커 및 강화 샘플 간의 차이를 계산하여 대비 감지 손실을 정의합니다.네트워크에서 이미지의 텍스쳐, 모서리 및 구조 특성을 중점적으로 학습하여 지나치게 매끄러운 현상을 방지합니다.구체적인 계산 공식은 다음과 같다.
식에서 N는 훈련 시 BatchSize의 크기를 나타내고 M는 VGG19의 계층 수를 나타냅니다.는 VGG19의 여러 레이어에 대한 가중치를 제어하는 가중치 계수입니다.표시와사이의범수, 공식은，추출 단계 표시레이어의 VGG19위제개의 노이즈 이미지,위제개의 향상된 샘플,위제Except for the enhanced samples with the same content as the noisy image개의 향상된 샘플.온도 매개 변수샘플 간 거리를 조정합니다.
figure

Fig. 6 Construction process of positive and negative pairs

2.4 복구 손실

이미지의 얕은 구조 정보에 대해손실을 재건 손실로 삼다.비교Loss,손실은 예외 값에 민감하지 않으며 결과를 지나치게 부드럽게 만들지 않으며 이미지 가장자리를 유지하는 데 어느 정도 도움이 됩니다.따라서소음 제거 이미지를 측정하는 손실및 대상 이미지픽셀 레벨 차이가 더 적합합니다.구체적인 계산 공식은 다음과 같다.

2.5 총 변분 손실

이미지 노이즈 제거 작업에서 이전 작업은 정규화 방법으로 각 방향 이성의 총 변분 손실을 많이 사용했습니다.각 이성의 총 변분은 이미지에서 인접한 픽셀 사이의 변화를 최소화함으로써 이미지의 가장자리와 디테일을 더 잘 보존할 수 있습니다.노이즈 제거 이미지는 다음과 같습니다.. 구체적으로 계산 공식은 다음과 같습니다.
식중,이미지 위치 표시의 픽셀 값은Represents the absolute difference between adjacent pixels in the horizontal direction of the image,이미지의 세로 방향에 인접한 픽셀의 차이 절대 값을 나타냅니다.이러한 차이의 절대 값을 계산하고 화합을 구하면 소음 제거 이미지의 총 변분을 효과적으로 얻을 수 있어 소음을 더욱 제거할 수 있다.

2.6 Joint loss function

마지막으로 본고는 재건손실, 총변분손실과 대비감지손실의 가중합계를 전체적인 최적화목표로 삼는다.이 결합 손실 함수는 다음과 같이 정의됩니다.
식중,서로 다른 손실 기여도를 제어하는 하이퍼매개변수를 나타냅니다.

3 실험 설정 및 결과 분석

3.1 실험 설정

실험에 사용된 환경은 Python3.8, PyTorch 1.11.0, MindSpore 및 NVIDIA A100 Tensor Core GPU이며 CUDA 버전은 11.3입니다.훈련 과정에서 대량 크기를 16으로 설정하고 훈련 epoch의 총 수량은 150이고 초기 학습률은 0.0001이며 Adam 최적화기를 사용하여 모델을 훈련합니다. 지수 쇠퇴율은 베타 1 및 베타 2 각각 0.99입니다.경도 폭발을 피하기 위해 여현 퇴화 전략을 사용하여 학습률을 조정한다.경험에 따라 벌칙 매개 변수 람다 1, 람다 2와 람다 3를 각각 1, 0.1 및 1e-4로 설정합니다.또한 비교 학습의 온도 매개변수 를 0.1로 설정합니다.잠재적 특징 공간의 통일된 구속은 사전 훈련 모델인 VGG19에서 총 1, 3, 5, 9, 13층의 총 5층의 잠재적 특징을 추출하여 각각 VGG19의 각 단계의 첫 번째 볼륨층에 대응한다.동시에 그에게 적합한 가중치 계수 m 를 분배하는데, 각각 1/32, 1/16, 1/8, 1/4, 1이다. 이러한 가중치 계수는 VGG19의 각 단계의 공간 해상도의 압축 배수와 반비례하여 지수 형식의 가중치 정책을 형성한다.

3.2 Dataset Settings

본고의 연구 대상은 가시광선 원격 탐지 영상이다.합성 노이즈 실험의 경우 2개의 원격 감지 장면의 기준 데이터 세트를 사용합니다.NWPU-RESISC45 데이터 세트(Cheng等，2017）It contains 45 types of scenes, each with 700 images, with an image size of 256 × 256 and a spatial resolution of 0.2-30m. 600 images are randomly selected from each class as the training set, and the remaining 4500 images are used as the testing set. UC Merced Land Use Dataset（Yang和Newsam，2010) 에는 각 클래스에 100장, 이미지 크기는 256×256, 공간 해상도는 0.3m의 21가지 유형의 장면이 포함되어 있습니다. 각 클래스에서 50장을 보조 테스트 세트로 무작위로 추출합니다.그런 다음 각각 σ=[0,75]의 가성 수직 줄무늬 소음, L=[0,75]의 산반 소음, I=[0,75]의 가성 수직 줄무늬 소음을 사용하여 그것들을 파괴한다. 그 중에서 σ, L, , , L, , , , , , , 의 가성 수직
이 글의 방법의 유효성을 한층 더 증명하기 위하여 길림1호위성이 2022년 11월 6일에 획득한 0.5m + 2m 남짓한 스펙트럼묶음수치를 채용하여 L1급제품이다.영상구역은 호북성 형문시로서 111 ° 51 ′ E-113 ° 29 ′ E와 30 ° 32 ′ N-31 ° 36 ′ N에 위치한다. 여기서 30장의 소음이 있는 하위 이미지를 재단하여 소형 시험집을 구성한다. 이미지 크기는 256 × 256이다. 이미지 유형은 주로 건설용지, 수체, 주민구역과 공장 등을 포함한다.또한 이 문서는 AID 데이터 세트(Xia等，2017) 에서 0.5~8.0m의 이미지 해상도와 600 × 600의 이미지 크기를 가진 실제 노이즈를 포함하는 원격 감지 이미지를 선택했습니다.이 문서는 노이즈가 뚜렷한 교량 클래스 이미지를 테스트 데이터로 선택하고 256 × 256의 이미지 크기로 총 20장으로 재단합니다.

3.3 비교 방법 및 평가 지표

본고는 전통적인 소음 제거 방법인 BM3D(Dabov等，2007), 두 가지 감독 잡음 제거 방법 DnCNN (Zhang等，2017) 및 FFDNet(Zhang等，2018）3 self supervised denoising methods Ne2Ne（Huang等，2022）、DAA-SSID（Liu等，2023a）And SA-SSID（Li等，2023), 그리고 두 가지 감독되지 않는 소음 제거 방법 Nr2N(Moran等，2020) 및 GR2R(Liu等，2023b）。지상 진가가 존재하는 합성 노이즈 데이터 세트의 경우, 이 글은 피크 노이즈 비율 PSNR과 구조 유사성 지수 SSIM을 평가 지표로 사용하는데, 둘 다 수치가 높을수록 이미지 품질이 좋다는 것을 나타내며, 그 중 SSIM의 수치 범위는 0-1이다.상응하는 지상 진가가 없는 실제 소음 데이터 세트에 대해 이 글은 참고가 없는 이미지 품질 평가 BRISQUE(Mittal等，2012) 및 NIQE(Mittal等，2013) 평가 기준으로 둘 다 점수가 낮을수록 이미지 품질이 우수함을 나타냅니다.

3.4 노이즈 데이터 세트 작성 결과 분석

실험에서 PSNR과 SSIM을 사용하여 다양한 방법의 노이즈 제거 성능을 평가합니다.가우스 노이즈 수준이 σ가 10, 25, 50 및 75일 때 NWPU-RESISC45 및 UC Merced Land Use와 같은 두 원격 데이터 세트에서 이 방법과 다른 방법의 노이즈 제거 효과를 비교했습니다. 그 정량 결과는 다음과 같이 분석되었습니다.Table 1와 같습니다.이로부터 알수 있는바 이 글의 방법이 부동한 수준의 고스소음에서 모두 가장 좋은 결과를 거두었고 그다음은 DnCNN이다.σ=10 및 σ=25 이 두 가지 낮은 노이즈 수준에서 GR2R의 노이즈 제거 성능은 DAA-SSID보다 우수하지만 노이즈 수준이 증가함에 따라 DAA-SSID의 정량 지표는 GR2R을 역전시켰다.이는 GR2R이 랜덤 마스크를 사용하여 노이즈 모델을 생성하면 픽셀 정보가 손실되기 때문입니다.DAA-SSID는 여러 차례 무작위 버누리 샘플링을 통해 정보 손실을 방지하고 높은 소음 수준에 직면하여 어느 정도 우위를 가진다.또 BM3D와 Nr2N은 두 데이터 세트에서 최악의 결과를 얻었다.이는 BM3D가 낮은 노이즈 수준에서 비슷한 이미지 블록을 정확하게 찾아 변환과 필터를 통해 노이즈를 제거할 수 있지만, 노이즈 수준이 증가함에 따라 비슷한 블록 일치의 정확성이 낮아져 노이즈 제거 과정에 오차가 도입되기 때문이다.Nr2N은 훈련 중에 새로운 노이즈를 사용하여 원래 노이즈 이미지를 다시 손상시켜 노이즈 간섭이 높은 상황에서도 노이즈를 잘 제거하지 못합니다.

Table 1 Quantitative metrics of denoising on gaussian noise by different methods

数据集方法平均PSNR平均SSIM
PSNRSSIMPSNRSSIMPSNRSSIMPSNRSSIM
NWPU-RESISC45BM3D32.790.91329.210.80225.130.65124.020.56827.790.73
DnCNN31.180.86626.410.698
FFDNet32.110.94529.350.87327.770.76526.350.69228.900.82
Nr2N32.470.90728.620.79125.860.65524.320.57027.820.73
Ne2Ne34.210.92229.640.81127.430.73626.130.67629.350.79
GR2R36.730.95628.020.75226.070.64630.560.81
DAA-SSID35.570.94931.180.87228.260.77530.420.83
FCADNet37.520.95832.910.88729.910.80528.300.74632.160.85
UC Merced Land UseBM3D31.430.90828.250.80125.210.68123.150.58727.010.74
DnCNN30.750.87126.090.717
FFDNet29.680.92527.640.86527.030.78225.810.71027.540.82
Nr2N31.270.89328.010.79125.440.68323.750.59327.120.74
Ne2Ne33.160.91429.310.81927.080.74925.760.69628.830.79
GR2R（35.050.93827.760.76725.760.66829.870.81
DAA-SSID34.350.93530.430.86727.950.78929.760.83
FCADNet38.570.96732.860.89129.830.82527.030.73632.070.85
또한,Table 2산반 소음이 (0, 75) 이고 줄무늬 소음이 (0, 75) 일 때 서로 다른 방법의 소음 제거 정량 지표를 열거했다.BM3D는 주로 가성 고스 노이즈를 대상으로 설계되었기 때문에 산반 노이즈와 구조성이 비교적 강한 스트라이프 노이즈 처리 효과가 제한적이기 때문에 이 2가지 노이즈의 대비 실험에서 BM3D를 대비 방법으로 삼지 않는다.또한 이 문서의 방법론의 혁신성을 더욱 잘 검증하기 위해 최신 자체 감독 방법론인 SA-SSID를 도입하여 비교하였다.에 의하여Table 2NWPU-RESISC45와 UC Merced Land Use 2개의 원격 감지 데이터 세트에서 FCADNet은 다른 방법의 PSNR보다 각각 1.06~7.47dB, 0.77~7.26dB 더 많은 잡음을 제거하는 데 가장 효과적이라는 것을 알 수 있다. 스트라이프 잡음을 관찰한 실험 결과 Ne2Ne와 DAA-SSID는 스트라이프 잡음을 제거할 수 없다. 이는 서로 구조적인 잡음이기 때문이다.또한 SA-SSID는 로컬 원거리 도메인 정보를 사용하여 이미지를 재구성하여 노이즈 독립성에 대한 의존도를 완화하고 공간 관련성 노이즈에 대한 적응성을 제공하지만 방향성이 강하고 전역적으로 일관된 수직 스트라이프 노이즈의 경우 FCADNet과 DnCNN보다 가짜 감독 신호를 잘 구성할 수 없습니다.

Table 2 Quantitative metrics for denoising different methods on speckle noise and stripe noise

数据集噪声类型指标DnCNNFFDNetNr2NNe2NeGR2RDAA-SSIDSA-SSIDFCADNet
NWPU-RESISC45散斑噪声L=［0，75］PSNR36.1331.2630.2833.5633.4534.3837.75
SSIM0.9310.9240.8360.9000.9210.9290.956
条纹噪声I=［0，75］PSNR26.7735.7020.3226.4522.1538.9242.81
SSIM0.8100.9670.5990.7830.6780.9710.991
UC Merced Land Use散斑噪声L=［0，75］PSNR33.4529.2828.1231.7730.4432.2535.38
SSIM0.9030.8930.7840.8710.9050.9000.942
条纹噪声I=［0，75］PSNR25.0932.2820.7325.9621.5636.7740.36
SSIM0.7900.9220.6490.7970.6690.9290.980
노이즈 레벨 25의 경우 그림Fig. 7—Fig. 9각기 다른 방법으로 고스 소음, 산반 소음, 줄무늬 소음을 제거한 시각화 결과를 보여준다.관찰Fig. 7대부분의 테니스 코트에서 알 수 있듯이,BM3D（Fig. 7) 및 Nr2N(Fig. 7) 가우스 노이즈를 제거한 후 세부 사항이 손실되었으며 테니스 코트의 흰색 실선이 심하게 흐려졌습니다.다른 방법에 비해FCADNet（Fig. 7) 는 비교적 완전한 장소 디테일을 보존했다.에서Fig. 8의 확대 영역에서 볼 수 있습니다.DnCNN（Fig. 8) 잡음을 제거한 후 날개에 붉은 그림자가 나타났고 FFDNet(Fig. 8) 날개와 배경에서 흰색 영역에서 비교적 심각한 위영 현상이 나타났다.DAA-SSID（Fig. 8) 및 SA-SSID(Fig. 8) 잡음을 제거한 후 이미지 배경에 약간의 과부드러움이 나타났습니다.FCADNet（Fig. 8) 얻은 소음 제거 이미지는 비행장의 지상 흰색 실선을 비교적 잘 보존했다.관찰Fig. 9알 수 있듯이,FFDNet（Fig. 9) 스트라이프 노이즈를 제거한 후 많은 가짜 그림자가 나타났습니다.DnCNN（Fig. 9）、Nr2N（Fig. 9）、Ne2Ne（Fig. 9）、GR2R（Fig. 9) 및 SA-SSID(Fig. 9) 결과 노이즈 제거 이미지 배경에는 DAA-SSID(Fig. 9) 에서 얻은 소음 제거 이미지에 배경 노출 현상이 나타났다.대조적으로,FCADNet（Fig. 9) 는 스트라이프 노이즈를 효과적으로 제거합니다.
figure
figure
figure
figure
figure
figure
figure
figure
figure
figure

Fig.7 Denoising results of different methods when gaussian noise σ=25

figure
figure
figure
figure
figure
figure
figure
figure
figure
figure

Fig. 8 Denoising results of different methods when speckle noise L=25

figure
figure
figure
figure
figure
figure
figure
figure
figure
figure

Fig. 9 Denoising results of different methods when stripe noise I=25

또한 본고는 높은 수준의 소음의 간섭에서 서로 다른 방법이 간단한 무늬 이미지와 복잡한 무늬 이미지에 대해 소음을 제거하는 차이를 비교했다.여기서 UC Merced Land Use 데이터 세트의 공항 클래스와 주거지 클래스를 각각 50장씩 단순한 텍스처와 복잡한 텍스처의 실험 대상으로 선택합니다.정량 결과와 시각 결과는 각각 볼 수 있다Table 3andFig. 10FromTable 3이를 통해 알 수 있듯이 이 방법은 소음을 제거하는 효과가 더 좋다. 소음을 제거하기 전보다 PSNR은 각각 15.27dB와 15.05dB, SSIM은 각각 0.575와 0.576 높아졌다.또한 FCADNet은 최신 DAA-SSID에 비해 노이즈가 보충된 후 얻은 단순한 텍스쳐와 복잡한 텍스쳐 이미지를 제거한 PSNR이 DAA-SSID가 얻은 것보다 각각 1.84dB와 2.02dB 높았다. 또한,Fig. 10Displayed the visualization results of both in simple texture and complex texture images. For airplanes in simple texture images, DAA-SSID can be seen（Fig. 10) 날개 그림자에 붉은 그림자가 나타났다.또한 복잡한 텍스쳐 이미지의 집에 대해FCADNet（Fig. 10) 잡음 제거 이미지에서 수관 텍스쳐가 더욱 선명해집니다.이것은 이 방법이 원격 감지 이미지에서 복잡한 텍스쳐 영역의 노이즈를 효과적으로 제거할 수 있음을 나타냅니다.

Table 3 Comparison of denoising effect on simple and complex textures remote sensing images

类型指标噪声图像DAA-SSIDFCADNet
简单纹理（飞机场类）PSNR14.2427.67（+13.43）29.51（+15.27）
SSIM0.2460.788（+0.542）0.821（+0.575）
复杂纹理（住宅区类）PSNR14.1527.18（+13.03）29.20（+15.05）
SSIM0.2330.782（+0.549）0.809（+0.576）
figure
figure
figure
figure
figure
figure
figure
figure

Fig. 10 Denoising results for simple texture and complex texture images under high level of noise

3.5 실제 노이즈 데이터 세트의 결과 분석

이 섹션에서는 비참조 평가 지표인 BRISQUE 및 NIQE를 사용합니다.길림 1호 위성의 실제 소음 원격 탐지 데이터 세트에서 본고의 방법과 다른 방법의 소음 제거 효과를 비교했는데 그 중에서 비참고 평가 지표는 다음과 같다.Table 4와 같습니다.Fig. 11지린 1호의 실제 소음 원격 탐지 영상을 제거하는 다른 방법의 시각화 결과를 열거했다.실제 노이즈의 분포는 알려지지 않았기 때문에 블라인드 노이즈 제거를 사용하며 모든 방법은 노이즈 모델 σ=10을 사용하여 노이즈 제거 평가를 수행합니다.에 의하여Table 4지린 1호 위성이 획득한 실제 소음 이미지를 처리할 때 Nr2N과 Ne2Ne의 소음 제거 효과가 가장 떨어진다는 것을 알 수 있다.이에 비해 이 글의 방법은 더욱 우수한 소음제거성능을 보여주었다.에 의하여Fig. 11가시성,Nr2N（Fig. 11) 및 Ne2Ne(Fig. 11) 노이즈를 제거하면 이미지 배경에 많은 노이즈가 도입됩니다.BM3D（Fig. 11) 노이즈를 제거하면 수면과 바닥과 같은 색상이 단일한 저포화 영역에서 색상 오프셋이 발생합니다.다른 방법으로는 노이즈 제거 이미지 배경이 흐릿하지만 FCADNet(Fig. 11)가 가장 선명하게 표시됩니다.

Table 4 Comparison of denoising effects of different methods on real noisy remote sensing images of Jilin 1

指标噪声图像BM3DDnCNNFFDNetNr2NNe2NeGR2RDAA-SSIDFCADNet
BRISQUE↓30.4324.4622.3627.8945.2633.6126.8519.3418.15
NIQE↓5.505.064.335.1511.559.695.214.624.29
figure
figure
figure
figure
figure
figure
figure
figure
figure

Fig.11 Denoising results of different methods in real noisy remote sensing images of Jilin 1

또한 이 섹션에서는 AID 데이터 세트의 실제 노이즈 원격 감지 데이터에서 다양한 방법의 노이즈 제거 성능을 평가합니다.Table 5다양한 방법으로 노이즈를 제거한 후 얻은 평가 지표를 나열합니다.에서Table 5에서 본고의 방법은 가장 좋은 소음 제거 결과를 얻었고 실제 소음을 효과적으로 제거할 수 있음을 알 수 있다.이와 동시에 부동한 방법의 소음제거효과를 더욱 직관적으로 비교하기 위해Fig. 12에서는 AID 데이터 세트의 시각적 결과를 나열합니다.가시성,BM3D（Fig. 12）、DnCNN（Fig. 12）、FFDNet（Fig. 12）、GR2R（Fig. 12) 및 DAA-SSID(Fig. 12) 노이즈를 제거한 후 얻은 노이즈 제거 이미지는 모두 다른 정도의 배경 흐림이 발생했습니다.그리고 Nr2N(Fig. 12) 및 Ne2Ne(Fig. 12) 결과 잡음 제거 이미지에는 여전히 잡음이 뚜렷하게 남아 있어 실제 잡음을 효과적으로 제거할 수 없음을 나타냅니다.이러한 방법에 비해 본고의 방법은 소음 제거 이미지가 가장 뚜렷하고 배경이 모호한 상황도 발생하지 않았다.

Table 5 Comparison of denoising effect of different methods on real noisy remote sensing images in AID dataset

指标噪声图像BM3DDnCNNFFDNetNr2NNe2NeGR2RDAA-SSIDFCADNet
BRISQUE↓30.8928.4225.1722.4147.5538.6327.5113.5310.21
NIQE↓6.525.935.294.9712.2310.725.344.373.73
figure
figure
figure
figure
figure
figure
figure
figure
figure

Fig.12 Denoising results of different methods for real noisy remote sensing images in AID dataset

3.6 융해 실험

이 실험은 모두 σ=25의 NWPU-RESISC 45 데이터 세트를 사용하여 PSNR과 SSIM을 이용하여 정량 평가를 실시한다.

3.6.1 서로 다른 모듈의 유효성 분석

먼저, 비교 베이스라인으로 기초 네트워크를 구축하여 4개의 하위 샘플링 계층, 16개의 볼륨 계층, 4개의 상위 샘플링 계층으로 구성한다.동적 적응형 혼합 조작 AMO의 유효성을 검증하기 위해 전통적인 점프 연결 조작 SC를 대조로 도입한다.Table 6에는 서로 다른 모듈 간의 조합을 사용한 정량 결과가 나열되어 있습니다.이를 통해 PSNR은 Base에서 Base+GFEM, Base에서 Base+GFEM+SimAM으로 각각 0.21dB와 0.68dB 증가했으며 SimAM은 매개변수 양을 추가하지 않았음을 알 수 있습니다.여기에 DEM을 추가하면 소음 제거 성능이 크게 향상돼 PSNR은 1.2dB 증가했다. SC와 AMO를 살펴보면 AMO로 SC를 대체하면 PSNR은 1.03dB 향상되지만 참가량은 0.59M 감소했다. SC의 정적 결합보다 특징 융합의 유연성이 높아져 세부 특징을 더 많이 보존할 수 있기 때문이다.

Table 6 Comparison of quantitative results for different module combinations

模块组合方式参数量/106MPSNRSSIM
Base6.6528.830.845
Base+GFEM6.6829.040.846
Base+GFEM+SimAM6.6829.510.851
Base+GFEM+SimAM+DEM6.9630.710.858
Base+GFEM+SimAM+DEM+SC7.7131.880.861
Base+GFEM+SimAM+DEM+AMO7.1232.910.887
또한,Fig. 13GFEM과 4개의 AEM 모듈의 특징에 대한 열도를 시각화하여 그 다자도 특징 추출 능력과 주의력 초점 능력을 더욱 직관적으로 보여준다.에서Fig. 13두 항공기의 가장자리 구조와 부분적 텍스처 세부 사항을 볼 수 있으며, GFEM 모듈이 초기 단계에서 기본 텍스처 정보와 가장자리 특징을 효과적으로 추출할 수 있음을 나타냅니다.에 의하여Fig. 13- (e) AEM이 단계별로 샘플링됨에 따라 모델은 핵심 의미 영역에 대한 응답과 초점 능력을 점차 향상시켜 배경 소음을 효과적으로 억제한다는 것을 알 수 있다.
figure
figure
figure
figure
figure
figure

Fig.13 Heatmap of the module's feature visualisation

3.6.2 효율성 분석

이 섹션에서는 다양한 방법의 부동 소수점 연산 FLOPs 및 패라메트릭 Params를 비교하고 모든 모델은 thop을 사용하여 계산합니다. 결과는 다음과 같습니다.Table 7와 같습니다.Nr2N, Ne2Ne, GR2R은 모두 DnCNN을 소음 제거 기본 네트워크로 사용하기 때문에 FLOPs와 Params는 DnCNN과 같습니다.FLOPs는 SA-SSID가 가장 우수하지만 FCADNet의 FLOPs는 DnCNN 기반 노이즈 제거 방법에 비해 더 낮습니다.Params의 경우 DnCNN 기반 노이즈 제거 방법이 가장 우수하지만 FCADNet은 최신 자체 감독 방법에 비해 낮은 매개변수 양을 얻었습니다.종합적으로 FCADNet은 둘 사이에서 좋은 균형을 이루었다.

Table 7 Efficiency analysis of different methods

方法FLOPs/109GParams/106M
DnCNN36.720.56
FFDNet14.030.85
Nr2N36.720.56
Ne2Ne36.720.56
GR2R36.720.56
DAA-SSID262.1134.53
SA-SSID8.802.33
FCADNet30.491.96

3.6.3 손실 함수의 유효성 분석

이 실험은 모두 FCADNet에서 진행되었으며 L1손실, 총변분손실LTV와 제시된 대비감지손실LCP를 서로 다른 조합하여 소음제거효과를 분석하였는데 그 정량지표는 다음과 같다Table 8As shown. fromTable 8中可以得知，仅使用L1的去噪性能优于仅使用LTV的去噪性能。但从L1到L1+LTV和LTV到L1+LTV，PSNR分别增加了1.28 dB和1.57 dB，表明将L1和LTV结合会得到更好的效果。因为L1只考虑像素级别的差异，忽略了图像的结构和纹理信息。而LTV通过最小化去噪图像的梯度总和来减少噪声，单独使用往往会导致图像过度平滑。但两者结合使用会获得更好的去噪结果。另外，从L1+LTV到L1+LTV+LCP，PSNR提高了1.2 dB，验证了LCP的有效性。

Table 8 Comparison of quantitative results for different loss function combinations

损失函数组合方式PSNRSSIM
L130.430.868
LTV30.140.862
L1+LTV31.710.881
L1+LTV+LCP32.910.887

4 Conclusion

광학 원격 탐지 이미지는 더욱 풍부한 텍스쳐 특징을 포함하고 있으며, 기존의 소음 제거 방법은 소음을 제거할 때 디테일이 손실되고 배경이 모호해지는 현상이 발생하기 쉽다.이밖에 광학원격감지영상의 경우 감독이 있는 학습원가가 비교적 높다.이러한 도전에 대응하기 위해 본고는 특징 강화와 대비 학습을 바탕으로 하는 자체 감독 원격 감지 이미지 소음 제거 알고리즘을 제시했는데 소음 제거 지점과 대비 지점으로 구성된다.노이즈 제거 분기에서 이 글은 특징이 강화된 볼륨 자체 인코더 노이즈 제거 네트워크 FCADNet을 설계했다. 먼저 전역 특징 추출 모듈 GFEM을 사용하여 서로 다른 척도의 얕은 윤곽 특징을 얻는다.그런 다음 인코더 단계에서 SimAM을 결합하여 이미지의 로컬 세부 정보에 초점을 맞춥니다.그런 다음 동적 특성 향상 모듈 DEM을 통해 더 많은 공간 구조 정보를 통합합니다.마지막으로 동적 적응형 블렌드 작업을 도입하여 AMO는 얕은 레벨 피쳐와 깊은 레벨 피쳐를 적응적으로 유지합니다.이밖에 대비분지는 소음영상이 휴대한 정보를 충분히 리용하여 적합한 양과 음 견본쌍을 구축하여 특징공간에서 대비감지손실을 계산한다.이와 동시에 총변분손실과 재건손실을 사용하여 네트워크의 소음제거능력을 한층 더 향상시켜야 한다.NWPU-RESISC 45 및 UC Merced land use 데이터 세트에서 다른 소음 제거 방법에 비해 이 문서에서 제안한 방법은 다양한 소음 유형에서 비교적 좋은 소음 제거 효과를 거두었습니다.또한 지린 1호 위성 데이터와 AID 데이터가 집중된 실제 소음 원격 탐지 영상에서 본고가 제시한 방법도 만족스러운 소음 제거 결과를 얻어 본고의 방법의 유효성을 한층 더 검증했다.

References

  1. 1.
    Chen T, Kornblith S, Norouzi M and Hinton G. 2020. A simple framework for contrastive learning of visual representations//Proceedings of the 37th International Conference on Machine Learning. [s.l.]: JMLR.org: 149 [DOI: 10.48550/arXiv.2002.05709]
  2. 2.
    Cheng G, Han J W and Lu X Q. 2017. Remote sensing image scene classification: benchmark and state of the art. Proceedings of the IEEE, 105(10): 1865-1883
  3. 3.
    Cheng L B, Du W L, Li Z and Jia X N. 2025. AFEV-INet: Adaptive feature extraction variational interactive network for remote sensing image denoising. Multimedia Systems, 31(2): 90
  4. 4.
    Dabov K, Foi A, Katkovnik V and Egiazarian K. 2007. Image denoising by sparse 3-D transform-domain collaborative filtering. IEEE Transactions on Image Processing, 16(8): 2080-2095
  5. 5.
    Feng Y C, Jiang J W, Xu H H and Zheng J W. 2023. Change detection on remote sensing images using dual-branch multilevel intertemporal network. IEEE Transactions on Geoscience and Remote Sensing, 61: 4401015
  6. 6.
    Geng H, Gu Z X, Weng L Y and Yu J. 2023. A non-local image denoising method based on TV-L1 with variable exponents//Proceedings Volume 12705, Fourteenth International Conference on Graphics and Image Processing (ICGIP 2022). Nanjing: SPIE: 707-715
  7. 7.
    Han L T, Zhao Y C, Lv H Y, Zhang Y S, Liu H L and Bi G L. 2022. Remote sensing image denoising based on deep and shallow feature fusion and attention mechanism. Remote Sensing, 14(5): 1243
  8. 8.
    Huang T, Li S J, Jia X, Lu H C and Liu J Z. 2022. Neighbor2Neighbor: a self-supervised framework for deep image denoising. IEEE Transactions on Image Processing, 31: 4023-4038
  9. 9.
    Jia H B, Yin Q B and Lu M Y. 2022. Blind-noise image denoising with block-matching domain transformation filtering and improved guided filtering. Scientific Reports, 12(1): 16195
  10. 10.
    Lehtinen J, Munkberg J, Hasselgren J, Laine S, Karras T, Ai-ttala M and Aila T. 2018. Noise2Noise: learning image restoration without clean data//Proceedings of the 35th International Conference on Machine Learning. Stockholm: PMLR: 2965-2974
  11. 11.
    Li J, Lin L P, He M G, He J, Yuan Q Q and Shen H F. 2024. Sentinel-1 dual-polarization SAR images despeckling network based on unsupervised learning. IEEE Transactions on Geoscience and Remote Sensing, 62: 1-15
  12. 12.
    Li J Y, Zhang Z L, Liu X Y, Feng C Y, Wang X T and Lei L. 2023. Spatially adaptive self-supervised learning for real-world image denoising//Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver: IEEE: 9914-9924
  13. 13.
    Liu M H, Jiang W Z, Liu W F, Tao D P and Liu B D. 2023a. Dynamic adaptive attention-guided self-supervised single remote-sensing image denoising. IEEE Transactions on Geoscience and Remote Sensing, 61: 4704511
  14. 14.
    Liu Y K, Wan B W, Shi D M and Cheng X C. 2023b. Generative recorrupted-to-recorrupted: an unsupervised image denoising network for arbitrary noise distribution. Remote Sensing, 15(2): 364
  15. 15.
    Luo Z Z, Wang X Y, Pellikka P, Heiskanen J and Zhong Y F. 2024. Unsupervised adaptation learning for real multiplatform hyperspectral image denoising. IEEE Transactions on Cybernetics, 54(10): 5781-5794
  16. 16.
    Mittal A, Moorthy A K and Bovik A C. 2012. No-reference image quality assessment in the spatial domain. IEEE Transactions on Image Processing, 21(12): 4695-4708
  17. 17.
    Mittal A, Soundararajan R and Bovik A C. 2013. Making a “completely blind” image quality analyzer. IEEE Signal Processing Letters, 20(3): 209-212
  18. 18.
    Moran N, Schmidt D, Zhong Y and Coady P. 2020. Noisier2Noise: learning to denoise from unpaired noisy data//Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE: 12061-12069
  19. 19.
    Pan Y Z, Liu X, Liao X Y, Cao Y Z H and Ren C. 2023. Random sub-samples generation for self-supervised real image denoising//Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Paris: IEEE: 12116-12125
  20. 20.
    Tao C, Qi J, Guo M N, Zhu Q and Li H F. 2023. Self-supervised remote sensing feature learning: learning paradigms, challenges, and future works. IEEE Transactions on Geoscience and Remote Sensing, 61: 1-26
  21. 21.
    Thai D H, Fei X Q, Le M T, Züfle A and Wessels K. 2023. Riesz-Quincunx-UNet variational autoencoder for unsupervised satellite image denoising. IEEE Transactions on Geoscience and Remote Sensing, 61: 5404519
  22. 22.
    Wang P Q, Chen P F, Yuan Y, Liu D, Huang Z H, Hou X D and Cottrell G. 2018. Understanding convolution for semantic segmentation//2018 IEEE Winter Conference on Applications of Computer Vision (WACV). Lake Tahoe: IEEE: 1451-1460
  23. 23.
    Wang Z, Wei J Z, Wang Y and Li Q. 2024c. Remote sensing image denoising algorithm based on improved transformer network//Proceedings Volume 13182, 2024 International Conference on Optoelectronic Information and Optical Engineering (OIOE 2024). Kunming: SPIE: 169-176
  24. 24.
    Wang Z B, Chang H, Bai L, Chen L F and Bi X L. 2024a. A creative weak supervised semantic segmentation for remote sensing images. IEEE Transactions on Geoscience and Remote Sensing, 62: 1-13
  25. 25.
    Wang Z B, He X Q, Xiao B, Chen L F and Bi X L. 2024b. RSID-CR: remote sensing image denoising based on contrastive learning. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 17: 18784-18799
  26. 26.
    Woo S, Park J, Lee J Y and Kweon I S. 2018. CBAM: convolutional block attention module//Proceedings of the 15th European Conference on Computer Vision – ECCV 2018. Munich: Springer: 3-19
  27. 27.
    Xia G S, Hu J W, Hu F, Shi B G, Bai X, Zhong Y F, Zhang L P and Lu X Q. (2017). AID: a benchmark data set for performance evaluation of aerial scene classification. IEEE Transactions on Geoscience and Remote Sensing, 55(7): 3965-3981
  28. 28.
    Yang L X, Zhang R Y, Li L D and Xie X H. 2021. SimAM: a simple, parameter-free attention module for convolutional neural networks//Proceedings of the 38th International Conference on Machine Learning. [s.l.]: PMLR: 11863-11874
  29. 29.
    Yang Y and Newsam S. 2010. Bag-of-visual-words and spatial extensions for land-use classification//Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems. San Jose: Association for Computing Machinery: 270-279
  30. 30.
    Yu B W, Zhou Y F, Liu X and Wang X G. 2022. A non-local means based multiplicative denoising method for image processing//Proceedings of the 6th International Technical Conference on Advances in Computing, Control and Industrial Engineering (CCIE 2021). Singapore: Springer: 763-773
  31. 31.
    Zhang D, Zhou F F, Jiang Y W and Fu Z M. 2023a. MM-BSN: self-supervised image denoising for real-world with multi-mask based on blind-spot network//Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Vancouver: IEEE: 4189-4198
  32. 32.
    Zhang J, Lu M X, Li J K, Xu D Y, Huang W X and Shi X P. 2024. Residual dense convolutional autoencoder for high noise image denoising. Computer Science, 51(6A): 230400073
  33. 33.
    Zhang K, Zuo W M, Chen Y J, Meng D Y and Zhang L. 2017. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising. IEEE Transactions on Image Processing, 26(7): 3142-3155
  34. 34.
    Zhang K, Zuo W M and Zhang L. 2018. FFDNet: toward a fast and flexible solution for CNN-based image denoising. IEEE Transactions on Image Processing, 27(9): 4608-4622
  35. 35.
    Zhang Y, Bai L, Wang Z B, Fan M, Jurek-Loughrey A, Zhang Y Q, Zhang Y, Zhao M and Chen L F. 2023b. Oil well detection under occlusion in remote sensing images using the improved YOLOv5 model. Remote Sensing, 15(24): 5788

더 읽기

The above content is generated by Large Model Translation. The translated content is for reference only. We do not assume any commercial or legal responsibilty for any consequences arising from the use of our website