원격 감지 영상의 의미론적 분할은 토지 피복 및 이용 분류, 도시 계획 및 변화 감지 분야에서 중요한 역할을 한다. 도메인 적응 기술은 매우 유망한 비지도 학습 방법으로서 원격 감지 영상 의미론적 분할 발전을 크게 촉진하였다. 그러나 기존 모델들은 단일 작업 기반 학습에 의존하여 학습된 분할 특징이 충분하지 않아 분할 과정에서 원격 감지 영상의 복잡한 영역을 정확히 인식하기 어려운 문제가 있다. 이를 해결하기 위해 본 논문에서는 다중 작업 학습 도메인 적응 의미론적 분할 네트워크 MTLDANet(Muti-Task Learning Domain Adaption Network)을 제안하였다. 해당 네트워크는 원격 감지 영상 내 의미 정보와 고도 정보를 협동 학습하여 분할 특징 학습 능력을 향상시킨다. 구체적으로, 이 방법은 작업 특화 의미 특징과 고도 특징을 작업 간 특징 연관 학습 모듈에 입력하여 작업 간 잠재적 상관관계를 발굴하고, 더 강력한 작업 특화 특징 표현을 얻으며, 가짜 라벨 지도의 혼합 일관성 학습 모듈을 통해 가짜 라벨 품질을 향상시켜 전역 및 지역 정렬을 실현한다. 또한, 엔트로피 기반 클래스 수준 정렬 모듈은 분류가 어려운 클래스의 구분성을 더욱 강화한다. 마지막으로, ISPRS 2D 및 US3D 데이터셋을 기반으로 4개의 교차 장면 원격 감지 영상 의미론적 분할 실험을 수행하였다. 결과는 제안된 방법이 다양한 복잡한 교차 도메인 장면에서 기존 도메인 적응 방법보다 현저히 우수함을 보여준다.
关键词
의미론적 분할; 비지도 도메인 적응; 원격 감지 영상; 다중 작업 학습; 고도 정보; 의미 정보; 가짜 라벨; 엔트로피