Segmentation sémantique non supervisée par apprentissage collaboratif multitâche et adaptation de domaine des images de télédétection

WANG Yu ,  

FENG Yuting ,  

GONG Sishi ,  

MAO Yanqin ,  

LI Shengwen ,  

FANG Fang ,  

ZHOU Shunping ,  

摘要

La segmentation sémantique des images de télédétection joue un rôle important dans la classification de la couverture et de l'utilisation des terres, la planification urbaine et la détection des changements. La technique d'adaptation de domaine, en tant que méthode d'apprentissage non supervisée prometteuse, a grandement favorisé le développement de la segmentation sémantique des images de télédétection. Cependant, les modèles existants sont basés sur un apprentissage à tâche unique, ce qui rend les caractéristiques de segmentation apprises insuffisantes et rend difficile la reconnaissance précise des régions complexes dans les images de télédétection pendant le processus de segmentation. Pour résoudre ce problème, cet article propose un réseau de segmentation sémantique d'adaptation de domaine multitâche MTLDANet (Muti-Task Learning Domain Adaption Network), qui améliore la capacité d'apprentissage des caractéristiques de segmentation par un apprentissage collaboratif des informations sémantiques et d'altitude dans les images de télédétection. Plus précisément, cette méthode entre des caractéristiques sémantiques et d'altitude spécifiques à la tâche dans un module d'apprentissage d'association des caractéristiques inter-tâches, exploitant les corrélations latentes entre les tâches pour obtenir une meilleure expression des caractéristiques spécifiques à la tâche, et améliore la qualité des pseudo-étiquettes à l'aide d'un module d'apprentissage de cohérence mixte guidé par des pseudo-étiquettes, réalisant un alignement global et local. De plus, un module d'alignement au niveau des classes guidé par l'entropie renforce davantage la distinction des classes difficiles à classifier. Enfin, sur la base des ensembles de données ISPRS 2D et US3D, quatre groupes d'expériences de segmentation sémantique d'images de télédétection inter-scénarios ont été menés. Les résultats montrent que la méthode proposée surpasse de manière significative les méthodes d'adaptation de domaine existantes dans divers scénarios inter-domaines complexes.

关键词

segmentation sémantique; adaptation de domaine non supervisée; images de télédétection; apprentissage multitâche; informations d'altitude; informations sémantiques; pseudo-étiquettes; entropie

阅读全文