Segmentation sémantique d’images de télédétection à haute résolution basée sur un réseau d’ensemble à trois branches

SHAN Huilin ,  

WANG Xingtao ,  

LIU Wenxing ,  

MENG Xiangyuan ,  

WANG Zhihao ,  

ZHANG Yinsheng ,  

摘要

La segmentation sémantique profonde est cruciale pour la compréhension des scènes en télédétection à haute résolution. Les images de télédétection présentent de grandes variations en nombre et en échelle des différentes catégories d’objets, ainsi que des caractéristiques spatiales et sémantiques complexes. De plus, la manière traditionnelle de fusionner directement les caractéristiques spatiales et sémantiques présente des lacunes, car elle n’exploite pas pleinement les riches caractéristiques contenues dans l’image. Par conséquent, pour résoudre les problèmes d’extraction de caractéristiques insuffisamment ciblée et d’utilisation insuffisante des caractéristiques, cet article propose un algorithme de segmentation sémantique d’images de télédétection à haute résolution basé sur un réseau d’ensemble à trois branches. Premièrement, des branches d’extraction de caractéristiques distinctes sont conçues respectivement pour les caractéristiques spatiales et sémantiques afin d’exploiter pleinement les informations spatiales et sémantiques des images de télédétection, renforçant ainsi la complémentarité des caractéristiques ; deuxièmement, le concept de branche de cohérence est proposé, visant à apprendre des caractéristiques de cohérence sémantique et spatiale, améliorant ainsi les performances de segmentation du réseau ; enfin, un module de fusion multiscale est proposé pour fusionner pondérément les caractéristiques des trois branches, améliorant la capacité d’adaptation du modèle. De plus, cet article propose une méthode d’augmentation de données par découpage aléatoire accordant une attention particulière à la cohérence spatiale, ainsi qu’une fonction de perte mixte pour résoudre le problème du déséquilibre du nombre de classes dans le jeu de données, atténuant efficacement le surapprentissage causé par un nombre insuffisant d’échantillons dans certaines classes. Les résultats expérimentaux montrent que l’algorithme proposé atteint un score moyen d’intersection sur union de 87,84 % et 87,49 % sur les ensembles de données ISPRS Potsdam et Vaihingen respectivement, démontrant que cet algorithme peut efficacement extraire et fusionner les caractéristiques sémantiques et spatiales des images de télédétection à haute résolution, améliorant ainsi la précision de segmentation des images de télédétection.

关键词

images de télédétection à haute résolution;segmentation sémantique;fusion multiscale;augmentation de données;extraction de caractéristiques multi-branches;cohérence spatiale

阅读全文