Research on Semantic Segmentation Algorithm for Remote Sensing Images Based on Image Decomposition to Remove Entanglement and Edge Guidance

Lian Yuanfeng ,  

Li Keke ,  

摘要

Fernerkundungsbilder weisen deutliche Unterschiede in der Größe der Ziele und der komplexen Hintergrundveränderung auf, was zu einer spektralen Vermischung der Geländemerkmale und unscharfen Grenzen der Merkmale führt. Dies erhöht die Schwierigkeit der semantischen Segmentierung. Angesichts der Schwierigkeiten bei der semantischen Segmentierung von Fernerkundungsbildern aufgrund der gegenseitigen Abhängigkeit der Zielmerkmale unter verschiedenen Beleuchtungsbedingungen wird in diesem Artikel ein Modell zur semantischen Segmentierung von Fernerkundungsbildern vorgeschlagen, das auf der Dekomposition des Bildes und der Auflösung der Abhängigkeiten von Reflektivität - Beleuchtung (LRD-Net) und dem multimodalen semantischen Segmentierungsnetz (MSS-Net) basiert. Erstens wird das LRD-Net, das auf der Retinex-Theorie basiert, zur Zerlegung von Beleuchtungs- und Reflexionsmerkmalen im optischen Bild verwendet, wobei ein gemeinsamer Gewichts-Transformer (WS-Transformer) zur Extraktion globaler und lokaler Merkmale des Ziels eingesetzt wird; Zweitens wird ein mehrskaliges Rauschmodul eingeführt, um adaptiv die Beleuchtungskomponente zu verstärken, um die Fähigkeit des Modells zur Auflösung von Abhängigkeiten zu verbessern, wobei ein Modul zur Verstärkung auffälliger Merkmale (SE) zur Hervorhebung unterschiedlicher Informationen zwischen den Merkmalskomponenten eingesetzt wird; Schließlich wird das Merkmalsextraktionsmodul für Kanten (EE) verwendet, um die Kantenerkennungsfähigkeit von Fernerkundungszielen zu verbessern und das multimodale semantische Segmentierungsnetz (MSS-Net) zur Fusion der Beleuchtungs- und Reflexionsmerkmale zur Verbesserung der Leistung der semantischen Segmentierung eingesetzt. Die Leistungsbewertung auf den allgemeinen Datensätzen ISPRS Vaihingen und ISPRS Potsdam ergab einen mIoU (mittlerer Jaccard-Index) von 84,60% bzw. 87,42%. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Modell bei der semantischen Segmentierung von Fernerkundungsbildern anderen Modellen überlegen ist.

关键词

semantic segmentation;Image decomposition;Retinex theory;Transformer

阅读全文