Mit der Entwicklung der Fernerkundungstechnologie und künstlichen Intelligenz wird der Bedarf an der Anwendung von Fernerkundungsdaten immer feiner. Allerdings haben eindimensionale Daten Einschränkungen bei der Interpretation komplexer Szenarien und es ist schwierig, tiefe Informationen aus Fernerkundungsbildern zu extrahieren. Daher ist die koordinierte Analyse von multimodalen Daten zu einem Schlüssel zur Verbesserung der Fähigkeit geworden, Fernerkundungsdaten zu interpretieren, und hat die weitere Entwicklung des Fernerkundungsfeldes vorangetrieben. Das multimodale Verständnis von Bildern durch Text stellt eine Verbindung zwischen den Fernerkundungsbildern und der menschlichen Wahrnehmung her, verbessert die Darstellung visueller Merkmale durch semantische Informationen aus dem Text, erzielt eine multimodale Informationskomplementarität und verbessert die Leistung der Interpretation von Fernerkundungsbildern erheblich. Dieser Artikel konzentriert sich auf das multimodale Verständnis von Fernerkundungsbildern über Text und unterteilt das multimodale Verständnis von Fernerkundungsbildern in vier Aufgaben: Beschreibung von Fernerkundungsbildern, Generierung von Text für Fernerkundungsbilder, Ausrichtung von Fernerkundungsbildern und Text sowie Fragen zu Fernerkundungsbildern. Zunächst wird der aktuelle Stand der multimodalen Forschung weltweit zusammengefasst; dann werden gängige Datensätze und Bewertungskriterien für das multimodale Verständnis von Fernerkundungsbildern überprüft; schließlich werden die technischen Herausforderungen des multimodalen Verständnisses von Fernerkundungsbildern zusammengefasst und zukünftige Forschungsrichtungen identifiziert.

Multimodales Verständnis von Bildern; Beschreibung von Bildern; Generierung von Text für Bilder; Ausrichtung von Bildern und Text; Fragen zu Bildern; Multimodale Fernerkundungsdatensätze