Multimodale Wissensgraphen basierend auf regelbasierter linguistischer Analyse und Computer Vision

Summary

VISHAM-KG ist ein multimodales Framework, das Wissensgraphen aus Hindi-visuellen Dokumenten erstellt, indem es textuelle und visuelle Entitäten ausrichtet. Es kombiniert regelbasierte linguistische Analyse mit Computer-Vision-Techniken, um Subjekt-Relation-Objekt-Triplets in ressourcenarmen indischen Sprachumgebungen zu erzeugen.

Abstract

Der Visual-Semantic Hindi-Aligned Multimodal Knowledge Graph (VISHAM-KG) ist ein Rahmenwerk, das dazu entwickelt wurde, konsistente multimodale Knowledge Graphs (KGs) aus Hindi-visuellen Dokumenten zu konstruieren, indem visuelle Textentitäten systematisch ausgerichtet werden. Ziel dieser Studie ist es, regelbasierte linguistische Analysen mit der auf Computer Vision basierenden Objekterkennung zu integrieren, die die strukturierte semantische Darstellung und fundiertes Denken in ressourcenarmen indischen Sprachen unterstützt. Der vorgeschlagene Algorithmus beginnt mit der Erstellung von Natural Language Processing (NLP) Hindi-visuellen Dokumenten, gefolgt von optischer Zeichenerkennung (OCR) für die Devanagari-Schriftextraktion und linguistische Vorverarbeitung, die verschiedene Prozesse wie Tokenisierung, Lemmatisierung, Wortart-Tagging und Abhängigkeitsparsing umfasst. Parallel dazu werden visuelle Entitäten aus Bildern mittels Objekterkennung extrahiert und mit Konfidenzschwellenwerten gefiltert. Textuelle und visuelle Entitäten werden in einen gemeinsamen semantischen Raum eingebettet, wobei das mehrsprachige Transformermodell XLM-R sowie CLIP-ViT verwendet und mit kosinusähnlichkeitsbasierten Schwellenwerten ausgerichtet sind. Diese ausgerichteten Entitäten werden mit regelbasierten Abhängigkeitsbeziehungen kombiniert, um multimodale Triplets zu erzeugen. Das Protokoll erzeugt einen strukturierten multimodalen Wissensgraphen, der als Subjekt-Relation-Objekt-Triole kodiert ist und mit expliziter visueller Grundlage auf Basis der indischen Wissensbasis basiert. Diese resultierende Ausgabe unterstützt crossmodale Abfragen, Entitätsausrichtung und Wissensgraphen-Argumentation für visuelle Hindi-Dokumente und bietet einen replizierbaren Rahmen für multimodalen Wissensaufbau in ressourcenarmen linguistischen Umgebungen.

Introduction

Wissensgraphen (KGs) sind strukturierte semantische grafische Darstellungen, bei denen Entitäten als Knoten und Beziehungen als Kanten modelliert werden. Es ermöglicht eine effiziente Wissenswiederholung und kontextuelle Argumentation in verschiedenen Anwendungen wie Fragestellung, Empfehlungssystemen und Informationsextraktion¹. In den letzten zehn Jahren wurden Methoden zum Bau von KG erheblich weiterentwickelt. Die meisten bestehenden Ansätze sind jedoch für ressourcenreiche Sprachen konzipiert, die überwiegend auf großformatigen Textkorpora² angewiesen sind. Infolgedessen bleiben ressourcenarme Sprachen unterrepräsentiert, was die Anwendbarkeit von KG-basierten Technologien in kulturell und sprachlich vielfältigen Kontexten einschränkt³. Parallel dazu enthält ein wachsender Anteil der realen Dokumente – insbesondere im Bildungs-, Kultur- und Kulturerbebereich – reichhaltige visuelle Informationen, die durch textzentrierte Graphenkonstruktionsmethoden unzureichend erfasst werden.

Multimodale Wissensgraphen (MMKGs) erweitern konventionelle KGs, indem sie nicht-textuelle Modalitäten wie Bilder, Audio oder Video integrieren, um eine geerdete semantische Darstellung⁵ zu ermöglichen. Frühere MMKG-Frameworks, darunter IMGpedia, Richpedia und ImageGraph, zeigen den Wert der Assoziation visueller Informationen mit Textentitäten für eine verbesserte semantische Abfrage und Argumentation ^6,7,8. Trotz dieser Fortschritte sind bestehende Methoden weitgehend englischzentriert, basieren auf kuratierten Metadaten oder statischen Datensätzen und bieten begrenzte prozedurale Anleitung zur direkten Konstruktion von MMKGs aus unstrukturierten visuellen Dokumenten. Darüber hinaus adressieren diese Frameworks nicht explizit die Herausforderungen, die ressourcenarmen Sprachen innewohnen, wie skriptspezifische Fehler, morphologische Variabilität und spärlich annotierte Daten ^9,10.

Ziel dieses Rahmens ist es, eine Schritt-für-Schritt-Methodik zur Erstellung eines multimodalen Wissensgraphen aus Hindi-Visual-Dokumenten umzusetzen, indem textuelle und visuelle Entitäten systematisch ausgerichtet werden. Das vorgeschlagene Framework, Visual-Semantic Hindi-Aligned Multimodal Knowledge Graph (VISHAM-KG), integriert regelbasierte linguistische Analyse mit Computer Vision, das auf Objektextraktion basiert, um eine dynamische Graphenkonstruktion visueller Dokumente zu ermöglichen. Im Gegensatz zu bestehenden MMKG-Ansätzen extrahiert VISHAM-KG direkt Entitäten und Beziehungen aus rohem Hindi-Text und -Bildern, wendet abhängigkeitsbasierte grammatikalische Regeln zur Relationsidentifikation an und führt intermodale Entitätsausrichtung unter Verwendung von Embedding-basierten Ähnlichkeitsschwellenwerten durch, anstatt sich auf externe^11,12 zu verlassen.

VISHAM-KG ist für illustrierte Dokumente gedacht, in denen textliche und visuelle Inhalte semantisch miteinander verbunden sind, wie Kindergeschichten¹³, Lehrmaterial, Zeitung¹¹ und kulturell fundierte Erzählungen. Einige Einschränkungen, wie die Abhängigkeit von der Qualität der optischen Zeichenerkennung, der Objekterkennungsabdeckung und der Verfügbarkeit domänenspezifischer Vokabeln, sind bei der Ausführung des genannten Frameworks aufgetreten. Durch die explizite Dokumentation jedes prozeduralen Schrittes bietet VISHAM-KG ein replizierbares Protokoll für multimodale Wissensgraphenkonstruktion in ressourcenarmen linguistischen Kontexten und unterstützt gleichzeitig fundiertes semantisches Denken und intermodale Analysen.

VISHAM-KG unterscheidet sich von bestehenden MMKG-Ansätzen, indem es Entitäten und Beziehungen direkt aus unstrukturiertem Hindi-Text und -Bildern extrahiert; Anwendung regelbasierter Abhängigkeitsparsing zur Beziehungsextraktion; und die Ausrichtung textueller und visueller Entitäten durch Embedding-basierte Ähnlichkeitsschwellenwerte statt Metadaten-Übereinstimmung ^8,10 (Abbildung 1).

Abbildung 1: End-to-End-Rahmenwerk. Die Abbildung zeigt das End-to-End-Framework für multimodales Wissen, Graph VISHAM-KG. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Dieses Protokoll ist auf illustrierte Dokumente mit abgestimmtem Text-Bild-Inhalt anwendbar, wie Bildungsmaterial und kulturelle Erzählungen. In diesem Rahmen wird YOLOv8 wegen seiner Effizienz und Robustheit bei der Objekterkennung auf visuellen Dokumenten ausgewählt. XLM-R wird wegen seiner starken crosslingualen Darstellungen ausgewählt, die sich gut für ressourcenarme Hindi-Textverarbeitung eignen, und CLIP-ViT wird wegen seiner nachgewiesenen Fähigkeit zum Lernen gemeinsamer visueller Text-Embedding-Räume eingesetzt, die eine effektive intermodale Ausrichtung ermöglichen. Sie ist jedoch durch OCR-Genauigkeit, Objekterkennungsabdeckung und domänenspezifische Vokabelbeschränkungen begrenzt.

Verwandte Arbeiten

Ein traditioneller Wissensgraph G=(E,R,F) besteht aus Entitäten E, Beziehungen R und faktischen Tripeln F, wobei jedes Triplet die Form (h,r,t)⁸ hat. Erweitert wird ein Multi-Modal Knowledge Graph (MMKG), der E-Entitäten integriert, die mit nicht-textuellen Modalitäten wie Bildern, Audio und Video¹⁴ assoziiert sind.

Zwei Hauptstrategien werden in MMKGs verwendet, um visuelle Daten darzustellen:
Als Attribute, die an textuelle Entitäten angehängt sind
Als visuelle Entitäten, verbunden durch eine spezifische annotierte Relation

Eine bemerkenswerte Studie ist IMGpedia, das Wikimedia-Bilddaten durch die Einbindung visueller Deskriptoren und Ähnlichkeitsmaße verbessert. Dieses Modell adressiert die Einschränkungen traditioneller Datensätze, die hauptsächlich Metadaten enthalten, und ermöglicht visuell-semantische Abfragen und Ähnlichkeitsbewertung, indem Bilder mit DBpedia Commons⁹ verknüpft werden.

Ähnlich geht ein weiteres MMKG Richpedia die Herausforderung unvollständiger Wissensgraphen in der wissenschaftlichen Forschung an. Es aggregiert 2.883.162 visuelle Entitäten aus Wikipedia und 30.638 Textobjekte aus Wikidata. Richpedia unterstützt Abfragen auf Aspektebene und verwendet Methoden zur Extraktion semantischer Beziehungen aus unstrukturierten Inhalten, einschließlich Bildelementen, zugehörigen Textes und Hyperlinks¹⁵.

ImageGraph erweitert diese Studie durch die Erstellung eines relationalen Wissensgraphen auf Basis des FB15K-Datensatzes, bereichert mit 829.931 webgecrawlten Bildern und Bildunterschriften. Es umfasst 14.870 Entitäten und 1.330 Relationstypen, was visuell-kontextuelle Abfragen und genauere Antworten ermöglicht, indem konzeptbasierte Abfrageparameter¹⁶ unterstützt werden.

VisualSem ist ein weiterer umfassender mehrsprachiger Wissensgraph, der visuelle und textuelle Informationen integriert. Es umfasst 89.896 Einheiten, über 1,3 Millionen Glossen und 938.100 Bilder. VisualSem wurde für Anwendungen wie Datenaugmentation und Erdung entwickelt, verbessert die semantische Interpretation über Sprachen hinweg und kann nahtlos in verschiedene^{Verarbeitungspipelines} integriert werden.

Mehrere MMKG-Modelle werden ebenfalls entwickelt, um Aufgaben wie Linkvorhersage, Triplet-Klassifikation und Entitätsabgleichung zu unterstützen. Diese Modelle adressieren die Einschränkungen einzelmodaler Graphen, insbesondere deren Unfähigkeit, die Komplexität intermodaler Informationen zu erfassen 16,17,18.

Der kritische Vergleich zwischen sprachbasierten MMKG-Modellen zusammen mit VISHAM-KG ist in Tabelle 1 dargestellt. Es konzentriert sich speziell auf ihre Stärken und Grenzen im Kontext ressourcenarmer Sprachen wie Hindi, Tamil oder Sanskrit. Diese Methoden setzen oft den Zugang zu hochwertigen Textkorpora, zuverlässigen linguistischen Annotationen und groß angelegten vortrainierten Modellen voraus. Diese Faktoren schränken ihre Anwendbarkeit auf ressourcenarme Sprachen ein. Insbesondere sind OCR-abhängige Pipelines häufig für lateinische Schriften optimiert und zeigen eine geringere Genauigkeit für indische Schriften, was zu verrauschter oder unvollständiger Textextraktion führt. Darüber hinaus werden linguistische Vorverarbeitung, Wortart-Tagging und Erkennung benannter Entitäten häufig auf ressourcenstarken Sprachen trainiert. Sie zeigen eine drastisch verschlechterte Leistung, wenn sie auf morphologisch reiche, syntaktisch flexible Sprachen wie Hindi angewendet werden.

MMKG-Modell	Stärken	Einschränkungen in ressourcenarmen Umgebungen
IMGpedia	Integriert Bilder mit DBpedia	Konzentriert sich ausschließlich auf englische Inhalte
	Unterstützt visuelle Ähnlichkeitsabfragen	Keine Unterstützung für nicht-lateinische Schriften
		Begrenzter kultureller Kontext für regionale visuelle Elemente
Richpedia	Kombiniert visuelle und textuelle Entitäten aus Wikipedia und Wikidata	Unzureichende Darstellung indischen oder volkstümlichen Wissens
	Aspektebenen-Abfrage verfügbar	Setzt eine hochwertige Ausrichtung voraus, die in regionalen Datensätzen fehlt
ImageGraph	Relationale KG mit Bildern und Bildunterschriften	Entitäts- und Beziehungsextraktion, abgestimmt für englische Korpora
	Unterstützt erweiterte tripletbasierte Abfragen	Fehler in Umgebungen mit spärlichen Unterschriften oder fehlenden Metadaten
VisualSem	Mehrsprachige Unterstützung	Schlechte Repräsentation asiatischer ressourcenarmer Sprachen
	Nützlich in neuronalen semantischen Pipelines	Keine Unterstützung für Devanagari oder kulturell fundierte visuelle Semantik
VISHAM-KG	Relationale KG mit Bildern in indischen Sprachen	Sprachabhängig
	Semantische Pipelines für morphologisch reichhaltige Syntax	Das hängt vom verschiedenen POS-Tag der unterschiedlichen Sprachen ab.

Tabelle 1: Kritischer Vergleich von MMKGs mit Einschränkungen in ressourcenarmen Sprachen.

Bestehende MMKG-Modelle basieren auf statischen Wissensgraphen und passen sich nicht an dynamische reale Kontexte an, in denen neue Entitätstypen und Assoziationen aufgrund ihres Einzeldatensatz-Trainings entstehen. Dies macht es entscheidend, Modelle mit dynamischen Fähigkeiten^{zu entwickeln 16}. In diesem Zusammenhang treten folgende Einschränkungen auf: Falscher Gebrauch von Textdaten bei visuellen Aktivitäten wie Objekterkennung, -extraktion und -annotation; Entwicklung skalierbarer Methoden zur Erstellung multimodaler Wissensgraphen aus heterogenen Quellen; und die Integration kontextueller Informationen in multimodale Wissensgraphen zur Verbesserung des Verständnisses und der Interpretation.

Unter diesen Bedingungen unterscheidet sich VISHAM-KG von früheren Ansätzen, indem es fortschrittliche visuelle Extraktionstechniken verwendet, um Knoten und Beziehungen direkt aus visuellen Dokumenten zu definieren. Es kombiniert Standard-Textverarbeitungsschritte wie Tokenisierung, Stop-Word-Entfernung und Wortarten-Tagging mit semantischen Graphentechniken, um das extrahierte Wissen zu strukturieren. Durch die Verschmelzung von Computer Vision und Ontologie bietet das System mehrere Vorteile¹⁹: erhöhte Anpassungsfähigkeit, die es ermöglicht, die Wissensbasis an anwendungsspezifische Anforderungen anzupassen; verbesserte semantische Darstellung, die Interoperabilität systemübergreifend unterstützt; sowie bessere semantische Inferenz und Abruf, was eine Erweiterung der Wissensdatenbank auf kontextueller Ebene ermöglicht.

Protocol

Für dieses Protokoll ist keine ethische Genehmigung erforderlich, da es ausschließlich öffentlich zugängliche, nicht-menschliche, nicht sensible visuelle und textuelle Daten verwendet. Tabelle 2 stellt alle Werkzeuge und Techniken sowie deren Abhängigkeiten bereit. Der gesamte Quellcode, Konfigurationsdateien und Skripte, die zur Reproduktion der multimodalen Knowledge Graph-Konstruktionspipeline erforderlich sind, sind in einem öffentlichen GitHub-Repository verfügbar (preeti017phdit22-wq/VISHAM_KG.). Das Repository enthält Installationsanweisungen und Abhängigkeitsspezifikationen, um die Reproduzierbarkeit zu erleichtern.

Modul	Modell / Werkzeug	Version	Rahmenwerk	Zweck
OCR	EasyOCR	v1.7.1	PyTorch	Hindi-Textextraktion
POS + Abhängigkeitsparsing	Strophe (hallo)	v1.6.1	PyTorch	Linguistische Parsing
NER	BiLSTM-CRF	Maßgeschneidert ausgebildet	PyTorch	Hindi-Entitätserkennung
Objekterkennung	YOLOv8	v8.0.208	Ultralytika	Visuelle Entitätsextraktion
Texteinbettungen	XLM-R Basis	2023-05	HuggingFace	Mehrsprachige Textkodierung
Visuelle Einbettungen	CLIP-ViT-B/32	2022-09	OpenAI	Bildkodierung
Graphspeicherung	Neo4j	v5.13	Neo4j	KG-Bauweise
Ähnlichkeit	Kosinusähnlichkeit	–	NumPy	Kreuzmodale Ausrichtung

Tabelle 2: Werkzeuge und Techniken, die in jedem Bauschritt von VISHAM-KG verwendet werden.

1. Konstruktion von Wissensgraphen

1. Datenvorbereitung
   1. Sammeln Sie 10 Kindergeschichtendokumente aus den genannten Quellen^11,13. Bestätigen Sie die Verfügbarkeit von Bilddokumenten für jedes Dokument.
   2. Speichern Sie jedes Dokument als strukturierte Einheit mit Bilddateien (PNG oder JPG) und dem entsprechenden Hindi-Text.
   3. Weisen Sie eine eindeutige Dokumentkennung zu, die jedes Bild mit dem zugehörigen Text verknüpft.
2. Textextraktion und Vorbearbeitung
   1. Extrahieren Sie Text aus gescannten Bildern mit EasyOCR (konfiguriert für Devanagari-Schrift), um Hindi-Text aus Dokumentbildern zu extrahieren (Abbildung 2).
   2. Normalisieren Sie extrahierten Text, indem Sie OCR-Artefakte entfernen und überflüssige Symbole entfernen.
   3. Führen Sie Satzsegmentierung und Tokenisierung durch. Tokenisiert den Text in Worte. Entfernen Sie Stopwörter mit einer vordefinierten Hindi-Stopwortliste.
   4. Führen Sie Wortart-Tagging und Abhängigkeitsparsing mit einem Hindi-kompatiblen NLP mit Stanza (Hi) durch.
   5. Identifizieren Sie benannte Entitäten mit einem BiLSTM-CRF-Modell.
   6. Extrahiere Subjekt-Relation-Objekt-Triplets mithilfe von Abhängigkeitsregel-Vorlagen. Generiere einen Abhängigkeitsbaum mit beschrifteten grammatikalischen Relationen zur Konstruktion bedeutungsvoller Tripel (Abbildung 3).

Abbildung 2: Extraktion eines einfachen Subjekt-Verb-Objekt-Triols aus dem Hindi-Text mittels reiner verbbasierten Beziehungen. Das Flussdiagramm beschreibt die Extraktion eines einfachen Subjekt-Verb-Objekt-Triplets aus dem Hindi-Text mittels ausschließlich verbbasierter Relationen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3: Erweiterte Verb-Präpositionsbeziehung. Die Abbildung veranschaulicht die erweiterte Verbpräpositionsbeziehung, um die Triolenbildung zu identifizieren. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

3. Visuelle Entitätsextraktion
   1. Laden Sie jedes Bild und wenden Sie die Objekterkennung mit dem YOLOv8-Objekterkennungsmodell an (Abbildung 4).
   2. Extrahieren Sie Begrenzungsboxen, Klassenlabels und Konfidenzwerte der identifizierten Objekte im Bild (Abbildung 5).
   3. Filtern Sie erkannte Objekte, indem Sie Erkennungen mit Konfidenzwerten ≥ 0,50 behalten. Zeichnen Sie gefilterte Objekte als visuelle Entitäten auf (OPTIONAL). Speichere visuelle Entitäten mit Begrenzungsbox-Koordinaten und erstelle eine Liste dieser Entitäten.

Abbildung 4: Objekterkennung. Die Abbildung zeigt die Objekterkennung mit YOLOv8. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 5: Visuelle Merkmalsextraktion sowie Objekterkennung und -identifikation. Die Abbildung illustriert die visuelle Merkmalsextraktion mit Konvolutionsschichten und YOLOv8, gefolgt von der Bereichsverfeinerung und Ausrichtung basierend auf Ähnlichkeitswerten. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

4. Einbettung und Ausrichtung der Entitäten
   1. Kontextuelle Einbettungen für textuelle Entitäten mit XLM-R-Einbettungen generieren. Erzeugen Sie visuelle Einbettungen für erkannte Objekte mit CLIP-ViT-Einbettungen (Abbildung 6).
   2. Projizieren Sie Text und visuelle Einbettungen in einen gemeinsamen latenten Raum und normalisieren Sie sie auf Einheitslänge.
   3. Berechnen Sie die Kosinusähnlichkeit zwischen jedem textuellen und visuellen Einbettungspaar. Richten Sie Entitäten aus, wenn Ähnlichkeit vordefinierten Schwellenwert τ ≥ (Standard τ = 0,65). Erstellen Sie eine Liste von ausgerichteten Text-Bild-Entitätspaaren.

Abbildung 6: Visuelle Objekterkennung und POS-Tags-Fusion. Die Abbildung zeigt die visuelle Objekterkennung und die Fusion von POS-Tags zur Extraktion von Wissensgraph-Triplet-Karten. YOLO und CIFAR-100 identifizieren Objekte, die multimodale Ausrichtung zeigen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

5. Triplet-Extraktion
   1. Extrahiere textuelle Triplets mithilfe von Abhängigkeitsregeln, die Subjekt-Verb-Objekt-Strukturen abbilden.
   2. Leite visuelle Beziehungen unter Verwendung räumlicher Nähe und Ko-Auftretensregeln ab.
   3. Erzeugen Sie multimodale Tripletts, indem Sie ausgerichtete textuelle und visuelle Entitäten mithilfe von Beziehungslabels verknüpfen. Validiere Triole für syntaktische und semantische Konsistenz.
6. Knowledge Graph-Konstruktion
   1. Wandeln Sie ausgerichtete Entitäten in RDF-kompatible Triplets um. Text- und visuelle Drillinge zu einem einheitlichen Graphen zusammenführen.
   2. Fügen Sie Entitäten als Knoten und Relationen als Kanten ein. Kodiere multimodale Links mit expliziten Prädikaten. Speichere den resultierenden Graphen in Neo4j (OPTIONAL). Ein finalisierter multimodaler Wissensgraph mit ausgerichteten Text-Bild-Triolen wird nun generiert.
      HINWEIS: Ein systematischer Ansatz zur Erstellung eines multimodalen Wissensdiagramms aus visuellen Hindi-Dokumenten ist in Abbildung 7 dargestellt.

Abbildung 7: Pipeline für multimodale Wissensgraphen-Konstruktion. Das Flussdiagramm stellt Pipelines für VISHAM-KG dar. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

3. Verwenden Sie den untenstehenden Pseudocode für die Erstellung eines Wissensgraphen.
   Eingabe:
   D : Set des Hindi-Text-Bild-Dokuments
   τ : Ähnlichkeitsschwelle für die Ausrichtung
   Jedes Dokumentpaar (T,I)∈D vorbereiten
   Wenn T gescannt wird, extrahiere Text T' mittels OCRPerform-Tokenisierung, Lemmatisierung und Entfernung von Stoppwörtern
   Wende POS-Tagging und Abhängigkeitsparsing mit Stanza an
   Objekte in I mit YOLOv8 erkennen
   Extrahiere Begrenzungsboxen, Beschriftungen L_i und Konfidenzwerte > 0,5
   Einbettung generieren
   Identifizieren Sie_benannte Entitäten E T von T' mit BiLSTM-CRF
   Visuelle Entitäten E_V aus L_i extrahieren
   Berechnen Sie Text-Einbettungen E_T mit XLM-R.
   Berechnen Sie visuelle Einbettungen E_V mit CLIP-ViT
   Entitätenausrichtung mit Triplet-Extraktion
   Für jedes Paar (e_{t,e v}) in E_T x E_V:
   Berechnen Sie_die Kosinusähnlichkeit S = cos(E_V,E T)
   Set Threshold τ=0.6
   Wenn s≥τ, addiere ein Triplet (e_t, has_image,e_v) zur Menge F.
   Extrahiere (h,r,t) -Triplets aus T' mithilfe von Abhängigkeitsregeln.
   Leite visuelle Beziehungen aus räumlichem oder bildtextbasiertem Ko-Auftreten ab.
   Projizieren E_t und E_v in einen gemeinsamen latenten Raum.
   Erzielen Sie Triolen und behalten Sie diejenigen oberhalb der Konfidenzschwelle.
   Füge validierte Triplets und Entitäten dem Graphen G hinzu.
   Ausgabe: End-KG in Neo4j.

2. Bewertungsverfahren

HINWEIS: Hindi-Kindergeschichten werden für die Bewertung des VISHAM-KG-Rahmens ausgewählt, weil sie kontrollierte, visuell fundierte Erzählungen mit klaren Entitäten und Beziehungen bieten, was eine zuverlässige Validierung multimodaler Ausrichtung, Graphenkonstruktion und Inferenz vor der Einführung im Domänenmaßstab ermöglicht. Alle Hyperparameter-Einstellungen sind in Tabelle 3 aufgeführt.

Modul	Hyperparameter	Abmessungen
OCR	Konfidenzschwelle	0.5
Entitätsextraktion	Einbettungsdimension	300
Objekterkennung	Konfidenzschwelle	0.5
	Eingabebildgröße	640 × 640
Texteinbettung	Sprachmodell	XLM-R
	Einbettungsdimension	768
Bildeinbettung	Visionsmodell	CLIP-ViT-B/32
	Einbettungsdimension	768
Trasse	Ähnlichkeitsmetrik	Kosinusähnlichkeit
Text-Bild-Ausrichtung	Kosinusähnlichkeitsschwelle (τ)	0.6
Link-Vorhersage	Einbettungsdimension	100
	Ausbildungsphasen	50
	Negative Stichprobe	Uniform
Bewertung	Zug-Test-Aufteilung	80 / 20

Tabelle 3: Hyperparameter-Einstellung für das Framework.

Komponente	Graf
Dokumentbilder	10
Textliche Entitäten	186
Visuelle Entitäten	97
Textabgeleitete Relationen	105
Visuell abgeleitete Beziehungen	41
Textuelle und visuelle Drillinge	312

Tabelle 4: Knowledge Graph und Triplets-Statistiken.

1. Datensatzkomposition und Partitionierung
   1. Der Bewertungsdatensatz besteht aus 10 Kindergeschichten, die jeweils von illustrativen Bildern begleitet werden. Führen Sie den in den Schritten 1.2-1.4 erwähnten Entitätsextraktionsprozess aus. Die Ergebnisse sind in Tabelle 4 dargestellt.
   2. Konstruiere zwei Graphenvarianten: einen reinen Text-Knowledge Graph (T-KG), der ausschließlich textuelle Triplets verwendet, und einen weiteren Multimodal Knowledge Graph (MM-KG) mit verschmolzenen textuellen und visuellen Triplets.
   3. Um eine kontrollierte Auswertung für beide Graphen zu gewährleisten, verwenden Sie identische Datenaufteilungen.
   4. Zufällig extrahierte Triole bei 80:20 partitioniert, das sind 80 % für den Graphenaufbau (Trainingsset) und 20 % für die Bewertung (Testset) reserviert. Wenden Sie diese Aufteilung konsequent sowohl auf Text-KG als auch auf MMKG an, um einen fairen Vergleich zu gewährleisten.
2. Baseline- und Evaluationsmetriken
   1. Das textuelle KG dient als Basis. Das vorgeschlagene Rahmenwerk, VISHAM KG, stellt die vorgeschlagene Methode dar. Für beide Graphen verwenden Sie eine identische Ontologie mit Entitätsidentifikatoren und Evaluationsanfragen. Der einzige Unterschied zwischen den beiden Graphen ist die Einbeziehung visueller Entitäten in VISHAM-KG.
3. Evaluationsmetriken und Linkvorhersage
   1. Verwenden Sie die Standard-Link-Vorhersagemetriken²⁰: Mean Reciprocal Rank (MRR), Hits@1, Hits@3, Hits@10. Hit@K, definiert als der Anteil der Fälle, in denen die korrekte Entität in den obersten N Rängen erscheint.
   2. Für jedes Test-Triplet (Kopf, Relation, Schwanz) maskieren Sie entweder die Kopf- oder Schwanz-Entität. Rangfolge aller Kandidatenentitäten basierend auf der Kosinusähnlichkeit im gemeinsamen Einbettungsraum (Tabelle 5).

Textuelle Entität	Visuelle Entität	Kosinusähnlichkeit
शेर		0.78
लोमड़ी		0.82

Tabelle 5: Kosinus-Ähnlichkeitswerte zwischen Text- und Bildeinbettungen.

3. Unabhängige Vorhersagen für reine Text-Embeddings und multimodale Embeddings (VISHAM-KG) erstellen.
4. Berechnen Sie die Ergebnisse mit dem Mean Reciprocal Rank (MRR) als Durchschnitt der reziproken Ränge der korrekten Entität über alle Abfragen²¹. Verwenden Sie Tabelle 6 und drücken Sie alle Ergebnisse im Dezimalformat aus, um Konsistenz zwischen den Experimenten²² zu gewährleisten.

Modell	MRR	Hits@1	Hits@3	Hits@10
	0.42	0.21	0.48	0.72
ComplEx	0.47	0.26	0.52	0.74
RotatE	0.51	0.31	0.58	0.74
VISHAM-KG (Text)	0.49	0.36	0.62	0.76

Tabelle 6: Link-Vorhersageleistung bei rein textbasierten Triplets.

5. Verwenden Sie die Metriken, um die Prädiktionskraft des multimodalen Wissensgraphen bei der Wiederherstellung fehlender Links zu validieren, wie in Tabelle 7 gezeigt.

Modell	MRR	Hits@1	Hits@3	Hits@10
IKRL	0.46	0.34	0.63	0.72
VisualBERT	0.52	0.35	0.61	0.72
ViLBERT	0.54	0.38	0.64	0.75
VISHAM-KG	0.57	0.41	0.66	0.79

Tabelle 7: Leistung bei crossmodalen Triplet-Vorhersageaufgaben.

4. Verwenden Sie den untenstehenden Pseudocode zur Bewertung.
   Für jede Knowledge Graph-Variante G∈{G_{T,G MM}}:
   Triplet-Partitionierung
   Entnehmen Sie alle Tripole T_alle aus G.
   Teilt T_{zufällig alle} in Trainingssatz (80 %) und Testsatz T_Test (20 %) auf.
   Konstruiere den Graphen_G-Zug mit Tripeln im_T-Zug.
   Ähnlichkeitsscore und Einbettung
   Für jedes Test-Triplet (h,r,t)∈_T-Test:
   Maskiere Kopf- oder Schwanzentität, um Abfragen (h,r,?) oder (?,r,t) zu bilden.
   Generiere die Kandidaten-Entitätsmenge C aus Entitäten in_G-Zug.
   Berechnen Sie den Embedding-Ähnlichkeitsscore S=cos(e_{query,e c}) für jedes e_c ∈ C.
   Ordne alle Kandidatenentitäten basierend auf dem absteigenden Ähnlichkeitswert.
   Metrische Berechnung
   Berechnen Sie den Rang der richtigen Entität für jede Abfrage.
   Berechnen Sie den mittleren reziproken Rang (MRR) über alle Testanfragen.
   Berechnen Sie Hits@1, Hits@3 und Hits@10.
   Vergleichen Sie die Bewertungsergebnisse zwischen reiner Text-KG G_{T und} Multimodal KG G_MM.
   Ausgabe: Qualitative und quantitative Ergebnisse bereitstellen, die direkt für die multimodale Integration zurückzuführen sind
5. Intermodale Ähnlichkeit
   1. Berechnen Sie Ähnlichkeitswerte, um die Ausrichtung zwischen textuellen und visuellen Einbettungen zu bewerten. Normalisieren Sie sowohl textuelle als auch visuelle Einbettungen auf Einheitslänge, um eine einheitliche Maßstabsstruktur zu gewährleisten. Verwenden Sie die Kosinusähnlichkeit als primäre Metrik²².
   2. Für jedes Paar (e_t, e_v) von textueller Entitätseinbettung und visueller Entitätseinbettung berechnen Sie den Ähnlichkeitswert²³.
      Score(e_{t,e v}) = λ · sim_text(e_{t,e v}) + (1-λ) · sim_visual (e_{t,e v}) .
      wobei:
      λ∈ [0,1] ist der Modalitätsgewichtungsparameter,
      _SIM-Text ist die Kosinusähnlichkeit zwischen textuellen Einbettungen,
      Sim_Visual ist die Kosinusähnlichkeit zwischen visuellen Einbettungen.

Results

Das vorgeschlagene VISHAM-KG wird durch Ähnlichkeitsbewertungsberechnungen und Link-Prediction-Aufgaben bewertet, die häufig im Wissensrepräsentations-Benchmark-Datensatz verwendet werden.

Experimenteller Aufbau

Bewerten Sie den konstruierten multimodalen Wissensgraph anhand von zwei etablierten Aufgaben: (i) Cross-modal Similarity Assessment und (ii) Knowledge Graph Link-Vorhersage. Führen Sie alle Bewertungen ausschließlich auf dem finalisierten G...

Discussion

Die Leistung des VISHAM-KG-Frameworks basiert hauptsächlich auf drei kritischen Komponenten: OCR für Devanagari-Text (Schritt 1.2), vertrauensbasierte visuelle Objekterkennung mit Clip-ViT (Schritt 1.3) und embedding-basierte crossmodale Ausrichtung (Schritt 1.4). Die OCR-Genauigkeit beeinflusst direkt die nachgelagerte linguistische Parsing und Entitätsextraktion. Die in dieser Phase eingeführten Fehler propagieren zur Beziehungsidentifikation und verringern die Ausrichtungsgenauigkeit....

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRF und Indisches NER-Modell	Maßgeschneidert ausgebildet	PyTorch	Benannte Entitätenerkennung
CLIP-ViT-B/32	2022-09	OpenAI	Erzeugung visueller Einbettungen
CPU	Intel i9	Intel	Allgemeine Berechnung
EasyOCR	v1.7.1	Jaided KI	Hindi-Textextraktion aus Bildern
GPU	NVIDIA RTX 3090	NVIDIA	Modell-Inferenzbeschleunigung
Hindi-Kindergeschichten	10 Geschichten	Kuratierter Datensatz	Bewertungskorpus
Neo4j	v5.13	Neo4j Inc.	Speicherung von Wissensgraphen
NumPy	v1.24	NumPy-Gemeinschaft	Numerische Berechnungen
Pandas	v2.0	Pandas-Gemeinschaft	Datenverarbeitung
Python	v3.10	Python Software Foundation	Implementierung der Pipeline
PyTorch	v2.0	Meta-KI	Deep-Learning-Framework
Stanza (Hindi-Modell)	v1.6.1	Stanford NLP	POS-Tagging und Abhängigkeitsanalyse
XLM-R (Basis)	2023-05	HuggingFace	Texteinbettungsgenerierung
YOLOv8	v8.0.208	Ultralytika	Visuelle Objekterkennung