Grafi di conoscenza multimodali basati su analisi linguistica basata su regole e visione artificiale

Summary

VISHAM-KG è un framework multimodale che costruisce grafi di conoscenza a partire da documenti visivi hindi allineando entità testuali e visive. Combina analisi linguistica basata su regole con tecniche di visione artificiale per produrre triple oggetto-relazione-oggetto in contesti linguistici indici a poche risorse.

Abstract

Il Grafo di Conoscenza Multimodale Visivo-Semantico Allineato con l'Hindi (VISHAM-KG) è un framework progettato per costruire grafi di conoscenza multimodali (KG) coerenti a partire da documenti visivi hindi allineando sistematicamente entità visive-testuali. L'obiettivo di questo studio è integrare l'analisi linguistica basata su regole con il rilevamento di oggetti basato su visione artificiale che supporti la rappresentazione semantica strutturata e il ragionamento fondato nelle lingue indiche a poche risorse. L'algoritmo proposto inizia con la preparazione di documenti visivi in hindi per l'elaborazione del linguaggio naturale (NLP), seguita dal riconoscimento ottico dei caratteri (OCR) per l'estrazione dello script Devanagari e la pre-elaborazione linguistica, che include vari processi come tokenizzazione, lemmatizzazione, etichettatura delle parti del discorso e parsing delle dipendenze. In parallelo, le entità visive vengono estratte dalle immagini tramite il rilevamento degli oggetti e filtrate tramite soglie di confidenza. Le entità testuali e visive sono incorporate in uno spazio semantico condiviso utilizzando il modello multilingue di trasformatore XLM-R, insieme a CLIP-ViT, e allineate usando soglie basate sulla similarità coseno. Queste entità allineate sono combinate con relazioni di dipendenza basate su regole per generare triple multimodali. Il protocollo produce un grafo della conoscenza multimodale strutturato codificato come triple oggetto-relazione con un esplicito basamento visivo basato sulla base di conoscenza indiana. Questo risultato supporterà query cross-modale, allineamento di entità e ragionamento tramite grafi di conoscenza per documenti visivi hindi e fornirà un quadro replicabile per la costruzione della conoscenza multimodale in contesti linguistici a poche risorse.

Introduction

I grafi di conoscenza (KG) sono rappresentazioni grafiche semantiche strutturate in cui le entità sono modellate come nodi e le relazioni come archi. Consente un recupero efficiente delle conoscenze e un ragionamento contestuale in varie applicazioni come la risposta alle domande, i sistemi di raccomandazione e l'estrazione delle^{informazioni 1}. Nell'ultimo decennio, le metodologie di costruzione KG sono state sviluppate sostanzialmente. Tuttavia, la maggior parte degli approcci esistenti è progettata per lingue ricche di risorse, che si basano prevalentemente su corpora testuali^{su larga scala 2}. Di conseguenza, le lingue a basse risorse rimangono sottorappresentate, limitando l'applicabilità delle tecnologie basate sulla KG in contesti culturalmente e linguisticamente^{diversi 3}. Parallelamente, una quota crescente di documenti reali – in particolare nei settori educativo, culturale e patrimoniale – possiede ricche informazioni visive che non vengono sufficientemente catturate dai metodi di costruzione dei grafi centrati sul^{testo 4}.

I grafi di conoscenza multimodali (MMKG) estendono i KG convenzionali integrando modalità non testuali come immagini, audio o video per consentire una rappresentazione semantica fondata⁵. I precedenti framework MMKG, tra cui IMGpedia, Richpedia e ImageGraph, dimostrano il valore di associare informazioni visive a entità testuali per migliorare la query e il ragionamento^{semantico 6,7,8}. Nonostante questi progressi, i metodi esistenti sono in gran parte incentrati sull'inglese, dipendono da metadati curati o dataset statici e forniscono indicazioni procedurali limitate per costruire MMKG direttamente da documenti visivi non strutturati. Inoltre, questi framework non affrontano esplicitamente le sfide insite nei linguaggi a basse risorse, come gli errori specifici di Riconoscimento Ottico dei Caratteri (OCR) specifici per script, la variabilità morfologica e i dati annotati scarsi ^9,10.

L'obiettivo di questo quadro è eseguire una metodologia passo dopo passo per costruire un grafo della conoscenza multimodale a partire da documenti visivi in hindi, allineando sistematicamente entità testuali e visive. Il framework proposto, Visual-Semantic Hindi-Aligned Multimodal Knowledge Graph (VISHAM-KG), integra l'analisi linguistica basata su regole con la visione artificiale, basata sull'estrazione di oggetti, per consentire la costruzione dinamica di grafi di documenti visivi. A differenza degli approcci MMKG esistenti, VISHAM-KG estrae direttamente entità e relazioni da testi e immagini grezze in hindi, applica regole grammaticali basate sulle dipendenze per l'identificazione delle relazioni ed esegue l'allineamento cross-modale di entità utilizzando soglie di somiglianza basate sull'embedding invece di affidarsi a^11,12 esterni.

VISHAM-KG è destinato a documenti illustrati in cui contenuti testuali e visivi sono collegati semanticamente, come storie per bambini¹³, materiale educativo, giornali¹¹ e narrazioni culturalmente fondate. Alcune limitazioni, come la dipendenza dalla qualità del riconoscimento ottico dei caratteri, la copertura di rilevamento degli oggetti e la disponibilità di vocabolario specifico per dominio, sono state riscontrate durante l'esecuzione del framework menzionato. Documentando esplicitamente ogni fase procedurale, VISHAM-KG fornisce un protocollo replicabile per la costruzione di grafi di conoscenza multimodali in contesti linguistici a basse risorse, supportando al contempo il ragionamento semantico fondato e l'analisi cross-modale.

VISHAM-KG si differenzia dagli approcci MMKG esistenti estraendo direttamente entità e relazioni da testi e immagini hindi non strutturate; impiegando l'analisi parsing basata su regole per l'estrazione delle relazioni; e allineamento di entità testuali e visive tramite soglie di somiglianza basate sull'embedding piuttosto che metadati^{corrispondenti 8,10} (Figura 1).

Figura 1: Framework end-to-end. La figura illustra il quadro end-to-end per la conoscenza multimodale Graph VISHAM-KG. Clicca qui per visualizzare una versione più grande di questa figura.

Questo protocollo è applicabile a documenti illustrati con contenuti testo-immagine allineati, come materiale educativo e narrazioni culturali. In questo contesto, YOLOv8 è scelto per la sua efficienza e robustezza nel rilevamento di oggetti su documenti visivi. XLM-R è scelto per le sue forti rappresentazioni cross-lingue, ben adatte all'elaborazione di testo hindi a basse risorse, e CLIP-ViT è impiegato per la sua comprovata capacità nell'apprendere spazi di incorporamento visivo condiviso di testo, che consentono un allineamento efficace tra modali. Ma è limitata dall'accuratezza OCR, dalla copertura di rilevamento degli oggetti e dai vincoli del vocabolario specifici per dominio.

Lavori correlati

Un grafo di conoscenza tradizionale G=(E,R,F) è composto da entità E, relazioni R e triple fattuali F, dove ogni tripla è della forma (h,r,t⁾⁸. Estendendo questo aspetto, un Grafo della Conoscenza Multimodale (MMKG) incorpora entità E associate a modalità non testuali come immagini, audio e^{video 14}.

Due strategie principali sono utilizzate negli MMKG per rappresentare i dati visivi:
Come attributi associati a entità testuali
Come entità visive connesse attraverso una specifica relazione annotata

Uno studio di rilievo è IMGpedia, che migliora i dati delle immagini Wikimedia incorporando descrittori visivi e misure di somiglianza. Questo modello affronta i limiti dei dataset tradizionali che includono principalmente metadati, consentendo la ricerca visiva-semantica e la valutazione della somiglianza collegando immagini a DBpedia^{Commons 9}.

Analogamente, un'altra Richpedia di MMKG affronta la sfida dei grafi di conoscenza incompleti nella ricerca accademica. Aggrega 2.883.162 entità visive da Wikipedia e 30.638 entità testuali da Wikidata. Richpedia supporta le query a livello di aspetto e impiega metodi per estrarre relazioni semantiche da contenuti non strutturati, inclusi elementi di immagine, testo associato e collegamenti^{ipertestuali 15}.

ImageGraph amplia questo studio costruendo un knowledge graph relazionale basato sul dataset FB15K, arricchito con 829.931 immagini e didascalie scansionate sul web. Include 14.870 entità e 1.330 tipi di relazione, permettendo interrogazioni visive-contestuali e risposte più accurate supportando i parametri di query basati^{sul concetto 16}.

VisualSem è un altro grafico della conoscenza multilingue completo che integra informazioni visive e tessuali. Comprende 89.896 entità, oltre 1,3 milioni di gloss e 938.100 immagini. Progettato per applicazioni come l'aumento dei dati e il grounding, VisualSem migliora l'interpretazione semantica tra i linguaggi e può essere integrato senza soluzione di continuità in vari pipeline^{di elaborazione 1}.

Sono stati sviluppati anche diversi modelli MMKG per supportare compiti come la previsione dei collegamenti, la classificazione dei triplet e il matching di entità. Questi modelli affrontano le limitazioni dei grafi monomodali, in particolare la loro incapacità di catturare la complessità delle informazioni^cross-modali 16,17,18.

Il confronto critico tra i modelli MMKG basati sul linguaggio e VISHAM-KG è fornito nella Tabella 1. Si concentra specificamente sulle loro forze e limitazioni nel contesto di lingue a basse risorse come l'hindi, il tamil o il sanscrito. Questi metodi spesso presuppongono l'accesso a corpora testuali di alta qualità, annotazioni linguistiche affidabili e modelli pre-addestrati su larga scala. Questi fattori ne limitano l'applicabilità a linguaggi con poche risorse. In particolare, le pipeline dipendenti dall'OCR sono frequentemente ottimizzate per gli alfabeti latini e mostrano una ridotta accuratezza per gli alfabeti indiani, il che porta a un'estrazione rumorosa o incompleta. Inoltre, la pre-elaborazione linguistica, il taggaggio delle parti del discorso e il riconoscimento di entità nominate sono comunemente addestrati su linguaggi ad alto livello di risorse. Mostrano prestazioni drasticamente degradate quando applicate a linguaggi morfologicamente ricchi e sintatticamente flessibili come l'hindi.

Modello MMKG	Punti di forza	Limitazioni in ambienti a basse risorse
IMGpedia	Integra immagini con DBpedia	Si concentra solo sui contenuti in inglese
	Supporta query di similarità visiva	Nessun supporto per alfabeti non latini
		Contesto culturale limitato per le immagini regionali
Richpedia	Combina entità visive e testuali da Wikipedia e Wikidata	Rappresentazione inadeguata della conoscenza indiana o popolare
	Query a livello di aspetto disponibile	Assume un allineamento di alta qualità, che manca nei dataset regionali
ImageGraph	KG relazionale con immagini e didascalie	Estrazione di entità e relazioni adattata per corpora inglesi
	Supporta la query estesa a triplet	Fallisce in ambienti con sottotitoli scarsi o metadati mancanti
VisualSem	Supporto multilingue	Scarsa rappresentazione delle lingue asiatiche a basse risorse
	Utile nelle pipeline semantiche neurali	Nessun supporto per il Devanagari o per la semantica visiva radicata culturalmente
VISHAM-KG	KG relazionale con immagini in linguaggi indici	Dipendente dalla lingua
	Pipeline semantiche per una sintassi morfologicamente ricca	Dipende da diversi tag POS di lingue diverse.

Tabella 1: Confronto critico tra gli MMKG e le limitazioni nei linguaggi a poche risorse.

I modelli MMKG esistenti si basano su grafi di conoscenza statici, non adattandosi a contesti dinamici reali dove si sviluppano nuovi tipi di entità e associazioni a causa del loro addestramento con un singolo dataset. Questo rende cruciale sviluppare modelli con capacità^{dinamiche 16}. In questo contesto si riscontrano le seguenti limitazioni: uso errato dei dati testuali in attività visive come identificazione, estrazione e annotazione di oggetti; lo sviluppo di metodi scalabili per costruire grafi di conoscenza multimodali da fonti eterogenee; e l'incorporazione delle informazioni contestuali in grafi di conoscenza multimodali per una migliore comprensione e interpretazione.

In queste condizioni, VISHAM-KG si differenzia dagli approcci precedenti impiegando tecniche avanzate di estrazione visiva per definire nodi e relazioni direttamente dai documenti visivi. Combina passaggi standard di elaborazione del testo come tokenizzazione, rimozione di stop-word e taggatura delle parti del discorso con tecniche di grafici semantici per strutturare la conoscenza estratta. Fondendo visione artificiale e ontologia, il sistema offre diversi vantaggi¹⁹: maggiore adattabilità, che permette alla base di conoscenza di evolversi con le esigenze specifiche dell'applicazione; rappresentazione semantica migliorata che supporta l'interoperabilità tra i sistemi; e una migliore inferenza e recupero semantico, consentendo un miglioramento della base di conoscenza a livello contestuale.

Protocol

Non è richiesta alcuna approvazione etica per questo protocollo, poiché utilizza esclusivamente dati visivi e testuali non umani, disponibili al pubblico, non sensibili. La Tabella 2 fornisce tutti gli strumenti e le tecniche insieme alle loro dipendenze. Tutto il codice sorgente, i file di configurazione e gli script necessari per riprodurre la pipeline di costruzione multimodale dei grafi di conoscenza sono disponibili in un repository pubblico su GitHub (preeti017phdit22-wq/VISHAM_KG.). Il repository include istruzioni di installazione e specifiche di dipendenza per facilitarne la riproducibilità.

Modulo	Modello / Strumento	Versione	Quadro	Scopo
OCR	EasyOCR	v1.7.1	PyTorch	Estrazione di testo hindi
POS + Parsing delle dipendenze	Stanza (ciao)	v1.6.1	PyTorch	Analisi linguistica
NER	BiLSTM-CRF	Addestramento su misura	PyTorch	Riconoscimento delle entità in hindi
Rilevamento di oggetti	YOLOv8	v8.0.208	Ultralitica	Estrazione di entità visive
Incorporazioni di testo	XLM-R Base	2023-05	FacciaAbracciante	Codifica del testo multilingue
Embeddings visivi	CLIP-ViT-B/32	2022-09	OpenAI	Codifica delle immagini
Memorizzazione dei grafi	Neo4j	v5.13	Neo4j	Costruzione KG
Somigglianza	Somiglianza coseno	–	NumPy	Allineamento cross-modale

Tabella 2: Strumenti e tecniche utilizzate in ogni fase nella costruzione del VISHAM-KG.

1. Costruzione di grafi della conoscenza

1. Preparazione dei dati
   1. Raccogli 10 documenti di racconti per bambini dalle fonti^{menzionate: 11,13}. Conferma la disponibilità di documenti con immagine per ciascun documento.
   2. Memorizza ogni documento come un'unità strutturata contenente file immagine (PNG o JPG) e il testo corrispondente in hindi.
   3. Assegna un identificatore unico del documento che colleghi ogni immagine al testo associato.
2. Estrazione e preelaborazione del testo
   1. Estrae testo da immagini scansionate usando EasyOCR (configurato per la scrittura Devanagari) per estrarre testo hindi dalle immagini del documento (Figura 2).
   2. Normalizzare il testo estratto rimuovendo artefatti OCR e rimuovendo simboli superflui.
   3. Esegui segmentazione e tokenizzazione delle frasi. Tokenizza il testo in parole. Rimuovere le parole stop usando una lista predefinita di parole stop in hindi.
   4. Esegui il taggaggio delle parti del discorso e l'analisi delle dipendenze utilizzando un NLP compatibile con l'hindi usando Stanza (Hi).
   5. Identificare entità nominate utilizzando un modello BiLSTM-CRF.
   6. Estrarre triple oggetto-relazione usando template di regole di dipendenza. Genera un albero di dipendenza con relazioni grammaticali etichettate per costruire triplet significative (Figura 3).

Figura 2: Estrazione di un semplice triplo soggetto-verbo-oggetto dal testo hindi usando relazioni solo verbali. Il diagramma di flusso descrive l'estrazione di un semplice triplo soggetto-verbo-oggetto dal testo hindi utilizzando relazioni solo verbali. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Relazione estesa della preposizione verbale. La figura illustra una relazione estesa della Preposizione Verbale per identificare la formazione della tergia di doppi. Clicca qui per visualizzare una versione più grande di questa figura.

3. Estrazione di entità visive
   1. Carica ogni immagine e applica il rilevamento degli oggetti usando il modello di rilevamento oggetti YOLOv8 (Figura 4).
   2. Estrarre le riquadre di delimitazione, le etichette delle classi e i punteggi di fiducia degli oggetti identificati nell'immagine (Figura 5).
   3. Filtrare gli oggetti rilevati mantenendo i rilevamenti con punteggi di confidenza ≥ 0,50. Registra gli oggetti filtrati come entità visive (OPTIONAL). Salva le entità visive con coordinate di bounding box e genera un elenco di queste entità.

Figura 4: Rilevamento di oggetti. La figura illustra il rilevamento degli oggetti usando YOLOv8. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Estrazione delle caratteristiche visive e rilevamento e identificazione degli oggetti. La figura illustra l'estrazione delle caratteristiche visive usando strati convoluzionali e YOLOv8, seguita da un raffinamento e allineamento delle regioni basati sui punteggi di somiglianza. Clicca qui per visualizzare una versione più grande di questa figura.

4. Incorporamento e allineamento dell'entità
   1. Genera embedding contestuali per entità testuali utilizzando embedding XLM-R. Genera embedding visivi per oggetti rilevati utilizzando embedding CLIP-ViT (Figura 6).
   2. Proiettare testo e embedding visivi in uno spazio latente condiviso e normalizzarli alla lunghezza unitaria.
   3. Calcola la somiglianza del coseno tra ogni coppia di embedding testuale e visiva. Allineare le entità quando la somiglianza ≥ soglia predefinita τ (predefinito τ = 0,65). Produrre una lista di coppie di entità testo-immagine allineate.

Figura 6: Rilevamento visivo di oggetti e fusione dei tag POS. La figura illustra la rilevazione visiva di oggetti e la fusione dei tag POS per l'estrazione di triplet di grafi di conoscenza. YOLO e CIFAR-100 identificano oggetti che dimostrano l'allineamento multimodale. Clicca qui per visualizzare una versione più grande di questa figura.

5. Estrazione a tripletti
   1. Estrai i triplici testuali usando regole di dipendenza che mappano le strutture soggetto-verbo-oggetto.
   2. Derivare relazioni visive utilizzando regole di prossimità spaziale e co-occorrenza.
   3. Genera triple multimodali collegando entità testuali e visive allineate usando etichette di relazione. Valida i triplet per la coerenza sintattica e semantica.
6. Costruzione di grafi della conoscenza
   1. Convertire entità allineate in triple compatibili RDF. Unisci triple testuali e visive in un grafo unificato.
   2. Inserire entità come nodi e relazioni come archi. Codifica collegamenti multimodali usando predicati espliciti. Memorizza il grafico risultante in Neo4j (OPTIONAL). Viene ora generato un grafo della conoscenza multimodale finalizzato con triple tessu-immagine allineate.
      NOTA: Un approccio sistematico per costruire un grafo della conoscenza multimodale a partire da documenti visivi hindi è mostrato nella Figura 7.

Figura 7: Pipeline per la costruzione di grafi di conoscenza multimodali. Il diagramma di flusso rappresenta i gasdotti per VISHAM-KG. Clicca qui per visualizzare una versione più grande di questa figura.

3. Usa il pseudocodice qui sotto per la costruzione di un grafo della conoscenza.
   Input:
   D : Set di documenti testo-immagine in hindi
   τ : Soglia di somiglianza per l'allineamento
   Pre-elabora ogni coppia di documenti (T,I)∈D
   Se T viene scansionato, estrarre il testo T' usando tokenizzazione OCRPerform, lemmatizzazione e rimozione delle parole stop
   Applica il POS tagging e il parsing delle dipendenze usando Stanza
   Rileva oggetti in I usando YOLOv8
   Estrarre le riquadre delimitatorie, le etichette L_i e i i e i punteggi di confidenza > 0,5
   Generare l'incorporamento
   Identificare entità nominate E_T da T' usando BiLSTM-CRF
   Estrarre le entità visive E_V da L_i
   Calcola gli embeddings testuali E_T con XLM-R.
   Calcolare gli embeddings visivi E_V con CLIP-ViT
   Allineamento delle entità con estrazione di triplet
   Per ogni coppia (e_{t,e v}) in_{E T} x E_V:
   Calcolare la similarità del coseno S = cos(_{E V,E T})
   Imposta la soglia τ=0,6
   Se s≥τ, si aggiunge il triplone (e_t, has_image,_{e v}) all'insieme F.
   Estrarre (h,r,t) triple da T' usando regole di dipendenza.
   Deriva le relazioni visive dalla co-occorrenza spaziale o basata su didascalie.
   Proiettare E_t ed E_v in uno spazio latente condiviso.
   Punteggia i terzini e mantieni quelli sopra la soglia di fiducia.
   Aggiungi triple e entità validate al grafo G.
   Output: KG finale in Neo4j.

2. Procedura di valutazione

NOTA: Le storie per bambini in hindi sono scelte per la valutazione del quadro VISHAM-KG perché forniscono narrazioni controllate e visivamente fondate con entità e relazioni chiare, consentendo una validazione affidabile dell'allineamento multimodale, della costruzione dei grafi e dell'inferenza prima del dispiegamento su scala di dominio. Tutte le impostazioni degli iperparametri sono riportate nella Tabella 3.

Modulo	Iperparametro	Dimensioni
OCR	Soglia di confidenza	0.5
Estrazione di entità	Dimensione di incorporamento	300
Rilevamento degli oggetti	Soglia di confidenza	0.5
	Dimensione dell'immagine di input	640 × 640
Incorporamento del testo	Modello linguistico	XLM-R
	Dimensione di incorporamento	768
Incorporamento dell'immagine	Modello visionale	CLIP-ViT-B/32
	Dimensione di incorporamento	768
Allineamento	Metrica di similarità	Somiglianza coseno
Allineamento testo-immagine	Soglia di somiglianza coseno (τ)	0.6
Previsione del collegamento	Dimensione di incorporamento	100
	Epoche di addestramento	50
	Campionamento negativo	Divisa
Valutazione	Divisione treno-prova	80 / 20

Tabella 3: Impostazione degli iperparametri per il framework.

Componente	Conte
Immagini del documento	10
Entità testuali	186
Entità visive	97
Relazioni derivate dal testo	105
Relazioni derivate dal visivo	41
Trilli testuali e visivi	312

Tabella 4: Grafico della conoscenza e statistica dei tripletti.

1. Composizione e partizionamento dei dataset
   1. Il dataset di valutazione consiste in 10 storie per bambini, ciascuna accompagnata da immagini illustrative. Esegui il processo di estrazione dell'entità menzionato nei passaggi 1.2-1.4. I risultati sono rappresentati nella Tabella 4.
   2. Costruire due varianti di grafi: un grafo della conoscenza solo testuale (T-KG) usando solo triplette testuali e un altro grafo della conoscenza multimodale (MM-KG) usando triple testuali e visive fuse.
   3. Per garantire una valutazione controllata, per entrambi i grafi, si utilizzano suddivisioni dei dati identiche.
   4. Partizionare casualmente i triplet estratti a 80:20, cioè l'80% per la costruzione del grafo (set di addestramento) e il 20% per la valutazione (set di test). Applica questa divisione coerente sia al KG testuale che al MMKG per garantire un confronto equo.
2. Parametri di base e di valutazione
   1. Il Ragazzo Giovanile testuale funge da base. Il quadro proposto, VISHAM KG, rappresenta il metodo proposto. Per entrambi i grafi, si utilizza un'ontologia identica con identificatori di entità e query di valutazione. L'unica differenza tra i due grafi è l'inclusione di entità visive in VISHAM-KG.
3. Metriche di valutazione e previsione dei collegamenti
   1. Usa le metriche standard di previsione dei link²⁰: Rango Reciproco Medio (MRR), Hits@1, Hits@3, Hits@10. Hit@K, definita come la proporzione di casi in cui l'entità corretta appare tra le prime N classifiche.
   2. Per ogni triplo di prova (testa, relazione, coda), mascherare sia la testa che l'entità della coda. Classifica tutte le entità candidate in base alla similarità del coseno nello spazio di embedding condiviso (Tabella 5).

Entità testuale	Entità visiva	Somiglianza coseno
शेर		0.78
लोमड़ी		0.82

Tabella 5: Punteggi di somiglianza coseno tra embedding di testo e immagine.

3. Generare previsioni indipendentemente per embedding solo testuali e multimodali (VISHAM-KG).
4. Calcola i risultati usando il Rango Reciproco Medio (MRR), come media dei ranghi reciproci dell'entità corretta su tutte le query²¹. Utilizzando la Tabella 6, esprimi tutti i risultati in formato decimale per garantire la coerenza tra gli esperimenti²².

Modello	MRR	Hits@1	Hits@3	Hits@10
TransE	0.42	0.21	0.48	0.72
ComplEx	0.47	0.26	0.52	0.74
RotatE	0.51	0.31	0.58	0.74
VISHAM-KG (Testuale)	0.49	0.36	0.62	0.76

Tabella 6: Prestazioni di previsione dei link sui tripletti solo testuali.

5. Utilizzare le metriche per validare il potere predittivo del grafo di conoscenza multimodale nel recuperare gli anelli mancanti, come mostrato nella Tabella 7.

Modello	MRR	Hits@1	Hits@3	Hits@10
IKRL	0.46	0.34	0.63	0.72
VisualBERT	0.52	0.35	0.61	0.72
VILBERT	0.54	0.38	0.64	0.75
VISHAM-KG	0.57	0.41	0.66	0.79

Tabella 7: Prestazioni nei compiti di previsione di triplet cross-modali.

4. Usa il pseudocodice qui sotto per la valutazione.
   Per ogni variante del Grafo della Conoscenza G∈{_{G T,G MM}}:
   Partizionamento a triplet
   Estrarre tutte le triple T_tutte da G.
   Partiziona casualmente_{T tutto} in set di addestramento (80%) e set di test Test T_test (20%).
   Costruisci il_gruppo G del grafo usando triplet in_{T train}.
   Punteggio di Somiglianza e Incorporamento
   Per ogni_test tripletto (h,r,t)∈T:
   Testa mascherata o entità di coda per formare query (h,r,?) o (?,r,t).
   Genera il set di entità candidate C dalle entità in G_train.
   Calcolare il punteggio di similarità S=cos(e_{query,e c}) per ogni e_c ∈ C.
   Classifica tutte le entità candidate in base al punteggio decrescente di somiglianza.
   Calcolo metrico
   Calcola il rango dell'entità corretta per ogni query.
   Calcola il Rango Reciproco Medio (MRR) su tutte le query di test.
   Calcola Hits@1, Hits@3 e Hits@10.
   Confrontare i punteggi di valutazione tra Text only text KG G_T e Multimodal KG_{G MM.}
   Output: Fornire risultati qualitativi e quantitativi direttamente attribuibili all'integrazione multimodale
5. Somiglianza intermodale
   1. Calcolare i punteggi di somiglianza per valutare l'allineamento tra embedding testuali e visivi. Normalizzare sia gli embedding testuali che quelli visivi alla lunghezza unitaria per garantire coerenza nella scala. Usa la somiglianza coseno come metrica^{primaria 22}.
   2. Per ogni coppia (e_t,_{e v}) di embedding di entità testuali e di entità visive, calcola il punteggio di somiglianza²³.
      Punteggio(e_{t,e v}) = λ ·_{sim text}(e_{t,e v}) + (1-λ) ·_{sim visual} (e_{t,e v}).
      dove:
      λ∈ [0,1] è il parametro di pesatura della modalità,
      _{Il testo} sim è la somiglianza coseno tra le incorporate tessuali,
      _{Sim Visual} è la somiglianza coseno tra gli embedding visivi.

Results

Il VISHAM-KG proposto viene valutato tramite compiti di valutazione di similarità e previsione dei collegamenti comunemente utilizzati nel dataset benchmark di rappresentazione della conoscenza.

Configurazione sperimentale

Valutare il grafo di conoscenza multimodale costruito utilizzando due compiti consolidati: (i) valutazione della similarità cross-modal e (ii) previsione dei link del grafo della conoscenza. Eseguire tutte le valutazioni esclusiva...

Discussion

Le prestazioni del framework VISHAM-KG si basano principalmente su tre componenti fondamentali: OCR per il testo Devanagari (passo 1.2), rilevamento visivo basato sulla fiducia tramite Clip-ViT (passo 1.3) e allineamento cross-modal basato sull'incorporamento (passo 1.4). L'accuratezza OCR influenza direttamente l'analisi linguistica a valle e l'estrazione delle entità. Gli errori introdotti in questa fase si propagano all'identificazione delle relazioni e riducono la precisione dell'all...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRF e modello Indic NER	Addestramento su misura	PyTorch	Riconoscimento di entità nominate
CLIP-ViT-B/32	2022-09	OpenAI	Generazione di embedding visivo
CPU	Intel i9	Intel	Calcolo generale
EasyOCR	v1.7.1	IA Jaided	Estrazione di testo hindi dalle immagini
GPU	NVIDIA RTX 3090	NVIDIA	Accelerazione dell'inferenza del modello
Storie per bambini in hindi	10 storie	Dataset curato	Corpus di valutazione
Neo4j	v5.13	Neo4j Inc.	Archiviazione dei grafi di conoscenza
NumPy	v1.24	Comunità NumPy	Calcoli numerici
Pandas	v2.0	Comunità Pandas	Gestione dei dati
Python	v3.10	Python Software Foundation	Implementazione della pipeline
PyTorch	v2.0	Meta AI	Framework per il deep learning
Stanza (modello hindi)	v1.6.1	Stanford NLP	Taggatura POS e parsing delle dipendenze
XLM-R (Base)	2023-05	FacciaAbracciante	Generazione di embedding del testo
YOLOv8	v8.0.208	Ultralitica	Rilevamento visivo degli oggetti