Grafos de conocimiento multimodales basados en análisis lingüístico basado en reglas y visión por ordenador

Summary

VISHAM-KG es un marco multimodal que construye grafos de conocimiento a partir de documentos visuales en hindi alineando entidades textuales y visuales. Combina análisis lingüístico basado en reglas con técnicas de visión por ordenador para producir tripletes sujeto-relación-objeto en entornos de lenguas índicas con pocos recursos.

Abstract

El Grafo de Conocimiento Multimodal Visual-Semántico Alineado en Hindi (VISHAM-KG) es un marco diseñado para construir grafos de conocimiento multimodales (KG) consistentes a partir de documentos visuales en hindi mediante la alineación sistemática de entidades visual-textuales. El objetivo de este estudio es integrar el análisis lingüístico basado en reglas con la detección de objetos basada en visión por ordenador que apoye la representación semántica estructurada y el razonamiento fundamentado en lenguas índicas de pocos recursos. El algoritmo propuesto comienza con la preparación de documentos visuales en hindi de Procesamiento del Lenguaje Natural (PLN), seguido del reconocimiento óptico de caracteres (OCR) para la extracción de escrituras en devanagari y el preprocesamiento lingüístico, que incluye varios procesos como tokenización, lematización, etiquetado de partes gramaticales y análisis de dependencias. Paralelamente, las entidades visuales se extraen de las imágenes mediante detección de objetos y se filtran mediante umbrales de confianza. Las entidades textuales y visuales se incrustan en un espacio semántico compartido usando el modelo multilingüe de transformadores XLM-R, junto con CLIP-ViT, y se alinean usando umbrales basados en similitud coseno. Estas entidades alineadas se combinan con relaciones de dependencia basadas en reglas para generar tripletes multimodales. El protocolo produce un grafo de conocimiento multimodal estructurado codificado como tripletes sujeto-relación-objeto con una base visual explícita basada en la base de conocimiento india. Este resultado soportará consultas intermodales, alineamiento de entidades y razonamiento de grafos de conocimiento para documentos visuales en hindi, y proporcionará un marco replicable para la construcción multimodal del conocimiento en entornos lingüísticos de pocos recursos.

Introduction

Los grafos de conocimiento (KG) son representaciones gráficas semánticas estructuradas en las que las entidades se modelan como nodos y las relaciones como aristas. Permite una recuperación eficiente de conocimientos y razonamiento contextual en diversas aplicaciones como la respuesta a preguntas, sistemas de recomendación y extracción^{de información.} En la última década, las metodologías de construcción de KG se han desarrollado sustancialmente. Sin embargo, la mayoría de los enfoques existentes están diseñados para lenguas ricas en recursos, que dependen predominantemente de corpora textuales^{a gran escala 2}. Como resultado, las lenguas de pocos recursos siguen estando subrepresentadas, lo que limita la aplicabilidad de las tecnologías basadas en la KG en entornos cultural y lingüísticamente^{diversos 3}. Paralelamente, una proporción creciente de documentos del mundo real, especialmente en ámbitos educativos, culturales y patrimoniales, tienen información visual rica que es insuficientemente capturada por métodos de construcción de grafos centrados en^{el texto 4}.

Los grafos de conocimiento multimodales (MMKG) extienden los KG convencionales integrando modalidades no textuales como imágenes, audio o vídeo para permitir una representación semántica^{fundamentada 5}. Marcos MMKG anteriores, incluyendo IMGpedia, Richpedia e ImageGraph, demuestran el valor de asociar información visual con entidades textuales para mejorar la consulta y el razonamiento^{semántico 6,7,8}. A pesar de estos avances, los métodos existentes son en gran medida centrados en inglés, dependen de metadatos curados o conjuntos de datos estáticos, y proporcionan una guía procedimental limitada para construir MMKGs directamente a partir de documentos visuales no estructurados. Además, estos marcos no abordan explícitamente los desafíos inherentes a los lenguajes de pocos recursos, como errores específicos de Reconocimiento Óptico de Caracteres (OCR), variabilidad morfológica y datos anotados^{escasos 9,10.}

El objetivo de este marco es ejecutar una metodología paso a paso para construir un grafo de conocimiento multimodal a partir de documentos visuales en hindi, alineando sistemáticamente las entidades textuales y visuales. El marco propuesto, Grafo de Conocimiento Multimodal Visual-Semántico Alineado en Hindi (VISHAM-KG), integra análisis lingüístico basado en reglas con visión por ordenador, que se basa en la extracción de objetos, para permitir la construcción dinámica de grafos de documentos visuales. A diferencia de los enfoques MMKG existentes, VISHAM-KG extrae directamente entidades y relaciones de texto y imágenes en hindi en bruto, aplica reglas gramaticales basadas en dependencias para la identificación de relaciones y realiza alineamientos intermodales de entidades utilizando umbrales de similitud basados en incrustación en lugar de depender de^11,12 externos.

VISHAM-KG está destinado a documentos ilustrados en los que el contenido textual y visual se relacionan semánticamente, como cuentos^{infantiles 13}, material educativo,^{periódico 11} y narrativas culturalmente fundamentadas. Se han encontrado algunas limitaciones, como la dependencia de la calidad del reconocimiento óptico de caracteres, la cobertura de detección de objetos y la disponibilidad de vocabulario específico de dominio, al ejecutar el marco mencionado. Al documentar explícitamente cada paso procedural, VISHAM-KG proporciona un protocolo replicable para la construcción de grafos de conocimiento multimodales en contextos lingüísticos de pocos recursos, al tiempo que apoya el razonamiento semántico fundamentado y el análisis cruzado.

VISHAM-KG se diferencia de los enfoques existentes de MMKG al extraer directamente entidades y relaciones de texto e imágenes hindi no estructuradas; empleando análisis sintáctico basado en reglas para la extracción de relaciones; y alinear entidades textuales y visuales mediante umbrales de similitud basados en incrustaciones en lugar de metadatos que^{coincidan 8,10} (Figura 1).

Figura 1: Marco de extremo a extremo. La figura ilustra el marco de extremo a extremo para el grafo de conocimiento multimodal VISHAM-KG. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

Este protocolo es aplicable a documentos ilustrados con contenido textual-imagen alineado, como material educativo y narrativas culturales. En este marco, YOLOv8 se elige por su eficiencia y robustez en la detección de objetos en documentos visuales. XLM-R se selecciona por sus potentes representaciones multilingües, que son muy adecuadas para el procesamiento de texto en hindi con pocos recursos, y CLIP-ViT se emplea por su probada capacidad para aprender espacios compartidos de incrustación de texto visual, que permiten una alineación efectiva entre modales. Pero está limitada por la precisión del OCR, la cobertura de detección de objetos y las restricciones de vocabulario específicas de dominio.

Trabajo relacionado

Un grafo de conocimiento tradicional G=(E,R,F) consiste en entidades E, relaciones R y tripletes fácticos F, donde cada triplete es de la forma (h,r,t)⁸. Ampliando esto, un Grafo de Conocimiento Multimodal (MMKG) incorpora entidades E asociadas con modalidades no textuales como imágenes, audio y^{vídeo 14}.

Se utilizan dos estrategias principales en los MMKG para representar datos visuales:
Como atributos asociados a entidades textuales
Como entidades visuales conectadas mediante una relación anotada específica

Un estudio destacado es IMGpedia, que mejora los datos de imágenes de Wikimedia incorporando descriptores visuales y medidas de similitud. Este modelo aborda las limitaciones de los conjuntos de datos tradicionales que incluyen principalmente metadatos, permitiendo consultas visuales y semánticas y la evaluación de similitud al vincular imágenes con DBpedia^{Commons 9}.

De manera similar, otra Richpedia de MMKG aborda el desafío de los grafos de conocimiento incompletos en la investigación académica. Agrega 2.883.162 entidades visuales de Wikipedia y 30.638 entidades textuales de Wikidata. Richpedia soporta consultas a nivel de aspecto y emplea métodos para extraer relaciones semánticas de contenido no estructurado, incluyendo elementos de imagen, texto asociado e hipervínculos¹⁵.

ImageGraph amplía este estudio construyendo un grafo de conocimiento relacional basado en el conjunto de datos FB15K, enriquecido con 829.931 imágenes y pies de foto rastreados por la web. Incluye 14.870 entidades y 1.330 tipos de relaciones, lo que permite consultas visuales-contextuales y respuestas más precisas al soportar los parámetros de consulta^{conceptuales 16}.

VisualSem es otro grafo de conocimiento multilingüe y completo que integra información visual y textual. Comprende 89.896 entidades, más de 1,3 millones de glosas y 938.100 imágenes. Diseñado para aplicaciones como la ampliación de datos y la puesta a tierra, VisualSem mejora la interpretación semántica entre lenguajes y puede incorporarse sin problemas en diversas canaletas de procesamiento¹.

También se desarrollan varios modelos MMKG para soportar tareas como la predicción de enlaces, clasificación de tripletes y emparejamiento de entidades. Estos modelos abordan las limitaciones de los grafos monomodales, especialmente su incapacidad para captar la complejidad de la información intermodal 16,17,18.

La comparación crítica entre los modelos MMKG basados en el lenguaje junto con VISHAM-KG se proporciona en la Tabla 1. Se centra específicamente en su fortaleza y limitaciones en el contexto de lenguas de pocos recursos como el hindi, el tamil o el sánscrito. Estos métodos suelen suponer acceso a corpus textuales de alta calidad, anotaciones lingüísticas fiables y modelos preentrenados a gran escala. Estos factores limitan su aplicabilidad a lenguas con pocos recursos. En particular, las canaletas dependientes del OCR suelen optimizarse para escrituras latinas y muestran una precisión reducida para las escrituras índicas, lo que provoca una extracción ruidosa o incompleta. Además, el preprocesamiento lingüístico, el etiquetado de partes gramaticales y el reconocimiento de entidades nombradas se entrenan comúnmente en lenguajes de alto recurso. Muestran un rendimiento drásticamente degradado cuando se aplican a lenguajes morfológicamente ricos y sintácticamente flexibles como el hindi.

Modelo MMKG	Fortalezas	Limitaciones en entornos de pocos recursos
IMGpedia	Integra imágenes con DBpedia	Se centra únicamente en contenido en inglés
	Soporta consultas de similitud visual	No hay soporte para escrituras no latinas
		Contexto cultural limitado para los visuales regionales
Richpedia	Combina entidades visuales y textuales de Wikipedia y Wikidata	Representación insuficiente del conocimiento índico o popular
	Consulta a nivel de aspecto disponible	Asume una alineación de alta calidad, que falta en los conjuntos de datos regionales
ImageGraph	KG relacional con imágenes y pies de foto	Extracción de entidades y relaciones ajustada para corpus en inglés
	Soporta consultas extendidas basadas en tripletes	Fallos en entornos con subtítulos escasos o metadatos ausentes
VisualSem	Soporte multilingüe	Pobre representación de las lenguas asiáticas de bajos recursos
	Útil en pipelines semánticos neuronales	No hay soporte para el devanagari ni para la semántica visual culturalmente fundamentada
VISHAM-KG	KG relacional con imágenes en lenguas índicas	Dependiente del idioma
	Pipelines semánticos para sintaxis morfológicamente rica	Depende de la etiqueta POS de cada idioma.

Tabla 1: Comparación crítica de MMKG con limitaciones en lenguajes de pocos recursos.

Los modelos MMKG existentes dependen de grafos de conocimiento estáticos, no se adaptan a contextos dinámicos del mundo real donde se desarrollan nuevos tipos de entidades y asociaciones debido a su entrenamiento con un solo conjunto de datos. Esto hace crucial desarrollar modelos con capacidades^{dinámicas 16}. En este contexto se encuentran las siguientes limitaciones: uso incorrecto de datos textuales en actividades visuales como la identificación, extracción y anotación de objetos; desarrollar métodos escalables para construir grafos de conocimiento multimodales a partir de fuentes heterogéneas; e incorporar información contextual en grafos de conocimiento multimodales para mejorar la comprensión e interpretación.

En estas condiciones, VISHAM-KG se diferencia de enfoques anteriores por emplear técnicas avanzadas de extracción visual para definir nodos y relaciones directamente a partir de documentos visuales. Combina pasos estándar de procesamiento de texto como la tokenización, la eliminación de palabras clave y el etiquetado de partes gramaticales con técnicas de grafos semánticos para estructurar el conocimiento extraído. Al fusionar visión por ordenador y ontología, el sistema ofrece varias ventajas¹⁹: mayor adaptabilidad, permitiendo que la base de conocimiento evolucione con las necesidades específicas de la aplicación; una representación semántica mejorada que apoya la interoperabilidad entre sistemas; y una mejor inferencia y recuperación semántica, permitiendo la mejora de la base de conocimiento a nivel contextual.

Protocol

No se requiere aprobación ética para este protocolo, ya que utiliza exclusivamente datos visuales y textuales no humanos, disponibles públicamente y no sensibles. La Tabla 2 proporciona todas las herramientas y técnicas junto con sus dependencias. Todo el código fuente, archivos de configuración y scripts necesarios para reproducir la cadena de construcción de grafos de conocimiento multimodal están disponibles en un repositorio público de GitHub (preeti017phdit22-wq/VISHAM_KG.). El repositorio incluye instrucciones de instalación y especificaciones de dependencias para facilitar la reproducibilidad.

Módulo	Modelo / Herramienta	Versión	Marco	Propósito
OCR	EasyOCR	v1.7.1	PyTorch	Extracción de texto en hindi
POS + Análisis de dependencias	Estrofa (hola)	v1.6.1	PyTorch	Análisis lingüístico
NER	BiLSTM-CRF	Entrenado a medida	PyTorch	Reconocimiento de entidades en hindi
Detección de objetos	YOLOv8	v8.0.208	Ultralíticos	Extracción de entidades visuales
Incrustaciones de texto	XLM-R Base	2023-05	Cara de Abrazo	Codificación de texto multilingüe
Incrustaciones visuales	CLIP-ViT-B/32	2022-09	OpenAI	Codificación de imágenes
Almacenamiento de grafos	Neo4j	v5.13	Neo4j	Construcción KG
Similitud	Similitud coseno	–	NumPy	Alineación intermodal

Tabla 2: Herramientas y técnicas utilizadas en cada paso en la construcción del VISHAM-KG.

1. Construcción de grafos de conocimiento

1. Preparación de datos
   1. Recopila 10 documentos de cuentos infantiles de las fuentes^{mencionadas: 11,13}. Confirma la disponibilidad de documentos con imagen para cada documento.
   2. Almacenar cada documento como una unidad estructurada que contiene archivos de imagen (PNG o JPG) y el correspondiente texto en hindi.
   3. Asigna un identificador único de documento que vincule cada imagen con el texto asociado.
2. Extracción y preprocesamiento de texto
   1. Extrae texto de imágenes escaneadas usando EasyOCR (configurado para escritura devanagari) para extraer texto en hindi de imágenes de documentos (Figura 2).
   2. Normalizar el texto extraído eliminando artefactos de OCR y eliminando símbolos extraños.
   3. Realiza segmentación de frases y tokenización. Tokeniza el texto en palabras. Elimina las palabras de parada usando una lista de palabras de final predefinida en hindi.
   4. Realizar etiquetado de partes gramaticales y análisis de dependencias usando un PLN compatible con hindi usando Stanza (Hi).
   5. Identificar entidades nombradas usando un modelo BiLSTM-CRF.
   6. Extrae tripletes sujeto-relación-objeto usando plantillas de reglas de dependencia. Genera un árbol de dependencias con relaciones gramaticales etiquetadas para construir tripletes significativos (Figura 3).

Figura 2: Extracción de un triplete simple sujeto-verbo-objeto de texto hindi usando relaciones solo verbales. El diagrama de flujo describe la extracción de un simple triplete sujeto-verbo-objeto del texto hindi utilizando relaciones solo verbales. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

Figura 3: Relación extendida de preposición verbal. La figura ilustra la relación extendida de la Preposición Verbal para identificar la formación de tripletes. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

3. Extracción de entidades visuales
   1. Carga cada imagen y aplica la detección de objetos usando el modelo de detección de objetos YOLOv8 (Figura 4).
   2. Extrae los recuadros delimitadores, las etiquetas de clase y las puntuaciones de confianza de los objetos identificados en la imagen (Figura 5).
   3. Filtrar los objetos detectados reteniendo las detecciones con puntuaciones de confianza ≥ 0,50. Registrar objetos filtrados como entidades visuales (OPCIONAL). Guarda las entidades visuales con coordenadas de caja delimitadora y genera una lista de estas entidades.

Figura 4: Detección de objetos. La figura ilustra la detección de objetos usando YOLOv8. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

Figura 5: Extracción de características visuales y detección e identificación de objetos. La figura ilustra la extracción visual de características usando capas convolucionales y YOLOv8, seguida de refinamiento y alineamiento de regiones basados en puntuaciones de similitud. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

4. Incrustación y alineación de entidades
   1. Genera incrustaciones contextuales para entidades textuales usando incrustaciones XLM-R. Genera incrustaciones visuales para objetos detectados usando incrustaciones CLIP-ViT (Figura 6).
   2. Proyecta texto y incrustaciones visuales en un espacio latente compartido y normalizalas a la longitud unitaria.
   3. Calcula la similitud del coseno entre cada par de incrustación textual y visual. Alinear las entidades cuando la similitud ≥ umbral predefinido τ (por defecto τ = 0,65). Elabora una lista de pares de entidades texto-imagen alineados.

Figura 6: Detección visual de objetos y fusión de etiquetas de punto de venda. La figura ilustra la detección visual de objetos y la fusión de etiquetas POS para la extracción de tripletes de grafos de conocimiento. YOLO y CIFAR-100 identifican objetos que demuestran alineación multimodal. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

5. Extracción por tripletes
   1. Extrae tripletes textuales usando reglas de dependencia que mapean estructuras sujeto-verbo-objeto.
   2. Derivar relaciones visuales usando reglas de proximidad espacial y co-ocurrencia.
   3. Genera tripletes multimodales enlazando entidades textuales y visuales alineadas usando etiquetas de relación. Valida los trío para asegurar la consistencia sintáctica y semántica.
6. Construcción de grafos de conocimiento
   1. Convierte entidades alineadas en tripletes compatibles con RDF. Fusiona tripletes textuales y visuales en un grafo unificado.
   2. Inserta entidades como nodos y relaciones como aristas. Codificar enlaces multimodales usando predicados explícitos. Almacenar el grafo resultante en Neo4j (OPCIONAL). Ahora se genera un grafo de conocimiento multimodal finalizado con tripletes de texto e imagen alineados.
      NOTA: Un enfoque sistemático para construir un grafo de conocimiento multimodal a partir de documentos visuales en hindi se muestra en la Figura 7.

Figura 7: Pipeline para la construcción de grafos de conocimiento multimodales. El diagrama de flujo representa los oleoductos para VISHAM-KG. Por favor, haz clic aquí para ver una versión ampliada de esta figura.

3. Utiliza el pseudocódigo de abajo para la construcción de grafos de conocimiento.
   Entrada:
   D : Conjunto de documentos de texto e imagen en hindi
   τ : umbral de similitud para la alineación
   Preprocesar cada par de documentos (T,I)∈D
   Si se escanea T , extrae el texto T' usando tokenización OCRPerform, lematización y eliminación de palabras de parada
   Aplica etiquetado POS y análisis de dependencias usando Stanza
   Detectar objetos en I usando YOLOv8
   Extraer las cajas delimitadoras, etiquetas L_i y puntuaciones de confianza > 0,5
   Generar incrustación
   Identificar entidades nombradas E_T de T' usando BiLSTM-CRF
   Extraer entidades visuales E_V de L_i
   Calcular incrustaciones textuales E_T con XLM-R.
   Calcular incrustaciones visuales E_V con CLIP-ViT
   Alineación de entidades con extracción de tripletes
   Para cada par (e_{t,e v}) en_{E T} x E_V:
   Calcular la similitud del coseno S = cos(_{E, V,E T})
   Establecer umbral τ=0,6
   Si s≥τ, se añade el triplete (e_t, has_image, e_v) al conjunto F.
   Extrae (h,r,t) tripletes de T' usando reglas de dependencia.
   Derivar relaciones visuales a partir de la coocurrencia espacial o basada en leyendas.
   Proyecta E_t y E_v en un espacio latente compartido.
   Puntua tripletes y conserva aquellos que superan el umbral de confianza.
   Añade tripletes y entidades validadas al grafo G.
   Salida: KG final en Neo4j.

2. Procedimiento de evaluación

NOTA: Las historias infantiles en hindi se eligen para evaluar el marco VISHAM-KG porque proporcionan narrativas controladas y visualmente fundamentadas con entidades y relaciones claras, permitiendo una validación fiable del alineamiento multimodal, la construcción de grafos y la inferencia antes del despliegue a escala de dominio. Todos los ajustes de hiperparámetros se indican en la Tabla 3.

Módulo	Hiperparámetro	Dimensiones
OCR	Umbral de confianza	0.5
Extracción de entidades	Dimensión de incrustación	300
Detección de objetos	Umbral de confianza	0.5
	Tamaño de la imagen de entrada	640 × 640
Incrustación de texto	Modelo de lenguaje	XLM-R
	Dimensión de incrustación	768
Incrustación de imágenes	Modelo de visión	CLIP-ViT-B/32
	Dimensión de incrustación	768
Alineación	Métrica de similitud	Similitud coseno
Alineación texto-imagen	Umbral de similitud coseno (τ)	0.6
Predicción de enlace	Dimensión de incrustación	100
	Épocas de entrenamiento	50
	Muestreo negativo	Uniforme
Evaluación	División tren–prueba	80 / 20

Tabla 3: Configuración de hiperparámetros para el framework.

Componente	Conde
Imágenes de documentos	10
Entidades textuales	186
Entidades visuales	97
Relaciones derivadas del texto	105
Relaciones derivadas visualmente	41
Tripletes textuales y visuales	312

Tabla 4: Gráfico de conocimiento y estadística de tripletes.

1. Composición y partición de conjuntos de datos
   1. El conjunto de datos de evaluación consta de 10 historias infantiles, cada una acompañada de imágenes ilustrativas. Ejecuta el proceso de extracción de entidades mencionado en los pasos 1.2-1.4. Los resultados se representan en la Tabla 4.
   2. Construye dos variantes de grafos: un grafo de conocimiento solo textual (T-KG) usando solo tripletes textuales y otro grafo de conocimiento multimodal (MM-KG) usando tripletes textuales y visuales fusionados.
   3. Para asegurar una evaluación controlada, para ambos grafos, se utilizan divisiones de datos idénticas.
   4. Particiona aleatoriamente los tripletes extraídos en 80:20, es decir, 80% para construcción de grafos (conjunto de entrenamiento) y 20% para evaluación (conjunto de prueba). Aplica esta división de forma consistente tanto a KG textual como a MMKG para asegurar una comparación justa.
2. Referencia y métricas de evaluación
   1. El Registro Verde textual sirve como línea base. El marco propuesto, VISHAM KG, representa el método propuesto. Para ambos grafos, utiliza una ontología idéntica con identificadores de entidad y consultas de evaluación. La única diferencia entre ambos grafos es la inclusión de entidades visuales en VISHAM-KG.
3. Métricas de evaluación y predicción de enlaces
   1. Utiliza las métricas estándar de predicción de^{enlaces 20}: Rango Recíproco Medio (MRR), Hits@1, Hits@3, Hits@10. Hit@K, definida como la proporción de casos en los que la entidad correcta aparece en los primeros N rangos.
   2. Para cada triplete de prueba (cabeza, relación, cola), enmascara la entidad cabeza o cola. Ordena todas las entidades candidatas según la similitud coseno en el espacio compartido de incrustación (Tabla 5).

Entidad textual	Entidad visual	Similitud coseno
शेर		0.78
लोमड़ी		0.82

Tabla 5: Puntuaciones de similitud coseno entre incrustaciones de texto e imagen.

3. Generar predicciones de forma independiente para incrustaciones solo de texto y multimodales (VISHAM-KG).
4. Calcular los resultados usando el Rango Recíproco Medio (MRR), como la media de los rangos recíprocos de la entidad correcta en todas las^{consultas 21}. Usando la Tabla 6, expresa todos los resultados en formato decimal para mantener la consistencia entre los^{experimentos 22}.

Modelo	MRR	Hits@1	Hits@3	Hits@10
TransE	0.42	0.21	0.48	0.72
ComplEx	0.47	0.26	0.52	0.74
Rotación	0.51	0.31	0.58	0.74
VISHAM-KG (Textual)	0.49	0.36	0.62	0.76

Tabla 6: Rendimiento de la predicción de enlaces en tripletes solo de texto.

5. Utiliza las métricas para validar el poder predictivo del grafo de conocimiento multimodal en la recuperación de eslabones perdidos, como se muestra en la Tabla 7.

Modelo	MRR	Hits@1	Hits@3	Hits@10
IKRL	0.46	0.34	0.63	0.72
VisualBERT	0.52	0.35	0.61	0.72
VILBERT	0.54	0.38	0.64	0.75
VISHAM-KG	0.57	0.41	0.66	0.79

Tabla 7: Rendimiento en tareas de predicción de tripletes multimodales.

4. Utiliza el pseudocódigo que aparece a continuación para la evaluación.
   Para cada variante del Grafo de Conocimiento G∈{G_{T,G MM}}:
   Partición de tríos
   Extrae todos los tripletes T_{de G} .
   Particiona aleatoriamente T_todo en conjunto de entrenamiento (80%) y set de pruebas T_test (20%).
   Construye el_tren G en grafos usando tripletes en_{el tren} T.
   Puntuación de similitud e incrustación
   Para cada_prueba de triplete (h,r,t)∈T:
   Enmascarar la cabeza o la entidad de cola para formar la consulta (h,r,?) o (?,r,t).
   Genera el conjunto de entidades candidatas C a partir de entidades en_{G train}.
   Calcula la puntuación de similitud incrustada S=cos(e_consulta,_{e c}) para cada_{e c} ∈ C.
   Clasifica todas las entidades candidatas según la puntuación de similitud descendente.
   Cálculo métrico
   Calcula el rango de la entidad correcta para cada consulta.
   Calcular el rango recíproco medio (MRR) sobre todas las consultas de prueba.
   Calcula Hits@1, Hits@3 y Hits@10.
   Comparar las puntuaciones de evaluación entre KG G_T solo por texto y KG G MM Multimodal.
   Salida: Proporcionar resultados cualitativos y cuantitativos directamente atribuibles a la integración multimodal
5. Similitud entre modales
   1. Calcula las puntuaciones de similitud para evaluar la alineación entre incrustaciones textuales y visuales. Normaliza tanto las incrustaciones textuales como visuales a la longitud unitaria para asegurar la consistencia en la escala. Utiliza la similitud del coseno como métrica^{primaria 22}.
   2. Para cada par (e_t, e_v) de incrustación de entidades textuales y incrustaciones de entidades visuales, calcula la puntuación de similitud²³.
      Puntuación(e_{t,e v}) = λ ·_{sim text}(e_{t,e v}) + (1-λ) ·_{sim visual} (e_{t,e v}).
      donde:
      λ∈ [0,1] es el parámetro de ponderación de modalidad,
      _{El texto} sim es la similitud coseno entre incrustaciones textuales,
      _{Sim Visual} es la similitud coseno entre embeddings visuales.

Results

El VISHAM-KG propuesto se evalúa mediante el cálculo de puntuaciones de similitud y tareas de predicción de enlaces comúnmente utilizadas en el conjunto de datos de referencia de representación de conocimiento.

Montaje experimental

Evalúa el grafo de conocimiento multimodal construido utilizando dos tareas establecidas: (i) evaluación de similitud entre modales y (ii) predicción de enlaces de grafos de conocimiento. Realizar todas las evaluaciones e...

Discussion

El rendimiento del marco VISHAM-KG se basa principalmente en tres componentes críticos: OCR para texto en devanagari (paso 1.2), detección visual de objetos basada en confianza usando Clip-ViT (paso 1.3) y alineación intermodal basada en incrustación (paso 1.4). La precisión del OCR influye directamente en el análisis analizable lingüístico posterior y la extracción de entidades. Los errores introducidos en esta etapa se propagan a la identificación de relaciones y reducen la precisión d...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRF y Modelo Indic NER	Entrenado a medida	PyTorch	Reconocimiento de entidades nombradas
CLIP-ViT-B/32	2022-09	OpenAI	Generación de incrustación visual
CPU	Intel i9	Intel	Cálculo general
EasyOCR	v1.7.1	IA jaided	Extracción de texto en hindi a partir de imágenes
GPU	NVIDIA RTX 3090	NVIDIA	Aceleración de inferencia de modelos
Historias infantiles en hindi	10 historias	Conjunto de datos seleccionado	Corpus de evaluación
Neo4j	v5.13	Neo4j Inc.	Almacenamiento de grafos de conocimiento
NumPy	v1.24	Comunidad NumPy	Cálculos numéricos
Pandas	v2.0	Comunidad Pandas	Manejo de datos
Python	v3.10	Fundación de Software Python	Implementación de pipeline
PyTorch	v2.0	Meta IA	Marco de aprendizaje profundo
Stanza (modelo hindi)	v1.6.1	PNL de Stanford	Etiquetado POS y análisis sintáctico de dependencias
XLM-R (Base)	2023-05	Cara de Abrazo	Generación de incrustación de texto
YOLOv8	v8.0.208	Ultralíticos	Detección de objetos visuales