Grafos de Conhecimento Multimodais baseados em Análise Linguística Baseada em Regras e Visão Computacional

Summary

VISHAM-KG é uma estrutura multimodal que constrói grafos de conhecimento a partir de documentos visuais em hindi alinhando entidades textuais e visuais. Ele combina análise linguística baseada em regras com técnicas de visão computacional para produzir tercinos sujeito-relacionamento-objeto em ambientes de línguas índicas de baixo recurso.

Abstract

Grafo de Conhecimento Multimodal Visual-Semântico Alinhado ao Hindi (VISHAM-KG) é uma estrutura projetada para construir grafos de conhecimento multimodais (KGs) consistentes a partir de documentos visuais em hindi, alinhando sistematicamente entidades de texto visual. O objetivo deste estudo é integrar a análise linguística baseada em regras com a detecção de objetos baseada em visão computacional, que apoie a representação semântica estruturada e o raciocínio fundamentado em línguas índicas de baixo recurso. O algoritmo proposto começa com a preparação de documentos visuais em hindi de Processamento de Linguagem Natural (NLP), seguido pelo reconhecimento óptico de caracteres (OCR) para extração de escrita Devanagari e pré-processamento linguístico, que inclui vários processos como tokenização, lematização, marcação de partes gramaticais e análise sintática de dependências. Paralelamente, entidades visuais são extraídas de imagens usando detecção de objetos e filtradas usando limiares de confiança. Entidades textuais e visuais são incorporadas em um espaço semântico compartilhado usando o modelo multilíngue de transformadores XLM-R, juntamente com o CLIP-ViT, e alinhadas usando limiares baseados em cosseno de similaridade. Essas entidades alinhadas são combinadas com relações de dependência baseadas em regras para gerar tripletes multimodais. O protocolo produz um grafo de conhecimento multimodal estruturado codificado como tripletas sujeito-relação-objeto com base visual explícita baseada na base de conhecimento indiana. Esse resultado suportará consultas multimodais, alinhamento de entidades e raciocínio em grafos de conhecimento para documentos visuais em hindi, além de fornecer uma estrutura replicável para a construção de conhecimento multimodal em contextos linguísticos de poucos recursos.

Introduction

Grafos de conhecimento (KGs) são representações gráficas semânticas estruturadas nas quais entidades são modeladas como nós e relações como arestas. Ele permite a recuperação eficiente de conhecimento e o raciocínio contextual em várias aplicações, como resposta a perguntas, sistemas de recomendação e extração^{de informações 1}. Na última década, as metodologias de construção da KG foram desenvolvidas substancialmente. No entanto, a maioria das abordagens existentes é projetada para línguas ricas em recursos, que dependem predominantemente de corpora textuais^{em grande escala 2}. Como resultado, línguas de baixo custo continuam sub-representadas, restringindo a aplicabilidade das tecnologias baseadas em KG em contextos cultural e linguisticamente^{diversos 3}. Paralelamente, uma proporção crescente de documentos do mundo real — especialmente nos domínios educacional, cultural e patrimonial — possui informações visuais ricas que são capturadas insuficientemente pelos métodos de construção de grafos centrados em^{texto 4}.

Grafos de conhecimento multimodais (MMKGs) estendem os KGs convencionais ao integrar modalidades não textuais, como imagens, áudio ou vídeo, para permitir representação semântica^{fundamentada 5}. Frameworks MMKG anteriores, incluindo IMGpedia, Richpedia e ImageGraph, demonstram o valor de associar informações visuais a entidades textuais para melhorar a consulta semântica e o raciocínio ^6,7,8. Apesar desses avanços, os métodos existentes são em grande parte centrados no inglês, dependem de metadados curados ou conjuntos de dados estáticos, e fornecem orientações processuais limitadas para construir MMKGs diretamente a partir de documentos visuais não estruturados. Além disso, esses frameworks não abordam explicitamente desafios inerentes às linguagens de poucos recursos, como erros específicos de Reconhecimento Óptico de Caracteres (OCR), variabilidade morfológica e dados anotados^{esparsos 9,10.}

O objetivo desse framework é executar uma metodologia passo a passo para construir um grafo de conhecimento multimodal a partir de documentos visuais em hindi, alinhando sistematicamente entidades textuais e visuais. O framework proposto, Visual-Semântic Hindi-Aligned Hindi-Aligned Multimodal Knowledge Graph (VISHAM-KG), integra análise linguística baseada em regras com visão computacional, que é baseada na extração de objetos, para permitir a construção dinâmica de grafos de documentos visuais. Ao contrário das abordagens MMKG existentes, o VISHAM-KG extrai diretamente entidades e relações de texto e imagens em hindi bruto, aplica regras gramaticais baseadas em dependências para identificação de relações e realiza o alinhamento de entidades entre modais usando limiares de similaridade baseados em embedding, em vez de depender de^11,12 externos.

VISHAM-KG é destinado a documentos ilustrados nos quais o conteúdo textual e visual está relacionado semanticamente, como histórias^{infantis 13}, material educacional, jornal¹¹ e narrativas culturalmente fundamentadas. Algumas limitações, como dependência da qualidade do reconhecimento óptico de caracteres, cobertura de detecção de objetos e disponibilidade de vocabulário específico de domínio, foram encontradas durante a execução do framework mencionado. Ao documentar explicitamente cada etapa procedimental, o VISHAM-KG fornece um protocolo replicável para a construção de grafos de conhecimento multimodais em contextos linguísticos de poucos recursos, ao mesmo tempo em que suporta raciocínio semântico fundamentado e análise cross-modal.

O VISHAM-KG difere das abordagens MMKG existentes ao extrair diretamente entidades e relações de textos e imagens em hindi não estruturados; empregando análise sintática baseada em regras para extração de relações; e alinhar entidades textuais e visuais por meio de limiares de similaridade baseados em embedding, em vez de metadados que^{correspondam 8,10} (Figura 1).

Figura 1: Estrutura de ponta a ponta. A figura ilustra a estrutura de ponta a ponta para o conhecimento multimodal Grafo VISHAM-KG. Por favor, clique aqui para ver uma versão ampliada desta figura.

Este protocolo é aplicável a documentos ilustrados com conteúdo texto-imagem alinhado, como material educacional e narrativas culturais. Nesse contexto, o YOLOv8 é escolhido por sua eficiência e robustez na detecção de objetos em documentos visuais. O XLM-R é selecionado por suas representações cross-lingual fortes, que são bem adequadas para processamento de texto em hindi de baixo recurso, e o CLIP-ViT é empregado por sua comprovada capacidade de aprender espaços de incorporação de texto visual compartilhado, que permitem um alinhamento intermodal eficaz. Mas é limitada pela precisão do OCR, cobertura de detecção de objetos e restrições de vocabulário específicas do domínio.

Trabalhos relacionados

Um grafo de conhecimento tradicional G=(E,R,F) consiste em entidades E, relações R e tercinos factuais F, onde cada tercino é da forma (h,r,t⁾⁸. Expandindo isso, um Grafo de Conhecimento Multimodal (MMKG) incorpora entidades E associadas a modalidades não textuais, como imagens, áudio e^{vídeo 14}.

Duas estratégias principais são usadas nos MMKGs para representar dados visuais:
Como atributos anexados a entidades textuais
Como entidades visuais conectadas por uma relação anotada específica

Um estudo notável é o IMGpedia, que aprimora dados de imagens da Wikimedia incorporando descritores visuais e medidas de similaridade. Este modelo aborda as limitações dos conjuntos de dados tradicionais que incluem principalmente metadados, permitindo consultas semânticas visuais e avaliação de similaridade ao vincular imagens com o DBpedia^{Commons 9}.

De forma semelhante, outra Richpedia da MMKG aborda o desafio dos grafos de conhecimento incompletos em pesquisas acadêmicas. Ela agrega 2.883.162 entidades visuais da Wikipédia e 30.638 entidades textuais da Wikidata. A Richpedia suporta consultas em nível de aspecto e emprega métodos para extrair relações semânticas de conteúdo não estruturado, incluindo elementos de imagem, texto associado e hiperlinks¹⁵.

A ImageGraph amplia este estudo construindo um grafo relacional de conhecimento baseado no conjunto de dados FB15K, enriquecido com 829.931 imagens e legendas rastreadas na web. Inclui 14.870 entidades e 1.330 tipos de relacionamento, permitindo consultas visuais e contextuais e respostas mais precisas ao suportar parâmetros de consulta baseados^{em conceitos 16}.

VisualSem é outro grafo de conhecimento multilíngue abrangente que integra informações visuais e textuais. Ele compreende 89.896 pessoas, mais de 1,3 milhão de glossas e 938.100 imagens. Projetado para aplicações como aumento de dados e aterramento, o VisualSem aprimora a interpretação semântica entre linguagens e pode ser incorporado de forma fluida em diversos pipelines^{de processamento 1}.

Vários modelos MMKG também são desenvolvidos para suportar tarefas como predivisão de links, classificação de tripletas e correspondência de entidades. Esses modelos abordam limitações dos grafos monomodais, especialmente sua incapacidade de capturar a complexidade das informações^intermodais 16,17,18.

A comparação crítica entre modelos MMKG baseados em linguagem junto com VISHAM-KG é apresentada na Tabela 1. Ele é focado especificamente em sua força e limitações no contexto de línguas de poucos recursos, como hindi, tâmil ou sânscrito. Esses métodos frequentemente assumem acesso a corpus textuais de alta qualidade, anotações linguísticas confiáveis e modelos pré-treinados em grande escala. Esses fatores restringem sua aplicabilidade a linguagens de poucos recursos. Em particular, pipelines dependentes de OCR são frequentemente otimizados para alfabetos latinos e apresentam menor precisão para scripts índicos, o que leva a extração de texto ruidosa ou incompleta. Além disso, pré-processamento linguístico, marcação de partes gramaticais e reconhecimento de entidades nomeadas são comumente treinados em linguagens de alto recurso. Eles apresentam desempenho drasticamente degradado quando aplicados a linguagens morfologicamente ricas e sintaticamente flexíveis, como o hindi.

Modelo MMKG	Pontos fortes	Limitações em Ambientes de Baixo Recursos
IMGpedia	Integra imagens com o DBpedia	Foca apenas em conteúdo em inglês
	Suporta consultas de similaridade visual	Não há suporte para escritas não latinas
		Contexto cultural limitado para visuais regionais
Richpedia	Combina entidades visuais e textuais da Wikipédia e da Wikidata	Representação inadequada do conhecimento índico ou popular
	Consulta em nível de aspecto disponível	Pressupõe alinhamento de alta qualidade, o que falta em conjuntos de dados regionais
ImageGraph	KG relacional com imagens e legendas	Extração de entidades e relações ajustada para corpora em inglês
	Suporta consultas estendidas baseadas em tripletos	Falha em ambientes com legendas escassas ou metadados ausentes
VisualSem	Suporte multilíngue	Pobre representação das línguas asiáticas de baixo custo
	Útil em pipelines semânticos neurais	Sem suporte para Devanagari ou semântica visual culturalmente fundamentada
VISHAM-KG	KG relacional com imagens em línguas índicas	Dependente da língua
	Pipelines semânticos para sintaxe morfologicamente rica	Depende de diferentes etiquetas de POS de diferentes idiomas.

Tabela 1: Comparação crítica de MMKGs com limitações em linguagens de poucos recursos.

Modelos MMKG existentes dependem de grafos de conhecimento estáticos, não se adaptando a contextos dinâmicos do mundo real onde novos tipos e associações de entidades se desenvolvem devido ao treinamento com um único conjunto de dados. Isso torna crucial desenvolver modelos com capacidades^{dinâmicas 16}. As seguintes limitações são encontradas nesse contexto: uso incorreto de dados textuais em atividades visuais como identificação, extração e anotação de objetos; desenvolver métodos escaláveis para construir grafos de conhecimento multimodais a partir de fontes heterogêneas; e incorporar informações contextuais em grafos de conhecimento multimodais para melhorar a compreensão e interpretação.

Nessas condições, o VISHAM-KG difere de abordagens anteriores ao empregar técnicas avançadas de extração visual para definir nós e relações diretamente a partir de documentos visuais. Ele combina etapas padrão de processamento de texto, como tokenização, remoção de palavra parada e marcação de partes gramaticais, com técnicas de grafo semântico para estruturar o conhecimento extraído. Ao fundir visão computacional e ontologia, o sistema oferece várias^{vantagens 19}: adaptabilidade aprimorada, permitindo que a base de conhecimento evolua com necessidades específicas da aplicação; representação semântica aprimorada que apoia a interoperabilidade entre sistemas; e melhor inferência e recuperação semântica, permitindo aprimoramento da base de conhecimento em nível contextual.

Protocol

Não é necessária aprovação ética para este protocolo, pois ele utiliza exclusivamente dados visuais e textuais públicos, não humanos e não sensíveis. A Tabela 2 fornece todas as ferramentas e técnicas junto com suas dependências. Todo o código-fonte, arquivos de configuração e scripts necessários para reproduzir o pipeline de construção de grafos de conhecimento multimodal estão disponíveis em um repositório público do GitHub (preeti017phdit22-wq/VISHAM_KG.). O repositório inclui instruções de instalação e especificações de dependência para facilitar a reprodutibilidade.

Módulo	Modelo / Ferramenta	Versão	Estrutura	Propósito
OCR	EasyOCR	v1.7.1	PyTorch	Extração de texto em hindi
POS + Análise Sintática de Dependências	Estrofe (hi)	v1.6.1	PyTorch	Análise sintática linguística
NER	BiLSTM-CRF	Treinamento personalizado	PyTorch	Reconhecimento de entidades em hindi
Detecção de Objetos	YOLOv8	v8.0.208	Ultralíticos	Extração de entidades visuais
Incorporações de Texto	XLM-R Base	2023-05	Cara de Abraço	Codificação de texto multilíngue
Embeddings Visuais	CLIP-ViT-B/32	2022-09	OpenAI	Codificação de imagem
Armazenamento de grafos	Neo4j	v5.13	Neo4j	Construção KG
Semelhança	Similaridade Cosseno	–	NumPy	Alinhamento intermodal

Tabela 2: Ferramentas e técnicas utilizadas em cada etapa da construção do VISHAM-KG.

1. Construção de grafos de conhecimento

1. Preparação de dados
   1. Colete 10 documentos de histórias infantis das fontes^{mencionadas 11,13}. Confirme a disponibilidade de documentos com imagem para cada documento.
   2. Armazene cada documento como uma unidade estruturada contendo arquivos de imagem (PNG ou JPG) e o texto correspondente em hindi.
   3. Atribua um identificador único de documento que vincule cada imagem ao texto associado.
2. Extração e pré-processamento de texto
   1. Extraia texto de imagens digitalizadas usando EasyOCR (configurado para o alfabeto Devanagari) para extrair texto em hindi de imagens de documentos (Figura 2).
   2. Normalize o texto extraído removendo artefatos de OCR e removendo símbolos supérfluos.
   3. Realize segmentação de frases e tokenização. Tokenize o texto em palavras. Remova palavras de parada usando uma lista pré-definida de palavras de parada em hindi.
   4. Realize marcação de partes gramaticais e análise sintática de dependências usando um NLP compatível com hindi usando Stanza (Hi).
   5. Identifique entidades nomeadas usando um modelo BiLSTM-CRF.
   6. Extraia tripletos sujeito-relação-objeto usando modelos de regra de dependência. Gerar uma árvore de dependência com relações gramaticais rotuladas para construir tercinos significativos (Figura 3).

Figura 2: Extração de um triplete simples sujeito-verbo-objeto de texto em hindi usando relações apenas verbais. O fluxograma descreve a extração de um triplete simples sujeito-verbo-objeto do texto hindi usando relações apenas verbais. Por favor, clique aqui para ver uma versão ampliada desta figura.

Figura 3: Relação estendida de preposição verbal. A figura ilustra a relação estendida da Preposição Verbal para identificar a formação de tercinas. Por favor, clique aqui para ver uma versão ampliada desta figura.

3. Extração de entidades visuais
   1. Carregue cada imagem e aplique a detecção de objetos usando o modelo de detecção de objetos YOLOv8 (Figura 4).
   2. Extraia caixas delimitadoras, rótulos de classe e pontuações de confiança dos objetos identificados na imagem (Figura 5).
   3. Filtre objetos detectados mantendo detecções com pontuações de confiança ≥ 0,50. Registre objetos filtrados como entidades visuais (OPCIONAL). Salve entidades visuais com coordenadas de caixa delimitadora e gere uma lista dessas entidades.

Figura 4: Detecção de Objetos. A figura ilustra a detecção de objetos usando o YOLOv8. Por favor, clique aqui para ver uma versão ampliada desta figura.

Figura 5: Extração de características visuais e detecção e identificação de objetos. A figura ilustra a extração visual de características usando camadas convolucionais e YOLOv8, seguida por refinamento e alinhamento de regiões com base em pontuações de similaridade. Por favor, clique aqui para ver uma versão ampliada desta figura.

4. Incorporação e alinhamento de entidades
   1. Gerar embeddings contextuais para entidades textuais usando embeddings XLM-R. Gerar embeddings visuais para objetos detectados usando embeddings CLIP-ViT (Figura 6).
   2. Projete texto e embeddings visuais em um espaço latente compartilhado e normalize-os para o comprimento unitário.
   3. Calcule a similaridade do cosseno entre cada par textual e visual de embedding. Alinhar entidades quando a similaridade ≥ limiar predefinido τ (padrão τ = 0,65). Produza uma lista de pares de entidades texto-imagem alinhadas.

Figura 6: Detecção visual de objetos e fusão de etiquetas de POS. A figura ilustra a detecção visual de objetos e a fusão de tags POS para extração de tripletos de grafos de conhecimento. YOLO e CIFAR-100 identificam objetos que demonstram alinhamento multimodal. Por favor, clique aqui para ver uma versão ampliada desta figura.

5. Extração por tercina
   1. Extraia tercinos textuais usando regras de dependência que mapeiam estruturas sujeito-verbo-objeto.
   2. Derive relações visuais usando regras de proximidade espacial e coocorrência.
   3. Gerar trios multimodais ligando entidades textuais e visuais alinhadas usando rótulos de relação. Valide tercinos para consistência sintática e semântica.
6. Construção de grafos de conhecimento
   1. Converter entidades alinhadas em tercinos compatíveis com RDF. Unam tercinos textuais e visuais em um grafo unificado.
   2. Insira entidades como nós e relações como arestas. Codifique links multimodais usando predicados explícitos. Armazene o gráfico resultante em Neo4j (OPCIONAL). Um grafo de conhecimento multimodal finalizado com trios texto-imagem alinhados agora é gerado.
      NOTA: Uma abordagem sistemática para construir um grafo de conhecimento multimodal a partir de documentos visuais em hindi é mostrada na Figura 7.

Figura 7: Pipeline para construção de grafos de conhecimento multimodais. O fluxograma representa os oleodutos do VISHAM-KG. Por favor, clique aqui para ver uma versão ampliada desta figura.

3. Use o pseudocódigo abaixo para construção de grafos de conhecimento.
   Entrada:
   D : Conjunto de documentos de texto e imagem em hindi
   τ : Limiar de similaridade para alinhamento
   Pré-processar cada par de documentos (T,I)∈D
   Se T for varrido, extraia o texto T' usando tokenização OCRPerform, lematização e remoção de palavra de parada
   Aplique marcação de POS e análise sintática de dependências usando o Stanza
   Detectar objetos em I usando YOLOv8
   Extrair caixas delimitadoras, rótulos L_i e escores de confiança > 0,5
   Gerar Embedding
   Identifique entidades nomeadas E_T a partir de T' usando BiLSTM-CRF
   Extrair entidades visuais E_V de L_i
   Calcule embeddings textuais E_T com XLM-R.
   Calcular embeddings visuais E_V com CLIP-ViT
   Alinhamento de Entidades com Extração de Tripletas
   Para cada par (e_{t,e v}) em_{E T} x E_V:
   Calcule a similaridade do cosseno S = cos(_{E V,E T})
   Definir limiar τ=0,6
   Se s≥τ, adicione o triplete (e_t,_{has_image,e v}) ao conjunto F.
   Extraia (h,r,t) trios de T' usando regras de dependência.
   Derive relações visuais a partir da coocorrência espacial ou baseada em legendas.
   Projetar E_t e_{E v} em um espaço latente compartilhado.
   Pontue trios e mantenha aqueles acima do limite de confiança.
   Adicione tercinos e entidades validados ao grafo G.
   Saída: KG final em Neo4j.

2. Procedimento de avaliação

NOTA: As histórias infantis em hindi são escolhidas para avaliação do arcabouço VISHAM-KG porque fornecem narrativas controladas e visualmente fundamentadas, com entidades e relações claras, permitindo validação confiável do alinhamento multimodal, construção de grafos e inferência antes da implantação em escala de domínio. Todas as configurações de hiperparâmetros são dadas na Tabela 3.

Módulo	Hiperparâmetro	Dimensões
OCR	Limiar de confiança	0.5
Extração de entidades	Dimensão de incorporação	300
Detecção de objetos	Limiar de confiança	0.5
	Tamanho da imagem de entrada	640 × 640
Incorporação de texto	Modelo de linguagem	XLM-R
	Dimensão de incorporação	768
Incorporação de imagem	Modelo de visão	CLIP-ViT-B/32
	Dimensão de incorporação	768
Alinhamento	Métrica de similaridade	Similaridade cosseno
Alinhamento Texto-Imagem	Limiar de Similaridade Cosseno (τ)	0.6
Previsão de links	Dimensão de incorporação	100
	Épocas de treinamento	50
	Amostragem negativa	Uniforme
Avaliação	Divisão trem–teste	80 / 20

Tabela 3: Configuração de hiperparâmetros para o framework.

Componente	Conde
Imagens do Documento	10
Entidades Textuais	186
Entidades Visuais	97
Relações derivadas de texto	105
Relações visuais derivadas	41
Trios Textuais e Visuais	312

Tabela 4: Gráfico de Conhecimento e Estatística de terços.

1. Composição e particionamento de conjuntos de dados
   1. O conjunto de dados de avaliação consiste em 10 histórias infantis, cada uma acompanhada de imagens ilustrativas. Execute o processo de extração de entidades mencionado nas etapas 1.2-1.4. Os resultados estão representados na Tabela 4.
   2. Construa duas variantes de grafo: um Grafo de Conhecimento apenas de texto (T-KG) usando apenas tercinos textuais e outro Grafo de Conhecimento Multimodal (MM-KG) usando tercinos textuais e visuais fundidos.
   3. Para garantir uma avaliação controlada, para ambos os grafos, use divisões de dados idênticas.
   4. Particione aleatoriamente os tripletos extraídos em 80:20, ou seja, 80% para construção de grafos (conjunto de treinamento) e 20% para avaliação (conjunto de teste). Aplique essa divisão consistentemente tanto ao KG textual quanto ao MMKG para garantir uma comparação justa.
2. Linha de base e métricas de avaliação
   1. O KG textual serve como base. O framework proposto, VISHAM KG, representa o método proposto. Para ambos os grafos, use uma ontologia idêntica com identificadores de entidade e consultas de avaliação. A única diferença entre os dois grafos é a inclusão de entidades visuais no VISHAM-KG.
3. Métricas de avaliação e previsão de links
   1. Use as métricas padrão de predição de links²⁰: Rango Recíproco Médio (MRR), Hits@1, Hits@3, Hits@10. Hit@K, definido como a proporção de casos em que a entidade correta aparece nas primeiras N patentes.
   2. Para cada tripla de teste (cabeça, relação, cauda), mascarar a entidade cabeça ou a cauda. Classifique todas as entidades candidatas com base na similaridade cosseno no espaço compartilhado de incorporação (Tabela 5).

Entidade textual	Entidade Visual	Similaridade Cosseno
शेर		0.78
लोमड़ी		0.82

Tabela 5: Pontuações de similaridade cosseno entre incrustações de texto e imagem.

3. Gerar previsões independentemente para embeddings apenas em texto e multimodais (VISHAM-KG).
4. Calcule os resultados usando a Média de Classificação Recíproca (MRR), como a média dos rankings recíprocos da entidade correta em todas as^{consultas 21}. Usando a Tabela 6, expresse todos os resultados em formato decimal para consistência entre os^{experimentos 22}.

Modelo	MRR	Hits@1	Hits@3	Hits@10
TransE	0.42	0.21	0.48	0.72
ComplEx	0.47	0.26	0.52	0.74
RotatE	0.51	0.31	0.58	0.74
VISHAM-KG (Textual)	0.49	0.36	0.62	0.76

Tabela 6: Desempenho da previsão de links em tercinos apenas de texto.

5. Use as métricas para validar o poder preditivo do grafo de conhecimento multimodal na recuperação de elos faltantes, como mostrado na Tabela 7.

Modelo	MRR	Hits@1	Hits@3	Hits@10
IKRL	0.46	0.34	0.63	0.72
VisualBERT	0.52	0.35	0.61	0.72
ViLBERT	0.54	0.38	0.64	0.75
VISHAM-KG	0.57	0.41	0.66	0.79

Tabela 7: Desempenho em tarefas de previsão de tripletas multimodais.

4. Use o pseudocódigo abaixo para avaliação.
   Para cada variante do Grafo de Conhecimento G∈{_{G T,G MM}}:
   Particionamento por Tripletas
   Extraia todos os tercinos T_todos de G.
   Particione aleatoriamente_{T todos} em conjunto de treinamento (80%) e_{teste conjunto T} (teste T) (20%).
   Construa o_trem G do grafo usando trios_{em trem T}.
   Pontuação de Similaridade e Incorporação
   Para cada_teste de tercino (h,r,t)∈T:
   Máscara cabeça ou entidade cauda para formar consulta (h,r,?) ou (?,r,t).
   Gerar conjunto de entidades candidatas C a partir de entidades no_{G train}.
   Calcule a pontuação de similaridade S=cos(e_consulta,_{e c}) para cada e_c ∈ C.
   Classifique todas as entidades candidatas com base na pontuação decrescente de similaridade.
   Computação Métrica
   Calcule a posição da entidade correta para cada consulta.
   Calcule a Média de Classificação Recíproca (MRR) em todas as consultas de teste.
   Calcule Hits@1, Hits@3 e Hits@10.
   Compare as pontuações de avaliação entre KG G_T apenas em texto e KG G MM Multimodal.
   Saída: Fornecer resultados qualitativos e quantitativos diretamente atribuíveis à integração multimodal
5. Similaridade entre modales
   1. Calcule as pontuações de similaridade para avaliar o alinhamento entre embeddings textuais e visuais. Normalize tanto os embeddings textuais quanto os visuais em unidades de comprimento para garantir consistência na escala. Use a similaridade cosseno como métrica^{principal 22}.
   2. Para cada par (e_t,_{e v}) de incorporação de entidades textuais e incorporação de entidades visuais, calcule a pontuação de^{similaridade 23}.
      Pontuação(e_{t,e v}) = λ ·_{sim text}(e_{t,e v}) + (1-λ) ·_{sim visual} (_{e t,e v}).
      onde:
      λ∈ [0,1] é o parâmetro de ponderação modal,
      _{Sim Text} é a semelhança cosseno entre embeddings textuais,
      _{Sim Visual} é a semelhança cosseno entre embeddings visuais.

Results

O VISHAM-KG proposto é avaliado por meio de computação de pontuação de similaridade e tarefas de predição de links comumente usadas no conjunto de dados de referência de representação do conhecimento.

Configuração experimental

Avalie o grafo de conhecimento multimodal construído usando duas tarefas estabelecidas: (i) avaliação de similaridade cross-modal e (ii) predição de links de grafos de conhecimento. Realize todas as avaliações exclusivamente n...

Discussion

O desempenho da estrutura VISHAM-KG baseia-se principalmente em três componentes críticos: OCR para texto Devanagari (passo 1.2), detecção visual de objetos baseada em confiança usando Clip-ViT (passo 1.3) e alinhamento intermodal baseado em embedding (passo 1.4). A precisão do OCR influencia diretamente a análise linguística a jusante e a extração de entidades. Os erros introduzidos nessa etapa propagam-se para a identificação de relações e reduzem a precisão do alinhamento. Esse efeito...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRF e Modelo Índice NER	Treinamento personalizado	PyTorch	Reconhecimento de entidades nomeadas
CLIP-ViT-B/32	2022-09	OpenAI	Geração de embutimento visual
CPU	Intel i9	Intel	Computação geral
EasyOCR	v1.7.1	IA Jaided	Extração de texto em hindi a partir de imagens
GPU	NVIDIA RTX 3090	NVIDIA	Aceleração de inferência de modelos
Histórias Infantis em Hindi	10 andares	Conjunto de dados curado	Corpus de avaliação
Neo4j	v5.13	Neo4j Inc.	Armazenamento em grafos de conhecimento
NumPy	v1.24	Comunidade NumPy	Cálculos numéricos
Pandas	v2.0	Comunidade Pandas	Tratamento de dados
Python	v3.10	Fundação de Software Python	Implementação de pipeline
PyTorch	v2.0	Meta IA	Estrutura de aprendizado profundo
Stanza (modelo hindi)	v1.6.1	Stanford NLP	Marcagem POS e análise sintática de dependências
XLM-R (Base)	2023-05	Cara de Abraço	Geração de incorporação de texto
YOLOv8	v8.0.208	Ultralíticos	Detecção visual de objetos