Wielomodalne wykresy wiedzy oparte na analizie językowej opartej na regułach i widzeniu komputerowym

Summary

VISHAM-KG to ramy multimodalne, które konstruują grafy wiedzy z dokumentów wizualnych w języku hindi poprzez dopasowywanie bytów tekstowych i wizualnych. Łączy analizę językową opartą na regułach z technikami widzenia komputerowego, tworząc trójki podmiot-relacja-obiekt w językach indyjskich o ograniczonych zasobach.

Abstract

Visual-Semantic Hindi-Aligned Multimodal Knowledge Graph (VISHAM-KG) to ramy zaprojektowane do tworzenia spójnych multimodalnych grafów wiedzy (KG) z dokumentów wizualnych w języku hindi poprzez systematyczne wyrównywanie jednostek tekstu wizualnego. Celem tego badania jest integracja analizy językowej opartej na regułach z detekcją obiektów opartą na wizji komputerowej, która wspiera ustrukturyzowaną reprezentację semantyczną i ugruntowane rozumowanie w językach indyjskich o niskich zasobach. Proponowany algorytm rozpoczyna się przygotowaniem wizualnych dokumentów wizualnych w języku hindi (NLP), a następnie stosuje optyczne rozpoznawanie znaków (OCR) do ekstrakcji pisma devanagari i wstępnego przetwarzania językowego, które obejmuje różne procesy, takie jak tokenizacja, lemmatyzacja, tagowanie części mowy oraz parsowanie zależności. Równolegle obiekty wizualne są wyodrębniane z obrazów za pomocą wykrywania obiektów i filtrowane za pomocą progów ufności. Byty tekstowe i wizualne są osadzone w wspólnej przestrzeni semantycznej za pomocą wielojęzycznego modelu transformera XLM-R, wraz z CLIP-ViT, i wyrównane za pomocą progów opartych na podobieństwie kosinusowym. Te wyrównane byty są łączone z relacjami zależnościami opartymi na regułach, aby generować wielomodalne trójki. Protokół generuje ustrukturyzowany multimodalny graf wiedzy zakodowany jako trójaczki podmiot-relacja-obiekt z wyraźnym wizualnym podstawą opartą na indyjskiej bazie wiedzy. Uzyskany wynik będzie wspierał zapytania międzymodalne, wyrównywanie encji oraz rozumowanie na grafach wiedzy dla dokumentów wizualnych w języku hindi oraz zapewnił replikowalne ramy do wielomodalnej konstrukcji wiedzy w językach językowych o niskich zasobach.

Introduction

Grafy wiedzy (KG) to ustrukturyzowane semantyczne reprezentacje graficzne, w których byty są modelowane jako węzły, a relacje jako krawędzie. Umożliwiają efektywne wyszukiwanie wiedzy i rozumowanie kontekstowe w różnych zastosowaniach, takich jak odpowiadanie na pytania, systemy rekomendacji czy ekstrakcja informacji¹. W ciągu ostatniej dekady metodologie konstrukcji KG zostały znacząco rozwinięte. Jednak większość istniejących podejść jest zaprojektowana dla języków bogatych w zasoby, które opierają się głównie na dużych korpusach tekstowych². W rezultacie języki o niskich zasobach pozostają niedostatecznie reprezentowa....

Protocol

Nie jest wymagana etyczna zgoda dla tego protokołu, ponieważ wykorzystuje wyłącznie publicznie dostępne, nieludzkie, niewrażliwe dane wizualne i tekstowe. Tabela 2 zawiera wszystkie narzędzia i techniki wraz z ich zależnościami. Cały kod źródłowy, pliki konfiguracyjne i skrypty potrzebne do odtworzenia wielomodalnego pipeline'u budowy grafów wiedzy są dostępne w publicznym repozytorium GitHub (preeti017phdit22-wq/VISHAM_KG.). Repozytorium zawiera instrukcje instalacji oraz specyfikacje zależności ułatwiające powtarzalność.

Modu....

Results

Proponowany VISHAM-KG jest oceniany na podstawie obliczeń wyniku podobieństwa oraz zadań predykcji powiązań, które są powszechnie stosowane w benchmarku reprezentacji wiedzy.

Układ eksperymentalny

Ocenić skonstruowany multimodalny graf wiedzy przy użyciu dwóch ustalonych zadań: (i) oceny podobieństwa międzymodalnego oraz (ii) przewidywania łącza w grafie wiedzy. Wszystkie oceny przeprowadź wyłącznie na finalnym wyjściu grafu wygenerowanym na końcu p.......

Discussion

Wydajność frameworka VISHAM-KG opiera się głównie na trzech kluczowych komponentach: OCR dla tekstu w języku Devanagari (krok 1.2), wykrywaniu obiektów wizualnych opartych na zaufaniu za pomocą Clip-ViT (krok 1.3) oraz osadzaniu opartym na wyrównaniu międzymodalnym (krok 1.4). Dokładność OCR bezpośrednio wpływa na dalsze analizowanie językowe i ekstrakcję encji. Błędy wprowadzone na tym etapie propagują się w identyfikacji relacji i zmniejszają precyzję wyrównania. Efekt ten jest łagodzony poprzez specyficzną dla hindi n.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRF i indyjski model NER	Szkolony na zamówienie	PyTorch	Rozpoznawanie nazwanych podmiotów
CLIP-ViT-B/32	2022-09	OpenAI	Generowanie wizualnego osadzania
CPU	Intel i9	Intel	Obliczenia ogólne
EasyOCR	v1.7.1	Zamknięta AI	Ekstrakcja tekstu hindi z obrazów
GPU	NVIDIA RTX 3090	NVIDIA	Przyspieszenie wnioskowania modelu
Historie o hinduskich dzieciach	10 opowieści	Kuratorowany zbiór danych	Korpus ewaluacyjny
Neo4j	v5.13	Neo4j Inc.	Przechowywanie grafów wiedzy
NumPy	v1.24	Społeczność NumPy	Obliczenia numeryczne
Pandy	v2.0	Społeczność Pandas	Obsługa danych
Python	v3.10	Python Software Foundation	Implementacja potoku
PyTorch	v2.0	Meta AI	Ramy uczenia głębokiego
Strofa (model hindi)	v1.6.1	Stanford NLP	Tagowanie POS i parsowanie zależności
XLM-R (Baza)	2023-05	HuggingFace	Generowanie osadzenia tekstu
YOLOv8	v8.0.208	Ultralityki	Wizualne wykrywanie obiektów