Мультимодальные графы знаний на основе лингвистического анализа на основе правил и компьютерного зрения

Summary

VISHAM-KG — это мультимодальный фреймворк, который строит графы знаний из визуальных документов на хинди, выравнивая текстовые и визуальные объекты. Он сочетает лингвистический анализ на основе правил с методами компьютерного зрения для получения триплетов субъект-реляция-объект в условиях малоресурсного индийского языка.

Abstract

Визуально-семантический хинди-выровненный мультимодальный граф знаний (VISHAM-KG) — это фреймворк, разработанный для построения согласованных мультимодальных графов знаний (KG) на основе визуальных документов на хинди путём систематического выравнивания визуально-текстовых сущностей. Цель данного исследования — интегрировать лингвистический анализ, основанный на правилах, с обнаружением объектов на основе компьютерного зрения, что поддерживает структурированное семантическое представление и обоснованное рассуждение в индийских языках с низкими ресурсами. Предлагаемый алгоритм начинается с подготовки визуальных документов на хинди-обработке естественного языка (NLP), затем следует оптическое распознавание символов (OCR) для извлечения деванагари и лингвистической предобработки, включающей различные процессы, такие как токенизация, лемматизация, тегирование частей речи и разбор зависимостей. Параллельно визуальные объекты извлекаются из изображений с помощью обнаружения объектов и фильтруются по порогам доверия. Текстовые и визуальные сущности встроены в общее семантическое пространство с использованием многоязычной модели трансформатора XLM-R вместе с CLIP-ViT, и выравниваются с помощью порогов, основанных на косинусном сходстве. Эти выровненные сущности объединяются с зависимостями на основе правил для генерации мультимодальных триплетов. Протокол создаёт структурированный мультимодальный граф знаний, закодированный в виде триплетов субъект-реляция-объект с явной визуальной базой на основе индийских знаний. Полученный результат позволит поддерживать кроссмодальные запросы, выравнивание сущностей и граф знаний для визуальных документов на хинди, а также предоставляет воспроизводимую структуру для мультимодального построения знаний в условиях с ограниченными ресурсами языковой среды.

Introduction

Графы знаний (КГ) — это структурированные семантические графические представления, в которых сущности моделируются как узлы, а отношения — как рёбра. Он обеспечивает эффективный поиск знаний и контекстное мышление в различных приложениях, таких как ответы на вопросы, системы рекомендаций и извлечение информации¹. За последнее десятилетие методологии строительства KG были значительно разработаны. Однако большинство существующих подходов предназначены для ресурсоносных языков, которые в основном опираются на крупномасштабные текстовые^{корпуса 2}. В результате языки с низким уровнем ресурсов остаются недостаточно представленными, что ограничивает применимость технологий, основанных на KG, в культурно и языково разнообразных^{условиях 3}. Параллельно растущая доля реальных документов — особенно в образовательных, культурных и наследственных областях — содержит богатую визуальную информацию, которая недостаточно отражается методами построения графов, ориентированных на^{текст 4}.

Мультимодальные графы знаний (MMKGs) расширяют традиционные КГ, интегрируя нетекстовые модальности, такие как изображения, аудио или видео, чтобы обеспечить обоснованное семантическое^{представление 5}. Предыдущие фреймворки MMKG, включая IMGpedia, Richpedia и ImageGraph, демонстрируют ценность ассоциации визуальной информации с текстовыми сущностями для улучшения семантического запроса и^{рассуждений 6,7,8}. Несмотря на эти достижения, существующие методы в основном ориентированы на английский язык, зависят от кураторских метаданных или статических наборов данных и предоставляют ограниченные процедурные рекомендации для построения MMKG непосредственно из неструктурированных визуальных документов. Кроме того, эти фреймворки явно не решают проблемы, присущие языкам с низким уровнем ресурсов, такие как ошибки оптического распознавания символов (OCR), морфологическая вариабельность и скудные аннотированные данные ^9,10.

Цель этой структуры — реализовать пошаговую методологию построения мультимодального графа знаний на основе визуальных документов на хинди, систематически выравнивая текстовые и визуальные объекты. Предлагаемая структура, Visual-Semantic Hindi-Aligned Multimodal Knowledge Graph (VISHAM-KG), интегрирует лингвистический анализ на основе правил с компьютерным зрением, основанным на извлечении объектов, что позволяет динамически строить графы визуальных документов. В отличие от существующих подходов MMKG, VISHAM-KG напрямую извлекает сущности и отношения из сырого текста и изображений на хинди, применяет грамматические правила на основе зависимостей для идентификации отношений и выполняет кроссмодальное выравнивание сущностей с использованием порогов сходства на основе вложения, а не на внешние^11,12.

VISHAM-KG предназначен для иллюстрированных документов, в которых текстовое и визуальное содержание семантически связаны, таких как детские^{рассказы 13}, образовательные материалы, газета¹¹ и культурно обоснованные нарративы. Некоторые ограничения, такие как зависимость от качества оптического распознавания символов, охват обнаружения объектов и доступность доменно-специфической лексики, были выявлены при реализации указанной структуры. Явно документируя каждый процедурный этап, VISHAM-KG предоставляет воспроизводимый протокол для построения мультимодальных графов знаний в лингвистических контекстах с ограниченными ресурсами, поддерживая обоснованное семантическое мышление и кроссмодальный анализ.

VISHAM-KG отличается от существующих подходов MMKG тем, что напрямую извлекает сущности и отношения из неструктурированного текста и изображений на хинди; использование парсинга зависимостей на основе правил для извлечения отношений; и выравнивание текстовых и визуальных сущностей по порогам сходства на основе вложения, а не по метаданным, совпадающим^{с 8,10} (рисунок 1).

Рисунок 1: Сквозная структура . Рисунок иллюстрирует сквозную структуру для мультимодальных знаний Graph VISHAM-KG. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Этот протокол применим к иллюстрированным документам с согласованным текстом и изображением, таким как образовательные материалы и культурные нарративы. В этой структуре YOLOv8 выбран за свою эффективность и надёжность в обнаружении объектов в визуальных документах. XLM-R выбран за сильные кросс-лингвальные представления, которые хорошо подходят для малоресурсной обработки текста на хинди, а CLIP-ViT используется за проверенную способность изучать общие пространства встраивания визуального текста, что обеспечивает эффективное кроссмодальное выравнивание. Однако он ограничен точностью OCR, охватом обнаружения объектов и ограничением лексики, специфичной для конкретной области.

Связанные работы

Традиционный граф знаний G=(E,R,F) состоит из сущностей E, отношений R и фактических триплетов F, где каждая тройка имеет вид (h,r,t)⁸. Расширяя это, мультимодальный граф знаний (MMKG) включает E-сущности, связанные с нетекстовыми модальностями, такими как изображения, аудио и^{видео 14}.

В MMKG используются две основные стратегии для представления визуальных данных:
Как атрибуты, прикреплённые к текстовым сущностям
Как визуальные сущности, соединённые через определённое аннотированное отношение

Одним из заметных исследований является IMGpedia, которая улучшает данные изображений Wikimedia за счёт использования визуальных дескрипторов и показателей сходства. Эта модель учитывает ограничения традиционных наборов данных, которые в основном включают метаданные, позволяя визуально-семантические запросы и оценку сходства путём связывания изображений с DBpedia^{Commons 9}.

Аналогично, другая MMKG Richpedia рассматривает проблему неполных графов знаний в научных исследованиях. Он объединяет 2 883 162 визуальных объекта из Википедии и 30 638 текстовых сущностей из Викиданных. Richpedia поддерживает запросы на уровне аспектов и использует методы извлечения семантических отношений из неструктурированного контента, включая элементы изображения, соответствующий текст и^{гиперссылки 15}.

ImageGraph расширяет это исследование, создавая реляционный граф знаний на основе набора данных FB15K, обогащённый 829 931 веб-сканированным изображением и подписями. Он включает 14 870 сущностей и 1 330 типов отношений, что позволяет осуществлять визуально-контекстные запросы и более точные ответы благодаря поддержке концептуальных параметров^{запросов 16}.

VisualSem — это ещё один комплексный многоязычный граф знаний, интегрирующий визуальную и текстовую информацию. Он включает 89 896 организаций, более 1,3 миллиона глосс и 938 100 изображений. Разработанный для приложений, таких как дополнение данных и заземление, VisualSem улучшает семантическую интерпретацию между языками и может бесшовно интегрироваться в различные^{процессорные конвейеры 1}.

Также разработано несколько моделей MMKG для поддержки таких задач, как предсказание связей, классификация триплетов и сопоставление сущностей. Эти модели решают ограничения одномодальных графов, особенно их неспособность охватить сложность кроссмодальной^{информации} 16,17,18.

Критическое сравнение языковых моделей MMKG вместе с VISHAM-KG приведено в Таблице 1. Она особенно сосредоточена на их силе и ограничениях в контексте малоресурсных языков, таких как хинди, тамильский или санскрит. Эти методы часто предполагают доступ к высококачественным текстовым корпусам, надёжным лингвистическим аннотациям и крупномасштабным предварительно обученным моделям. Эти факторы ограничивают их применимость к языкам с низким уровнем ресурсов. В частности, конвейеры, зависящие от OCR, часто оптимизируются для латинского алфавита и демонстрируют низкую точность для индийских скриптов, что приводит к шумному или неполному извлечению текста. Кроме того, лингвистическая предобработка, тегирование частей речи и распознавание именованных сущностей обычно обучаются на языках с высоким уровнем ресурсов. Они демонстрируют резко ухудшённую производительность при применении к морфологически насыщенным, синтаксически гибким языкам, таким как хинди.

Модель MMKG	Сильные сторони	Ограничения в условиях с низкими ресурсами
IMGpedia	Интегрирует изображения с DBpedia	Сосредоточена только на английском контенте
	Поддерживает запросы на визуальное сходство	Нет поддержки нелатинских алфавитов
		Ограниченный культурный контекст для региональных визуальных образов
Ричпедия	Объединяет визуальные и текстовые объекты из Википедии и Викиданных	Недостаточное представление индийских или народных знаний
	Доступны запросы на уровне аспектов	Предполагает высокое качество выравнивания, которого не хватает в региональных наборах данных
ImageGraph	Relational KG с изображениями и подписями	Извлечение сущностей и отношений, настроенное для английских корпусов
	Поддерживает расширенный триплетный запрос	Сбои в условиях с редкими субтитрами или отсутствующими метаданными
VisualSem	Многоязычная поддержка	Слабое представление азиатских языков с низким уровнем ресурсов
	Полезно в нейронных семантических конвейерах	Нет поддержки деванагари или культурно обоснованной визуальной семантики
VISHAM-KG	Реляционный KG с изображениями на индийском языке	Зависимость от языка
	Семантические конвейеры для морфологически богатого синтаксиса	Зависит от разных POS-тегов на разных языках.

Таблица 1: Критическое сравнение MMKG с ограничениями в языках с низкими ресурсами.

Существующие модели MMKG опираются на статические графы знаний, а не адаптируются к динамическим реальным контекстам, где появляются новые типы сущностей и ассоциации благодаря обучению на основе одного набора данных. Поэтому крайне важно разрабатывать модели с динамическими^{возможностями 16}. В этом контексте встречаются следующие ограничения: неправильное использование текстовых данных в визуальных действиях, таких как идентификация объектов, извлечение и аннотация; разработка масштабируемых методов построения мультимодальных графов знаний из гетерогенных источников; и включение контекстной информации в мультимодальные графы знаний для лучшего понимания и интерпретации.

В таких условиях VISHAM-KG отличается от предыдущих подходов использованием передовых методов визуального извлечения для определения узлов и отношений непосредственно из визуальных документов. Он сочетает стандартные этапы обработки текста, такие как токенизация, удаление стоп-слов и тегирование частей речи, с методами семантического графа для структурирования извлечённых знаний. Объединяя компьютерное зрение и онтологию, система предлагает несколько преимуществ^{: 19}: повышенная адаптивность, позволяющая базе знаний развиваться с учетом специфических потребностей приложения; улучшенное семантическое представление, поддерживающее совместимость между системами; а также улучшение семантического вывода и поиска, что позволяет расширять базу знаний на контекстном уровне.

Protocol

Для этого протокола не требуется этическое одобрение, так как он использует исключительно общедоступные, нечеловеческие, нечувствительные визуальные и текстовые данные. Таблица 2 содержит все инструменты и техники вместе с их зависимостями. Весь исходный код, конфигурационные файлы и скрипты, необходимые для воспроизведения мультимодального конвейера построения графов знаний, доступны в публичном репозитории GitHub (preeti017phdit22-wq/VISHAM_KG). Репозиторий включает инструкции по установке и спецификации зависимостей, облегчающие воспроизводимость.

Модуль	Модель / Инструмент	Версия	Фреймворк	Назначение
OCR	EasyOCR	v1.7.1	PyTorch	Извлечение текста на хинди
POS + анализ зависимостей	Строфа (привет)	v1.6.1	PyTorch	Лингвистический разбор
NER	BiLSTM-CRF	Индивидуальное обучение	PyTorch	Признание сущностей на хинди
Обнаружение объектов	YOLOv8	v8.0.208	Ultralytics	Извлечение визуальных сущностей
Текстовые вложения	База XLM-R	2023-05	ОбнимающееЛицо	Многоязычное кодирование текста
Визуальные вложения	CLIP-ViT-B/32	2022-09	OpenAI	Кодирование изображений
Хранение графов	Neo4j	v5.13	Neo4j	Конструкция KG
Сходство	Косинусное сходство	–	NumPy	Кросс-модальное выравнивание

Таблица 2: Инструменты и методы, используемые на каждом этапе строительства VISHAM-KG.

1. Построение графа знаний

1. Подготовка данных
   1. Соберите 10 детских сказок из указанных^{источников — 11, 13}. Подтвердите наличие документов с изображениями для каждого документа.
   2. Храните каждый документ как структурированный блок, содержащий файлы изображений (PNG или JPG) и соответствующий текст на хинди.
   3. Назначьте уникальный идентификатор документа, связывающий каждое изображение с соответствующим текстом.
2. Извлечение и предобработка текста
   1. Извлечь текст из отсканированных изображений с помощью EasyOCR (настроенного на деванагари) для извлечения текста на хинди из изображений документов (рисунок 2).
   2. Нормализуйте извлеченный текст, удаляя артефакты OCR и лишние символы.
   3. Выполните сегментацию и токенизацию предложений. Токенизируйте текст в слова. Удалите стоп-слова с помощью заранее определённого списка стоп-вордов на хинди.
   4. Выполняйте тегирование частей речи и парсинг зависимостей с помощью совместимого на хинди NLP с использованием Stanza (Hi).
   5. Идентифицировать именованные сущности с помощью модели BiLSTM-CRF.
   6. Извлекать триплеты subject-relation-object с помощью шаблонов правил зависимостей. Сгенерируйте дерево зависимостей с мечеными грамматическими отношениями для построения значимых триплетов (рисунок 3).

Рисунок 2: Извлечение простой триплета подлежащего-глагол-объекта из текста на хинди с использованием отношений только глаголов. Блок-схема описывает извлечение простой триплеты подлежащего-глагол-объекта из текста на хинди с использованием соотношений только глаголов. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 3: Расширенное соотношение глагольного предлога . На рисунке показано расширенное соотношение глагольного предлога для обозначения формации триплетов. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

3. Извлечение визуальных сущностей
   1. Загрузите каждое изображение и примените обнаружение объектов с помощью модели обнаружения объектов YOLOv8 (рисунок 4).
   2. Извлеките ограничивающие рамки, метки классов и оценки доверия идентифицированных объектов на изображении (рисунок 5).
   3. Фильтруйте обнаруженные объекты, сохраняя обнаружения с рейтингом доверия ≥ 0,50. Записывайте фильтрованные объекты как визуальные сущности (ПО ЖЕЛАНИЮ). Сохраняйте визуальные объекты с координатами ограничивающих рамок и сгенерируйте список этих объектов.

Рисунок 4: Обнаружение объектов. На рисунке показано обнаружение объектов с помощью YOLOv8. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 5: Визуальное извлечение признаков и обнаружение и идентификация объектов. На рисунке показано визуальное извлечение признаков с помощью сверточных слоёв и YOLOv8, затем уточнение и выравнивание областей на основе оценок сходства. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

4. Вложение и выравнивание сущностей
   1. Генерируйте контекстные вложения для текстовых сущностей с помощью вложений XLM-R. Генерируйте визуальные вложения для обнаруженных объектов с помощью вложений CLIP-ViT (рисунок 6).
   2. Проектируйте текст и визуальные вложения в общее латентное пространство и нормализуйте их до единой длины.
   3. Вычислите косинусное сходство между каждой парой текстового и визуального вложения. Выравнивать сущности, когда сходство ≥ заранее заданный порог τ (по умолчанию τ = 0,65). Составьте список выровненных пар сущностей текст-изображение.

Рисунок 6: Визуальное обнаружение объектов и слияние POS-тегов. На рисунке показано визуальное обнаружение объектов и слияние POS-тегов для извлечения триплетов графа знаний. YOLO и CIFAR-100 идентифицируют объекты, демонстрирующие мультимодальное выравнивание. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

5. Экстракция триплетов
   1. Извлекать текстовые триплеты с помощью правил зависимостей, отображающих структуры субъект-глагол-объект.
   2. Выводите визуальные отношения с помощью правил пространственной близости и сосуществования.
   3. Генерируйте мультимодальные триплеты, связывая выровненные текстовые и визуальные объекты с помощью меток отношений. Проверьте триолеты на синтаксическую и семантическую согласованность.
6. Построение графа знаний
   1. Преобразуйте выровненные сущности в RDF-совместимые триплеты. Объедините текстовые и визуальные триплеты в единый граф.
   2. Вставьте сущности как узлы, а отношения — как рёбра. Кодировать мультимодальные ссылки с использованием явных предикатов. Сохранить полученный граф в Neo4j (ПО ЖЕЛАНИЮ). Теперь формируется финальный мультимодальный граф знаний с выровненными триолетами текст-изображение.
      ПРИМЕЧАНИЕ: Систематический подход к построению мультимодального графа знаний из визуальных документов на хинди показан на рисунке 7.

Рисунок 7: Конвейер для построения мультимодальных графов знаний. Блок-схема представляет собой трубопроводы для VISHAM-KG. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

3. Используйте псевдокод ниже для построения графа знаний.
   Вводные данные:
   D : Набор текстового документа с изображением на хинди
   τ : Порог сходства для выравнивания
   Предварительно обрабатывайте каждую пару документов (T,I)∈D
   Если T сканируется, извлекайте текст T' с помощью токенизации OCRPerform, лемматизации и удаления стоп-слова
   Применяйте POS-тегирование и парсинг зависимостей с помощью Stanza
   Обнаружение объектов в I с помощью YOLOv8
   Извлекать ограничивающие рамки, метки L_i и оценки уверенности > 0,5
   Генерировать вложение
   Идентифицировать именованные сущности E_T из T' с помощью BiLSTM-CRF
   Извлечение визуальных сущностей E_V из L_i
   Вычислить текстовые вложения E_T с XLM-R.
   Compute visual embeddings E_V with CLIP-ViT
   Выравнивание сущностей с триплетной экстракцией
   Для каждой пары (e_{t,e v}) в_{E T} x E_V:
   Вычислить сходство косинуса S = cos(E_{V,E T})
   Задать порог τ=0.6
   Если s≥τ, добавляем тройку (e_t,_{has_image,e v}) к набору F.
   Извлекать (h,r,t) триплеты из T' с помощью правил зависимостей.
   Выводите визуальные связи на основе пространственного или субтитрового сосуществования.
   Проект E_t и_{E v} в общем латентном пространстве.
   Оценивайте тройки и сохраняйте те, что выше порога доверия.
   Добавьте проверенные триплеты и сущности в граф G.
   Результат: финальный KG в Neo4j.

2. Процедура оценки

ПРИМЕЧАНИЕ: Детские истории на хинди выбираются для оценки фреймворка VISHAM-KG, поскольку они предоставляют контролируемые, визуально обоснованные нарративы с чёткими сущностями и отношениями, обеспечивая надёжную проверку мультимодального выравнивания, построения графов и выводов до внедрения на уровне домена. Все настройки гиперпараметров приведены в таблице 3.

Модуль	Гиперпараметр	Размеры
OCR	Порог доверия	0.5
Извлечение сущностей	Размерность вложения	300
Обнаружение объектов	Порог доверия	0.5
	Размер входного изображения	640 × 640
Вложение текста	Языковая модель	XLM-R
	Размерность вложения	768
Вложение изображения	Модель видения	CLIP-ViT-B/32
	Размерность вложения	768
Трассировка	Метрика сходства	Сходство косинуса
Выравнивание текста и изображения	Порог сходства косинуса (τ)	0.6
Предсказание связи	Размерность вложения	100
	Эпохи обучения	50
	Отрицательная дискретизация	Форма
Оценка	Разделение поезд–испытание	80 / 20

Таблица 3: Настройка гиперпараметров для фреймворка.

Компонент	Граф
Изображения документов	10
Текстовые сущности	186
Визуальные сущности	97
Текстовые соотношения	105
Визуальные отношения	41
Текстовые и визуальные триплеты	312

Таблица 4: Граф знаний и статистика триолетов.

1. Композиция и разбиение наборов данных
   1. Набор данных оценки состоит из 10 детских историй, каждая из которых сопровождается иллюстративными изображениями. Выполните процесс извлечения сущности, указанный в шагах 1.2-1.4. Результаты представлены в Таблице 4.
   2. Постройте два варианта графов: один только текстовый граф знаний (T-KG), использующий только текстовые триплеты, и другой мультимодальный граф знаний (MM-KG) с использованием слитых текстовых и визуальных триплетов.
   3. Для обеспечения контролируемой оценки для обоих графов используйте одинаковые разделения данных.
   4. Случайно извлекаемые триолеты по разбиению в 80:20, то есть 80% для построения графов (обучающий набор) и 20% для оценки (тестовый набор). Применяйте это разделение последовательно к текстуальному KG и MMKG, чтобы обеспечить справедливое сравнение.
2. Исходные и оценочные метрики
   1. Текстовая KG служит базовой линией. Предлагаемая структура, VISHAM KG, представляет собой предлагаемый метод. Для обоих графов используйте идентичную онтологию с идентификаторами сущностей и запросами к оценке. Единственное отличие между двумя графами — включение визуальных объектов в VISHAM-KG.
3. Метрики оценки и предсказание связей
   1. Используйте стандартные метрики предсказания^{связей 20}: Средний обратный ранг (MRR), Hits@1, Hits@3, Hits@10. Hit@K определяется как доля случаев, когда правильное сущность находится в верхних N рангах.
   2. Для каждой тестовой триплеты (голова, отношение, хвост) маскируют либо головную, либо хвостовую сущность. Ранжуйте все кандидатные сущности на основе косинусного сходства в общем пространстве вложения (Таблица 5).

Текстовая сущность	Визуальная сущность	Косинусное сходство
शेर		0.78
लोमड़ी		0.82

Таблица 5: Показатели сходства косинуса между текстом и вложением изображения.

3. Генерировать прогнозы независимо для текстовых и мультимодальных вложений (VISHAM-KG).
4. Вычислите результаты с использованием среднего обратного ранга (MRR) как среднего значения обратных рангов правильной сущности по всем^{запросам 21}. Используя таблицу 6, выражаем все результаты в десятичном формате для согласованности между^{экспериментами 22}.

Модель	MRR	Hits@1	Hits@3	Hits@10
TransE	0.42	0.21	0.48	0.72
ComplEx	0.47	0.26	0.52	0.74
RotatE	0.51	0.31	0.58	0.74
VISHAM-KG (Текст)	0.49	0.36	0.62	0.76

Таблица 6: Производительность предсказания связей для текстовых триолетов.

5. Используйте метрики для проверки предсказательной способности мультимодального графа знаний в восстановлении недостающих связей, как показано в таблице 7.

Модель	MRR	Hits@1	Hits@3	Hits@10
IKRL	0.46	0.34	0.63	0.72
VisualBERT	0.52	0.35	0.61	0.72
ВиЛБЕРТ	0.54	0.38	0.64	0.75
VISHAM-KG	0.57	0.41	0.66	0.79

Таблица 7: Производительность кроссмодальных задач прогнозирования триплетов.

4. Используйте псевдокод ниже для оценки.
   Для каждого варианта графа знаний G∈{_{G T,G MM}}:
   Разбиение триплетов
   Извлекать все тройни,_{T all} из G.
   Случайным образом разделите_T на обучающие наборы (80%) и тестовый_{набор T (}20%).
   Построим граф_поезда G, используя триплеты в_{T-шлейне}.
   Оценка сходства и вложение
   Для каждого тестового триплета (h,r,t_{)∈T тест}:
   Маскируйте голову или хвост для формирования запроса (h,r,?) или (?,r,t).
   Генерируйте кандидатный набор сущностей C из сущностей в_{G Train}.
   Вычислить показатель сходства вложения S=cos(e_{query,e c}) для каждого e_c ∈ C.
   Ранжуйте все кандидатские объекты по убывающему показателю сходства.
   Метрические вычисления
   Вычислите ранг правильной сущности для каждого запроса.
   Рассчитайте средний обратный ранг (MRR) по всем тестовым запросам.
   Вычислите Hits@1, Hits@3 и Hits@10.
   Сравните оценочные баллы между текстовыми_{KG G T} и мультимодальным KG_{G MM.}
   Результаты: Предоставлять качественные и количественные результаты, напрямую относящиеся к мультимодальной интеграции
5. Кроссмодальное сходство
   1. Вычислите оценки сходства для оценки выравнивания между текстовыми и визуальными вложениями. Нормализуйте как текстовые, так и визуальные вложения по длине единицы для обеспечения согласованности масштаба. Используйте сходство косинуса как основную^{метрику 22}.
   2. Для каждой пары (e_t, e_v) вложения текстовой сущности и визуальной сущности вычислите показатель^{сходства 23}.
      Score(e_{t,e v}) = λ · sim_text(e _{t,e v}) + (1-λ) · sim_visual (e_{t,e v}) .
      где:
      λ∈ [0,1] — параметр взвешивания модальности,
      _{Сим-текст} — это косинусное сходство между текстовыми вложениями,
      Sim_Visual — это косинусное сходство между визуальными вложениями.

Results

Предлагаемый VISHAM-KG оценивается с помощью вычисления результатов сходства и задач прогнозирования связей, которые часто используются в наборе бенчмарков представления знаний.

Экспериментальная установка

Оценить построенный мультимодальный граф знаний с помощью двух установленных задач: (i) кроссмодальной оценки сходства и (ii) предсказания связей с графом знаний. Выполняйте все вычисления исключительно на финальном графике, сгенерируемом в конечн...

Discussion

Производительность фреймворка VISHAM-KG в основном основана на трёх ключевых компонентах: OCR для текста на деванагари (шаг 1.2), доверительном визуальном обнаружении объектов с помощью Clip-ViT (шаг 1.3) и кросс-модальном выравнивании на основе встраивания (шаг 1.4). Точность OCR напрямую влияет на последующий лингвистический разбор и извлечение сущностей. Ошибки, возникающие на этом этапе, распространяются на идентификацию отношений и снижают точность выравнивания. Этот эффект смягчает...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRF и индийская модель NER	Индивидуальное обучение	PyTorch	Признание именных организаций
CLIP-ViT-B/32	2022-09	OpenAI	Генерация визуального вложения
CPU	Intel i9	Intel	Общие вычисления
EasyOCR	v1.7.1	Jaided AI	Извлечение текста на хинди из изображений
GPU	NVIDIA RTX 3090	NVIDIA	Ускорение вывода модели
Детские истории на хинди	10 рассказов	Кураторский набор данных	Корпус оценки
Neo4j	v5.13	Neo4j Inc.	Хранение графов знаний
NumPy	v1.24	Сообщество NumPy	Численные вычисления
Панды	v2.0	Сообщество панд	Обработка данных
Python	v3.10	Фонд программного обеспечения Python	Реализация конвейера
PyTorch	v2.0	Meta AI	Фреймворк глубокого обучения
Строфа (хинди-модель)	v1.6.1	Стэнфордская лига НЛП	Тегирование POS и парсинг зависимостей
XLM-R (базовый)	2023-05	ОбнимающееЛицо	Генерация вложения текста
YOLOv8	v8.0.208	Ultralytics	Визуальное обнаружение объектов