Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.
Методическая статья
VISHAM-KG — это мультимодальный фреймворк, который строит графы знаний из визуальных документов на хинди, выравнивая текстовые и визуальные объекты. Он сочетает лингвистический анализ на основе правил с методами компьютерного зрения для получения триплетов субъект-реляция-объект в условиях малоресурсного индийского языка.
Визуально-семантический хинди-выровненный мультимодальный граф знаний (VISHAM-KG) — это фреймворк, разработанный для построения согласованных мультимодальных графов знаний (KG) на основе визуальных документов на хинди путём систематического выравнивания визуально-текстовых сущностей. Цель данного исследования — интегрировать лингвистический анализ, основанный на правилах, с обнаружением объектов на основе компьютерного зрения, что поддерживает структурированное семантическое представление и обоснованное рассуждение в индийских языках с низкими ресурсами. Предлагаемый алгоритм начинается с подготовки визуальных документов на хинди-обработке естественного языка (NLP), затем следует оптическое распознавание символов (OCR) для извлечения деванагари и лингвистической предобработки, включающей различные процессы, такие как токенизация, лемматизация, тегирование частей речи и разбор зависимостей. Параллельно визуальные объекты извлекаются из изображений с помощью обнаружения объектов и фильтруются по порогам доверия. Текстовые и визуальные сущности встроены в общее семантическое пространство с использованием многоязычной модели трансформатора XLM-R вместе с CLIP-ViT, и выравниваются с помощью порогов, основанных на косинусном сходстве. Эти выровненные сущности объединяются с зависимостями на основе правил для генерации мультимодальных триплетов. Протокол создаёт структурированный мультимодальный граф знаний, закодированный в виде триплетов субъект-реляция-объект с явной визуальной базой на основе индийских знаний. Полученный результат позволит поддерживать кроссмодальные запросы, выравнивание сущностей и граф знаний для визуальных документов на хинди, а также предоставляет воспроизводимую структуру для мультимодального построения знаний в условиях с ограниченными ресурсами языковой среды.
Графы знаний (КГ) — это структурированные семантические графические представления, в которых сущности моделируются как узлы, а отношения — как рёбра. Он обеспечивает эффективный поиск знаний и контекстное мышление в различных приложениях, таких как ответы на вопросы, системы рекомендаций и извлечение информации1. За последнее десятилетие методологии строительства KG были значительно разработаны. Однако большинство существующих подходов предназначены для ресурсоносных языков, которые в основном опираются на крупномасштабные текстовыекорпуса 2. В результате языки с низким уровнем ресурсов остаются недостаточно представленн....
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Для этого протокола не требуется этическое одобрение, так как он использует исключительно общедоступные, нечеловеческие, нечувствительные визуальные и текстовые данные. Таблица 2 содержит все инструменты и техники вместе с их зависимостями. Весь исходный код, конфигурационные файлы и скрипты, необходимые для воспроизведения мультимодального конвейера построения графов знаний, доступны в публичном репозитории GitHub (preeti017phdit22-wq/VISHAM_KG). Репозиторий включает инструкции по установке и спецификации зависимостей, облегчающие воспроизводимость.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Предлагаемый VISHAM-KG оценивается с помощью вычисления результатов сходства и задач прогнозирования связей, которые часто используются в наборе бенчмарков представления знаний.
Экспериментальная установка
Оценить построенный мультимодальный граф знаний с помощью двух установленных задач: (i) кроссмодальной оценки сходства и (ii) предсказания связей с графом знаний. Выполняйте все вычисления исключительно на финальном графике, сгенерируемом в конечн.......
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Производительность фреймворка VISHAM-KG в основном основана на трёх ключевых компонентах: OCR для текста на деванагари (шаг 1.2), доверительном визуальном обнаружении объектов с помощью Clip-ViT (шаг 1.3) и кросс-модальном выравнивании на основе встраивания (шаг 1.4). Точность OCR напрямую влияет на последующий лингвистический разбор и извлечение сущностей. Ошибки, возникающие на этом этапе, распространяются на идентификацию отношений и снижают точность выравнивания. Этот эффект смягчает.......
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Авторы заявляют, что нет конфликтов интересов в отношении публикации этой статьи.
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| BiLSTM-CRF и индийская модель NER | Индивидуальное обучение | PyTorch | Признание именных организаций |
| CLIP-ViT-B/32 | 2022-09 | OpenAI | Генерация визуального вложения |
| CPU | Intel i9 | Intel | Общие вычисления |
| EasyOCR | v1.7.1 | Jaided AI | Извлечение текста на хинди из изображений |
| GPU | NVIDIA RTX 3090 | NVIDIA | Ускорение вывода модели |
| Детские истории на хинди | 10 рассказов | Кураторский набор данных | Корпус оценки |
| Neo4j | v5.13 | Neo4j Inc. | Хранение графов знаний |
| NumPy | v1.24 | Сообщество NumPy | Численные вычисления |
| Панды | v2.0 | Сообщество панд | Обработка данных |
| Python | v3.10 | Фонд программного обеспечения Python | Реализация конвейера |
| PyTorch | v2.0 | Meta AI | Фреймворк глубокого обучения |
| Строфа (хинди-модель) | v1.6.1 | Стэнфордская лига НЛП | Тегирование POS и парсинг зависимостей |
| XLM-R (базовый) | 2023-05 | ОбнимающееЛицо | Генерация вложения текста |
| YOLOv8 | v8.0.208 | Ultralytics | Визуальное обнаружение объектов |
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.