Рабочий процесс искусственного интеллекта, объединяющий представления двунаправленных кодировщиков из трансформаторов (BERT) и графовых нейронных сетей (GNN) для поиска знаний в цифровых предприятиях

Summary

Этот протокол представляет воспроизводимый рабочий процесс, управляемый ИИ, который тонко настраивает BERT для извлечения сущностей и отношений, использует нейронные сети графов для выравнивания онтологий, строит графы корпоративных знаний на основе неструктурированных данных и систематически оценивает производительность семантического поиска и эффективность поддержки принятия решений.

Abstract

Большие объёмы неструктурированных организационных данных могут затруднять для систем управления знаниями предприятия (KM) извлекать правильную и контекстно релевантную информацию, что может привести к неэффективному обмену знаниями и задержкам в принятии решений. Это исследование предлагает единую структуру, основанную на искусственном интеллекте, для преодоления этого ограничения. Он сочетает нейронные сети графов (GNN) для выравнивания онтологий и семантического мышления с усовершенствованными двунаправленными представлениями кодировщиков из трансформеров (BERT) для извлечения сущностей, специфичных для доменных сущностей и отношений. Систематический сбор данных, предварительная обработка корпоративных текстовых корпусов, тонкая настройка BERT для идентификации сущностей и отношений, преобразование извлечённых троиков в структурированные графы знаний и выравнивание онтологий на основе GNN для обеспечения семантической согласованности между гетерогенными источниками знаний составляют методологический конвейер. Для оценки эффективности системы в реальных корпоративных сценариях фреймворк также интегрирует задачи-ориентированные методы оценки, такие как точность поиска, корректность выравнивания онтологий и задержка принятия решений. В сравнении с базовыми методами экспериментальная валидация в двух отраслевых приложениях показывает снижение задержки принятия решений на 35% и повышение точности поиска знаний на 21%.

Кроме того, отзывы пользователей указывают на то, что интерфейс KM повысил удовлетворённость пользователей благодаря своим семантическим поисковым и контекстным функциям тегирования. Предлагаемая архитектура облегчает построение воспроизводимых графов знаний на основе неструктурированных корпоративных данных, методично объединяя графовое мышление и согласование с извлечением информации на основе глубокого обучения. Результаты показывают, что как стратегические, так и операционные результаты КМ улучшаются, когда организованные представления знаний согласованы с организационными процедурами. В целом, предлагаемый метод повышает точность поиска, ускоряет реакцию процесса принятия решений и предлагает рабочий и масштабируемый вариант для корпоративных KM-систем.

Introduction

Эффективный КМ может быть сложным для внедрения в программах цифровой трансформации из-за разрозненных хранилищ данных, разнообразных организационных платформ и фрагментированных знаний, распределённых по неструктурированным документам. Воспроизводимая, технически реализуемая структура, которая методично извлекает, структурирует, согласует и реализует корпоративные знания, не была предложена в ходе многочисленных исследований, несмотря на более ранние исследования, изучающие внедрение ИИ и цифровую трансформацию с организационной и отраслевой точки^{зрения 1, 2, 3}. Современные методы в основном сосредоточены на управленческих или стратегических последствиях, но при этом недостаточно архитектурных деталей для масштабного развертывания.

Традиционные системы управления информацией (MIS) и системы планирования ресурсов предприятия (ERP) в основном обрабатывают структурированные данные и облегчают отчётность по транзакциям, но не могут обрабатывать неструктурированный текст или контекстно-ориентированное семантическое мышление. С другой стороны, контекстуальная сущность и RE из сложных текстовых корпусов ^4,5 становятся возможными благодаря моделям на основе трансформаторов, таких как BERT. Аналогично, ГНН доказали свою высокую способность к реляционному мышлению, обучению представлениям графов и выравниванию онтологий в различных областях ^6,7,8. Несмотря на эти изменения, современные исследования обычно используют эти модели отдельно, а не интегрируют их в целостный бизнес-конвейер KM.

Аналитика больших данных, облачные вычисления, промышленный Интернет вещей и передовое машинное обучение — примеры недавних технических достижений, которые ускорили цифровую трансформацию в таких отраслях, как производство, здравоохранение, профессиональные услуги и управление^{9, 10, 11, 12} В то же время международные политические рамки уделяют особое внимание ответственному применению ИИ, делая акцент на этическом согласовании, подотчётности и прозрачности в цифровых^{системах} 13,14,15. Тем не менее, этическая интерпретируемость и техническая надёжность редко сочетаются в одной архитектуре в существующих КМ-системах.

Например, в отчетах об окружающей среде, социальной сфере и управлении (ESG) принятие решений на основе ИИ может игнорировать сложные моральные вопросы, требующие принятия решений со стороны человека. Снижение способности оценивать данные с использованием специализированного решения¹⁶ может быть связано с чрезмерной зависимостью от знаний. Функция консультирования, выполняемая PA, которая ранее основывалась на экономических знаниях и взаимодействии с клиентами, в конечном итоге может быть уменьшена^{автоматизацией 17}. Это может нарушить, поскольку инструменты, предназначенные для развития профессии, могут непреднамеренно подорвать критически важные человеческие способности.

Естественное сочетание передовых цифровых технологий с повышенной озабоченностью к моральной коммерческой эффективности и корпоративным порядком, символизирует Индустрию 6.0 — новаторский этап в промышленном^{развитии 18}. Этот этап, который формируется на Индустрии 4.0 и Индустрии 5.0, является следующим этапом технического роста. Визуализируя время, когда изобретательство улучшает, а не заменяет человеческие способности, Индустрия 6.0 расширяет эти мысли^{на 19}. Этот план рассматривает моральные опасения по поводу механизации, одновременно поощряя сотрудничество между людьми и роботами, совокупная^{эффективность 20}. Деловой компонент DL сотрудника важен, поскольку взаимодействие с коллегами внутри компании часто формирует компетентность и понимание цифровых технологий. Эта стратегия стремится соответствовать исследованиям, которые пытаются прояснить способы сотрудничества между работниками и новыми технологиями, чтобы различные работы и операции могли выполняться в^{бизнесе 21,22}. Поскольку это даёт им доступ к более широкой потребительской базе, DL считается ключевым для выживания малых компаний²³. По сравнению с традиционными структурами компаний, менеджеры в МСП могут управлять своими компаниями более эффективно и с меньшим количеством физических активов, используя технологические достижения^24,25.

Развитие возможностей онлайн-рекламы, которое фактически повышает эффективность бизнеса, зависит от технологических ресурсов, таких как технологический прогресс и связь с целями компании²⁶. Однако электронный фокус компании и техническая революция в её клиентской среде выступают в роли модераторов этих^{воздействий 27}. Компании могут эффективнее использовать ИТ-прогресс и синхронизацию для развития своих онлайн-промо-возможностей, глубоко интегрируя цифровые технологии в свой бизнес, продукты, предложения и планы.

Два механизма технологических резервов ИИ — это капитальные вложения (capex), которые могут использоваться для организации платформы больших данных, дополнений и совершенствований, а также схемы изобретений в области информационных наук и машинного обучения, или операционные расходы, которые используются для получения лицензий на инструменты ИИ и Big Data внутри организации, или, наконец, обучение сотрудников по^{ИИ 28}. Преимущества внедрения ИИ выше для компаний, которые также занимаются другими технологиями и следуют внутренней стратегии исследований и разработок, согласно²⁹исследованиям Ли по действиям активов ИИ. Кроме того, важно выбирать между трудоустройством вне органов и использованием внутренних специалистов с искусственным интеллектом³⁰. Позиция человеческих ресурсов в этой области обучения является одним из основных приоритетов современных исследований, и результаты показывают, что компании с внутренними знаниями в области ИИ тратят на развитие этих талантов, чтобы получить преимущество над^{конкурентами — 31,32}.

Взаимодействия белков с ГНН предсказывались^{в 33} случаях, а прогнозы подтверждены с помощью LLM. Подход был очень точным и давал интерпретируемые объяснения. Передовые методы машинного обучения и глубокого обучения, такие как BERT, использовались для изучения крупномасштабных данных социальных сетей в периоды^{кризиса 34}. RNN, CNN и GCN помогают обрабатывать и классифицировать огромные объёмы данных и могут применяться для обнаружения^{опухолей 35}. Авторы в^{статьях 36, 37, 38, 39}представлены инновационный подход к дополнению рекомендательных систем путём интеграции как социальных, так и знательных графов с моделями на основе GNN.

Предыдущие исследования не полностью изучали, как семантическая экстракция на основе трансформаторов и рассуждение на основе графов могут быть систематически интегрированы для улучшения как операционных, так и стратегических функций KM, несмотря на то, что ИИ и аналитика больших данных признаются трансформирующими силами в профессиональной среде. В частности, отсутствуют устоявшиеся рамки, которые (i) преобразуют неструктурированный корпоративный текст в семантически согласованные графы знаний, (ii) обеспечивают согласованность на уровне онтологий между удалёными источниками и (iii) статистически оценивают влияние поддержки корпоративных решений.

Чтобы сократить этот разрыв, исследование предсказывает, что по сравнению с традиционными системами KM на основе ERP/MIS и ключевых слов, сочетание адаптивной информации на основе доменных трансформаторов с выравниванием и рассуждением онтологий, основанными на GNN, значительно повысит точность семантического поиска и снизит задержку принятия решений на предприятиях. В этом исследовании предлагается исполняемый фреймворк KM, основанный на AI-аналитике больших данных. Он может выполнять следующие задачи: выделение сущностей, специфичных для домена, и отношений с использованием тонкой модели трансформатора; построение графов знаний из извлечённых троек; выравнивание онтологий на основе GNN и реляционное рассуждение; а также задачно-ориентированную оценку с использованием точности поиска, точности выравнивания и метрик задержки принятия решений.

Новизна предлагаемого подхода — его двухуровневое согласование КМ, которое одновременно поддерживает стратегическое КМ через структурированную интеграцию знаний, повышающую гибкость организации и инновационные возможности; и операционный КМ через расширенную поддержку принятия решений, оптимизацию процессов и контекстное извлечение. В данной статье представлена сквозная, эмпирически проверенная архитектура, реализованная в двух реальных корпоративных системах, в отличие от предыдущих концептуальных или одномодельных исследований. Экспериментальные результаты показывают снижение задержки принятия решений на 35% и повышение точности извлечения на 21%. Кроме того, связывая результаты, управляемые ИИ, с семантически организованными представлениями знаний, система улучшает интерпретируемость и способствует принятию прозрачных и ответственных решений. Это исследование создаёт масштабируемую и повторяемую парадигму для построения графов знаний и интеллектуального КМ в современных средах цифровой трансформации, соответствующих принципам Индустрии 6.0, методически объединяя контекстное кодирование на основе трансформаторов с графовым семантическим мышлением.

Protocol

Этическое заявление

Это исследование было рассмотрено и одобрено Институциональным обзорным советом (IRB) Национального университета Малайзии (UKM) до начала сбора данных (Одобрение ID: UKM/FEP/2025/AI-047; Дата утверждения: 12 марта 2025 года). Утверждённый протокол охватывал проведение структурированных опросов и полуструктурированных интервью с участием людей. Всем участникам было проинформировано о целях исследования, добровольном характере их участия и о праве отказаться в любой момент без последствий, а также получено письменное информированное согласие до их включения. Анонимность и конфиденциальность участников строго соблюдались, при анализе или публикации не включалась личная информация, а все данные хранились и использовались исключительно для академических исследований в соответствии с институциональными этическими стандартами и соответствующими международными рекомендациями по исследованиям на людях.

Общая архитектура предлагаемой структуры BERT–GNN KM

Изначально для обработки неструктурированного текста, включая внутренние документы, взаимодействие с клиентами и контент в социальных сетях, использовался тонко настроенный кодировщик трансформатора. Общая архитектура системы рабочего процесса KM на базе BERT–GNN показана на рисунке 1. Корпоративные данные, использованные в этом исследовании, были собраны в цифровых документах, включая структурированные файлы опросов, стенограммы интервью, внутренние корпоративные отчёты и общедоступные документы кейс-стади. Все документы были объединены в единый корпус для анализа. Текстовое содержимое извлекалось из этих источников и очищено для удаления нерелевантных метаданных, дублирующих записей и артефактов форматирования. Очищенный корпус затем сегментировался на предложения и токенизировался для подготовки к обработке на естественном языке, такой как извлечение текста с помощью парсеров, удаление шума, сегментация предложений и токенизация с помощью токенизатора Word. Этот обработанный текстовый набор данных служил входом для тонко настроенной модели извлечения сущностей^{и отношений 33} , которая состоит из 12 слоёв с 12 головками внимания и 768 скрытыми единицами. Извлеченные данные были организованы в граф знаний, который обеспечивал структурированное и взаимосвязанное представление знаний через корпоративное отображение онтологий. GNN применялись для выравнивания онтологий с использованием косинусного сходства и рассуждения, чтобы обеспечить точное отражение и логическое заключение семантических связей между доменами знаний путём удаления дубликатов через сходство строк с порогом 0,85. Обработанные знания затем использовались на уровне принятия решений, что позволило эффективно анализировать данные и облегчить принятие решений на основе данных. Эта архитектура преобразовывала фрагментированные данные в интеллектуальные, контекстно-ориентированные информационные активы. Фреймворк был проверен с помощью бизнес-кейсов и сравнился с традиционными KM-системами, такими как Naive Bayes (NB), Support Vector Machine (SVM), Random Forest (RF), TF-IDF, LDA, BERT только и BERT с KG, с разделением данных 70:15:15 и фиксированным видом 42 для оценки повышения производительности в точности поиска, задержке принятия решений и полезности знаний.

Рисунок 1. Общая архитектура системы KM-рабочего процесса на базе BERT-GNN. Общая архитектура системы AI–BDA–GNN, демонстрирующая многоисточникное погружение данных, предварительную обработку, тонко настроенный BERT для семантической экстракции, популяцию KG, выравнивание/рассуждение онтологий на основе GNN и уровень принятия решений. Стрелки указывают на поток данных и необязательные петли обратной связи для онлайн-обучения. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Сбор данных

Набор данных, использованный в этом исследовании, был собран из нескольких источников для подтверждения репрезентативности и внешней валидности. Первичный сбор данных через структурированные опросы и полуструктурированные интервью с практиками из IT, производства, здравоохранения и образования включал сертифицированных членов Палаты финансовых аудиторов Румынии. Вторичные данные включали анонимизированные внутренние корпоративные документы, ежегодные отчеты и общедоступные кейсы цифровой трансформации. Сбор данных проводился в рамках четко определённого периода исследования, и все записи были анонимизированы на основании институционального этического допуска для защиты конфиденциальности и обеспечения соответствия.

Критерии отбора участия: Для обеспечения методологической строгости и репрезентативности участники были отобраны на основе чётко определённых критериев включения и исключения. Помимо активного участия в цифровой трансформации, KM, искусственном интеллекте, аналитике больших данных или корпоративных информационных системах, соответствующие участники должны были иметь не менее трёх лет профессионального опыта в IT, производстве, здравоохранении, образовании, бухгалтерии или смежных корпоративных сферах. Для сертифицированных специалистов было необходимо иметь активный статус сертификации в период сбора данных (например, члены Палаты финансовых аудиторов Румынии). Для точного понимания материалов опроса и интервью, а также получения информированного разрешения в соответствии с официальным протоколом IRB, участники также должны были продемонстрировать владение румынским или английским языком. Все лица с менее чем тремя годами релевантного опыта, неактивным профессиональным статусом (если применимо), отсутствием прямого участия в корпоративных процессах знаний или принятия решений, неполными ответами на опрос (более 20% отсутствующих данных) или неудачными проверками качества данных были исключены. Кроме того, расшифровки интервью, которые не были достаточно подробными или не были релевантны к методам КМ, не были включены в анализ. Эти стандарты гарантировали компетентную, представительную отрасль и аналитически обоснованную выборку участников.

Сертифицированные члены Палаты финансовых аудиторов Румынии (CAFR) были ключевой целевой группой для сбора данных. Был разработан и распространён онлайн-опрос через внутренние каналы коммуникации CAFR для поддержки целевого распределения и высокого уровня отклика. Для формирования репрезентативной выборки были рассмотрены истории CAFR, и было отобрано 250 зарегистрированных участников на основе признаков, релевантных для исследования.

Структура инструментов опроса: В исследовании использовалась структурированная анкета с 24 пунктами, распределенными по пяти доменам конструкций: организационная гибкость и операционная эффективность (5 пунктов), стратегическая поддержка принятия решений и инновационные возможности (5 пунктов), влияние аналитики больших данных на обмен знаниями (5 пунктов), внедрение ИИ в КМ (5 пунктов), а также воспринимаемая пользователем эффективность и удобство использования системы (4 пункта). Для оценки каждого пункта использовалась 5-балльная шкала Ликерта, где 1 означает «сильно не согласен», а 5 — «полностью согласен». Инструмент был адаптирован для внедрения корпоративного ИИ и модифицирован на основе ранее проверенных масштабов KM и цифровой трансформации. Три академических учёных и два бизнес-эксперта провели экспертный обзор для подтверждения достоверности содержания. Для улучшения языка, оценки ясности и надёжности был проведён пилотный проект с участием 20 специалистов; все компоненты имели альфа-значения Кронбаха более 0,80, что свидетельствовало о сильной внутренней согласованности. Также проводились полуструктурированные интервью для дополнения результатов опроса. В руководстве по интервью рассматривались пять тематических областей: опыт цифровой трансформации, трудности с корпоративным обменом знаний, интеграция ИИ и больших данных в принятие решений, препятствия для семантического согласования и вопросы этического управления. Каждое интервью проводилось с информированным согласием, длилось примерно 45–60 минут, аудиозаписывалось и затем транскрибировалось для качественного анализа.

Для оценки эффективности предлагаемой структуры BERT-GNN для KM в цифровых трансформационных организациях был подготовлен большой и разнообразный набор данных из различных источников в различных отраслях. Набор данных охватывает как количественные, так и качественные аспекты для отражения динамических восприятий потока знаний и организационных изменений. Структурированные данные были собраны от более чем 250 специалистов через онлайн-анкету, состоящую из заданий по шкале Лайкерта (диапазон 1–5) для измерения воспринимаемого влияния искусственного интеллекта (ИИ) и аналитики больших данных (BDA) на обмен знаниями, инновации и гибкость бизнеса. Одновременно были собраны неструктурированные данные в ходе полуструктурированных интервью с 30 экспертами в области, предоставив более 120 000 слов в расшифровке. Были собраны дополнительные полуструктурированные материалы, включая ежегодные отчёты компании и цифровые стратегические документы (более 50 документов), чтобы поместить модели внедрения в корпоративном масштабе в контекст. Кроме того, были добавлены 15 подробных кейсов из IT, производства, здравоохранения и образования, чтобы предложить практические контексты трансформации. Внутренние документы базы знаний (около 200 МБ), анонимизированные по соображениям конфиденциальности, также были включены для улучшения изображения оперативных знаний. Этот многоисточниковый набор данных обеспечивает эффективный конвейер обучения и оценки моделей глубокого обучения и охватывает как стратегические, так и операционные аспекты KM. Таблица 1 показывает выборку популяции, используемую для оценки.

Компонент	Тип	Источник	Размер/Объём
Профессиональные ответы на опросы	Структурированная	Онлайн-опросы от 250+ профессионалов	~10 000 записей
Стенограммы интервью	Неструктурированные	Полуструктурированные интервью с 30 экспертами	~120 000 слов
Отчёты компаний	Полуструктурированные	Годовые отчёты и документы по цифровой стратегии	50+ документов
Кейс-стади	Смешанные	Отраслевые сценарии использования цифровой трансформации	15 подробных случаев
Содержание базы знаний	Неструктурированные	Внутренние документы организаций (анонимизированы)	~200 МБ

Предварительная обработка данных и тонкая настройка BERT

Сырые данные корпоративных документов получались из кураторского списка и предварительно обработаны с помощью сегментации предложений, токенизации, удаления стоп-слов и нормализации для соответствия требованиям токенайзера. Предварительно обученная модель затем дополнительно модифицировалась для тонкой настройки модели под конкретную задачу и настраивалась для выполнения задач распознавания именованных сущностей (NER) и извлечения отношений (RE). Модель была доработана на предварительно обработанных данных корпуса для определённого счёта эпох с помощью оптимизатора Адама. Наконец, контекстуализированные вложения слов (R⁷⁶⁸) были получены из идентифицированных сущностей и их отношений. Нормализованные сущности генерировались с помощью онтологической техники нормализации, при которой различные сущности, такие как синонимы, преобразовывались в нормализованную форму. Каждая отдельная нормализованная сущность была узлом, тогда как отношение между сущностями в представлении графа знаний называлось ребром. Нормализованное вложение сущности, генерируемое моделью, формировало начальные узловы нейронной сети графов. На следующем этапе нейронная сеть графов была обучена методу прогнозирования контролируемых каналов с отрицательной выборкой, полученной за счёт повреждения краёв. В ходе обучения наблюдается потеря перекрёстной энтропии на протяжении ряда эпох. Обученная структура оценивалась с использованием точности поиска знаний, задержки принятия решений и уровня удовлетворённости пользователей в качестве показателей.

Гибридный подход к аннотации был использован для создания обучающих меток для RE и NER. Два независимых эксперта вручную аннотировали специализированный корпус корпоративных документов, таких как внутренние отчёты, журналы взаимодействия с клиентами и политические документы, используя заранее определённую онтологическую схему, которая выявляла категории сущностей (такие как организация, процесс, технология, роль, ключевые показатели эффективности) и типы отношений (например, поддержки, depends_on и улучшения). Для обеспечения единообразия направленности отношений и обнаружения границ сущности были разработаны комплексные рекомендации по аннотированию. 20% набора данных были двойные аннотации для оценки надёжности. Каппа Коэна использовался для проверки согласования между аннотаторами, и результаты показали сильное согласование (κ = 0,87 для маркировки сущностей и κ = 0,82 для извлечения отношений). Слабая супервизия затем использовалась для расширения вручную аннотированного набора данных с помощью сопоставления шаблонов на основе правил и онтологических ограничений, с фильтрацией на основе доверия для снижения шума. Для гарантии полной воспроизводимости записывались все процедуры аннотаций, определения онтологий, разделения наборов данных и случайные семена.

Эффективность точности измерялась на уровне документа, задержка оценивалась на основе времени ответа на запросы от конца до конца, а пользователи были удовлетворены использованием анкет шкалы Лайкерта. В конце каждого этапа устанавливались контрольные пункты следующего протокола. (i) выходная контрольная точка BERT — извлечены образцы сущностей и тройки отношений; (ii) выборка контрольной точки KG из построенного подграфа с онтологическими метками; (iii) GNN контрольная точка — образец прогнозирования онтологии и вывод связи; и (iv) контрольная точка поиска — образец полученных предметов знаний с метками релевантности.

Предлагаемый протокол имеет следующую структуру: детерминированный, многоступенчатый конвейер с чётко определёнными промежуточными выходами, обеспечивающий полную воспроизводимость. Шаг 1: После обработки и обработки необработанных структурированных, полуструктурированных и неструктурированных корпоративных данных будут сгенерированы очищенные текстовые корпуса и нормализованные числовые матрицы признаков. Шаг 2: Будет выполнено применение тонко настроенных моделей BERT для извлечения знаний, давая явный результат в виде именованных сущностей, таких как отдел, процесс, документ и KPI; (ii) семантические отношения между сущностями, представленные как триплы субъект-предикат-объект. На шаге 3 эти тройки преобразуются в начальный граф знаний, в котором узлы являются сущностями, а отношения — типизированными рёбрами, выровненные по заранее определённой схеме онтологии. На шаге 4 приложение Graph Neural Network к этому графу для выравнивания и рассуждения онтологий генерирует улучшенные вложения узлов, выводит отношения и выравнивает метки онтологий. Шаг 5 предоставляет окончательный граф знаний и результаты рассуждения, которые будут обеспечивать семантический поиск, поддержку принятия решений и оценку эффективности.

Все промежуточные артефакты, включая списки сущностей, тройки отношений, графы, выровненные по онтологиям, и выводные ссылки, явно генерируются на каждом этапе этого протокола, что позволяет самостоятельно воспроизводить исследования без необходимости напоминаний.

Набор данных делится на обучающий, валидационный и тестовый наборы в соответствии с фиксированным соотношением 70:15:15, чтобы обеспечить воспроизводимость результатов эксперимента. Токенизация, нижние регистры, удаление стоп-слова и сокращение последовательностей до 512 токенов выполняются для BERT с точки зрения подготовки текста. С другой стороны, нормализация Z-Score используется для нормализации структурных особенностей. Кроме того, модель BERT тонко настраивается с помощью библиотеки фреймворка глубокого обучения с оптимизатором Adam, где скорость обучения составляет 2e-5, размер пакета равен 16, а количество эпох — 5. Предсказанные извлеченные сущности и связи сохраняются в стандартном формате для построения графа знаний. Кроме того, встраивание узла графа знаний (R⁷⁶⁸) используется как вход для GNN для выравнивания и рассуждений по онтологии.

Интерфейс BERT-GNN и поток данных

В рамках предлагаемой структуры трансформаторный кодировщик тонко настроен для выполнения двух задач NLP: задачи NER и задачи RE на корпоративном текстовом корпусе. Наконец, выходы модели включают контекстуализированные вложения токена (^{R 768}), метки классификации сущностей и реляционные триплеты субъект-предикат-объект. Нормализованные сущности используются при построении заранее определённой корпоративной онтологии, где текстовые вариации и синонимы объекта сопоставляются с идентификатором сущности. Каждой уникальной нормализованной сущности назначается новый узел сущности внутри построенного графа знаний. В зависимости от размера отраслевого корпуса, сгенерированный граф знаний в оценённых корпоративных сценариях содержит от 18 000 до 25 000 узлов сущностей и 42 000–60 000 типизированных реляционных рёбер. Человек, отдел, процесс, продукт, организация и документ — лишь некоторые из типов узлов, встречающихся в графе. Другие типы краёв включают works_for, manages, belongs_to, produces, approved_by и related_to. Каждому узлу присваивается отдельный идентификатор на основе онтологии, полученный из заранее заданной корпоративной онтологии. В результате получившийся гетерогенный граф имеет типизированные рёбра, представляющие нормализованные отношения и типированные узлы с семантическими свойствами вложения. После этого GNN получают эти вложения узлов для реляционного мышления и выравнивания онтологий. Ключевым является то, что GNN функционирует на сгенерированном графе без обратного распространения градиентов к энкодеру BERT, что гарантирует модульное обучение и сохраняет разделение компонентов графового рассуждения и семантической экстракции.

BERT использовался в этом исследовании для контекстуального моделирования языка и выделения семантических признаков. Модель может эффективно научиться предсказывать правильные метки категорий для новых текстовых входов при тонкой настройке с использованием меченых данных, адаптированных под конкретную классификационную цель. Поскольку BERT является двунаправленным, он учитывает как предшествующий, так и следующий контекст каждого слова, что позволяет более полно понять взаимосвязи внутри текста. Энкодер модели с базой BERT состоит из 12 трансформаторных блоков, каждый из которых содержит 12 головок самовнимания и скрытый размер 768. Перед обработкой входный текст делится на токены в зависимости от выбранного подхода токенизации, которые могут представлять слова или подслова. Представление последовательностей, полученное с помощью BERT, описано в дополнительном файле 1. Параметры модели оптимизируются за счёт минимизации логарифмической вероятности правильной метки (рисунок 2).

Рисунок 2. Подробный рабочий процесс модели BERT, используемой для извлечения семантических признаков. Показывает размеры входа/вывода и роль контекстных вложений для популяции KG. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Построение графа знаний с использованием GNN

Схема графа знаний заранее определяется до построения графа. Это обеспечивает семантическую последовательность. Онтология предопределена в отношении конечного числа типов как для сущностей, так и для типов отношений, а также ограничений по диапазону доменов, которые полезны для рассуждения. Схема применима для заполнения графа из тройок, собранных из модели BERT, а также для сообщения, учитывающего отношения, проходящего через GNN.

В рамках этой структуры граф знаний (KG) служит структурированным представлением корпоративных знаний, моделирующих сущностей (например, отделов, документов, процессов) и семантических отношений между ними. Математические выводы KG добавлены в дополнительный файл 1. Такая интеграция конструкции KG и рассуждения на основе GNN позволяет выравнивать онтологии, выводить отношения и улучшать семантический поиск в рамках корпоративного KM.

Граф знаний (KG) представлен как гетерогенный граф G, а его структура выражается онтологией O. KG также можно рассматривать как набор фактов, выраженных утверждениями предикатного рассуждения. Эти основы имеют следующие^{описания 34}. Граф G варьируется: V представляет множество объектов или узлов (оба могут использоваться взаимозаменяемо) и представляет множество отношений. Триплет () также может использоваться для характеристики соответственно пары объектов v₁ и их ассоциации . Математическое вывод конструкции KG с использованием GNN описано в дополнительном файле 1.

Онтологическое выравнивание и рассуждение на основе BERT-GNN

Алгоритм 1 показывает онтологическое выравнивание и рассуждение на основе GNN. Процесс начинается с инициализации возможностей узлов с использованием заранее извлечённых вложений вместе с теми, что генерируются качественной настроенной версией BERT, которая заимствует семантический смысл каждой сущности из неструктурированного текста. Граф знаний, состоящий из узлов (сущностей) и рёбер (отношений), представлен с помощью матрицы смежности (A) и матрицы признаков (X).

Набор правил развивается через более чем один слой GNN. На каждом уровне представление узла обновляется посредством агрегирования данных соседних узлов, взвешенных по их связности (то есть с использованием матрицы смежности). Это математически формулируется с помощью метода передачи сообщений, при котором вложения узлов расширяются с помощью обучаемых матриц весов и передаются через нелинейную характеристику активации, включающую ReLU. Шаг нормализации (например, нормализация слоя или использование дипломных матриц, как в уравнении GCN) гарантирует стабильное получение знаний по всем слоям.

После повторения этого процесса для заранее определённого диапазона слоёв T модель формирует окончательный набор Z-вложения узлов, которые кодируют каждый окрестный круг, её форму и семантические возможности. Эти вложения затем преодолеваются через мягкий максимальный слой классификации для прогнозирования выровненных онтологических меток, включая сортировки сущностей (например, «Отдел», «Продукт», «Проект») или семантические роли внутри корпорации.

Алгоритм 1: BERT Онтологическое выравнивание и рассуждение на основе GNN

Процесс выравнивания и рассуждения на основе GNN работал на построенном графе знаний, который состоял из сущностей, представленных как узлы, а их отношения — рёбрами. Начальные представления узлов были получены из семантических вложений на основе BERT и организованы в матрицу признаков. Матрица смежности представляла структуру связности графа, и для уточнения представлений узлов применялось заранее определённое количество слоёв GNN. Для каждого слоя модель обновляла каждый узел, агрегируя информацию из соседних узлов на основе структуры графа. Эта агрегация в уравнении (1) включает умножение представлений соседних узлов на обучаемые весовые матрицы, добавление смещённого члена и применение нелинейной функции активации.

(1)

После каждого обновления слоя применялась нормализация для стабилизации обучения и обеспечения согласованных масштабов вложения. После обработки всех слоёв получались окончательные вложения узлов. Эти вложения затем проходили через слой классификации с функцией softmax для прогнозирования выровненных меток онтологий или классов сущностей. Процедура давала итоговые уточнённые вложения узлов и прогнозируемые метки, выровненные по онтологиям, в качестве выходов.

Предлагаемый метод позволяет семантически выравнивать сущности из нескольких источников и поддерживает рассуждение по графу знаний, выводя новые связи и классифицируя ранее не маркированные узлы.

Рисунок 3. Онтологическое согласование и семантическое мышление с использованием GNN. Иллюстрирует шаги обновления сообщений по соседству и встраивания. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Агрегированные признаки преобразуются с помощью реляционно-специфических матриц веса и нелинейной функции активации (например, ReLU), генерируя обновлённые вложения узлов, интегрирующие семантические признаки, полученные из BERT, с структурной информацией из графа. Эти вложения затем передаются на слой softmax классификации для прогнозирования меток сущностей или выровненных классов онтологий. Этот устоявшийся процесс делает GNN чрезвычайно эффективным для рассуждений над графами ноу-хау, помогая в таких задачах, как разъяснение сущностей, вывод по уходу и семантический тип, в конечном итоге способствуя созданию более умных, ориентированных на ИИ структуры управления статистикой (Таблица 2).

Компонент	Описание
Фреймворк/Наборы инструментов	Python 3.9, PyTorch 2.0.1, Hugging Face Transformers 4.34, DGL 1.1 (Библиотека глубоких графов)
Аппаратное обеспечение	Видеокарта NVIDIA Tesla V100 (16 ГБ), 128 ГБ оперативной памяти, Ubuntu 20.04
Конвейер предварительной обработки	Токенизация (Word Piece for BERT), удаление стоп-слова, распознавание сущностей (SpaCy), нормализация z-score для числовых признаков
Источники наборов данных	Профессиональный опрос (250+ ответов), стенограммы интервью (~120 000 слов), отчёты компаний (50+), кейсы (15), внутренние документы (200MB)
Разделение данных	70% обучение, 15% валидация, 15% тестирование
Модель кодировщика текста	Основание BERT (без корпуса), 12-слойное, скрытый размер 768, 12 головок для внимания
Тонкая настройка BERT	4 эпохи, размер партии = 32, скорость обучения = 2e-5, оптимизатор Адама, максимальная длина секвенции = 512
Построение графов	Извлечение знаний на основе триплетов (субъект, сказуемое, объект)
Тип графа	Гетерогенный граф с множественными реляционными рёбрами (сущности из выхода BERT)
Архитектура GNN	2-слойная гетерогенная нейронная сеть графов (модель передачи сообщений)
Гиперпараметры GNN	Скрытое измерение = 128, активация = ReLU, оптимизатор = Адам, скорость обучения = 0.001
Тип декодера	Округ Mult с точным произведением для прогнозирования связей
Функция потерь	Бинарная кросс-энтропия для классификации триплетов

В заключение протокол завершается генерацией следующих результатов: онтологически согласованного графа корпоративных знаний, модели BERT и GNN, результаты информационного поиска и рассуждения, а также отчёты KRP, OAA, DML и USR. Они обеспечивают итоговый результат в воспроизводимой форме. Для отрицательной выборки во время обучения GNN действительные триплеты повреждаются через замену сущностей согласно онтологическим типовым ограничениям. Полученные выравнивания онтологий проверяются на согласованность и вручную проверяются экспертами в области для обеспечения семантической согласованности между извлечёнными сущностями и каноническими классами онтологий.

Критерии оценки

Задержка принятия решений — это мера общего времени, потраченного системой на предоставление оперативного ответа после отправки пользовательского запроса. Пусть i — пользовательский запрос, — время отправки запроса, — время, в которое система предоставляет окончательный результат решения. Задержка принятия решений (DML) задаётся следующим образом:

(2)

где — общее количество оцененных запросов. Этот показатель измеряет общее время отклика предлагаемой структуры — от поиска знаний до генерации ответов. Более низкое значение этой метрики идеально подходит, поскольку она показывает более быстрое отклик системы, что крайне важно для временных корпоративных приложений для принятия решений.

Коэффициент покрытия знаний — это отношение способности системы получить все релевантные элементы знаний, доступные для конкретного запроса. Пусть — множество всех релевантных элементов знаний для запроса q, а — множество элементов знаний, фактически полученных системой. Коэффициент покрытия знаний (KCR) определяется следующим образом:

(3)

Эта формула рассчитывает полноту полученных элементов знаний. Она эквивалентна мере воспоминания, используемой в традиционных системах информационного поиска.

Results

Предварительная обработка данных и тонкая настройка BERT

Предлагаемое устройство интегрирует наиболее настроенную версию BERT для извлечения неструктурированного понимания и нейронную сеть графов (GNN) для выравнивания и рассуждения онтологий внутри рамки графов понимания. Экспериментальная установка заключалась в сравнении общей производительности аспекта BERT на задачах NER и RE, в то время как коэффициент GNN стал анализироваться на прогноз...

Discussion

В данном исследовании представлена единая корпоративная KM-структура, интегрирующая контекстную семантическую экстракцию с использованием BERT с графовым реляционным рассуждением и онтологическим согласованием через GNN. Для обеспечения связывания сущностей, рассуждений между документами и согласованного представления знаний между разрознеными бизнес-источниками данных, основным вкладом является интеграция глубокого контекстного моделирования языка со структурированным, онтологически осо...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Модель предварительно обученной BERT-Base (без корпуса)	Google AI	Н/Д	Модель предварительно обученного языка на основе трансформаторов (вариант с bert-base-uncased)
Библиотека глубоких графов (DGL)	AWS Labs	РРИД: SCR_017054	Версия 2.1 используется для моделирования нейронных сетей графов
Библиотека визуализации Matplotlib	Сообщество PyData	РРИД: SCR_008624	Используется для графиков производительности и визуальной аналитики
Библиотека графов NetworkX	Сообщество PyPI	РРИД: SCR_005317	Версия 3.2 используется для построения и анализа графов
Числовая вычислительная библиотека NumPy	Сообщество PyData	РРИД: SCR_008633	Используется для численных операций и обработки массивов
Видеокарта NVIDIA (Tesla T4 / RTX 3080)	Корпорация NVIDIA	РРИД: SCR_016409	Аппаратный ускоритель с поддержкой CUDA для обучения моделей
Аналитическая библиотека данных Pandas	Сообщество PyData	РРИД: SCR_018214	Используется для обработки структурированных данных
Язык программирования Python	Фонд программного обеспечения Python	РРИД: SCR_008394	Версия 3.10 используется для разработки моделей и обработки данных
Фреймворк глубокого обучения PyTorch	Meta AI	РРИД: SCR_018536	Версия 2.0, используемая для реализации нейронных сетей
Библиотека машинного обучения Scikit-learn	Разработчики Scikit-learn	РРИД: SCR_002577	Версия 1.5 используется для метрик предварительной обработки и оценки
Библиотека NLP Transformers	Обнимающее лицо	РРИД: SCR_020989	Версия 4.40, используемая для предобученных моделей трансформаторов
Операционная система Ubuntu Linux	Canonical Ltd.	РРИД: SCR_018317	Среда выполнения LTS версии 20.04