Тонкая настройка больших языковых моделей с использованием индекса галлюцинации сущностей для суммирования текста
9 января 2026 г.
Мы предлагаем подход к тонкой настройке на основе подкрепления обучения для больших языковых моделей, который использует индекс галлюцинации Enti (EHI) в качестве сигнала вознаграждения для снижения галлюцинаций на уровне сущности при суммировании текста. Эксперименты с стенограммами встреч показывают, что этот метод повышает достоверность и точность сущности.
В этом исследовании используется индекс галлюцинаций сущности как сигнал вознаграждения для снижения неправильной генерации сущностей в тексте, обобщённом с помощью ИИ. Текущие метрики — это два основных показателя: этот протокол использует детализированные вознаграждения сущностей для повышения достоверности без человеческих меток. Для начала используйте два основных корпуса, включая набор данных транскрипции диалогов с многоповоротными стенограммами собраний и бенчмарк резюме XSum News.
Очистите каждый набор данных, выравните данные и разделите их на наборы с обучением, 10% валидацией и 10% тестированием. Выполнить токенизацию и извлечение сущностей с использованием трансформаторной модели NER D slim/BERT для обеспечения надёжного заземления. Генерируйте начальные сводки в режиме нулевых выстрелов с помощью поиска по лучу шириной четыре для оценки базовой распространённости галлюцинаций.
Вычислите индекс галлюцинации сущности как метрику уровня сущности без ссылки, которая классифицирует сущности на пять факторов для количественной оценки достоверности. Поощряйте экстрактивность и позитивные галлюцинации, а также наказывайте негативные галлюцинации, чрезмерно сосредоточенные сущности и потерянную концентрацию. Определите функцию вознаграждения как пропорциональную верности субъекта и максимизируйте ожидаемую вознаграждение EHI по сгенерированным резюме.
Примените усиленный механизм обновления стиля для оптимизации параметров модели с целью максимизации достоверности сущности. Используйте адаптацию низкого ранга для эффективной настройки параметров и обновляйте только адаптеры LoRA, при этом сохраняя замороженность базовых весов модели. Затем применяйте обновления градиентов политики, чтобы стимулировать более высокие результаты вознаграждения и генерируйте сводки для каждых 500 обновлений для обновления оценок вознаграждений.
Наконец, сгенерируйте окончательные резюме с помощью тонко настроенных моделей и сравните их с исходными результатами. Оценивайте модели на информативность с помощью Rouge one, Rouge 2 и Rouge L, беглости и фактической согласованности с использованием фактов CC и CAG. Тонкая настройка EHI снижала галлюцинации и улучшала фактичность между моделями и наборами данных с правыми сдвигами EHI, а распределение по фактам CC подтверждало повышение достоверности сущностей и фактической согласованности, в то время как показатели CAGS остались в основном без изменений.
Вредные галлюцинации — негатив, перефокус и потеря фокуса — были уменьшены в Мистрале после тонкой настройки, а фактор экстрактивности почти удвоился. Корреляционный анализ показал, что EHI и CAGS имеют слабую корреляцию в Mistral и DistilBART, тогда как Flan-T5 показал более сильную положительную корреляцию. Исследователи могут измерять точность на уровне сущности и показатели галлюцинаций в резюме с помощью автоматизированного сигнала вознаграждения EHI.
Самая серьёзная проблема — это точность NER, поскольку ошибки извлечения могут привести к неправильным расчётам вознаграждения во время тренировки. Будущие исследования могут интегрировать разрешение совместных рекомендаций и награды за информативность, чтобы лучше сбалансировать верность с обзорным освещением.
Просмотрите полный транскрипт и получите доступ к тысячам научных видео
Обзор
В данной статье представлена новая платформа тонкой настройки больших языковых моделей (LLM) на основе системы вознаграждения, предназначенная для снижения уровня галлюцинаций на уровне сущностей при абстрактном реферировании. Благодаря использованию индекса галлюцинаций сущностей (Entity Hallucination Index, EHI) в качестве направляющей метрики, данный подход повышает фактическую точность генерируемых резюме без ущерба для их информативности или обобщающей способности.
Основные компоненты исследования
Область науки
- Обработка естественного языка
- Машинное обучение
- Суммаризация текста
Теоретическая часть
- Большие языковые модели (LLM) значительно повысили качество абстрактивного реферирования.
- Галлюцинации на уровне сущностей, при которых в резюме появляются неверные или вымышленные сущности, остаются серьезной проблемой.
- Существующим моделям часто трудно сбалансировать информативность и фактическую точность.
- Метрики, позволяющие напрямую штрафовать за галлюцинации с сущностями, недостаточно изучены в контексте обучения моделей.
Цель исследования
- Разработать систему тонкой настройки, которая снижает уровень галлюцинаций сущностей в моделях суммаризации.
- Внедрить и использовать индекс галлюцинаций сущностей (Entity Hallucination Index, EHI) в качестве сигнала вознаграждения.
- Продемонстрировать повышение фактической точности и устойчивости резюме, созданных большими языковыми моделями (LLM).
Используемые методы
- Первоначальные резюме, созданные с помощью предобученных моделей (например, Flan-T5, DistilBART, Mistral) на наборах структурированных транскриптов, таких как XSUM.
- Извлечение именованных сущностей как из сгенерированных резюме, так и из эталонных резюме.
- Расчет EHI путем оценки точности сущностей и применения штрафов за вымышленные сущности.
- Дообучение с подкреплением с использованием механизма обновления в стиле REINFORCE, где сигнал вознаграждения представляет собой EHI.
Основные результаты
- Дообученные модели продемонстрировали более низкий уровень галлюцинаций сущностей.
- Информативность резюме сохранилась, несмотря на снижение количества галлюцинаций.
- Модели с руководством EHI показали лучшую обобщающую способность в задачах суммаризации данных вне предметной области.
- В ходе экспериментальных оценок наблюдались повышенная устойчивость и фактическая точность.
Выводы
- Система вознаграждения на основе EHI эффективно снижает количество галлюцинаций на уровне сущностей при суммаризации с помощью LLM.
- Данный подход позволяет совместно оптимизировать фактическую точность и информативность.
- Метод предлагает практическое направление для повышения надежности систем автоматического реферирования.
Часто задаваемые вопросы
Значимость для промышленности
Галлюцинации на уровне сущностей при суммаризации с использованием больших языковых моделей (LLM) представляют значительный риск для целостности данных и принятия решений в биофармацевтических исследованиях и разработках (R&D). Фреймворк тонкой настройки на основе индекса галлюцинаций сущностей (Entity Hallucination Index, EHI) напрямую решает эту проблему, обеспечивая более надежное извлечение фактических данных из научных и операционных текстовых источников. Повышение фактической точности автоматической суммаризации способствует росту прогностической уверенности и снижает последующие риски в конвейерах обработки знаний.
Стратегическое применение в биофармацевтических исследованиях&D
Первичный поиск и валидация мишени
- Повышает точность анализа литературы и данных при поиске мишеней за счет минимизации количества вымышленных объектов.
- Способствует снижению рисков при изучении механизмов, гарантируя, что извлеченные объекты отражают реальные биологические взаимосвязи.
- Позволяет с большей уверенностью формулировать гипотезы на основе результатов автоматического реферирования текстов.
Скрининг и разработка анализа
- Обеспечивает стандартизированное извлечение целей и условий анализа из различных источников документации.
- Снижает риск распространения некорректной информации о сущностях в рабочие процессы скрининга.
- Поддерживает воспроизводимость за счет сохранения точности данных о сущностях в автоматизированных сводках.
Трансляционные и доклинические исследования
- Улучшает сопоставление доклинических результатов с соответствующими объектами заболевания за счет снижения уровня галлюцинаций.
- Повышает непрерывность отслеживания объектов от этапа открытия до фаз доклинической валидации.
- Поддерживает продвижение с учетом рисков, предоставляя более надежные доказательства на уровне объектов.
Интеграция конвейеров и рабочих процессов
Структура тонкой настройки под руководством EHI интегрируется в информационный уровень процессов поиска, скрининга и трансляционных исследований, обеспечивая надежное извлечение сущностей и суммаризацию.
- Открывающая биология: Обеспечивает проверку гипотез и уточнение метаболических путей за счет гарантии точности объектов в извлеченных резюме.
- Скрининг: Предоставляет воспроизводимые, точно отражающие объекты резюме для документации анализов и оценки соединений.
- Аналитика: Позволяет получать количественные показатели EHI для сопоставления и сравнения результатов суммаризации при различных условиях.
- Трансляционные исследования: Сохраняет точность объектов при картировании биомаркеров и заболеваний при переходе от этапа поиска к доклиническим стадиям.
- Корпоративное повторное использование: Создает масштабируемую систему суммаризации на основе вознаграждения для различных текстовых источников в сфере биофармацевтики.
Операционное и корпоративное воздействие
- Научная ценность: повышает прогностическую уверенность и снижает механистическую неоднозначность выводов, полученных из текстов.
- Операционная ценность: стандартизирует извлечение сущностей и генерацию резюме между командами и проектами.
- Стратегическая ценность: способствует принятию более обоснованных решений о целесообразности продолжения разработки (go/no-go) за счет повышения надежности автоматизированного извлечения знаний.
- Влияние на портфель проектов: позволяет осуществлять приоритезацию с учетом рисков, сокращая распространение некорректных данных о сущностях.
Особенности внедрения
- Требуются экспертные знания в области обработки естественного языка и обучения с подкреплением для тонкой настройки моделей.
- Необходим доступ к структурированным наборам данных транскриптов и эталонным референсным резюме для вычисления EHI.
- Требуется согласование между командами определений сущностей и стандартов их извлечения.
- Может потребоваться адаптация пороговых значений EHI для различных биомедицинских областей или типов документов.
- Оптимальная производительность зависит от качества исходных предобученных моделей и референсных данных.
