Тонкая настройка больших языковых моделей с использованием индекса галлюцинации сущностей для суммирования текста

Summary

Мы предлагаем подход к тонкой настройке на основе подкрепления обучения для больших языковых моделей, который использует индекс галлюцинации Enti (EHI) в качестве сигнала вознаграждения для снижения галлюцинаций на уровне сущности при суммировании текста. Эксперименты с стенограммами встреч показывают, что этот метод повышает достоверность и точность сущности.

Abstract

Недавние достижения в крупных языковых моделях (LLM) привели к заметным улучшениям качества абстрактного суммирования. Однако галлюцинации — особенно галлюцинации на уровне сущности, когда вводятся несуществующие или неправильные сущности — остаются серьёзной проблемой. В этой работе мы предлагаем модель суммаризации, основанную на вознаграждениях, используя индекс галлюцинации сущностей (EHI) в качестве руководящей метрики. Методология здесь начинается с генерации начальных резюме из предварительно обученных моделей, таких как Flan-T5, DistilBART и Mistral (или другой популярной LLM) на структурированных наборах транскриптов (XSUM). Мы вычисляем EHI, извлекая именованные сущности как из сгенерированных сводок, так и из золотых ссылок, оценивая точность и наказывая сфабрикованные сущности. Процесс тонкой настройки управляется обучением с подкреплением, где EHI служит сигналом вознаграждения. Мы применяем механизм обновления в стиле REINFORCE для оптимизации модели суммаризации с целью максимизации достоверности сущности. Эксперименты показывают, что модели, тонко настроенные с помощью EHI, достигают более низких галлюцинаций без ущерба информативности. Кроме того, мы показываем, что модели, управляемые EHI, лучше обобщают задачи суммирования вне области, что указывает на повышенную устойчивость. Подход здесь предлагает практическое направление для улучшения фактичности в резюме, подчёркивая критическую роль точного представления сущности.

Introduction

Абстрактные модели суммаризации, основанные на больших языковых моделях (LLM), добились впечатляющих результатов в различных областях. Однако постоянной проблемой остаётся галлюцинация, когда сгенерированные резюме содержат неверную или сфабрикованную информацию, не основанную на входных данных^{источника 1,2}. В приложениях с высокими ставками, таких как резюме собраний, медицинская отчётность или финансовая документация, галлюцинации, особенно связанные с названными организациями, могут значительно подорвать надёжность и^{полезность 3}.

Исследователи Rпровели масштабную оценку на людях и обнаружили, что обобщающие часто создают галлюцинации — контент, не подтверждённый исходным документом — и что эти галлюцинации коррелируют с повторением и^{несогласованностью 1}. Другое исследование показало, что модели с более высокой абстрактностью, как правило, менее точны; Их исследование показало, что результаты с большей абстракцией имели более низкую фактическую точность и больше неточных^{предложений 2}. Бенчмарк FRANK показал, что примерно 30% резюме содержат фактические несоответствия, а другое популярное исследование отметило схожие показатели ошибок, утверждая, что высокие уровни галлюцинаций делают резюме практически^{бесполезными 1,2}. Галлюцинации можно классифицировать как внутренние (противоречащие источнику) или внешние (не проверяемые по источнику). Учебник по галлюцинациям в абстрактном резюме объясняет, что внутренние галлюцинации возникают, когда сгенерированный контент противоречит данным (например, ошибочное сообщение о одобренной вакцине как отвергнутой), а внешние галлюцинации добавляют непроверяемые факты, например, утверждение клинических испытаний вакцины, которые не^{упоминаются 4}. Также сообщалось, что современные обобщающие материалы производят галлюцинационный контент примерно в 25% своих результатов при оценке с помощью ROUGE, BLEU и METEOR, и предупреждается, что галлюцинации могут быть опасны в таких сферах, как здравоохранение, право или кибербезопасность.

Традиционные n-граммовые метрики (ROUGE⁵, BLEU, METEOR) плохо коррелируют с человеческими суждениями фактологии, что побудило разработку референсных и безссылочных^{метрик 6}. Метрики на основе качества, такие как FEQA и QuestEval, оценивают резюме, спрашивая, можно ли ответить на пары вопрос-ответ, полученные из резюме, с помощью исходного текста. FEQA более сильно коррелирует с человеческими суждениями и показывает, что более абстрактные резюме обычно менее достоверны, тогда как QuestEval значительно улучшает корреляцию с человеческими суждениями по вопросам согласованности, связности, беглости и релевантности. QAFactEval уточняет этот подход, выбирая ответы по существительным и генерируя вопросы перед ответами; эта стратегия улучшает корреляцию с человеческими оценками на бенчмарке SummaC. Метрики извлечения информации (IE) представляют знания в виде кортежей субъекта-отношения-объекта, но они уязвимы к ошибкам в процессе извлечения. Метрики вывода на естественном языке (NLI) — такие как FactCC и SummaC — классифицируют краткие предложения как вытекающие или противоречивые^{источнику 4}. FactCC использует слабо контролируемые данные для обучения классификатора, который обнаруживает фактическую согласованность и выделяет несогласованные^{промежутки 2}. SummaC применяет модели NLI с соответствующей детализацией и даёт сильные оценки фактологии, однако бенчмарк FRANK отмечает, что эти метрики по-прежнему рассматривают фактологию как бинарную и не имеют единой ^{структуры 1,7,8}. Измерения человеческой оценки, предлагаемые исследователями, беглость, согласованность, релевантность и согласованность, широко^{применяются 9}. Другое оценочное исследование подчёркивает, что согласованность является самым объективным измерением, поскольку она просто проверяет, является ли сводка выведена источником; в ней отмечается, что до 92% резюме XSum содержат ошибки^{верности 9,10}. Однако оценка на людях занимает много времени и дорого, поэтому автоматические метрики необходимы для масштабируемой^{оценки 8}. Текущие метрики часто объединяют внутренние и внешние галлюцинации в одну оценку, что затрудняет диагностику^{ошибки 4}.

Поскольку обучение с максимальной вероятностью напрямую не оптимизирует качество резюме, для повышения релевантности и фактичности применяется обучение с подкреплением (RL). Pasunuru и Bansal представили многофункциональный RL-фреймворк, сочетающий значительность (ROUGE) и награды за последствие, и продемонстрировали передовые показатели^{производительности 11}. RL применялся для экстракционного суммирования с использованием алгоритма REINFORCE; их модель максимизирует баллы ROUGE и даёт более информативные резюме, чем подходы на основе классификаторов, что показано в человеческих оценках с ответами на^{вопросы 12}. Многозадачные модели дополнительно включают генерацию вопросов и генерацию последствий для обеспечения охват и^{согласованности 12}. Всесторонний опрос 2024 года по абстрактному резюме выделяет фактическую согласованность как фундаментальную проблему и призывает RL поощрять правдивое резюме. Опрос предлагает поощрять фактически последовательные резюме и включать внешние источники знаний и контроль атрибутов для повышения^{точности 13}. RL из человеческой обратной связи (RLHF) расширяет эту идею, обучая модель вознаграждения на основе человеческих предпочтений и тонко настраивая суматора для максимизации этой освоенной^{награды 9}. Обучение с подкреплением на основе человеческой обратной связи (RLHF) получило популярность для согласования результатов модели с желаемыми качествами, такими как фактичность и полезность ^4,14. ^{Хотя многофункциональные} RL и RLHF соответствуют человеческим представлениям о достоверности, они опираются на грубые метрики, такие как ROUGE или бинарная фактуальность. В отличие от этого, описанная здесь работа предлагает использовать тонко обработанный индекс галлюцинаций на уровне сущности в качестве награды, что является эмпирическим и менее затратным без человеческой обратной связи.

Несмотря на многочисленные показатели, сохраняются некоторые ограничения. N-граммовые метрики игнорируют семантическую корректность, метрики, основанные на QA и IE, распространяют ошибки из моделей генерации и извлечения вопросов, а метрики NLI сводят фактологию к бинарным решениям ^1,4,6. В исследовательской работе было подчеркнуто, что существующие модельные метрики испытывают трудности с выявлением галлюцинаций с мелкой детализацией, поскольку они работают на уровне предложения или документа и не могут выделить конкретные объекты, вызывающие^{ошибки 4}. Оценка человека остаётся золотым стандартом, но дорогостоящая и^{субъективная.} Кроме того, существующие метрики не различают внутренние и внешние галлюцинации и не отражают чрезмерную и недостаточное фокусирование отношений¹. Крупные языковые модели могут галлюцинировать, потому что предсказывают текст на основе статистической вероятности, а не фактической проверки. Модели генерируют уверенные, но некорректные результаты из-за ограничений в обучающих данных, вероятностной генерации и отсутствия проверки фактов, а чрезмерная уверенность и предвзятость могут привести к тому, что они с высокой уверенностью соглашают ложную информацию; Руководство рекомендует генерацию с расширением поиска и долгосрочную память на наземные модели во внешних^{данных 15}. Однако эти методы сосредоточены на задачах, основанных на поиске; Для обобщения всё равно нужны метрики, которые идентифицируют и наказывают галлюцинированные сущности. Предыдущие исследования признавали важность оценки на уровне организации для достоверности фактов. Метрики, такие как FEQA и QuestEval, пытаются оценить фактическую согласованность с помощью техник ответа на вопросы^16,17. Однако эти методы часто требуют сводок по ссылкам или внешних систем контроля качества, что ограничивает масштабируемость. Наша работа развивает эту линию, используя Индекс галлюцинации сущностей (EHI) — лёгкую эмпирическую метрику, сосредоточенную конкретно на верности именованных сущностей, классифицируя их на пять типов факторов галлюцинаций, как показано на рисунке 1.

Данные указывают на то, что галлюцинации распространены, метрики оценки несовершенны, а методы RL не дают тонко прописанных вознаграждений. Исследования на людях показывают, что модели суммаризации галлюцинируют в значительной части случаев, часто меняя сущности или выдумывая^{детали 9}. Существующие метрики либо подчёркивают n-граммовое перекрытие, либо рассматривают фактологию как бинарную, а текущие методы RL оптимизируют сигналы ROUGE или грубые фактологические сигналы. Существует пробел в метриках на уровне сущности, которые измеряют, когда в резюме упоминаются сущности, отсутствующие в источнике (негативная галлюцинация), опускаются ключевые сущности (галлюцинация утраченного фокуса) и другие сценарии. Предлагаемый метод тонкой настройки по индексу галлюцинации сущности (EHI) заполняет этот пробел, количественно оценивая галлюцинации на уровне сущности и предоставляя структурированное вознаграждение за обучение с подкреплением. Интегрируя EHI в RLHF, мы стремимся тонко настроить большие языковые модели, минимизировать галлюцинации на уровне сущности и создавать резюме, которые будут одновременно свободными и фактически точными.

В этой работе мы предлагаем новый подход к тонкой настройке, который использует индекс галлюцинаций сущности (EHI) в качестве сигнала вознаграждения для снижения галлюцинаций на уровне сущности. EHI количественно оценивает корректность и основание сущностей, сравнивая извлеченные сущности из выходных данных модели с теми, что присутствуют в входном документе, что позволяет снизить зависимость от^{ссылок 18}. Описанный здесь метод склоняет модель к созданию более достоверных сущностям резюме без необходимости человеческих аннотаций к фактологии.

В итоге, модели вознаграждения с учётом фактологии были использованы для тонкой настройки^19,20. В отличие от предыдущих подходов, основанных на грубых наградах за фактологию или наборах данных, маркированных человеком, мы предлагаем тонкую настройку с использованием EHI как прямого автоматического сигнала вознаграждения, тем самым способствуя суммаризации на основе сущности без дополнительного надзора. Новые вклады этого исследования следующие: (i) введена система тонкой настройки, управляемая EHI, которая повышает достоверность сущности в абстрактном суммарировании, (ii) исследование представляет масштабируемый конвейер обучения с подкреплением, не зависящий от набора фактических данных, помеченных человеком, (iii) исследование демонстрирует эмпирические улучшения баллов EHI в наборах транскриптов собраний, набора новостей XSUM и проведение качественного анализа для выявления снижения галлюцинаций, (iv) исследование использует воспроизводимую реализацию на базе Colab для облегчения дальнейших исследований обобщения с учетом^{галлюцинаций 21}.

В данном исследовании оценивается гипотеза о том, что оптимизация языковых моделей с использованием тонко ориентированных на сущности вознаграждений, таких как EHI, обеспечивает эффективный путь повышения точности и надёжности в задачах суммаризации с минимальными вычислениями. Этот подход способствует развитию параметрически эффективной тонкой настройки для достоверности в резюме, пяс: (i) демонстрируя эффективность как в архитектурах энкодер-декодера (DistilBART, FlanT5), так и только с декодером (Mistral), (ii) предоставляя рамки, адаптируемые к различным типам моделей, доменам и масштабам, и (iii) обеспечивая вычислительную эффективность по сравнению с полным переобучением.

Protocol

Цель данного исследования — тонко настроить языковую модель (LM) для генерации резюме с уменьшенной галлюцинацией сущности. Галлюцинации возникают, когда модель «уверенно производит неправильный или нерелевантный результат», потому что она генерирует текст на основе статистической вероятности, а не фактической проверки. Это достигается путём проектирования функции вознаграждения на основе Индекса галлюцинации сущности (EHI) и применения обучения с подкреплением для её максимизации.

Формулировка задачи
Имея вводный документ X_i, цель — сгенерировать сводку Y_i так, чтобы сущности, упомянутые в Y_i , были основаны на X_i. Традиционное обучение с максимальной вероятностью явно не оптимизирует фактическую согласованность. Эти методы обучения не наказывают включение сфабрикованных сущностей. Поэтому внедряется стратегия тонкой настройки, основанная на вознаграждении, при которой вознаграждение пропорционально верности сущности, измеряемая с помощью EHI.

Набор данных и метод
Используются два корпуса: во-первых, набор транскрипций диалогов, включающий многоповоротные стенограммы собраний и абстрактные золотые резюме, а во-вторых, бенчмарк обзора новостей^{XSUM 22,23}. Каждый набор данных очищался, выравнивался и делился на 80% обучающих, 10% валидационных и 10% тестовых разделов. Диалоги богаты неформальным языком и местоимениями, тогда как XSUM содержит краткие новостные статьи; Эта комбинация позволяет нам оценивать как обобщение внутри области, так и вне области.

Извлечение сущностей выполняется как в исходных документах, так и в резюме для вычисления индекса галлюцинации сущности (EHI). Во время тонкой настройки в этом исследовании используется исключительно раздел обучения, а валидационные баллы EHI отслеживаются для выбора оптимальной контрольной точки. Окончательные оценки представлены на оставшейся тестовой комплекте, которая остаётся безрезультатной до и после тонкой настройки моделей.

В итоге, сначала транскрипты организованы в плоский формат и разделяются данные. Предварительно обученная модель генерирует исходные сводки. Во-вторых, EHI вычисляется с помощью трансформаторного NER и пяти галлюцинационных факторов. Во время тонкой настройки модель обновляется с бонусом EHI с помощью адаптеров LoRa. Наконец, сводки формируются с использованием тонкой модели и оцениваются с использованием EHI, Entity F1 и других метрик (см. рисунок 2). Все эксперименты воспроизводимы через предоставленные кодовые и конфигурационные файлы. Рисунок 3 показывает пошаговый процесс для подготовки наборов данных, базового суммирования, вычисления EHI, тонкой настройки и оценки.

Базовое резюме
Выбираются три предварительно обученных LLM, а их базовые резюме фиксируются: Flan-T5, Mistral (Nous-Hermes-2-Mistral-7B-DPO) и DistilBART 24,25,26. Каждая модель запускалась в режиме zero-shot для получения начального резюме (Y_i) для каждого входного документа (x_i). Был использован поиск пучка с шириной пучка 4 и штрафом по длине 1,0 для стимулирования плавных, но лаконичных резюме. Эти базовые обзоры служили для оценки распространённости галлюцинаций и служили отправными точками для точной настройки.

Извлечение сущностей и вычисление EHI
Точное расчёт индекса галлюцинаций сущности (EHI) требует надёжного NER. Изначально Spacy использовался для операций NER. Считается, что модели NER, основанные на трансформаторах, более точны, но первоначальным выбором была Spacy по следующим причинам: (1) Сами модели NER, основанные на трансформаторах, доказали свою галлюцинацию, чем Spacy. (2) Спейс, будучи статистическим, обеспечивает вычислительную эффективность с точки зрения затрат реализации и времени выполнения. (3) Это также помогает доказать, что EHI устойчив в снижении галлюцинаций даже при более слабой модели NER. Однако, учитывая, что эксперименты проводятся на устоявшихся наборах данных, а модель spaCy en_core_web_sm хрупка на разговорных^{транскриптах 13}. Spacy заменяется на трансформаторную модель NER (dslim/bert-base-NER), которая является моделлю BERT, доработанной в наборе данных CoNLL-2003. Системы NER на базе BERT показали, что превосходят spaCy модели в задачах, специфичных для области — например, модель Aviation-BERT-NER достигла F1 94,78% при выявлении 17 объектов по сравнению с 93,73% для spaCy NER, где распознали^{семь сущностей 27}. Модель BERT NER была сконфигурирована с помощью Hugging Face Transformers²⁸ и выполняла нечувствительное к регистру сопоставление. Для отображения местоимений и вариаций поверхностной формы этот метод дополнительно применял простые правила, сопоставляющие «мистер Смит» и «Смит» в одну и ту же каноническую форму; Однако полное разрешение соссылки остаётся будущей работой. Сравнительный анализ моделей NER на выборке из 200 записей из набора XSUM можно сделать вывод из Таблицы 1.

Индекс галлюцинаций субъекта (EHI) рассчитывается следующим образом:

где PH, EF, OF, NH, LF представляют показатели, соответствующие положительным галлюцинациям (PH), фактору экстрактивности (EF), отрицательной галлюцинации (NH), сверхфокусированным сущностям (OF) и потерянному фокусу (LF) соответственно, для статьи i.

Детали факторов галлюцинаций:

Положительная галлюцинация (PH): Показатели новых сущностей, которые являются фактически корректными и полезными.

Коэффициент экстрактивности (EF): Измеряет сущности, точно извлеченные из входного документа в резюме.

Отрицательная галлюцинация (NH): Фиксирует галлюцинированные сущности, которые неверны или не закреплены на входных данных.

Чрезмерно сфокусированные (OF): Наказывает резюме, чрезмерно сосредоточенные на узкой части сущностей, лишая разнообразия.

Потерянный фокус (LF): Наказывает резюме, в которых опускаются важные сущности, присутствующие в входных данных.

Вычисление вышеуказанных факторов подробно описано на рисунке 4 с примером вычисления для иллюстрации. Рассмотрим пример сущностей вводных документов (I): «Джон», ИИ», конференция «Сводка сущностей (R): «Джон», ИИ» Генерированные сводные сущности (G):«Джон», «ИИ», «технология». Более высокие значения EHI указывают на лучшую верность сущности, вознаграждая резюме, которые одновременно являются экстрактивными и положительно галлюцинированными (вводя полезные, но верные сущности), а необоснованные, чрезмерные или отсутствующие сущности^{наказывают 20}. Эти факторы нормализовались по общему числу обнаруженных объектов для получения EHI-оценки от 0 до 1. Валидация EHI отслеживалась во время обучения для выбора лучшей контрольной точки. PH и EF вознаграждают полезные новые объекты и правильную экстракцию, тогда как OF, NH и LF наказывают повторение, вымышление и пропуск. Идеальный балл 1.0 означает, что все объекты в резюме приземлены или являются положительно галлюцинированными, а балл 0 указывает на то, что в источнике нет ни одного названного объекта.

Процедура тонкой настройки с RL
Детальная конфигурация гиперпараметров для тонкой настройки приведена отдельно в таблице 2, 3 и 4, где представлены типы оптимизаторов, скорость обучения, размеры пакетов, аппаратные характеристики и другие детали конфигурации для Mistral-7B, DistilBart и Flan-T5 соответственно. Цель здесь — тонко настроить параметры модели θ , максимизируя ожидаемую награду по индексу галлюцинации сущности (EHI) по сгенерированным резюме. Формально, для входного документа X_i, сгенерированного резюме Y_i и параметров модели θ ожидаемая цель вознаграждения определяется следующим образом:

(2)

где EHI (y, x) обозначает индекс галлюцинации сущности, вычисляемый между сгенерированным сводом Y_i и входным X_i.

Следуя алгоритму^{REINFORCE 25}, градиент этой цели оценивается следующим образом:

(3)

На практике из моделей были отобраны сводки, рассчитаны соответствующие показатели EHI и применялись обновления градиентов политики для стимулирования результатов с более высоким вознаграждением. Для обеспечения параметрически эффективной настройки в этом исследовании использовалась адаптация низкого ранга (LoRA). Обновлены были только адаптеры LoRA, а базовый вес модели оставался замороженным. Тонкая настройка проводилась на GPU A100 с небольшой скоростью обучения (например, 5 × ^10-6), размером партии 4 и накоплением градиентов за 8 шагов с помощью оптимизатора^{Адама 29}. Резюме генерировались каждые 500 обновлений для обновления оценок вознаграждений, а обучение продолжалось до конвергенции валидационного EHI. Базовый уровень REINFORCE был установлен на уровне текущего среднего по недавним наградам для снижения дисперсии. Помимо EHI, Entity^{F1 2} и ROUGE-1/2/L регистрировались для контроля общего качества. Резюме периодически перерабатываются для отражения улучшений модели при тонкой настройке.

Метрики оценки
Результаты оценивались с использованием метрик информативности, таких как Rouge-1, Rouge-2⁵. Метрика беглости, как в Rouge^{LCS 5}. Метрика пересечения субъектов F1 и галлюцинационные метрики, такие как EHI, FactCC и^QAGS 2,6,18,30. FactCC использует классификатор, обученный на данных синтетических противоречий, чтобы маркировать предложения как подразумеваемые или противоречивые источником. Факт CC даёт две оценки; баллы были зафиксированы там, где метка была ВАЛИДНОЙ. С другой стороны, QAGS использует метод вопросов и ответов, который работает на LLM. Лёгкая модель T5 small использовалась для генерации вопросов по^{тексту 31}. Roberta_base_Squad2 использовался для генерации ответов по выходному^{тексту 32}. Эти модели были выбраны из-за удобства вычислительной стоимости выполнения.

Results

Эксперименты здесь сосредоточены на количественных доказательствах влияния тонкой настройки, управляемой EHI, на уменьшение галлюцинаций на уровне сущностей в различных архитектурах моделей и наборах данных. Результаты демонстрируют стабильные улучшения показателей галлюцинаций при сохранении фактической последовательности и способности отвечать на вопросы.

Производительность наборов данных
Производительность набора данных по диало...

Discussion

Метрики на основе качества качества (например, FEQA/QuestEval/QAFactEval) и метрики на основе NLI (например, FactCC/SummaC) требуют вспомогательных компонентов контроля качества/последствий и часто предоставляют суждения на уровне предложений. В отличие от этого, EHI — это лёгкий, без ссылок, уровень сущности, который (i) напрямую направлен на основной режим отказа, который мы наблюдаем — галлюцинации сущности; (ii) не зависит от модели и быстро вычисляется; и (iii) служит плотным вознаг...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Colab NVIDIA A100 GPU	NVIDIA	N/A	Google Colaboratory Pro
DistilBART (Encoder–Decoder)	Hugging Face	https://huggingface.co/sshleifer/distilbart-cnn-12-6
dslim/bert-base-NER	Hugging Face (dslim)	https://huggingface.co/dslim/bert-base-NER	Fine-tuned BERT base for English NER
Evaluation Models  QAGS (QA-based)	Salesforce Research	N/A	Factuality classifier
Evaluation Models (Factuality) FactCC	Google Research	N/A	Factuality classifier
Flan-T5 (Encoder–Decoder)	Google	https://huggingface.co/docs/transformers/main/en/model_doc/flan-t5	open-source, text-to-text, large language model
Hugging Face Transformers	Hugging Face, Inc.	https://huggingface.co/docs/transformers/index	Model loading & fine-tuning
Nous-Hermes-2-Mistral-7B-DPO	Mistral	https://huggingface.co/NousResearch/Nous-Hermes-2-Mistral-7B-DPO	7 billion parameter Language model
Programming Language Python 3.10 (Colab runtime)	Python Software Foundation	Version 3.10	Core implementation
Streamlit	Open Source	https://streamlit.io/	Factuality classifier
XLSUM dataset	BUET	https://github.com/csebuetnlp/xl-sum
XSUM dataset	University of Edinburgh	https://github.com/EdinburghNLP/XSum