Методическая статья

Разработка чатбота с дополненным поиском на основе рекомендаций, ссылающегося на веб-руководства по клинической практике рака

DOI:

10.3791/71099

⸱

7 августа 2026 г.

 ,  , 
1National Cancer Center Japan, Institute for Cancer Control, 2The University of Tokyo, Department of Public Health and Health Policy, Graduate School of Medicine, 3National Cancer Center Japan, Headquarters for Cancer Information Services

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол описывает разработку и оценку чат-бота поколения с дополненным поиском на основе рекомендаций, который извлекает и суммирует контент из веб-рекомендаций по клинической практике рака для генерации ответов на пользовательские запросы.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Широкое распространение медицинской информации в Интернете улучшило доступ пациентов к медицинским знаниям; однако это также увеличило риск неточной медицинской информации. Лечение рака включает сложную информацию, что затрудняет пациентам выявление точных и основанных на доказательствах источников. Крупные языковые модели позволяют взаимодействовать с естественным языком, но часто вызывают галлюцинации, ограничивая их применение в передаче медицинской информации. Генерация, дополненная за счёт поиска (RAG), может снизить эти риски, закрепляя реакции на внешних источниках. В данном исследовании описывается разработка и оценка чат-бота RAG на основе рекомендаций, который использует общедоступные веб-рекомендации по клинической практике рака. Система извлекает URL-адреса из страниц оглавления руководства, обрабатывает текст страницы с помощью морфологического анализа и косинусного сходства на основе частоты терминов и обратной частоты документа, а также формирует справочную информацию на основе высокорелевантных страниц. Большая языковая модель использует эти ссылки для генерации ответов, ограниченных содержимым рекомендаций. Руководство JLCS для пациентов и их их семей с раком лёгких использовалось в качестве справочного руководства. Наборы вопросов включали как типы рака, охваченные руководством, так и внесферные типы рака для оценки контроля реакции. Медицинская информация была успешно извлечена из страниц оглавления, при этом 98% извлечённых URL содержали ссылаемый медицинский контент. Для вопросов внутри тематики чат-бот генерировал ответы, суммируя содержание рекомендаций, и при ручном рассмотрении галлюцинаций в условиях определённого теста не было выявлено. На вопросы, выходящие за рамки контекста, чат-бот постоянно отказывался отвечать и указывал, что доступной информации недостаточно. Веб-структура руководства способствовала эффективному сбору и организации референсного контента на уровне URL. Этот протокол предоставляет практические рекомендации по созданию систем искусственного интеллекта, которые предоставляют медицинскую информацию с использованием веб-рекомендаций клинической практики.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Широкое использование интернета и социальных сетей упростило пациентам доступ к медицинской информации 1,2. Информация о лечении рака часто бывает сложной и обширной, что особенно затрудняет пациентам определение точных, релевантных и основанных на научных доказательствахисточников 3. Хотя онлайн-ресурсы могут помочь понять пациента, они также содержат значительное количество неверноймедицинской информации 3, что может негативно повлиять на решения пациентов поуходу 4. Поскольку дезинформация, связанная с раком, может влиять на исходыпациентов 5, растёт потребность в системах искусственного интеллекта (ИИ), которые помогают отдельным пользователям искать, резюмировать и интерпретировать медицинскуюинформацию 6.

Крупные языковые модели (LLM) позволяют пользователям получать доступ к информации через разговор наестественном языке 7; Однако генерация дезинформации (то есть галлюцинаций) остаётся серьёзной проблемой вмедицине 8,9,10,11. Одним из ключевых источников дезинформации является качество и точность обучающих данных, используемых для разработки чат-бота. Кроме того, статический характер обучения моделей приводит к тому, что знания со временем могут устаревать, ограничивая способность LLM предоставлять актуальную и контекстно соответствующую информацию12,13. Эти ограничения подчёркивают важность эффективных стратегий управления знаниями, чтобы ответы чат-ботов оставались точными, актуальными и актуальными. В частности, в медицинских учреждениях, где рекомендации и стандарты ухода постоянно развиваются, являются системы, способные легко получать доступ и ссылаться на актуальные научно обоснованные ресурсы, такие как руководство клинической практики. Для решения этой проблемы всё больше внимания привлекает генерация с дополненным поиском (RAG), которая генерирует ответы путем включения информации из внешних источниковзнаний 10,13,14,15,16,17.

Хотя RAG всё чаще применяется к медицинским чат-ботам, мало внимания уделяется тому, как клинические рекомендации должны систематически внедряться в качестве источников справочнойинформации 18. Многие рекомендации по клинической практике доступны в интернете; однако остаётся неясным, может ли их существующая веб-структура напрямую служить рамкам для поиска системRAG 18. Кроме того, практические методы построения справочной информации без ручной разработки базы знаний не были хорошо развиты.

В этом исследовании мы стремились установить принципы проектирования систем ИИ с ссылкой на рекомендации в медицинской сфере, разработав и оценив чат-бота RAG на основе рекомендаций, который использует общедоступные веб-рекомендации по клинической практике рака, что обеспечивает простой и своевременный доступ к информации, основанной на рекомендациях. В качестве доказательства концепции мы оценили техническую осуществимость извлечения рекомендаций, генерации ответов и ограничения ответа, используя существующую веб-структуру общедоступных клинических рекомендаций с целью предложить воспроизводимый протокол разработки для систем RAG, ссылающихся на рекомендации.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом исследовании не участвуют люди, которым требуется защита от рисков, связанных с исследованиями. Таким образом, он не требует рассмотрения институциональным экспертным советом согласно японским этическим рекомендациям для медицинских исследований с участием людей19. Данное исследование представлено в соответствии с рекомендациями Transparent Reporting of a Multivariable Model for Individual Prognosis or Diagnosis (TRIPOD)-LLM 20.

См. рисунок 1 для схемного обзора протокола чат-бота RAG на основе руководств.

figure-protocol-1
Рисунок 1. Рабочий процесс протокола чат-бота на основе рекомендаций (RAG). Схематический обзор рабочего процесса чат-бота RAG, основанного на рекомендациях. URL-адреса извлекаются со страницы оглавления веб-руководства клинической практики и используются для создания справочной информации. Пользовательские запросы преобразуются в ключевые слова, а содержимое веб-страницы обрабатывается с помощью токенизации, векторизации частоты терминов и обратной частоты документа и анализа косинусного сходства для выявления релевантных страниц с рекомендациями. Выбранная справочная информация интегрируется и предоставляется в большую языковую модель для генерации ответов исключительно на основе содержимого руководства. Правая панель обобщает элементы оценки, используемые для извлеченных URL, информации о ссылках и ответов чат-ботов. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

1. Подготовка справочной информации на основе веб-рекомендаций

  1. Извлечь все URL-адреса из страниц оглавления целевых веб-руководств клинической практики с помощью BeautifulSoup 4 (библиотека HTML-парсинга), реализованной на языке программирования Python (версия 3.12).
    ПРИМЕЧАНИЕ: Реализуйте скрипт извлечения URL с использованием языка программирования с помощью следующих пакетов: библиотека разбора HTML (версия 4.12.3) и запросы (библиотека поиска веб-страниц; версия 2.32.3). Устанавливайте пакеты с помощью pip. Полный исходный код для извлечения URL предоставлен в дополнительном файле 1. См. Таблицу материалов для получения информации о программном обеспечении.
  2. Вручную проверяйте все извлеченные URL-адреса, чтобы подтвердить успешный доступ и релевантность целевого руководства клинической практики.
  3. Классифицируйте каждый URL как содержащий медицинскую или немедицинскую информацию. Выполните классификацию URL одним автором (S.N.).
    ПРИМЕЧАНИЕ: Медицинская информация была определена как содержательное содержимое рекомендаций, включая клинические вопросы (CQ), вопросы по справочной информации и наборы вопросов. Немедицинская информация включала ссылки, страницы общества или организаций, а также другой вспомогательный контент, не подходящий для справки.
  4. Скомпилируйте проверенные URL-адреса в рабочую книгу Microsoft Excel (.xlsx формате), где в строке записывается один URL. Сохраняйте полученный список URL как входный набор данных для последующего поиска текста, предварительной обработки и анализа сходства.

2. Генерация ключевых слов из пользовательских запросов

  1. Введите запрос на естественном языке в ChatGPT (Generative Pre-trained Transformer, версия 4o; модель генерации ключевых слов).
  2. Предложите модели извлечь два ключевых слова, соответствующих пользовательскому запросу.
  3. Используйте следующий запрос, написанный на японском языке, для генерации ключевых слов:
    "figure-protocol-2"
    (Английский перевод: «Извлечь два ключевых слова из следующего текста.»)
  4. Добавьте к этой инструкции запрос пользователя на естественном языке и отправьте его в модель генерации ключевых слов для генерации ключевых слов.
  5. Не изменяйте параметры модели вручную. Выполните генерацию ключевых слов с использованием стандартных настроек модели генерации ключевых слов.
  6. Генерируйте два ключевых слова для каждого пользовательского запроса. Сохраняйте оба ключевых слова без дальнейших изменений, фильтрации или ручного выбора и используйте их для последующих вычислений сходства.
  7. Сохраняйте сгенерированные ключевые слова в рабочей тетраде Microsoft Excel (.xlsx формате). Для каждой записи храните исходный пользовательский запрос и соответствующие сгенерированные ключевые слова для последующего поиска по сходству.

3. Обработка текста и расчёт сходства

  1. Получите полный текст с каждого извлеченного URL с помощью библиотеки поиска веб-страницы и библиотеки HTML-разбора. Извлечь текстовое содержимое из исходного кода HTML с помощью функции BeautifulSoup get_text().
  2. Предварительно обработайте извлеченный текст веб-страницы и сгенерированные ключевые слова, удаляя HTML-теги и неяпонские символы.
  3. Проведите японский морфологический анализ с помощью MeCab (версия 0.996; японский морфологический анализатор) с стандартным словарем. Сохраняйте только существительные и объединяйте их в текстовую строку, ограниченную пробелом.
  4. Объедините сгенерированные ключевые слова в одну текстовую строку и примените те же процедуры предварительной обработки и токенизации, что и для текста веб-страницы.
  5. Генерируйте векторы по частоте и обратной частоте терминов (TF–IDF) из обработанного текста веб-страницы и ключевого слова с использованием реализации TfidfVectorizer в библиотеке scikit-learn (версия 1.6.1) с настройками параметров по умолчанию.
    ПРИМЕЧАНИЕ: Все параметры TfidfVectorizer остались на своих значениях по умолчанию, и пользовательские настройки параметров не применялись.
  6. Вычислите сходство косинуса между каждым вектором веб-страницы и вектором ключевого слова с помощью функции косинусного сходства.
  7. Ранжуйте URL в убывающем порядке согласно показателям косинуса сходства. Не применяйте дополнительные критерии для решения ничьих.
  8. Выберите страницы с показателем косинуса сходства ≥0,2 в качестве кандидатской справочной информации.
    ПРИМЕЧАНИЕ: Порог сходства косинуса (0,2) был выбран эмпирически в ходе разработки системы с целью приоритизировать отзыв и избежать исключения потенциально релевантного содержимого рекомендаций.
  9. Сохраняйте все страницы кандидатов, соответствующие порогу сходства.

4. Построение справочной информации

  1. Последовательно извлекайте текстовое содержимое выбранных страниц из верхней части рейтингового списка.
  2. Объедините извлечённые тексты в единый справочный документ.
  3. Перед отправкой в LLM замените новые строки и последовательные пробелы в справочном тексте на один пробел.
  4. Урезать связанный ссылочный текст до первых 4 096 символов перед передачей его в LLM.
    ПРИМЕЧАНИЕ: Лимит усечения основывался на символах, а не на жетонах. Эмпирически было выбрано ограничение в 4 096 символов, чтобы объединённая информация о подсказках и ссылках оставалась в пределах входной способности модели генерации отклика GPT-3.5-turbo-16k.

5. Генерация ответов на основе ИИ

  1. Предоставить сконструированную справочную информацию и исходный пользовательский запрос модели генерации ответов через интерфейс программирования приложений (API).
  2. Инструктировать ИИ с помощью следующего запроса (полностью написанного на японском), чтобы ответы генерировались исключительно на основе предоставленной справочной информации:
    «Вы — помощник медицинской информации, который консультирует пациентов с раком. Генерируйте ответы, опираясь исключительно на следующую справочную информацию, и не используйте свои общие знания или рассуждения. Ответы должны быть подробными и простыми для понимания, примерно 500 символов. Если в справочной информации недостаточно для ответа на вопрос, ответьте: «В тексте недостаточно информации», не используя предположения или общие знания.»
  3. Предоставите информацию о ссылке и пользовательский запрос вместе в одном пользовательском сообщении. Структурируйте ввод так: «Справочная информация: [справочный текст]» с последующим «Вопрос: [пользовательский запрос]».
  4. Генерируйте ответы с помощью модели генерации отклика со следующими настройками: температура = 0,1, максимальная длина выхода = 1 024 жетона, n = 1 и стоп = отсутствует.
  5. Получите ответ, сгенерированный ИИ, для последующего рассмотрения.
    ПРИМЕЧАНИЕ: Отправьте информацию о ссылке и пользовательский запрос в виде одного пользовательского сообщения. Предоставьте инструкции генерации ответа отдельно в виде системного сообщения.

6. Руководство по ссылкам и формулировка вопросов

  1. Выберите руководство JLCS для пациентов и их семей с раком лёгких (Руководство по легким)21, которое бесплатно доступно онлайн, в качестве справочной информации для чат-ботов RAG, основанной на рекомендациях.
  2. Создайте две категории вопросов для оценки на основе типа рака: тимусные опухоли, которые входят в область руководства, и детскую глиому, которая выходит за рамки указанной информации.
  3. Сформулируйте четыре вопроса, охватывающие диагностику и лечение каждого типа рака:
    «Какие диагностические методы доступны для опухолей XX (например, тимической или детской глиомы)?»
    «Каковы патологические диагностические подходы к опухолям XX?»
    «Какие варианты лечения доступны для XX опухолей?»
    «Каковы варианты хирургического лечения опухолей XX?»
  4. Отправляйте вопросы, связанные с типами рака, охваченные указанными веб-руководствами, в чат-бот. Например, задайте вопрос о диагностике тимовой опухоли, используя справочник по лёгким в качестве справочной информации.
  5. Отправляйте чат-боту вопросы, выходящие за рамки рекомендаций, чтобы оценить его способность воздерживаться от использования внешней или не связанной информации. Например, задайте вопрос о детской глиоме, используя Руководство по легким в качестве справочной информации.
  6. Оценивайте каждый вопрос в независимом чате. Не переносите историю разговора между вопросами.
  7. Записывайте ответы, сгенерированные ИИ, для последующей оценки.

7. Оценка реакции

  1. Проведите ручной просмотр всех сгенерированных ответов.
  2. Оцените, содержит ли каждая реакция галлюцинации.
  3. Оцените, подтверждается ли каждый ответ информацией, содержащейся в справочном руководстве.
    ПРИМЕЧАНИЕ: Галлюцинации определялись как ответы, содержащие несуществующие события, имена или термины, которые могут потенциально причинить медицинский вред14. Все полученные ответы были проверены на точность и отсутствие галлюцинаций одним автором с 8-летним опытом работы в университетской больнице, включая поддержку пациентов и медицинскую коммуникацию для пациентов с раком. Любая неопределённость в классификации ответов была решена в ходе обсуждения с врачом-соавтором, имеющим более 20 лет опыта в информационных службах по онкологии в Национальном онкологическом центре Японии.
  4. Считайте, что ответ поддерживается только тогда, когда все клинически релевантные утверждения могут быть напрямую подтверждены из полученного руководства по ссылке без необходимости дополнительных знаний или необоснованных выводов.
  5. Классифицируйте каждый ответ с помощью заранее определённых меток результатов. Классифицировать ответы, содержащие только информацию, подтверждённую рекомендациями по ссылке, как «галлюцинация отсутствует». Классифицировать ответы, содержащие неподтверждённую или сфабрикованную информацию, как «присутствующую галлюцинацию».

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Возможность получения медицинского контента через страницы содержания

Архитектура веб-скрейпинга собирала URL-адреса со страницы оглавления руководства. Из Руководства по лёгким было извлечено 106 URL-адресов со страницы оглавления, из которых 104 (98%) содержали медицинскую информацию (Дополнительная таблица 1). Эффективность ответов чат-ботов, основанных на страницах с содержанием рекомендаций, изложена в Таблице 1. Чат-бот генерировал ответы по всем четырём клиническим ключевым словам, когда вопросы попадали в область руководства. Для «диагностики тимусной опухоли» и «патологической диагностики» для каждого ключевого слова были извлечены три связанных URL, и все выделенные URL были признаны эффективными (100%). Для «методов лечения» и «хирургического вмешательства» для каждого ключевого слова было выделено 15 URL, из которых 14 эффективных элементов (93%).

ЗапросКлючевые словаСсылки на материалы, nЭффективные справочные элементы,
n (%)
Какие диагностические методы доступны для опухолей тимуса?Диагностика тимусной опухоли33 (100)
Какие патологические методы диагностики опухолей тимуса?Диагностика патологической опухоли тимиса33 (100)
Какие варианты лечения доступны для опухолей тимуса?Методы лечения тимусных опухолей1514 (93)
Какие существуют хирургические варианты лечения опухолей тимуса?Хирургическое лечение тимовой опухоли1514 (93)

Таблица 1: Содержание справочной информации и ответов чат-ботов на основе руководства JLCS для пациентов и их их семей с раком лёгких. Сводка пользовательских запросов, сгенерированные ключевые слова, количество ссылаемых элементов, выявленных с помощью поиска на основе сходства, и количество эффективных справочных элементов, содержащих медицинскую информацию. Ссылки на контент представляют общее количество связанных веб-страниц, идентифицированных на уровне URL на основе каждого ключевого слова. Эффективные справочные элементы представляют собой количество и процент уникальных веб-страниц с медицинской информацией после исключения дублирующихся URL и немедицинских веб-страниц.

Ответы чат-бота на вопросы в рамках контекста

Таблица 2 показывает ответы чат-бота на вопросы, которые попадают в область указанных рекомендаций. Когда было достаточное количество справочной информации, чат-бот генерировал ответы, суммируя соответствующие части текста руководства. Сгенерированные ответы состояли примерно из 350 японских иероглифов. Галлюцинации не были выявлены при ручном рассмотрении в условиях определённого теста. Для этих вопросов, входящих в область действия, несколько эффективных ссылочных элементов поддерживали генерацию ответов (Таблица 1). Сгенерированный японский текст был переведён на английский с использованием версии ChatGPT 5.2 и впоследствии проверен следователями на точность и соответствие исходным японским ответам.

ЗапросОтветыКоличество символов
Какие диагностические методы доступны для опухолей тимуса?Диагностика опухолей тимуса требует как визуализации, так и патологической диагностики. Для диагностики визуализации проводятся КТ грудной клетки и МРТ грудной клетки. Тимома и тимусная карцинома — это солидные опухоли, в которых нет воздушных или жидких компонентов, и инвазия в окружающие нормальные ткани известна как лёгкая при тимоме и более выраженная при тимуса. Когда визуализация показывает, что нет инвазии в окружающие ткани или отсутствует опухолей, удалённых от первичного поражения (метастазов), опухоль хирургически удаляется, а патологическая диагностика проводится с помощью хирургического образца. Когда хирургическая резекция затруднена, проводится биопсия под контролем КТ и ставится диагноз путем получения части опухолевой ткани. В патологической диагностике тимомы классифицируются по доле нормальных лимфоцитов внутри опухоли и морфологии клеток опухоли, тогда как тимовые карциномы классифицируются подробно по гистологическому подтипу. Для определения клинической стадии (стадии) учитывается степень распространения поражений тимусной опухоли, а опухоли классифицируются на стадии I–IV на основе трёх систем стадии.366
Какие патологические методы диагностики опухолей тимуса?При патологической диагностике тимусных опухолей патологическое исследование проводится путем получения части или всей ткани опухоли. Тимомы классифицируются на подтипы, такие как тип A и тип AB, в зависимости от доли нормальных лимфоцитов внутри опухоли и морфологии опухолевых клеток. В отличие от этого, тимусная карцинома — это злокачественная опухоль, характеризующаяся клеточной атипией, а плоскоклеточный карцинома является наиболее распространённым гистологическим подтипом. С помощью патологической диагностики оцениваются биологические характеристики и степень прогрессирования опухоли, что полезно для выбора подходящих стратегий лечения и прогнозирования. Кроме того, патологическая диагностика тимусных опухолей позволяет определить стадию заболевания, предоставляя важную информацию для планирования лечения. Клиническая стадия классифицируется с помощью трёх систем — классификации Масаока, классификации Масаока–Кога и классификации UICC–TNM — и опухоли классифицируются на четыре стадии, от стадии I до стадии IV, в зависимости от степени распространения и инвазии опухоли. Патологическая диагностика предоставляет необходимую информацию для правильного лечения и прогностической оценки опухолей тимуса.330
Какие варианты лечения доступны для опухолей тимуса?Варианты лечения опухолей тимуса включают хирургическое вмешательство (хирургическое вмешательство), лучевую терапию и медикаментозную терапию (химиотерапия). Операция проводится как процедура, при которой тимус полностью резецируется вместе с опухолью, и при тимоме дополнительное лечение может не потребоваться. При тимической карциноме послеоперационная лучевая терапия может быть добавлена, когда рак распространился на окружающие ткани. Химиотерапия или химиолучевая терапия проводится в случаях, когда операция затруднена, а также при рецидиве или удалённых метастазах, и применяются как часть медикаментозной терапии. Кроме того, при тяжелой или рецидивирующей тимической карциноме проводится лечение, основанное на химиотерапии, а также может проводиться мультимодальная терапия, сочетающая хирургическое вмешательство и лучевую терапию, по мере необходимости. Кроме того, при прогрессирующей или рецидивирующей тимической карциноме после химиотерапии может использоваться ленватиниб — молекулярно-таргетный терапевтический препарат. Подходящее сочетание методов лечения выбирается в зависимости от состояния заболевания и клинического состояния пациента.342
Какие существуют хирургические варианты лечения опухолей тимуса?Хирургическое лечение опухолей тимуса проводится при признании опухоли полностью резектируемой. В хирургии обычно принято удалять весь тимус вместе с опухолью. В случаях тимомы, если опухоль полностью удалена, дополнительное лечение не требуется. В отличие от этого, при тимусной карциноме, когда присутствует инвазия рака в окружающие ткани, может быть добавлена адъювантная послеоперационная лучевая терапия. Когда операция признана сложной, сначала проводится химиотерапия или химиолучевая терапия, а затем рассматривается операция, если она становится возможной. Если операция невозможна, может быть продлена химиотерапия или химиолучевая терапия. Кроме того, даже при возможности операции, если полная резекция не удаётся достичь, для лечения остаточной опухоли может быть проведена послеоперационная лучевая терапия или химиолучевая терапия. Хирургическое лечение выбирается с учетом типа опухоли и степени прогрессирования заболевания.342

Таблица 2: Ответы, сгенерированные чат-ботом Retrieval-Augmented Generation (RAG), основанным на руководстве JLCS для пациентов и их их семей с раком лёгких. Репрезентативные ответы, полученные чат-ботом RAG на основе рекомендаций по вопросам, связанным с опухолями тимуса, с использованием справочной информации, извлеченной из Руководства JLCS для пациентов и их семей с раком легких (https://www.haigan.gr.jp/public/guidebook/2024/). Таблица включает пользовательский запрос, ответ, сгенерированный чат-ботом, и длину ответа. Количество символов измерялось в оригинальных ответах на японском языке до перевода на английский с использованием версии ChatGPT 5.2.

Ответы чат-ботов на вопросы, выходящие за рамки

Ответы чат-ботов на вопросы, выходящие за рамки Руководства по лёгким, изложены в таблице 3. Хотя для этих вопросов было ссылалось ограниченное количество материалов, модель генерации ответов определила, что доступной информации для справок недостаточно для формирования ответа, основанного на доказательствах. В результате чат-бот возвращал ответы с недостаточной информацией для запросов, выходящих за рамки сферы. Заявления «В тексте недостаточно информации» и «Нет ссылок» были заранее определёнными ответами, указанными в системном запросе. Первый возвращался, когда полученная справочная информация была недостаточна для ответа на вопрос, а вторая — когда не было получено никаких справочных данных.

ЗапросКлючевые словаСсылки на материалы, nОтвет чат-бота
Какие диагностические методы доступны для детской глиомы?Диагностика детской глиомы0Отсылок нет.
Какие существуют патологические диагностические подходы к детской глиоме?Детская патологическая диагностика глиомы13В тексте недостаточно информации.
Какие варианты лечения детской глиомы доступны?Методы лечения глиомы у детей13В тексте недостаточно информации.
Какие существуют хирургические варианты лечения детской глиомы?Хирургическое лечение глиомы у детей12В тексте недостаточно информации.

Таблица 3: Ответы чат-ботов на вопросы, не входящие в область лечения, на уровне клинических вопросов на основе руководства JLCS для пациентов и их семей с раком лёгких. Ответы, генерируемые чат-ботом генерации поиска на основе рекомендаций (RAG) на вопросы, выходящие за рамки референсного руководства. Таблица суммирует пользовательские запросы, сгенерированные ключевые слова, количество ссылаемых элементов, выявленных с помощью поиска по сходству, и полученные ответы чат-ботов. Ссылки на контент представляют общее количество связанных веб-страниц, идентифицированных на уровне URL на основе каждого ключевого слова. Эффективные справочные элементы не рассчитывались для вопросов, выходящих за рамки дисциплины, поскольку полученное содержание не содержало информации, относящейся к запрашиваемому заболеванию.

Дополнительный файл 1. Python-код для извлечения URL и текста из веб-руководств клинической практики. Код, используемый для извлечения URL и текста веб-страниц из оглавления веб-рекомендаций по клинической практике. Извлечённые URL и текстовое содержимое использовались для последующего процесса обработки текста, анализа сходства и создания справочной информации в рабочем процессе чат-бота с дополненным поиском (RAG). Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица 1. Список URL, извлеченных со страницы оглавления веб-руководства, и их классификация как медицинской или немедицинской информации. URL-адреса, извлеченные со страницы оглавления Руководства JLCS для пациентов и их их семей с раком лёгких, были вручную рассмотрены и классифицированы как медицинская или немедицинская информация. Медицинская информация определялась как справочное содержание рекомендаций, включая клинические вопросы (CQ), вопросы на справочные вопросы, наборы вопросов и дополнительные образовательные материалы, относящиеся к консультированию пациентов. Немедицинская информация включала веб-страницы общества или организаций, навигационные страницы, гиперссылки и другой вспомогательный контент, не используемый в качестве справочной информации для генерации ответов чат-ботов. Таблица суммирует все извлечённые URL и результаты их классификации. *URL-адреса были извлечены со страницы оглавления JLCS Guidebook for Patients and Families с раком лёгких (https://www.haigan.gr.jp/public/guidebook/2024/). Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом исследовании мы рассмотрели полезность чат-бота RAG на основе рекомендаций, который использовал веб-руководство по клинической практике — JLCS Guidebook for Lumng Cancer Patients and Families — в качестве источника справочной информации. Чат-бот генерировал ответы, основанные на содержании руководства, используя веб-структуру руководства и получая страницы на основе их сходства с пользовательскими запросами. Этот подход показал, что извлечение на основе сходства в сочетании с генерацией ответа на основе рекомендаций может поддерживать надёжную и эффективную доставку медицинской информации. Недавние исследования выявили как потенциал, так и ограничения медицинских чат-ботов на базе LLM, особенно в галлюцинациях и надёжностиреакции 12,13,14. В отличие от предыдущих исследований, сосредоточенных на общих фреймворкахчат-ботов 10, 12, 13 в данном протоколе демонстрируется воспроизводимый подход RAG на основе рекомендаций, который получает содержимое рекомендаций пациента на уровне URL и генерирует ответы, основанные на идентифицируемой справочной информации. Таким образом, это исследование предоставляет прозрачный протокол для передачи информации о раке, а не полностью валидированную клиническую систему чат-ботов.

Вместо того чтобы обучать ИИ по всему корпусу руководства, наша система выбирала только наиболее релевантные для каждого пользовательского запроса в качестве справочной информации (рисунок 1). Релевантность между текстом вопроса и каждым CQ количественно оценивалась с помощью вычислений косинусного сходства на основе языка программирования с векторными представлениями TF–IDF. На основе этих показателей сходства CQ были ранжированы и отобраны в порядке убывания релевантности, что позволяло систематически извлекать соответствующие источники информации из руководства без опоры на субъективное суждение (Таблица 1). Кроме того, объединение полученных текстов CQ и их совместное представление ИИ помогло сохранить единую доказательственную основу для генерации ответов, тем самым повышая точность и контекстную согласованность сгенерированных ответов. В системах RAG получение правильной информации критически зависит от точных и соответствующих источниковсправок 14. Такая конструкция позволяла системе компенсировать информацию, которую невозможно было достаточно охватить одним CQ, что способствовало более комплексным и клинически правдоподобным ответам. Кроме того, RAG обеспечивает гибкий доступ к актуальному контенту CQ и хорошо подходит для медицинских приложений, основанных надоказательствах, 10,11. Хотя подходы RAG, основанные на рекомендациях, уже были описаныв 11,18, настоящий протокол отличается использованием существующей веб-структуры CQ, ориентированной на пациента в качестве основной системы поиска. Эта конструкция обеспечивает прозрачный и воспроизводимый рабочий процесс, который можно реализовать без ручного построения базы знаний или переобучения моделей.

Важно, что чат-бот ограничил свои ответы рамками указанного руководства. Когда вопросы выходили за рамки руководства, система явно воздерживалась от генерации ответов, что снижало риск необоснованных ответов. Использование косинусоидального сходства для выбора контрольных эталонов дополнительно повысило безопасность и надёжность генерируемых откликов (Таблица 2). Также были получены справочные страницы для вопросов, выходящих за рамки руководства (Таблица 3). Значения сходства косинуса были выше для вопросов внутри области (0,20–0,65), чем для вопросов вне области (0,20–0,31; данные не показаны), но низкие показатели сходства всё равно присваивались некоторым страницам с рекомендациями, даже если содержание не было клинически релевантным. Это произошло потому, что сходство косинуса рассчитывалось исключительно на основе сопоставления ключевых слов между запросом и текстом руководства. Важно, что такие малорелевантные ссылки не приводили к неподходящим ответам, так как чат-бот воздерживался от генерации ответов, когда недостаточно информации о ссылках. Галлюцинации не были выявлены при ручном рассмотрении в условиях определённого теста. Порог сходства косинуса 0,2 был выбран эмпирически в ходе предварительного тестирования для баланса чувствительности и специфичности при извлечении. Хотя этот порог был эффективен в текущих условиях тестирования, систематическая оценка чувствительности порогов выходила за рамки данного протокольного исследования. В будущих исследованиях следует изучать влияние альтернативных пороговых установок с использованием более крупных эталонных наборов данных и количественных показателей поиска. Наблюдаемое поведение указывает на то, что управление выходом на основе RAG может быть полезно в медицинских приложениях ИИ. Однако текущая оценка основывалась на ограниченном числе вопросов, входящих в сферу и вне его, и была предназначена прежде всего как оценка доказательства концепции предлагаемого рабочего процесса. Поэтому результаты не следует интерпретировать как всестороннюю валидацию клинической точности, безопасности или обобщаемости.

У этого исследования есть несколько технических ограничений. Мы использовали японский морфологический анализатор и GPT-3.5-turbo-16k (LLM для генерации откликов). LLM был выбран потому, что он был широко доступной и стабильной на момент разработки системы и позволял воспроизводимую реализацию предлагаемого рабочего процесса. Морфологические анализаторы и LLM имеют свои особенности; Таким образом, выбор моделей или библиотек влияет как на точность извлечения информации, так и на содержание сгенерированныхответов 22,23. Хотя более новые модели (например, LLM класса GPT-4 или GPT-5) могут повысить производительность и внешнюювалидность 22, оценка альтернативных моделей выходила за рамки данного протокольного исследования. Новые LLM могут обеспечивать улучшенные способности к рассуждениям, выполнению инструкций и качества ответов; однако основной целью этого исследования было оценить осуществимость фреймворка RAG на основе рекомендаций, а не сравнение эффективности различных LLM. Дальнейшая оптимизация этих компонентов может обеспечить более эффективную и точную генерацию отклика, а валидация с использованием различных конфигураций моделей необходима для оценки обобщимости этих результатов. Кроме того, данный протокол был разработан с использованием руководства по японскому языку и японского морфологического анализа. Хотя фреймворк поиска, основанный на векторизации TF–IDF, косинусном сходстве и RAG, принципиально независим от языка, реализация в других языках потребует специфических для языка инструментов обработки текста и валидации. Хотя это исследование ограничивалось одним руководством и, следовательно, не допускало прямого сравнения различных структур руководств, организация на уровне CQ способствовала систематическому извлечению содержимого руководств и поддерживала создание справочной информации для чат-бота RAG на основе рекомендаций. В частности, веб-структура руководства — где каждый CQ связан с уникальным URL — сыграла важную практическую роль в обеспечении эффективного скрапинга и организации справочного контента на уровне URL. Рекомендации с разными форматами, включая документы на основе PDF или сайты без URL уровня CQ, могут требовать альтернативных стратегий сегментации и поиска. Таким образом, обобщаемость нынешнего рабочего процесса на другие структуры руководства и медицинские специальности остаётся недооценённой. Будущие исследования должны оценить применимость этого подхода к множеству заболеваний, форматов рекомендаций и источников информации.

Результаты этого исследования дают практические рекомендации по разработке систем ИИ с ссылками на рекомендации и демонстрируют, что чат-бот RAG на основе рекомендаций, ссылающийся на веб-клинические рекомендации, обладает потенциалом для предоставления медицинской информации, связанной с раком. Однако данное исследование представляет собой оценку концепции, направленную на демонстрацию технической осуществимости механизмов извлечения рекомендаций, генерации ответа и ограничения ответа, и не должно интерпретироваться как формальная клиническая валидация медицинской информационной системы. Клиническая эффективность, безопасность и результаты для пользователей не были оценены и предстоит установить в ходе будущих исследований. С точки зрения этики и безопасности пользователей, ограничение ответов на информацию, подтверждённую рекомендациями, может снизить риск необоснованных или галлюцинаций реакций. Однако чрезмерное поведение отказа также может снизить удовлетворённость пользователя и воспринимаемую полезность. Поэтому будущие работы должны оценивать баланс между безопасностью и удобством использования, сохраняя при этом соответствующие меры защиты от дезинформации. Используя информационную структуру веб-рекомендаций и предоставляя целенаправленные ответы на вопросы пользователей, эта система может служить полезной моделью для будущих применений ИИ в доставке медицинской информации.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы не заявляют о конкурирующих интересах.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы благодарят Кеничи Иноуэ, доктора медицины, доктора философии (Центр молочной железы Мемориальной больницы Shonan Memorial) за его обширную техническую поддержку в разработке чат-бота поколения с дополненным поиском на основе рекомендаций. Авторы также благодарят Чикако Ямаки, доктора философии, и всех членов исследовательской команды Института контроля рака Национального онкологического центра Японии (Токио, Япония) за ценные советы по теме, рассматриваемой в этой статье. Кроме того, авторы благодарят Editage за редактирование на английском языке. Эта работа была поддержана грантом на исследования в области здравоохранения и труда (R6–Cancer Control–23EA1026).

Материалы

```html

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Beautiful Soup 4 (версия 4.12.3)Проект Beautiful SoupN/AБиблиотека Python, используемая для извлечения URL и разбора HTML
ChatGPT версия 4oOpenAIN/AИспользуется для генерации ключевых слов
GPT-3.5-turboOpenAIN/AИспользуется для генерации ответов
Руководство JLCS для пациентов с раком легкого и их семейОбщество рака легкого ЯпонииN/AВеб-ориентированное руководство по клинической практике, используемое в качестве справочной информации
MeCab (версия 0.996)Проект MeCabN/AЯпонский морфологический анализатор
API от OpenAIOpenAIN/AИспользуется для генерации ответов на основе ИИ
Python (версия 3.12)Фонд программного обеспечения PythonN/AПрограммная среда
Requests (версия 2.32.3)Проект RequestsN/AБиблиотека Python, используемая для получения веб-страниц
scikit-learn (версия 1.6.1)Разработчики scikit-learnN/AИспользуется для векторизации TF–IDF и вычисления косинусной схожести.
urllib.parseФонд программного обеспечения PythonN/AБиблиотека Python, используемая для нормализации и объединения URL
```

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Helft PR, Hlubocky F, Daugherty CK. American oncologists' views of internet use by cancer patients: a mail survey of American Society of Clinical Oncology members. J Clin Oncol. 2003;21(5):942-947.
  2. Chen X, Siu LL. Impact of the media and the internet on oncology: survey of cancer patients and oncologists in Canada. J Clin Oncol. 2001;19(23):4291-4297.
  3. Goto Y, et al. Differences in the quality of information on the internet about lung cancer between the United States and Japan. J Thorac Oncol. 2009;4(7):829-833.
  4. Ogasawara R, et al. Reliability of cancer treatment information on the internet: observational study. JMIR Cancer. 2018;4(2):e10031.
  5. Johnson SB, Park HS, Gross CP, Yu JB. Complementary medicine, refusal of conventional cancer therapy, and survival among patients with curable cancers. JAMA Oncol. 2018;4(10):1375-1381.
  6. Rajpurkar P, Chen E, Banerjee O, Topol EJ. AI in health and medicine. Nat Med. 2022;28(1):31-38.
  7. The Lancet Digital Health. ChatGPT: friend or foe? Lancet Digit Health. 2023;5(3):e102.
  8. Huang L, et al. A survey on hallucination in large language models: principles, taxonomy, challenges, and open questions. arXiv. 2023;2311.05232.
  9. Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):248.
  10. Yang R, et al. Retrieval-augmented generation for generative artificial intelligence in health care. npj Health Syst. 2025;2(2).
  11. Zakka C, et al. Almanac—retrieval-augmented language models for clinical medicine. NEJM AI. 2024;1(2):AIoa2300068.
  12. Chow JCL, Li K. Developing effective frameworks for large language model-based medical chatbots: insights from radiotherapy education with ChatGPT. JMIR Cancer. 2025;11:e66633.
  13. Chow JCL, Li K. Large language models in medical chatbots: opportunities, challenges, and the need to address AI risks. Information. 2025;16(7):549.
  14. Nishisako S, Higashi T, Wakao F. Reducing hallucinations and trade-offs in responses in generative AI chatbots for cancer information: development and evaluation study. JMIR Cancer. 2025;11:e70176.
  15. Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-9474.
  16. Gao Y, et al. Retrieval-augmented generation for large language models: a survey. arXiv. 2023;2312.10997.
  17. Jeong M, Sohn J, Sung M, Kang JJB. Improving medical reasoning through retrieval and self-reflection with retrieval-augmented large language models. Bioinformatics. 2024;40:i119-i129.
  18. Lewis M, et al. Grounding large language models in clinical evidence: a retrieval-augmented generation system for querying UK NICE clinical guidelines. arXiv. 2025;2510.02967.
  19. Ministry of Education, Culture, Sports, Science and Technology; Ministry of Health, Labour and Welfare; Ministry of Economy, Trade and Industry. Ethical guidelines for medical and biological research involving human subjects [Article in Japanese]. Ministry of Health, Labour and Welfare.
  20. Gallifant J, et al. The TRIPOD-LLM reporting guideline for studies using large language models. Nat Med. 2025;31:60-69.
  21. The Japanese Lung Cancer Society. JLCS Guidebook for Lung Cancer Patients and Families. Available at: https://www.haigan.gr.jp/public/guidebook/2024/. Accessed January 21, 2026.
  22. Liu M, et al. Evaluating the effectiveness of advanced large language models in medical knowledge: a comparative study using Japanese national medical examination. Int J Med Inform. 2025;193:105673.
  23. Kudo T, Yamamoto K, Matsumoto Y. Applying conditional random fields to Japanese morphological analysis. In: Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. 2004:230-237.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

234234RAG

Похожие статьи