Développement d’un chatbot de génération améliorée basée sur des lignes directrices, référant des directives de pratique clinique du cancer en ligne

Résumé

Ce protocole décrit le développement et l’évaluation d’un chatbot de génération augmentée par la recherche basé sur des lignes directrices, qui récupère et résume le contenu des lignes directrices cliniques de pratique du cancer en ligne afin de générer des réponses fondées sur des références aux questions des utilisateurs.

Résumé

La large disponibilité des informations médicales sur Internet a amélioré l’accès aux connaissances liées à la santé pour les patients ; Cependant, cela a également augmenté l’exposition à des informations médicales inexactes. Les soins contre le cancer impliquent des informations complexes, ce qui rend difficile pour les patients d’identifier des sources précises et fondées sur des preuves. Les grands modèles de langage permettent l’interaction avec le langage naturel mais génèrent fréquemment des hallucinations, limitant leur application dans la transmission d’informations médicales. La génération augmentée par récupération (RAG) a le potentiel d’atténuer ces risques en ancrant les réponses dans des sources de référence externes. Cette étude décrit le développement et l’évaluation d’un chatbot RAG basé sur des lignes directrices qui utilise des directives cliniques du cancer accessibles publiquement et en ligne. Le système extrait les URL des pages de table des matières d’une ligne directrice, traite le texte des pages à l’aide d’analyses morphologiques et de similarité cosinus basées sur la fréquence des termes – fréquence inverse des documents, et construit des informations de référence à partir de pages très pertinentes. Un grand modèle de langage utilise ces références pour générer des réponses limitées au contenu des lignes directrices. Le Guide JLCS pour les patients et familles atteintes de cancer du poumon a été utilisé comme référence directrice. Les questions comprenaient à la fois des types de cancer inclus dans le champ couvert par la ligne directrice et des types de cancer hors champ pour évaluer le contrôle de la réponse. Les informations médicales ont été extraites avec succès des pages de table des matières, 98 % des URL extraites contenant du contenu médical référentable. Pour les questions dans le champ de l’application, le chatbot a généré des réponses en résumant le contenu des directives, et aucune hallucination n’a été identifiée lors de la revue manuelle dans les conditions de test définies. Pour les questions hors champ de vision, le chatbot a constamment refusé de répondre et a indiqué que les informations disponibles étaient insuffisantes. La structure web de la directive a facilité un extraction efficace et l’organisation du contenu de référence au niveau de l’URL. Ce protocole fournit des conseils pratiques pour la construction de systèmes d’intelligence artificielle qui fournissent des informations médicales en utilisant des lignes directrices de pratique clinique basées sur le web.

Introduction

L’utilisation généralisée d’Internet et des réseaux sociaux a facilité l’accès aux informations médicales^{des patients 1,2}. Les informations sur les soins du cancer sont souvent complexes et étendues, ce qui rend particulièrement difficile pour les patients d’identifier des sources précises, pertinentes et fondées sur des preuves^{scientifiques 3}. Bien que les ressources en ligne puissent aider à comprendre les patients, elles contiennent également une quantité importante d’informations médicales^{incorrectes 3}, ce qui peut affecter négativement les décisions des patients concernant leurs soins⁴. Parce que la désinformation liée au cancer peut affecter les résultats des patients⁵, le besoin de systèmes d’intelligence artificielle (IA) peuvent aider les utilisateurs individuels à rechercher, résumer et interpréter les informations^{médicales 6} augmente.

Les grands modèles de langage (LLM) permettent aux utilisateurs d’accéder à l’information via une conversation en langage^{naturel 7} ; Cependant, la génération de désinformation (c’est-à-dire des hallucinations) reste une préoccupation sérieuse dans le domaine^médical 8,9,10,11. Une source clé de désinformation est la qualité et la précision des données d’entraînement utilisées pour développer le chatbot. De plus, la nature statique de l’entraînement des modèles signifie que les connaissances peuvent devenir obsolètes avec le temps, limitant la capacité des LLM à fournir des informations actuelles et contextuelles^12,13. Ces limites soulignent l’importance de stratégies efficaces de gestion des connaissances afin de garantir que les réponses des chatbots restent précises, pertinentes et à jour. En particulier, les systèmes capables d’accéder facilement à des ressources actuelles fondées sur des preuves, telles que les lignes directrices de pratique clinique, sont souhaitables dans les milieux médicaux, où les recommandations et les normes de soins évoluent continuellement. Pour relever ce défi, la génération augmentée par la récupération (RAG), qui génère des réponses en incorporant des informations provenant de sources de connaissances externes, a suscité une attention^{croissante 10, 13, 14, 15, 16, 17}.

Bien que le RAG ait été de plus en plus appliqué aux chatbots médicaux, une attention limitée a été portée à la manière dont les lignes directrices de pratique clinique devraient être systématiquement intégrées comme sources d’information^{de référence 18}. De nombreux guides de pratique clinique sont accessibles publiquement sur le web ; cependant, il reste incertain si leur structure web existante peut servir directement de cadre de récupération pour les systèmes^{RAG 18}. De plus, les méthodes pratiques pour construire des informations de référence sans développement manuel de bases de connaissances n’ont pas été bien établies.

Dans cette étude, nous avons visé à établir des principes de conception pour les systèmes d’IA référentiels dans le domaine médical en développant et en évaluant un chatbot RAG basé sur des lignes directrices utilisant des lignes directrices cliniques du cancer accessibles publiquement et en ligne, permettant ainsi un accès simple et rapide aux informations basées sur des lignes directrices. À titre de preuve de concept, nous avons évalué la faisabilité technique de la récupération des directives, de la génération de réponses et de la restriction de la réponse en utilisant la structure web existante des lignes directrices cliniques publiques, dans le but de proposer un protocole de développement reproductible pour les systèmes RAG référencés aux lignes directrices.

Protocole

Cette étude ne concerne pas des sujets humains nécessitant une protection contre les risques liés à la recherche. Par conséquent, elle ne nécessite pas d’examen par un comité d’éthique institutionnel selon les directives éthiques japonaises pour la recherche médicale impliquant des sujets^{humains 19}. Cette étude est rapportée conformément aux directives TRIPOD-LLM (Transparent Reporting of a Multivariable Model for Individual Prognosis and Diagnosis^{) (TRIPOD) 20}.

Voir la Figure 1 pour un aperçu schématique du protocole de chatbot RAG basé sur des lignes directrices.

Figure 1. Workflow du protocole de chatbot Guideline Based Retrieval-Augmented Generation (RAG). Aperçu schématique du flux de travail du chatbot RAG basé sur des directives. Les URL sont extraites de la table des matières d’un guide de pratique clinique en ligne et utilisées pour construire des informations de référence. Les requêtes des utilisateurs sont converties en mots-clés, et le contenu de la page web est traité par tokenisation, vectorisation fréquence des termes–fréquence inverse des documents, et analyse de similarité cosinus pour identifier les pages directives pertinentes. Des informations de référence sélectionnées sont intégrées et fournies à un grand modèle de langage afin de générer des réponses basées uniquement sur le contenu des lignes directrices référencées. Le panneau de droite résume les éléments d’évaluation utilisés pour les URL extraites, les informations de référence et les réponses des chatbots. Veuillez cliquer ici pour voir une version agrandie de cette figurine.

1. Préparation des informations de référence issues des lignes directrices basées sur le web

1. Extraire toutes les URL des pages de table des matières des directives de pratique clinique ciblées en ligne à l’aide de BeautifulSoup 4 (bibliothèque d’analyse HTML) implémentée dans le langage Python (version 3.12).
   REMARQUE : Implémentez le script d’extraction d’URL en utilisant le langage de programmation avec les paquets suivants : bibliothèque d’analyse HTML (version 4.12.3) et requêtes (bibliothèque de récupération de pages web ; version 2.32.3). Installez des paquets en utilisant pip. Le code source complet pour l’extraction des URL est fourni dans le Fichier Supplémentaire 1. Voir le tableau des matériaux pour les détails du logiciel.
2. Examinez manuellement toutes les URL extraites pour confirmer leur accès réussi et leur pertinence par rapport à la directive clinique ciblée.
3. Classez chaque URL comme contenant des informations médicales ou non médicales. Effectuer la classification des URL par un seul auteur (S.N.).
   REMARQUE : Les informations médicales étaient définies comme un contenu référentiel des lignes directrices, incluant les questions cliniques (CQ), les questions de contexte et les ensembles de questions. Les informations non médicales comprenaient des liens, des pages de sociétés ou d’organisations, et d’autres contenus accessoires inadaptés à la référence.
4. Compilez les URL validées dans un classeur Microsoft Excel (format .xlsx), avec une URL enregistrée par ligne. Stockez la liste d’URL résultante comme jeu de données d’entrée pour la récupération de texte ultérieure, le prétraitement et les analyses de similarité.

2. Génération de mots-clés à partir des requêtes des utilisateurs

1. Saisissez la requête en langage naturel dans ChatGPT (Transformer Génératif pré-entraîné, version 4o ; modèle de génération de mots-clés).
2. Demandez au modèle d’extraire deux mots-clés correspondant à la requête utilisateur.
3. Utilisez la consigne suivante, écrite en japonais, pour générer des mots-clés :
   « »
   (Traduction anglaise : « Extraire deux mots-clés du texte suivant. »)
4. Ajoutez la requête en langage naturel de l’utilisateur à cette instruction et soumettez-la au modèle de génération de mots-clés pour la génération de mots-clés.
5. Ne modifiez manuellement aucun paramètre du modèle. Effectuez la génération de mots-clés en utilisant les paramètres par défaut du modèle de génération de mots-clés.
6. Générez deux mots-clés pour chaque requête utilisateur. Conservez les deux mots-clés sans modification supplémentaire, filtrage ou sélection manuelle, et utilisez-les pour les calculs de similarité ultérieurs.
7. Stockez les mots-clés générés dans un classeur Microsoft Excel (format .xlsx). Pour chaque enregistrement, stockez la requête utilisateur originale et ses mots-clés générés correspondants pour une récupération ultérieure basée sur la similarité.

3. Traitement du texte et calcul de similarité

1. Récupérez le texte intégral de chaque URL extraite en utilisant la bibliothèque de récupération de pages web et la bibliothèque d’analyse HTML. Extraire le contenu textuel du code source HTML en utilisant la fonction BeautifulSoup get_text().
2. Pré-traiter le texte extrait de la page web et les mots-clés générés en supprimant les balises HTML et les caractères non japonais.
3. Effectuer une analyse morphologique japonaise à l’aide de MeCab (version 0.996 ; analyseur morphologique japonais) avec le dictionnaire par défaut. Conservez uniquement les noms et concatènatez-les en une chaîne de texte délimitée par l’espace.
4. Combinez les mots-clés générés en une seule chaîne de texte et appliquez les mêmes procédures de prétraitement et de tokenisation que celles utilisées pour le texte des pages web.
5. Générez des vecteurs fréquence–fréquence inverse des documents (TF–IDF) à partir du texte de la page web traitée et du texte mot-clé à l’aide de l’implémentation TfidfVectorizer dans la bibliothèque scikit-learn (version 1.6.1) avec les paramètres par défaut.
   REMARQUE : Tous les paramètres du TfidfVectorizer sont restés à leurs valeurs par défaut, et aucun paramètre personnalisé n’a été appliqué.
6. Calculez la similarité cosinus entre chaque vecteur de page web et le vecteur mot-clé à l’aide de la fonction de similarité cosinus.
7. Classez les URL par ordre décroissant selon les scores de similarité cosinus. N’appliquez pas de critères de départage supplémentaires.
8. Sélectionnez des pages avec un score de similarité cosinus de ≥0,2 comme références candidates.
   REMARQUE : Le seuil de similarité cosinus (0,2) a été sélectionné empiriquement lors du développement du système afin de prioriser le rappel de récupération et d’éviter d’exclure des contenus potentiellement pertinents de lignes directrices.
9. Conservez toutes les pages candidates atteignant le seuil de similarité.

4. Construction des informations de référence

1. Extraire séquentiellement le contenu textuel des pages sélectionnées depuis le haut de la liste classée.
2. Concaténater les textes extraits pour former un document de référence unique.
3. Avant de soumettre au LLM, remplacez les caractères de nouvelle ligne et les caractères d’espaces blancs consécutifs dans le texte de référence par un seul espace.
4. Tronquez le texte de référence concaténé aux 4 096 premiers caractères avant de le fournir au LLM.
   REMARQUE : La limite de troncature était basée sur les caractères plutôt que sur les jetons. Une limite de 4 096 caractères a été choisie empiriquement afin de garantir que les informations combinées de prompt et de référence restent dans la capacité d’entrée du modèle de génération de réponse GPT-3,5-turbo-16k.

5. Génération de réponses basée sur l’IA

1. Fournir les informations de référence construites et la requête utilisateur originale au modèle de génération de réponses via l’interface de programmation d’applications (API).
2. Instruisez l’IA à l’aide de l’invite suivante (entièrement écrite en japonais) afin de garantir que les réponses sont générées uniquement à partir des informations de référence fournies :
   « Vous êtes un assistant à l’information médicale qui guide les patients atteints de cancer. Générez des réponses uniquement sur la base des informations de référence suivantes, et n’utilisez pas vos propres connaissances générales ou raisonnements. Les réponses doivent être détaillées et faciles à comprendre, d’environ 500 caractères de long. Si les informations de référence ne contiennent pas suffisamment pour répondre à la question, répondez : 'Il n’y a pas assez d’informations dans le texte', sans utiliser de spéculations ni de connaissances générales. »
3. Fournissez les informations de référence et la requête utilisateur ensemble dans un seul message utilisateur. Structurez l’entrée comme suit : « Informations de référence : [texte de référence] » suivi de « Question : [requête utilisateur] ».
4. Générez des réponses en utilisant le modèle de génération de réponses avec les réglages suivants : température = 0,1, longueur maximale de sortie = 1 024 jetons, n = 1, et stop = Aucun.
5. Obtenez la réponse générée par l’IA pour une évaluation ultérieure.
   REMARQUE : Soumettez les informations de référence et la requête utilisateur sous forme d’un seul message utilisateur. Fournir séparément les instructions de génération de réponse sous forme de message système.

6. Ligne directrice de référence et formulation des questions

1. Sélectionnez le Guide JLCS pour les patients et familles atteintes de cancer du poumon (Guide du poumon)²¹, qui est disponible gratuitement en ligne, comme information de référence pour le système de chatbot RAG basé sur des lignes directrices.
2. Créez deux catégories de questions d’évaluation basées sur le type de cancer : les tumeurs thymiques, qui relèvent du champ d’application des directives, et le gliome pédiatrique, qui est en dehors du champ d’application des informations référencées.
3. Formulez quatre questions couvrant le diagnostic et le traitement pour chaque type de cancer :
   « Quelles méthodes diagnostiques sont disponibles pour les tumeurs XX (par exemple, le gliome thymique ou pédiatrique) ? »
   « Quelles sont les approches diagnostiques pathologiques pour les tumeurs XX ? »
   « Quelles options de traitement sont disponibles pour les tumeurs XX ? »
   « Quelles sont les options de traitement chirurgical pour les tumeurs XX ? »
4. Soumettez des questions concernant les types de cancer couverts par la directive web référencée au chatbot. Par exemple, soumettez une question concernant le diagnostic de tumeur thymique en utilisant le Guide pulmonaire comme référence d’information.
5. Soumettez des questions en dehors du cadre des directives de référence au chatbot afin d’évaluer sa capacité à s’abstenir d’utiliser des informations externes ou non liées. Par exemple, posez une question concernant le gliome pédiatrique en utilisant le Guide pulmonaire comme référence d’information.
6. Évaluez chaque question lors d’une session de discussion indépendante. Ne reportez pas l’historique des conversations entre les questions.
7. Enregistrez les réponses générées par l’IA pour une évaluation ultérieure.

7. Évaluation de la réponse

1. Effectuez une révision manuelle de toutes les réponses générées.
2. Évaluez si chaque réponse contient des hallucinations.
3. Évaluez si chaque réponse est étayée par les informations contenues dans la ligne directrice de référence.
   REMARQUE : Les hallucinations étaient définies comme des réponses contenant des événements, des noms ou des termes inexistants pouvant potentiellement causer des dommages^{médicaux 14}. Toutes les réponses générées ont été examinées pour leur exactitude et l’absence d’hallucinations par un auteur ayant 8 ans d’expérience dans un hôpital universitaire, incluant le soutien aux patients et la communication médicale pour les patients atteints de cancer. Toute incertitude concernant la classification des réponses a été résolue par une discussion avec un médecin coauteur ayant plus de 20 ans d’expérience dans les services d’information sur le cancer au National Cancer Center Japan.
4. Considérez une réponse comme soutenue uniquement lorsque toutes les affirmations cliniquement pertinentes peuvent être directement confirmées à partir de la référence retrouvée, sans nécessiter de connaissances supplémentaires ou d’inférences non étayées.
5. Classifiez chaque réponse à l’aide d’étiquettes de résultats prédéfinies. Classifiez les réponses contenant uniquement des informations étayées par la directive de référence comme « hallucination absente ». Classez les réponses contenant des informations non étayées ou fabriquées comme des « hallucinations présentes ».

Résultats

Récupérabilité du contenu médical via les pages de table des matières

L’architecture de web-scraping collectait les URL de la table des matières de la ligne directrice. Du Guide pulmonaire, 106 URL ont été extraites de la table des matières, dont 104 (98 %) contenaient des informations médicales (Tableau supplémentaire 1). L’efficacité des réponses du chatbot basées sur les pages de contenu des lignes directrices est résumée dans le Tableau 1. Le chatbot générait des réponses pour les quatre mots-clés cliniques lorsque les questions relevaient du champ d’application de la directive. Pour le « diagnostic de tumeur thymique » et le « diagnostic pathologique », trois URL associées ont été extraites pour chaque mot-clé, et toutes les URL extraites ont été jugées efficaces (100 %). Pour les « méthodes de traitement » et « traitement chirurgical », 15 URL ont été extraites pour chaque mot-clé, avec 14 items efficaces (93 %).

Requête	Mots-clés	Éléments de contenu référencés, n	Éléments de référence efficaces, n ( %)
Quelles méthodes diagnostiques sont disponibles pour les tumeurs thymiques ?	Diagnostic de tumeur thymique	3	3 (100)
Quelles sont les approches diagnostiques pathologiques pour les tumeurs thymiques ?	Diagnostic pathologique de la tumeur thymique	3	3 (100)
Quelles options de traitement sont disponibles pour les tumeurs thymiques ?	Méthodes de traitement de la tumeur thymique	15	14 (93)
Quelles sont les options de traitement chirurgical pour les tumeurs thymiques ?	Traitement chirurgical de la tumeur thymique	15	14 (93)

Tableau 1 : Contenu des informations de référence et des réponses des chatbots basés sur le Guide du JLCS pour les patients et familles atteintes de cancer du poumon. Résumé des requêtes des utilisateurs, mots-clés générés, nombre d’éléments de contenu référencés identifiés par recherche basée sur la similarité, et nombre d’éléments de référence efficaces contenant des informations médicales. Les éléments de contenu référencés représentent le nombre total de pages web liées identifiées au niveau de l’URL sur la base de chaque mot-clé. Les éléments de référence efficaces représentent le nombre et le pourcentage de pages web uniques contenant des informations médicales après exclusion des URL dupliquées et des pages non médicales.

Réponses des chatbots aux questions en cadre de l’ambiance

Le tableau 2 présente les réponses des chatbots aux questions relevant du cadre de la directive fournie. Lorsque suffisamment d’informations de référence étaient disponibles, le chatbot générait des réponses en résumant les parties pertinentes du texte de la directive. Les réponses générées comprenaient environ 350 caractères japonais. Aucune hallucination n’a été identifiée lors de la revue manuelle dans les conditions définies du test. Pour ces questions dans le champ de contrôle, plusieurs items référencés efficaces soutenaient la génération de réponses (Tableau 1). Le texte japonais généré a été traduit en anglais à l’aide de la version 5.2 de ChatGPT puis examiné par les enquêteurs pour vérifier l’exactitude et la cohérence avec les réponses japonaises originales.

Requête	Réponses					Nombre de caractères
Quelles méthodes diagnostiques sont disponibles pour les tumeurs thymiques ?	Le diagnostic des tumeurs thymiques nécessite à la fois un diagnostic par imagerie et un diagnostic pathologique. Pour le diagnostic par imagerie, un scanner et une IRM thoracique sont réalisés. Le thymome et le carcinome thymique sont des tumeurs solides qui ne contiennent ni composantes d’air ni de liquide à l’intérieur de la tumeur, et l’invasion des tissus normaux environnants est connue pour être légère chez le thymome et plus prononcée dans le carcinome thymique. Lorsque les examens d’imagerie déterminent qu’il n’y a pas d’invasion des tissus environnants ni de tumeurs éloignées de la lésion primaire (métastases), la tumeur est réséquée chirurgicalement et un diagnostic pathologique est réalisé à l’aide de l’échantillon chirurgical. Lorsque la résection chirurgicale est difficile, une biopsie guidée par scanner est réalisée, et un diagnostic est posé en prélevant une partie du tissu tumoral. En diagnostic pathologique, les thymomes sont classés selon la proportion de lymphocytes normaux dans la tumeur et la morphologie des cellules tumorales, tandis que les carcinomes thymiques sont classés en détail selon le sous-type histologique. Pour déterminer le stade clinique (stade), l’étendue de la propagation des lésions tumorales thymiques est prise en compte, et les tumeurs sont classées en stades I à IV selon trois systèmes de classification de stadification.					366
Quelles sont les approches diagnostiques pathologiques pour les tumeurs thymiques ?	Dans le diagnostic pathologique des tumeurs thymiques, l’examen pathologique est réalisé en obtenant une partie ou la totalité du tissu tumoral. Les thymomes sont classés en sous-types tels que le type A et le type AB en fonction de la proportion de lymphocytes normaux contenus dans la tumeur et de la morphologie des cellules tumorales. En revanche, le carcinome thymique est une tumeur maligne caractérisée par une atypie cellulaire, et le carcinome épidermoïde est le sous-type histologique le plus courant. Par le biais d’un diagnostic pathologique, les caractéristiques biologiques et le degré de progression tumorale sont évalués, ce qui est utile pour sélectionner les stratégies thérapeutiques appropriées et prédire le pronostic. De plus, le diagnostic pathologique des tumeurs thymiques permet de déterminer le stade de la maladie, fournissant des informations importantes pour la planification du traitement. La stadification clinique est classée selon trois systèmes — la classification Masaoka, la classification Masaoka–Koga et la classification UICC–TNM — et les tumeurs sont classées en quatre stades, du stade I au stade IV, selon l’étendue de la propagation et de l’invasion tumorale. Le diagnostic pathologique fournit des informations indispensables pour le traitement approprié et l’évaluation pronostique des tumeurs thymiques.					330
Quelles options de traitement sont disponibles pour les tumeurs thymiques ?	Les options de traitement pour les tumeurs thymiques incluent la chirurgie (chirurgie), la radiothérapie et la chimiothérapie. La chirurgie est réalisée comme une procédure où le thymus est complètement réséqué avec la tumeur, et dans les cas de thymome, un traitement supplémentaire peut ne pas être nécessaire. Dans le carcinome thymique, une radiothérapie postopératoire peut être ajoutée lorsque le cancer s’est propagé aux tissus environnants. La chimiothérapie ou chimioradiothérapie est pratiquée dans les cas où la chirurgie est difficile ou en cas de récidive ou de métastase lointaine, et ces traitements sont utilisés dans le cadre d’une thérapie médicamenteuse. De plus, pour le carcinome thymique avancé ou récurrent, un traitement centré sur la chimiothérapie est réalisé, et une thérapie multimodale combinant chirurgie et radiothérapie peut également être administrée selon les besoins. De plus, pour le carcinome thymique avancé ou récurrent après chimiothérapie, le lenvatinib, un agent thérapeutique ciblé moléculairement, peut être utilisé. La combinaison appropriée de modalités de traitement est sélectionnée en fonction de l’état pathologique et de l’état clinique du patient.					342
Quelles sont les options de traitement chirurgical pour les tumeurs thymiques ?	Le traitement chirurgical des tumeurs thymiques est réalisé lorsque la tumeur est jugée complètement résécable. En chirurgie, il est généralement courant d’enlever l’ensemble du thymus ainsi que la tumeur. Dans les cas de thymome, si la tumeur est complètement réséquée, aucun traitement supplémentaire n’est nécessaire. En revanche, dans les cas de carcinome thymique, lorsqu’une invasion du cancer dans les tissus environnants est présente, une radiothérapie postopératoire adjuvante peut être ajoutée. Lorsque la chirurgie est jugée difficile, une chimiothérapie ou une chimioradiothérapie est réalisée en premier, puis une intervention chirurgicale est envisagée si elle devient faisable. Si la chirurgie ne peut être réalisée, la chimiothérapie ou la chimioradiothérapie peuvent être poursuivies. De plus, même lorsque la chirurgie est possible, si la résection complète ne peut être réalisée, une radiothérapie postopératoire ou une chimio-thérapie peuvent être administrées pour traiter la tumeur résiduelle. Le traitement chirurgical est choisi de manière appropriée selon le type de tumeur et le degré de progression de la maladie.					342

Tableau 2 : Réponses générées par le chatbot RAG (Guideline-Based Retrieval-Augmented Generation) basé sur le guide du JLCS pour les patients et familles atteintes de cancer du poumon. Réponses représentatives générées par le chatbot RAG basé sur des lignes directrices pour les questions liées aux tumeurs thymiques en utilisant des informations de référence extraites du Guide JLCS pour les patients et familles atteintes de cancer du poumon (https://www.haigan.gr.jp/public/guidebook/2024/). Le tableau inclut la requête utilisateur, la réponse générée par le chatbot et la durée de la réponse. Le nombre de caractères a été mesuré dans les réponses originales en japonais avant la traduction en anglais avec ChatGPT version 5.2.

Réponses des chatbots à des questions hors champ de la série

Les réponses du chatbot aux questions qui échappaient au cadre du Guide pulmonaire sont résumées dans le tableau 3. Bien qu’un nombre limité d’éléments de contenu aient été référencés pour ces questions, le modèle de génération de réponses a déterminé que les informations de référence disponibles étaient insuffisantes pour générer une réponse fondée sur des preuves. Par conséquent, le chatbot a répondu indiquant qu’il n’y avait pas assez d’informations pour les requêtes hors champ d’application. Les déclarations « Il n’y a pas suffisamment d’informations dans le texte » et « Il n’y a pas de références » étaient des réponses prédéfinies spécifiées dans l’invite système. La première était retournée lorsque les informations de référence récupérées étaient insuffisantes pour répondre à la question, tandis que la seconde était retournée lorsqu’aucune information de référence n’était récupérée.

Requête	Mots-clés	Éléments de contenu référencés, n	Réponse du chatbot
Quelles méthodes diagnostiques sont disponibles pour le gliome pédiatrique ?	Diagnostic de gliome pédiatrique	0	Il n’y a aucune référence.
Quelles sont les approches diagnostiques pathologiques pour le gliome pédiatrique ?	Diagnostic pathologique du gliome pédiatrique	13	Les informations sont insuffisantes dans le texte.
Quelles options de traitement sont disponibles pour le gliome pédiatrique ?	Méthodes de traitement du gliome pédiatrique	13	Les informations sont insuffisantes dans le texte.
Quelles sont les options de traitement chirurgical pour le gliome pédiatrique ?	Traitement chirurgical du gliome pédiatrique	12	Les informations sont insuffisantes dans le texte.

Tableau 3 : Réponses des chatbots aux questions hors champ de la discussion au niveau clinique, basées sur le guide du JLCS pour les patients atteints de cancer du poumon et leurs familles. Réponses générées par le chatbot de génération augmentée par la récupération (RAG) basé sur les lignes directrices pour répondre à des questions en dehors du cadre de la ligne de référence. Le tableau résume les requêtes des utilisateurs, les mots-clés générés, le nombre d’éléments de contenu référencés identifiés par la recherche basée sur la similarité, ainsi que les réponses du chatbot qui en résultent. Les éléments de contenu référencés représentent le nombre total de pages web liées identifiées au niveau de l’URL sur la base de chaque mot-clé. Les éléments de référence efficaces n’ont pas été calculés pour les questions hors champ car le contenu récupéré ne contenait pas d’informations pertinentes pour la maladie interrogée.

Fichier supplémentaire 1. Code Python pour l’extraction d’URL et de texte à partir des lignes directrices de pratique clinique basées sur le Web. Le code servait à extraire les URL et le texte des pages web des pages des matières des lignes directrices cliniques en ligne. Les URL extraites et le contenu textuel ont été utilisés pour le traitement textuel ultérieur, l’analyse de similarité et la construction d’informations de référence dans le flux de travail chatbot basé sur la récupération et la génération augmentée (RAG). Veuillez cliquer ici pour télécharger ce fichier.

Tableau supplémentaire 1. Liste des URL extraites de la table des matières des lignes directrices Web et de leur classification comme informations médicales ou non médicales. Les URL extraites de la table des matières du Guide JLCS pour les patients et familles atteintes de cancer du poumon ont été examinées manuellement et classées comme informations médicales ou non médicales. Les informations médicales étaient définies comme un contenu référentiel de référence, incluant les questions cliniques (CQ), les questions de contexte, les ensembles de questions et les supports éducatifs complémentaires pertinents pour les conseils des patients. Les informations non médicales comprenaient les pages web de la société ou des organisations, les pages de navigation, les hyperliens et tout autre contenu accessoire non utilisé comme référence pour la génération de réponses des chatbots. Le tableau résume toutes les URL extraites et leurs résultats de classification. *Les URL ont été extraites de la page de table des matières (https://www.haigan.gr.jp/public/guidebook/2024/) du JLCS Guidebook for Lung Cancer Patients and Families. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Dans cette étude, nous avons examiné l’utilité d’un chatbot RAG basé sur des lignes directrices utilisant une directive de pratique clinique en ligne — le Guide JLCS pour les patients et familles atteintes de cancer du poumon — comme source d’information de référence. Le chatbot générait des réponses ancrées dans le contenu des directives en exploitant la structure web de la directive et en récupérant les pages en fonction de leur similarité avec les requêtes des utilisateurs. Cette approche a démontré que la récupération basée sur la similarité, combinée à la génération de réponses référencées par recommandations, peut soutenir une transmission fiable et efficace de l’information médicale. Des études récentes ont mis en lumière à la fois le potentiel et les limites des chatbots médicaux basés sur LLM, notamment en ce qui concerne les hallucinations et la fiabilité de la réponse^{12, 13, 14}. Contrairement aux études précédentes qui portaient sur les cadres généraux de^{chatbots 10, 12, 13}, le protocole actuel démontre une approche RAG reproductible basée sur des lignes directrices qui récupère le contenu des recommandations du patient au niveau de l’URL et génère des réponses fondées sur des informations de référence identifiables. Cette étude fournit donc un protocole transparent pour la diffusion d’informations sur le cancer plutôt qu’un système de chatbot clinique entièrement validé.

Plutôt que d’entraîner l’IA sur l’ensemble du corpus de lignes directrices, notre système sélectionnait uniquement les CQ les plus pertinentes pour chaque requête utilisateur comme informations de référence (Figure 1). La pertinence entre le texte de la question et chaque CQ a été évaluée quantitativement à l’aide des calculs de similarité cosinus basés sur un langage de programmation avec des représentations vectorielles TF–IDF. Sur la base de ces scores de similarité, les CQ ont été classées et sélectionnées par ordre décroissant de pertinence, permettant une extraction systématique de sources d’information appropriées à l’intérieur de la ligne directrice sans recourir au jugement subjectif (Tableau 1). De plus, concaténer les textes CQ récupérés et les présenter collectivement à l’IA a permis de préserver une base probante cohérente pour la génération des réponses, améliorant ainsi la précision et la cohérence contextuelle des réponses générées. Dans les systèmes RAG, la génération d’informations correctes dépend de manière critique de sources de référence précises^{et appropriées 14}. Cette conception permettait au système de compenser des informations qui ne pouvaient pas être suffisamment couvertes par une seule CQ, contribuant ainsi à des réponses plus complètes et cliniquement plausibles. De plus, RAG permet une récupération flexible de contenus CQ à jour et convient parfaitement aux applications médicales fondées sur des preuves^10,11. Bien que les approches RAG basées sur des lignes directrices aient déjà été^{décrites 11,18}, le protocole actuel diffère par son utilisation de la structure web existante basée sur le CQ d’une ligne directrice orientée patient comme cadre principal de récupération. Cette conception offre un flux de travail transparent et reproductible pouvant être mis en œuvre sans construction manuelle de connaissances ni réentraînement des modèles.

Il est important de noter que le chatbot a limité ses réponses à la portée de la directive référencée. Lorsque les questions sortaient du contenu des directives, le système s’abstenait explicitement de générer des réponses, réduisant ainsi le risque de réponses non étayées. L’utilisation de la similarité cosinus dans la sélection des références de contrôle a encore renforcé la sécurité et la fiabilité des réponses générées (Tableau 2). Des pages de références ont également été consultées pour les questions en dehors du cadre de la directive (Tableau 3). Les valeurs de similarité cosinus étaient plus élevées pour les questions intra-champ (0,20–0,65) que pour les questions hors champ (0,20–0,31 ; données non montrées), mais de faibles scores de similarité ont tout de même été attribués à certaines pages de directives même lorsque le contenu n’était pas cliniquement pertinent. Cela s’est produit parce que la similarité cosinus était calculée uniquement sur la base de la correspondance de mots-clés entre la requête et le texte de la ligne directrice. Il est important de noter que ces références peu pertinentes n’ont pas donné lieu à des réponses inappropriées, car le chatbot s’est abstenu de générer des réponses lorsque suffisamment d’informations de référence n’étaient pas disponibles. Aucune hallucination n’a été identifiée lors de la revue manuelle dans les conditions définies du test. Le seuil de similarité cosinus de 0,2 a été sélectionné empiriquement lors des tests préliminaires afin d’équilibrer sensibilité à la récupération et spécificité. Bien que ce seuil ait été efficace dans les conditions de test actuelles, l’évaluation systématique de la sensibilité au seuil dépassait le cadre de cette étude protocolaire. Les études futures devraient étudier les effets des paramètres de seuil alternatifs en utilisant des ensembles de données de référence plus larges et des métriques de récupération quantitative. Le comportement observé suggère que le contrôle de sortie basé sur le RAG pourrait être utile dans les applications d’IA médicale. Cependant, l’évaluation actuelle reposait sur un nombre limité de questions dans et hors champ et hors champ et était principalement destinée à être une preuve de concept du flux de travail proposé. Par conséquent, les résultats ne doivent pas être interprétés comme une validation complète de l’exactitude clinique, de la sécurité ou de la généralisabilité.

Cette étude présente plusieurs limites techniques. Nous avons utilisé l’analyseur morphologique japonais et GPT-3.5-turbo-16k (LLM pour la génération de réponses). Le LLM a été choisi car il était un modèle largement disponible et stable au moment du développement du système, permettant une implémentation reproductible du flux de travail proposé. Les analyseurs morphologiques et les LLM présentent des caractéristiques distinctes ; Ainsi, le choix des modèles ou des bibliothèques influence à la fois la précision de l’extraction de l’information et le contenu des réponses^{générées 22,23}. Bien que des modèles plus récents (par exemple, les LLM de classe GPT-4 ou GPT-5) puissent améliorer les performances et la validité externe^22, l’évaluation de modèles alternatifs dépassait le cadre de l’étude du protocole présente. Les LLM plus récents peuvent offrir une meilleure capacité de raisonnement, un suivi d’instructions et une qualité de réponse améliorée ; cependant, l’objectif principal de cette étude était d’évaluer la faisabilité d’un cadre RAG basé sur des lignes directrices plutôt que de comparer les performances de différents LLM. Une optimisation supplémentaire de ces composants pourrait permettre une génération de réponses plus efficace et précise, et une validation à l’aide de différentes configurations de modèles est nécessaire pour évaluer la généralisabilité de ces résultats. De plus, le protocole actuel a été développé à l’aide d’une directive en japonais et d’une analyse morphologique japonaise. Bien que le cadre de récupération basé sur la vectorisation TF–IDF, la similarité cosinus et le RAG soit en principe indépendant du langage, la mise en œuvre dans d’autres langages nécessiterait des outils de traitement de texte spécifiques à chaque langage et une validation. Bien que cette étude ait été limitée à une seule ligne directrice et ne permette donc pas la comparaison directe de différentes structures de directives, l’organisation au niveau CQ a facilité l’extraction systématique du contenu des directives et a soutenu la construction d’informations de référence pour le chatbot RAG basé sur des lignes directrices. En particulier, la structure web de la directive — où chaque CQ est associé à une URL unique — a joué un rôle pratique important en permettant un scraping et une organisation efficaces du contenu de référence au niveau de l’URL. Les directives avec différents formats, y compris les documents PDF ou les sites web sans URL au niveau CQ, peuvent nécessiter des stratégies alternatives de segmentation et de récupération. Par conséquent, la généralisation du flux de travail actuel à d’autres structures de lignes directrices et spécialités médicales reste à établir. Les travaux futurs devraient évaluer l’applicabilité de cette approche à de multiples maladies, formats de lignes directrices et sources d’information.

Les résultats de cette étude fournissent des conseils pratiques pour concevoir des systèmes d’IA référentisés par recommandations et démontrent qu’un chatbot RAG basé sur des lignes directrices référençant des lignes directrices cliniques en ligne a un potentiel pour fournir des informations médicales liées au cancer. Cependant, cette étude représente une évaluation de preuve de concept destinée à démontrer la faisabilité technique des mécanismes de recherche de lignes directrices, de génération de réponse et de restriction de la réponse, et ne doit pas être interprétée comme une validation clinique formelle d’un système d’information médicale. L’efficacité clinique, la sécurité et les résultats chez les utilisateurs n’ont pas été évalués et restent à établir dans les futures études. D’un point de vue éthique et de sécurité utilisateur, restreindre les réponses aux informations appuyées par les directives peut réduire le risque de réponses non fondées ou hallucinées. Cependant, un comportement de refus excessif peut également réduire la satisfaction des utilisateurs et l’utilité perçue. Les travaux futurs devraient donc évaluer l’équilibre entre sécurité et utilisabilité tout en maintenant des garanties appropriées contre la désinformation. En tirant parti de la structure informationnelle des directives web et en fournissant des réponses ciblées aux questions des utilisateurs, ce système pourrait servir de modèle utile pour les futures applications de l’IA dans la diffusion d’informations médicales.

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Beautiful Soup 4 (version 4.12.3)	Projet Beautiful Soup	N/A	Bibliothèque Python utilisée pour l'extraction d'URL et l'analyse HTML
ChatGPT version 4o	OpenAI	N/A	Utilisé pour la génération de mots-clés
GPT-3.5-turbo	OpenAI	N/A	Utilisé pour la génération de réponses
Guidebook JLCS pour les patients atteints de cancer du poumon et leurs familles	Japan Lung Cancer Society	N/A	Ligne directrice de pratique clinique basée sur le web utilisée comme information de référence
MeCab (version 0.996)	Projet MeCab	N/A	Analyseur morphologique japonais
OpenAI API	OpenAI	N/A	Utilisé pour la génération de réponses basée sur l'IA
Python (version 3.12)	Python Software Foundation	N/A	Environnement de programmation
Requests (version 2.32.3)	Projet Requests	N/A	Bibliothèque Python utilisée pour la récupération de pages web
scikit-learn (version 1.6.1)	Développeurs scikit-learn	N/A	Utilisé pour la vectorisation TF–IDF et le calcul de similarité cosinus.
urllib.parse	Python Software Foundation	N/A	Bibliothèque Python utilisée pour la normalisation et l'assemblage d'URL