Un abonnement JoVE est requis pour visualiser ce contenu. Connectez-vous ou commencez votre période d'essai gratuite.
Article de méthode
Ce protocole décrit le développement et l’évaluation d’un chatbot de génération augmentée par la recherche basé sur des lignes directrices, qui récupère et résume le contenu des lignes directrices cliniques de pratique du cancer en ligne afin de générer des réponses fondées sur des références aux questions des utilisateurs.
La large disponibilité des informations médicales sur Internet a amélioré l’accès aux connaissances liées à la santé pour les patients ; Cependant, cela a également augmenté l’exposition à des informations médicales inexactes. Les soins contre le cancer impliquent des informations complexes, ce qui rend difficile pour les patients d’identifier des sources précises et fondées sur des preuves. Les grands modèles de langage permettent l’interaction avec le langage naturel mais génèrent fréquemment des hallucinations, limitant leur application dans la transmission d’informations médicales. La génération augmentée par récupération (RAG) a le potentiel d’atténuer ces risques en ancrant les réponses dans des sources de référence externes. Cette étude décrit le développement et l’évaluation d’un chatbot RAG basé sur des lignes directrices qui utilise des directives cliniques du cancer accessibles publiquement et en ligne. Le système extrait les URL des pages de table des matières d’une ligne directrice, traite le texte des pages à l’aide d’analyses morphologiques et de similarité cosinus basées sur la fréquence des termes – fréquence inverse des documents, et construit des informations de référence à partir de pages très pertinentes. Un grand modèle de langage utilise ces références pour générer des réponses limitées au contenu des lignes directrices. Le Guide JLCS pour les patients et familles atteintes de cancer du poumon a été utilisé comme référence directrice. Les questions comprenaient à la fois des types de cancer inclus dans le champ couvert par la ligne directrice et des types de cancer hors champ pour évaluer le contrôle de la réponse. Les informations médicales ont été extraites avec succès des pages de table des matières, 98 % des URL extraites contenant du contenu médical référentable. Pour les questions dans le champ de l’application, le chatbot a généré des réponses en résumant le contenu des directives, et aucune hallucination n’a été identifiée lors de la revue manuelle dans les conditions de test définies. Pour les questions hors champ de vision, le chatbot a constamment refusé de répondre et a indiqué que les informations disponibles étaient insuffisantes. La structure web de la directive a facilité un extraction efficace et l’organisation du contenu de référence au niveau de l’URL. Ce protocole fournit des conseils pratiques pour la construction de systèmes d’intelligence artificielle qui fournissent des informations médicales en utilisant des lignes directrices de pratique clinique basées sur le web.
L’utilisation généralisée d’Internet et des réseaux sociaux a facilité l’accès aux informations médicalesdes patients 1,2. Les informations sur les soins du cancer sont souvent complexes et étendues, ce qui rend particulièrement difficile pour les patients d’identifier des sources précises, pertinentes et fondées sur des preuvesscientifiques 3. Bien que les ressources en ligne puissent aider à comprendre les patients, elles contiennent également une quantité importante d’informations médicalesincorrectes 3, ce qui peut affecter n....
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Cette étude ne concerne pas des sujets humains nécessitant une protection contre les risques liés à la recherche. Par conséquent, elle ne nécessite pas d’examen par un comité d’éthique institutionnel selon les directives éthiques japonaises pour la recherche médicale impliquant des sujetshumains 19. Cette étude est rapportée conformément aux directives TRIPOD-LLM (Transparent Reporting of a Multivariable Model for Individual Prognosis and Diagnosis) (TRIPOD) 20.
Voir la Figure 1 pour un aperçu schématique du protocole de chatbot R....
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Récupérabilité du contenu médical via les pages de table des matières
L’architecture de web-scraping collectait les URL de la table des matières de la ligne directrice. Du Guide pulmonaire, 106 URL ont été extraites de la table des matières, dont 104 (98 %) contenaient des informations médicales (Tableau supplémentaire 1). L’efficacité des réponses du chatbot basées sur les pages de contenu des lignes directrices est résumée d.......
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Dans cette étude, nous avons examiné l’utilité d’un chatbot RAG basé sur des lignes directrices utilisant une directive de pratique clinique en ligne — le Guide JLCS pour les patients et familles atteintes de cancer du poumon — comme source d’information de référence. Le chatbot générait des réponses ancrées dans le contenu des directives en exploitant la structure web de la directive et en récupérant les pages en fonction de leur similarité avec les requêtes des utilisateurs. Cette appr.......
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Les auteurs ne déclarent aucun intérêt concurrent.
Les auteurs remercient Kenichi Inoue, MD, PhD (Shonan Memorial Hospital Breast Center), pour son soutien technique étendu dans le développement du chatbot de génération augmentée par la récupération basé sur des lignes directrices. Les auteurs remercient également Chikako Yamaki, PhD, ainsi que tous les membres de l’équipe de recherche de l’Institute for Cancer Control, National Cancer Center Japan (Tokyo, Japon), pour leurs conseils précieux sur le sujet abordé dans cet article. De plus, les auteurs remercient Editage pour la révision en anglais. Ce travail a été soutenu par une subvention de recherche en sciences de la santé et du t....
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
| Nom | Entreprise | Numéro de catalogue | Commentaires |
|---|---|---|---|
| Beautiful Soup 4 (version 4.12.3) | Projet Beautiful Soup | N/A | Bibliothèque Python utilisée pour l'extraction d'URL et l'analyse HTML |
| ChatGPT version 4o | OpenAI | N/A | Utilisé pour la génération de mots-clés |
| GPT-3.5-turbo | OpenAI | N/A | Utilisé pour la génération de réponses |
| Guidebook JLCS pour les patients atteints de cancer du poumon et leurs familles | Japan Lung Cancer Society | N/A | Ligne directrice de pratique clinique basée sur le web utilisée comme information de référence |
| MeCab (version 0.996) | Projet MeCab | N/A | Analyseur morphologique japonais |
| OpenAI API | OpenAI | N/A | Utilisé pour la génération de réponses basée sur l'IA |
| Python (version 3.12) | Python Software Foundation | N/A | Environnement de programmation |
| Requests (version 2.32.3) | Projet Requests | N/A | Bibliothèque Python utilisée pour la récupération de pages web |
| scikit-learn (version 1.6.1) | Développeurs scikit-learn | N/A | Utilisé pour la vectorisation TF–IDF et le calcul de similarité cosinus. |
| urllib.parse | Python Software Foundation | N/A | Bibliothèque Python utilisée pour la normalisation et l'assemblage d'URL |
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.