Lisibilité et qualité de l'éducation des patients sur la névralgie du trijumeau générée par des grands modèles de langage : une étude transversale

Résumé

Ici, nous présentons un protocole permettant d'évaluer systématiquement la lisibilité, l'adaptabilité pédagogique et la qualité des informations destinées aux patients sur la névralgie du trijumeau, générées par des modèles de langage de grande taille, afin d'établir des références pour les modèles et de guider la communication destinée aux patients.

Résumé

Les grands modèles linguistiques (LLM) sont de plus en plus utilisés pour l'éducation des patients en matière de santé, mais la lisibilité et la qualité éducative des informations générées par les LLM sur la névralgie du trijumeau (NT) ont été insuffisamment évaluées. Cette étude comparative transversale a analysé le contenu éducatif sur la NT produit par cinq LLM accessibles au public (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen et GPT-5). Vingt questions fréquemment posées sur la NT, couvrant les connaissances fondamentales sur la maladie, l'étiologie/les facteurs de risque, le diagnostic, le traitement et la prévention/la réadaptation, ont été soumises à chaque modèle à l’aide d’instructions standardisées. La lisibilité a été évaluée à l’aide de sept indices reconnus, la pertinence éducative à l’aide de l’outil d’évaluation des supports pédagogiques pour patients (PEMAT) portant sur la compréhension et l’actionnabilité, et la qualité globale de l’information à l’aide du score de qualité global (GQS). Deux experts cliniques ont évalué indépendamment toutes les réponses, les désaccords étant tranchés par un arbitre principal. Des analyses statistiques ont comparé les performances des modèles, les différences thématiques et les corrélations entre les critères d’évaluation. Des différences significatives ont été observées entre les modèles concernant les scores de lisibilité, de PEMAT et de GQS. GPT-5 a produit les réponses les plus complexes sur le plan linguistique, mais a obtenu les notes les plus élevées en termes de pertinence éducative et de qualité de l’information. En revanche, Wenxin Yiyan a généré le texte le plus lisible, mais a généralement obtenu des scores inférieurs sur le PEMAT et le GQS. La catégorie de contenu a influencé la lisibilité, les sujets liés à la prévention/la réadaptation et à l’étiologie/aux facteurs de risque étant plus difficiles à lire, tandis que les scores PEMAT et GQS sont restés relativement stables selon les thèmes. Les indices de lisibilité ont montré une forte cohérence interne ainsi que des corrélations faibles à modérées positives avec le PEMAT et le GQS, tandis que le PEMAT et le GQS présentaient une corrélation positive modérée. Ces résultats suggèrent que le choix du modèle influence la pertinence éducative et la qualité globale de l’information tels qu’évalués par des experts, tandis que la complexité du sujet affecte principalement la lisibilité. Étant donné que la compréhension du patient, sa satisfaction, sa confiance, les résultats sanitaires, l’exactitude factuelle et la sécurité clinique n’ont pas été évaluées, ces résultats doivent être interprétés comme une analyse comparative fondée sur l’évaluation d’experts, et non comme une preuve de préparation clinique.

Introduction

La névralgie du trijumeau (NT) est un syndrome douloureux neuropathique caractérisé par des épisodes récurrents de douleur faciale unilatérale, brève et extrêmement intense, couramment décrite comme une décharge électrique ou une sensation de piqûre. Selon la Classification internationale des céphalées, 3e édition (CIC-3), la douleur est généralement localisée dans le territoire d'une ou plusieurs branches du nerf trijumeau, est souvent d'une intensité intolérable et peut être déclenchée par des stimuli inoffensifs tels qu'une légère touche, le lavage du visage, le brossage des dents, la parole ou la mastication. Les crises sont caractérisées par une apparition soudai....

Protocole

La présente étude a analysé uniquement des textes générés par l'intelligence artificielle et n'a pas impliqué de participants humains, d'animaux, d'échantillons biologiques, de dossiers médicaux, d'informations personnelles identifiables ni d'intervention dans les soins cliniques. Par conséquent, un examen éthique et un consentement éclairé formel n'étaient pas applicables.

Conception de l'étude

Cette étude transversale a évalué la lisibilité, la qualité et l'adaptabilité pédagogique des réponses générées par cinq modèles linguistiques de grande taille (LLM) en réponse à des questions fréquemment p....

Résultats

Cette étude a évalué systématiquement les effets des modèles linguistiques de grande taille (LLMs) et des différentes catégories de contenu éducatif en santé sur la lisibilité et la qualité des textes générés. Premièrement, nous avons comparé les performances de cinq LLMs — Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen et GPT-5 — en ce qui concerne l'adaptabilité aux patients, la qualité globale de l'information et plusieurs indicateurs de lisibilité, notamment le score PEMAT, le GQS et des indices de lisibilité établis.......

Discussion

Cette étude transversale de référence a comparé de manière systématique la lisibilité, l'adéquation pédagogique et la qualité globale de l'information des documents éducatifs destinés aux patients atteints de névralgie du trijumeau (TN), générés par cinq grands modèles linguistiques (LLM) accessibles au public. Quatre résultats principaux ont émergé. Premièrement, la lisibilité variait considérablement selon les modèles, GPT-5 produisant les réponses les plus complexes sur le plan linguistique, tandis que Wenxin Yiyan gé.......

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Plateforme de discussion DeepSeek	DeepSeek	https://chat.deepseek.com/	Interface publiquement accessible de modèle de langage volumineux utilisée pour générer des réponses
Plateforme de discussion Doubao	Doubao	https://www.doubao.com/chat/	Interface publiquement accessible de modèle de langage volumineux utilisée pour générer des réponses
GPT 5	OpenAI	Non applicable	Interface publiquement accessible de modèle de langage volumineux utilisée pour générer des réponses
Logiciel R, version 4.4.3	Fondation R pour l'informatique statistique	Non applicable	Analyse statistique et visualisation
Calculateur en ligne de formules de lisibilité	Readability Formulas	Non applicable	Outil en ligne utilisé pour calculer des indices de lisibilité
Plateforme de discussion Tongyi Qianwen	Tongyi Qianwen	https://www.tongyi.com/	Interface publiquement accessible de modèle de langage volumineux utilisée pour générer des réponses
Plateforme de discussion Wenxin Yiyan	Wenxin Yiyan	https://yiyan.baidu.com/	Interface publiquement accessible de modèle de langage volumineux utilisée pour générer des réponses