La présente étude a analysé uniquement des textes générés par l'intelligence artificielle et n'a pas impliqué de participants humains, d'animaux, d'échantillons biologiques, de dossiers médicaux, d'informations personnelles identifiables ni d'intervention dans les soins cliniques. Par conséquent, un examen éthique et un consentement éclairé formel n'étaient pas applicables.
Conception de l'étude
Cette étude transversale a évalué la lisibilité, la qualité et l'adaptabilité pédagogique des réponses générées par cinq modèles linguistiques de grande taille (LLM) en réponse à des questions fréquemment posées sur la névralgie du trijumeau (TN).
Identification des questions fréquemment posées relatives à la névralgie du trijumeau
Le 25 novembre 2025, deux experts cliniciens possédant une vaste expérience en médecine de la douleur ont examiné indépendamment les lignes directrices cliniques actuelles concernant la névralgie du trijumeau (NT), notamment la Classification internationale des troubles céphalalgiques, 3e édition (CITC-3), la recommandation de l'Académie européenne de neurologie, ainsi que la recommandation de l'Académie américaine de neurologie/Fédération européenne des sociétés de neurologie1,10,11. Après une discussion de consensus, ils ont établi une liste de 20 questions liées à la NT fréquemment rencontrées en pratique clinique. Le nombre de questions avait été déterminé a priori afin d'assurer une couverture équilibrée des cinq domaines thématiques prédéfinis, avec quatre questions sélectionnées pour chaque domaine, tout en maintenant le nombre total de réponses générées par le modèle dans une fourchette réalisable pour l'évaluation et la vérification manuelles par des experts. Afin d'améliorer la reproductibilité, le processus de sélection a suivi un cadre prédéfini basé sur les domaines : les experts ont tout d'abord identifié des questions candidates au sein de chaque domaine, les ont examinées indépendamment quant à leur pertinence clinique, leur formulation centrée sur le patient et l'absence de redondance, puis ont abouti à un consensus sur les quatre questions finales par domaine. La liste finale des questions est fournie dans le tableau 1 et le fichier supplémentaire 1. Les cinq domaines thématiques prédéfinis étaient les connaissances fondamentales sur la maladie, l'étiologie et les facteurs de risque, le diagnostic, le traitement, ainsi que la prévention et la réadaptation. Étant donné que l'ensemble des questions n'a pas été établi à partir des journaux de recherche des patients, des requêtes en ligne ou d'entretiens formels avec des patients, la possibilité d'un biais de sélection est reconnue comme une limite de l'étude.
Modèles d'IA et procédure de collecte des données
Le 25 novembre 2025, le jeu finalisé de 20 questions liées à la TN a été soumis à cinq plateformes publiques de grands modèles linguistiques (LLM) : Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen et GPT-5/ChatGPT. Tous les modèles ont été accessibles via leurs interfaces de chat web publiques standard ; aucun accès par interface de programmation d'application (API) n'a été utilisé. Pour chaque plateforme, le modèle public par défaut disponible à la date de collecte des données a été utilisé, sans modification des paramètres de génération. Étant donné que les interfaces web publiques ne montraient pas les identifiants de version du modèle backend, les invites système cachées, la température, le top-p, le nombre maximal de jetons de sortie ou d'autres paramètres de génération, ces éléments ont été notés comme « non affichés dans l'interface web publique ».
Les langues de l’invite et de la réponse étaient l’anglais pour tous les modèles. Chaque invite standardisée se composait uniquement de la question en anglais, mot pour mot, sans aucune instruction spécifique au modèle. Chaque question a été soumise individuellement dans une nouvelle session de discussion indépendante, sans historique de conversation préalable, fichiers téléchargés, plug-ins, instructions personnalisées ou invites de suivi. La liste complète des invites standardisées et les sorties brutes correspondantes des modèles sont fournies dans le Fichier supplémentaire 1. Les métadonnées des modèles et les paramètres de collecte des données sont résumés dans le Tableau supplémentaire 1.
Évaluation de la lisibilité
La lisibilité des réponses générées par le modèle linguistique de grande taille (LLM) a été évaluée à l’aide de plusieurs formules de lisibilité établies, disponibles via une plateforme en ligne d’évaluation de la lisibilité (http://readabilityformulas.com/). En l’absence d’un standard universellement accepté pour l’évaluation de la lisibilité et conformément à des études antérieures, un ensemble complet d’indices de lisibilité largement utilisés a été employé23,27. Sept indices ont été sélectionnés afin de couvrir des aspects complémentaires de la lisibilité, notamment la longueur des phrases, la longueur des mots, la charge syllabique, la complexité basée sur les caractères, la facilité de lecture et le niveau scolaire estimé, réduisant ainsi la dépendance à une seule formule. Plus précisément, l’indice de Coleman-Liau (CL), la formule Linsear Write (LW), l’indice de lisibilité automatisé (ARI), la mesure simple de galimatias (SMOG), l’indice Gunning Fog (GFOG), le score de facilité de lecture de Flesch (FRES) et le niveau scolaire Flesch-Kincaid (FKGL) ont été calculés. Ces indices estiment la difficulté de lecture ou le niveau scolaire requis et fournissent des mesures quantitatives de la lisibilité du texte (Tableau 2).
Évaluation de l'adéquation pédagogique et de la qualité de l'information
L'adaptation pédagogique a été évaluée à l'aide de l'outil d'évaluation des supports pédagogiques destinés aux patients (Patient Education Materials Assessment Tool, PEMAT), qui comprend deux domaines : la compréhensibilité et l'applicabilité28. L'instrument comprend 24 items, dont 16 évaluent la compréhensibilité et 8 l'applicabilité. Chaque item a été noté de manière binaire (0 = critère non satisfait ; 1 = critère satisfait), ce qui donne un score total variant de 0 à 24, les scores plus élevés indiquant une meilleure adaptation à l'éducation des patients. La qualité globale de l'information a été évaluée à l'aide du score de qualité global (Global Quality Score, GQS)27, une échelle de Likert à cinq points largement utilisée pour évaluer la qualité de l'information médicale (Tableau 3).
Le 25 novembre 2025, deux experts cliniciens possédant plus de trois ans d'expérience dans la prise en charge de la névralgie du trijumeau ont évalué toutes les réponses générées par l'IA à l'aide des deux instruments d'évaluation. Avant l'attribution des notes, toutes les réponses générées par l'IA ont été anonymisées à l'aide d'identifiants codés, et les évaluateurs ont été tenus dans l'ignorance de la plateforme de modèle linguistique (LLM) lors des évaluations PEMAT et GQS. Les désaccords ont été tranchés par un troisième expert senior, qui a attribué les notes finales. La fiabilité inter-évaluateurs a été évaluée à l'aide du coefficient kappa de Cohen, les valeurs >0,75 indiquant un accord excellent, les valeurs comprises entre 0,40 et 0,75 un accord acceptable, et les valeurs <0,40 un accord insuffisant. Les valeurs du kappa de Cohen pour le PEMAT et le GQS ont toutes deux dépassé 0,75, démontrant une excellente fiabilité inter-évaluateurs.
Analyse statistique
Toutes les analyses statistiques ont été effectuées à l'aide du logiciel R (version 4.4.3). La normalité des données a été évaluée à l'aide du test de Shapiro-Wilk et des graphiques Q-Q. Les variables normalement distribuées ont été résumées par la moyenne ± l'écart type et comparées à l'aide d'une analyse de variance à un facteur (ANOVA), suivie du test a posteriori de Tukey lorsque cela était approprié. Les variables non normalement distribuées ont été résumées par les médianes et les écarts interquartiles et comparées à l'aide du test de Kruskal-Wallis, suivi du test a posteriori de Dunn avec une correction de Bonferroni pour les comparaisons par paires. Les corrélations entre les indices de lisibilité, les scores PEMAT et les valeurs GQS ont été évaluées à l'aide du coefficient de corrélation de rang de Spearman, avec une correction de Benjamini-Hochberg appliquée pour les tests multiples. Une valeur P ajustée bilatérale < 0,05 a été considérée comme statistiquement significative.