È richiesta un abbonamento a JoVE per visualizzare questo contenuto. Accedi o inizia la tua prova gratuita.
Articolo di ricerca
In questo studio, presentiamo un protocollo per valutare sistematicamente la leggibilità, l'adeguatezza didattica e la qualità delle informazioni sui pazienti generate da modelli linguistici di grandi dimensioni riguardo alla nevralgia del trigemino, al fine di stabilire parametri di riferimento per i modelli e orientare la comunicazione rivolta ai pazienti.
I modelli linguistici di grandi dimensioni (LLM) vengono utilizzati con crescente frequenza per l'educazione sanitaria dei pazienti, tuttavia la leggibilità e la qualità educativa delle informazioni generate dagli LLM sulla nevralgia del trigemino (TN) sono state valutate in modo insufficiente. Questo studio trasversale di benchmarking ha confrontato contenuti educativi sulla TN generati da cinque LLM disponibili pubblicamente (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5). A ciascun modello sono state sottoposte venti domande frequenti sulla TN, che coprivano conoscenze di base sulla malattia, eziologia/fattori di rischio, diagnosi, trattamento e prevenzione/riabilitazione, utilizzando prompt standardizzati. La leggibilità è stata valutata mediante sette indici consolidati, l'idoneità educativa è stata misurata con lo strumento Patient Education Materials Assessment Tool per la comprensibilità e l'azione concreta (PEMAT), e la qualità complessiva delle informazioni è stata valutata con il Global Quality Score (GQS). Due esperti clinici hanno valutato in modo indipendente tutte le risposte, risolvendo le divergenze di opinione tramite un valutatore senior. Analisi statistiche hanno confrontato le prestazioni dei modelli, le differenze tematiche e le correlazioni tra le metriche di valutazione. Sono state osservate differenze significative tra i modelli per quanto riguarda i punteggi di leggibilità, PEMAT e GQS. GPT-5 ha prodotto risposte linguisticamente più complesse, ma ha ottenuto i punteggi più elevati per idoneità educativa e qualità delle informazioni. Al contrario, Wenxin Yiyan ha generato testi più leggibili, ma in generale ha ottenuto punteggi più bassi su PEMAT e GQS. La categoria del contenuto ha influenzato la leggibilità: argomenti relativi a prevenzione/riabilitazione ed eziologia/fattori di rischio si sono rivelati più difficili da leggere, mentre PEMAT e GQS sono rimasti relativamente costanti tra i diversi temi. Gli indici di leggibilità hanno mostrato una forte coerenza interna e correlazioni positive da deboli a moderate con PEMAT e GQS, mentre PEMAT e GQS hanno mostrato una correlazione positiva moderata. Questi risultati indicano che la scelta del modello influenza l'idoneità educativa e la qualità complessiva delle informazioni valutate dagli esperti, mentre la complessità dell'argomento incide principalmente sulla leggibilità. Poiché non sono stati valutati la comprensione del paziente, la soddisfazione, la fiducia, gli esiti sanitari, l'accuratezza fattuale e la sicurezza clinica, questi risultati devono essere interpretati come un'analisi di benchmarking basata sul giudizio di esperti, piuttosto che come prova di prontezza clinica.
La nevralgia del trigemino (TN) è un disturbo da dolore neuropatico caratterizzato da episodi ricorrenti, unilaterali, brevi e di intensità estremamente elevata, comunemente descritti come scosse elettriche o colpi di pugnale. Secondo la Classificazione Internazionale dei Disturbi Cefalalgici, terza edizione (ICHD-3), il dolore si localizza tipicamente nel territorio di distribuzione di uno o più rami del nervo trigemino, è spesso insopportabile nell'intensità e può essere innescato da stimoli innocui come un lieve tocco, il lavaggio del viso, lo spazzolamento dei denti, il parlare o il masticare. Gli attacchi si manifestano con insorgenza improvvisa e cessazione brusca, con una durata che varia da frazioni di secondo fino a diversi minuti1,2. Sebbene la TN non sia solitamente una condizione a rischio di vita, il dolore intenso e imprevedibile altera in modo significativo le attività quotidiane essenziali, tra cui alimentazione, parlato, sonno e regolazione emotiva, determinando un notevole carico psicosociale e una riduzione della qualità della vita. Evidenze provenienti da revisioni sistematiche indicano che i pazienti con TN presentano un rischio significativamente più elevato di depressione, ansia e disturbi del sonno rispetto alla popolazione generale3,4. In ampi studi di coorte, circa il 35–55% dei pazienti con TN manifestano sintomi clinicamente rilevanti di ansia o depressione, e la catastrofizzazione del dolore è molto diffusa, suggerendo un'interazione bidirezionale tra dolore cronico intenso, insonnia e disturbi affettivi5,6. Stime epidemiologiche indicano che la prevalenza della TN nella popolazione generale varia approssimativamente dallo 0,03% allo 0,3%, con una maggiore incidenza tra le donne e gli adulti di età avanzata e notevoli variazioni tra regioni geografiche, gruppi etnici e fasce d'età7,8. In paesi ad alta densità demografica, come Cina e India, l'invecchiamento rapido della popolazione è stato accompagnato da un aumento costante del numero di persone affette da TN, imponendo un carico crescente sui sistemi sanitari e sottolineando la necessità di approcci più efficaci, scalabili e basati sui dati per la valutazione e la gestione della malattia8,9.
La nevralgia del trigemino può essere classificata in sottotipi classico, secondario e idiopatico, con un numero crescente di evidenze che dimostrano significative differenze nei meccanismi eziologici e nelle strategie terapeutiche tra queste categorie1,10. Studi recenti indicano che cambiamenti strutturali legati al conflitto neurovascolare nella zona di ingresso della radice del nervo trigemino, l'iper eccitabilità del nervo periferico e una modificata modulazione centrale del dolore contribuiscono congiuntamente alla patogenesi della malattia11,12. Le linee guida cliniche raccomandano il carbamazepine e l'ossicarbazepina come trattamenti di prima linea, mentre si ricorre a interventi chirurgici o procedure invasive qualora la terapia farmacologica risulti inefficace o scarsamente tollerata10. Nonostante questi progressi terapeutici, la nevralgia del trigemino è caratterizzata da un decorso recidivante-remittente e le recidive del dolore a lungo termine rimangono comuni, rendendo difficile raggiungere una remissione permanente13. Di conseguenza, un follow-up a lungo termine e una gestione strutturata della malattia cronica sono essenziali per monitorare il rischio di recidiva, la risposta al trattamento e le possibili complicanze. Studi di coorte longitudinali indicano che, con strategie di gestione standardizzate (inclusi trattamento farmacologico, intervento chirurgico quando indicato e un follow-up completo), circa la metà dei pazienti sottoposti a trattamento conservativo può ottenere una riduzione ≥50% del carico complessivo del dolore entro due anni, senza un inevitabile aggravamento della malattia14. Questi risultati sottolineano l'importanza di un coinvolgimento continuativo del paziente e di un'efficace educazione sanitaria per la gestione a lungo termine della malattia. Evidenze indicano che i pazienti con una migliore comprensione dell'etiologia, della fisiopatologia e delle opzioni terapeutiche sono più propensi a partecipare attivamente e ad aderire ai regimi terapeutici, ottenendo così risultati migliori15. Tuttavia, gli approcci tradizionali all'educazione sanitaria sono spesso limitati per portata e scalabilità. Con l'ampia diffusione di internet, in particolare delle piattaforme online di domande e risposte e dei social media, i pazienti si affidano sempre più a fonti digitali per ottenere informazioni mediche16,17. Tuttavia, la notevole variabilità nella letteratura sanitaria individuale e nella capacità di accedere, elaborare e comprendere informazioni sanitarie di base per decisioni informate rappresenta un ostacolo significativo a un'efficace educazione del paziente18. Inoltre, la qualità disomogenea delle informazioni sanitarie online, inclusi contenuti inaccurati o fuorvianti, può influenzare negativamente le decisioni mediche e il benessere psicologico dei pazienti19.
Le tecnologie dell'intelligenza artificiale (AI), in particolare lo sviluppo rapido dei modelli linguistici di grandi dimensioni (LLMs) negli ultimi anni, hanno creato nuove opportunità per la comunicazione scientifica in ambito medico e per l'educazione sanitaria20. Allenati su ampi corpora testuali, questi modelli possono generare risposte strutturate e logicamente coerenti attraverso l'interazione in linguaggio naturale21. Sistemi internazionali rappresentativi, come ChatGPT, hanno dimostrato un potenziale promettente per la risposta a domande mediche, la consulenza ai pazienti e l'educazione medica22,23. Diversi LLM funzionalmente simili sono emersi in Cina, con una copertura utenti e scenari applicativi in continua espansione24. Nonostante questi progressi, l'applicazione dei LLM nella divulgazione scientifica medica continua a presentare sfide significative, tra cui l'affidabilità dei dati di addestramento, la frequenza di aggiornamento, l'accuratezza scientifica delle risposte generate e la mancanza di validazione clinica25. Inoltre, differenze tra i modelli in termini di stile linguistico, leggibilità, struttura logica e accuratezza delle citazioni possono influenzare direttamente la comprensione e la fiducia dei pazienti nelle informazioni sanitarie26. Ad oggi, le valutazioni sistematiche delle prestazioni dei LLM nell'educazione sanitaria relativa alla TN sono state limitate.
Pertanto, questo studio si è proposto di valutare e confrontare sistematicamente le prestazioni di quattro modelli linguistici di grandi dimensioni (LLM) cinesi ampiamente utilizzati (Doubao, DeepSeek, Wenxin Yiyan e Tongyi Qianwen) e di un LLM internazionale rappresentativo (ChatGPT) nel rispondere a domande sui pazienti relative alla nevralgia del trigemino (TN). Utilizzando un disegno trasversale, abbiamo costruito un insieme di domande sulla TN basato su linee guida cliniche e sulle preoccupazioni comuni dei pazienti, valutando le risposte generate da cinque LLM disponibili pubblicamente (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5). La leggibilità è stata valutata mediante l'uso di diverse metriche, mentre la comprensibilità e l'attuabilità sono state analizzate tramite lo strumento di valutazione dei materiali educativi per i pazienti (Patient Education Materials Assessment Tool, PEMAT). La qualità complessiva delle informazioni è stata valutata utilizzando il punteggio globale di qualità (Global Quality Score, GQS). Inoltre, abbiamo analizzato in che modo diversi argomenti di educazione sanitaria influenzino tali metriche di valutazione e le loro interrelazioni, con l'obiettivo di fornire indicazioni basate su evidenze per la selezione e l'ottimizzazione degli LLM nella comunicazione sanitaria clinica.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Questo studio ha analizzato esclusivamente testi generati dall'intelligenza artificiale e non ha coinvolto partecipanti umani, animali, campioni biologici, cartelle cliniche, informazioni personali identificabili né interventi nell'assistenza clinica. Pertanto, la revisione etica e il consenso informato formale non erano applicabili.
Progettazione dello studio
Questo studio trasversale ha valutato la leggibilità, la qualità e l'idoneità educativa delle risposte generate da cinque modelli linguistici di grandi dimensioni (LLM) in risposta a domande frequenti riguardanti la nevralgia del trigemino (TN).
Identificazione delle domande più comuni relative al TN
Il 25 novembre 2025, due esperti clinici con ampia esperienza in medicina del dolore hanno esaminato in modo indipendente le attuali linee guida cliniche per la nevralgia del trigemino (TN), inclusa la Classificazione Internazionale dei Disturbi Cefalalgici, terza edizione (ICHD-3), la linea guida dell'Accademia Europea di Neurologia e la linea guida dell'Accademia Americana di Neurologia/Federazione Europea delle Società di Neurologia1,10,11. Dopo una discussione di consenso, hanno compilato un elenco di 20 domande relative alla TN comunemente riscontrate nella pratica clinica. Il numero di domande è stato stabilito a priori per garantire una copertura equilibrata dei cinque domini tematici predeterminati, con quattro domande selezionate per ciascun dominio, mantenendo nel contempo il numero totale di risposte generate dal modello entro un intervallo gestibile per la valutazione e verifica manuale da parte di esperti. Per migliorare la riproducibilità, il processo di selezione ha seguito un quadro predeterminato basato sui domini: gli esperti hanno innanzitutto identificato le domande candidate all'interno di ciascun dominio, le hanno esaminate autonomamente per rilevanza clinica, formulazione orientata al paziente e assenza di ridondanze, quindi hanno raggiunto un accordo sulle quattro domande finali per ogni dominio. L'elenco finale delle domande è riportato nella Tabella 1 e nel File Supplementare 1. I cinque domini tematici predeterminati erano conoscenze di base sulla malattia, eziologia e fattori di rischio, diagnosi, trattamento, prevenzione e riabilitazione. Poiché l'insieme delle domande non è stato ricavato da log di ricerca dei pazienti, query online o interviste formali ai pazienti, si riconosce la possibilità di un bias di selezione come limitazione dello studio.
Modelli di intelligenza artificiale e procedura di raccolta dati
Il 25 novembre 2025, l'insieme definitivo di 20 domande relative al TN è stato inviato a cinque piattaforme pubblicamente accessibili di modelli linguistici di grandi dimensioni (LLM): Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5/ChatGPT. A tutti i modelli si è acceduto tramite le loro normali interfacce web pubbliche basate su chat; non è stato utilizzato l'accesso tramite application programming interface (API). Per ciascuna piattaforma, è stato impiegato il modello pubblicamente disponibile per impostazione predefinita alla data della raccolta dei dati, senza alcuna modifica dei parametri di generazione. Poiché le interfacce web pubbliche non mostravano identificatori del modello backend, prompt di sistema nascosti, temperatura, top-p, numero massimo di token in uscita o altri parametri di generazione, queste informazioni sono state registrate come "non visualizzate nell'interfaccia web pubblica".
Le lingue del prompt e della risposta erano l'inglese per tutti i modelli. Ogni prompt standardizzato consisteva esclusivamente della domanda in inglese riportata alla lettera, senza ulteriori istruzioni specifiche per il modello. Ogni domanda è stata inviata singolarmente in una nuova sessione di chat indipendente, senza alcuna cronologia di conversazioni precedenti, file caricati, plug-in, istruzioni personalizzate o prompt di follow-up. L'elenco completo dei prompt standardizzati e le corrispondenti risposte grezze dei modelli sono riportati nel File Supplementare 1. I metadati dei modelli e le impostazioni di raccolta dati sono riassunti nella Tabella Supplementare 1.
Valutazione della leggibilità
La leggibilità delle risposte generate da LLM è stata valutata utilizzando diverse formule di leggibilità consolidate disponibili tramite una piattaforma online per la valutazione della leggibilità (http://readabilityformulas.com/). In assenza di uno standard universale accettato per la valutazione della leggibilità e in linea con studi precedenti, è stato impiegato un insieme completo di indici di leggibilità ampiamente utilizzati23,27. Sono stati selezionati sette indici per cogliere aspetti complementari della leggibilità, inclusi la lunghezza delle frasi, la lunghezza delle parole, il carico sillabico, la complessità basata sui caratteri, la facilità di lettura e il livello scolastico stimato, riducendo così la dipendenza da una singola formula. In particolare, sono stati calcolati l'Indice di Coleman-Liau (CL), la Formula Linsear Write (LW), l'Indice di Leggibilità Automatica (ARI), la Misura Semplice di Gobbledygook (SMOG), l'Indice Gunning Fog (GFOG), il Punteggio di Facilità di Lettura di Flesch (FRES) e il Livello Scolastico Flesch-Kincaid (FKGL). Questi indici stimano la difficoltà di lettura o il livello scolastico e forniscono misure quantitative della leggibilità del testo (Tabella 2).
Valutazione dell'idoneità educativa e della qualità delle informazioni
L'idoneità educativa è stata valutata utilizzando lo strumento di valutazione dei materiali informativi per i pazienti (Patient Education Materials Assessment Tool, PEMAT), che comprende due domini: comprensibilità e attuabilità28. Lo strumento comprende 24 elementi, di cui 16 valutano la comprensibilità e otto l'attuabilità. Ogni elemento è stato valutato in modo dicotomico (0 = criterio non soddisfatto; 1 = criterio soddisfatto), producendo un punteggio totale compreso tra 0 e 24, dove punteggi più alti indicano una maggiore idoneità per l'educazione del paziente. La qualità complessiva delle informazioni è stata valutata mediante il punteggio di qualità globale (Global Quality Score, GQS)27, una scala di tipo Likert a cinque punti ampiamente utilizzata per la valutazione della qualità delle informazioni mediche (Tabella 3).
Il 25 novembre 2025, due esperti clinici con oltre 3 anni di esperienza nella gestione della nevralgia del trigemino hanno valutato tutte le risposte generate dall'intelligenza artificiale utilizzando entrambi gli strumenti di valutazione. Prima della valutazione, tutte le risposte generate dall'IA sono state anonimizzate mediante identificatori codificati, e i revisori sono stati mantenuti all'oscuro della piattaforma di linguaggio di grandi dimensioni durante le valutazioni PEMAT e GQS. Le divergenze sono state risolte da un terzo esperto senior, che ha stabilito i punteggi finali. L'affidabilità tra valutatori è stata misurata mediante il coefficiente kappa di Cohen, con valori >0,75 che indicano un accordo eccellente, da 0,40 a 0,75 un accordo accettabile e <0,40 un accordo scarso. I valori kappa di Cohen per PEMAT e GQS hanno superato entrambi 0,75, dimostrando un'elevata affidabilità tra valutatori.
Analisi statistica
Tutte le analisi statistiche sono state eseguite utilizzando il software R (versione 4.4.3). La normalità dei dati è stata valutata mediante il test di Shapiro-Wilk e i grafici Q-Q. Le variabili distribuite normalmente sono state riassunte come media ± deviazione standard e confrontate utilizzando l'analisi della varianza a un fattore (ANOVA), seguita dal test post hoc di Tukey quando appropriato. Le variabili non distribuite normalmente sono state riassunte come mediane e intervalli interquartili e confrontate utilizzando il test di Kruskal-Wallis, seguito dal test post hoc di Dunn con correzione di Bonferroni per i confronti a coppie. Le correlazioni tra gli indici di leggibilità, i punteggi PEMAT e i valori GQS sono state valutate utilizzando il coefficiente di correlazione per ranghi di Spearman, applicando la correzione di Benjamini-Hochberg per i test multipli. Un valore di P aggiustato bidirezionale < 0,05 è stato considerato statisticamente significativo.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Questo studio ha valutato sistematicamente gli effetti dei modelli linguistici di grandi dimensioni (LLM) e di diverse categorie di contenuti educativi sanitari sulla leggibilità e sulla qualità dei testi generati. In primo luogo, abbiamo confrontato le prestazioni di cinque LLM—Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen e GPT-5—per quanto riguarda l'idoneità per l'educazione del paziente, la qualità complessiva delle informazioni e diverse metriche di leggibilità, inclusi il punteggio PEMAT, il GQS e indici di leggi...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Questo studio trasversale di riferimento ha confrontato in modo sistematico la leggibilità, l'idoneità educativa e la qualità complessiva delle informazioni nei materiali educativi per pazienti con nevralgia del trigemino (TN) generati da cinque modelli linguistici di grandi dimensioni (LLM) disponibili pubblicamente. Sono emerse quattro scoperte principali. In primo luogo, la leggibilità ha mostrato ampie differenze tra i modelli, con GPT-5 che ha prodotto risposte linguisticamente più complesse e Wenxin Yiyan che ha ge...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Gli autori dichiarano di non avere interessi in conflitto.
Questa ricerca non ha ricevuto alcun finanziamento specifico da agenzie pubbliche, commerciali o senza scopo di lucro. Gli autori ringraziano i colleghi clinici che hanno fornito commenti sul set di domande relativo alla nevralgia del trigemino e hanno contribuito a perfezionare il quadro di valutazione. Ringraziamo inoltre tutti i collaboratori che hanno supportato la preparazione e la revisione del manoscritto.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Piattaforma di chat DeepSeek | DeepSeek | https://chat.deepseek.com/ | Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte |
| Piattaforma di chat Doubao | Doubao | https://www.doubao.com/chat/ | Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte |
| GPT 5 | OpenAI | https://chat.openai.com/ | Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte |
| Software R, versione 4.4.3 | Fondazione R per il Calcolo Statistico | Non applicabile | Analisi e visualizzazione statistica |
| Calcolatore online di formule per la leggibilità | Readability Formulas | Non applicabile | Strumento online utilizzato per calcolare gli indici di leggibilità |
| Piattaforma di chat Tongyi Qianwen | Tongyi Qianwen | https://www.tongyi.com/ | Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte |
| Piattaforma di chat Wenxin Yiyan | Wenxin Yiyan | https://yiyan.baidu.com/ | Interfaccia pubblicamente accessibile di un modello linguistico di grandi dimensioni utilizzata per generare risposte |
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.