Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.
Artículo de investigación
Aquí presentamos un protocolo para evaluar sistemáticamente la legibilidad, adecuación educativa y calidad de la información para pacientes sobre la neuralgia del trigémino generada por modelos de lenguaje de gran tamaño, con el fin de establecer puntos de referencia para los modelos y orientar la comunicación dirigida a los pacientes.
Los modelos de lenguaje grandes (LLM) se utilizan cada vez más para la educación sanitaria de los pacientes, aunque la legibilidad y la calidad educativa de la información generada por LLM sobre la neuralgia del trigémino (TN) no han sido evaluadas suficientemente. Este estudio transversal de referencia comparó contenidos educativos sobre TN generados por cinco LLM disponibles públicamente (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen y GPT-5). Se presentaron a cada modelo veinte preguntas frecuentes sobre TN, que abarcaban conocimientos básicos de la enfermedad, etiología/factores de riesgo, diagnóstico, tratamiento y prevención/rehabilitación, utilizando instrucciones estandarizadas. La legibilidad se evaluó mediante siete índices establecidos, la idoneidad educativa mediante la Herramienta de Evaluación de Materiales Educativos para Pacientes para Comprendibilidad y Accionabilidad (PEMAT) y la calidad general de la información mediante la Puntuación Global de Calidad (GQS). Dos expertos clínicos evaluaron de forma independiente todas las respuestas, resolviendo las discrepancias mediante un árbitro principal. Los análisis estadísticos compararon el rendimiento de los modelos, las diferencias temáticas y las correlaciones entre las métricas de evaluación. Se observaron diferencias significativas entre los modelos en las puntuaciones de legibilidad, PEMAT y GQS. GPT-5 generó las respuestas más complejas lingüísticamente, pero obtuvo las calificaciones más altas en idoneidad educativa y calidad de la información. En contraste, Wenxin Yiyan produjo el texto más legible, pero generalmente obtuvo puntuaciones más bajas en PEMAT y GQS. La categoría del contenido influyó en la legibilidad, siendo los temas de prevención/rehabilitación y etiología/factores de riesgo más difíciles de leer, mientras que PEMAT y GQS se mantuvieron relativamente constantes entre los temas. Los índices de legibilidad mostraron una fuerte consistencia interna y correlaciones positivas débiles a moderadas con PEMAT y GQS, mientras que PEMAT y GQS mostraron una correlación positiva moderada. Estos hallazgos sugieren que la selección del modelo influye en la idoneidad educativa y en la calidad general de la información valoradas por expertos, mientras que la complejidad del tema afecta principalmente a la legibilidad. Dado que no se evaluaron la comprensión del paciente, la satisfacción, la confianza, los resultados sanitarios, la precisión factual ni la seguridad clínica, estos resultados deben interpretarse como un análisis de referencia valorado por expertos, y no como evidencia de preparación clínica.
La neuralgia del trigémino (NT) es un síndrome de dolor neuropático caracterizado por episodios recurrentes de dolor facial unilateral, breve e intensamente severo, comúnmente descrito como una descarga eléctrica o punzante. Según la Clasificación Internacional de Trastornos de Cefalea, tercera edición (ICHD-3), el dolor se localiza típicamente en la distribución de una o más ramas del nervio trigémino, suele ser insoportable en intensidad y puede desencadenarse por estímulos inócuos como el tacto ligero, el lavado facial, el cepillado dental, hablar o masticar. Los ataques se caracterizan por un inicio súbito y una cesación abrupta, con duraciones que van desde fracciones de segundo hasta varios minutos1,2. Aunque la NT generalmente no es mortal, su dolor intenso e impredecible interrumpe sustancialmente las actividades diarias esenciales, incluyendo la alimentación, el habla, el sueño y la regulación emocional, lo que provoca una carga psicosocial considerable y una calidad de vida deteriorada. Evidencia proveniente de revisiones sistemáticas indica que las personas con NT enfrentan un riesgo significativamente elevado de depresión, ansiedad y trastornos del sueño en comparación con la población general3,4. En estudios de cohortes grandes, aproximadamente entre el 35 % y el 55 % de los pacientes con NT presentan síntomas clínicamente significativos de ansiedad o depresión, y la catastrofización del dolor es altamente prevalente, lo que sugiere una interacción bidireccional entre el dolor crónico severo, el insomnio y los trastornos afectivos5,6. Las estimaciones epidemiológicas indican que la prevalencia de la NT en la población general oscila entre aproximadamente el 0,03 % y el 0,3 %, con una mayor frecuencia entre mujeres y adultos mayores, y variaciones notables entre regiones geográficas, grupos étnicos y estratos de edad7,8. En países altamente poblados, como China e India, el envejecimiento acelerado de la población ha ido acompañado de un aumento sostenido en el número de personas afectadas por NT, lo que impone una carga creciente sobre los sistemas de salud y subraya la necesidad de enfoques más eficaces, escalables y basados en datos para la evaluación y el manejo de la enfermedad8,9.
El TN puede clasificarse en subtipos clásico, secundario e idiopático, con una evidencia creciente que demuestra diferencias sustanciales en los mecanismos etiológicos y las estrategias terapéuticas entre estas categorías1,10. Estudios actuales sugieren que los cambios estructurales relacionados con el conflicto neurovascular en la zona de entrada de la raíz del nervio trigémino, la hiperexcitabilidad del nervio periférico y la modulación alterada del dolor central contribuyen conjuntamente a la patogénesis de la enfermedad11,12. Las guías clínicas recomiendan la carbamazepina y la oxcarbazepina como tratamientos de primera línea, mientras que se consideran enfoques quirúrgicos o intervencionistas cuando la terapia farmacológica resulta ineficaz o mal tolerada10. A pesar de estos avances terapéuticos, el TN se caracteriza por un curso recidivante-remisivo, y la recurrencia prolongada del dolor sigue siendo común, lo que dificulta lograr una remisión permanente13. En consecuencia, el seguimiento a largo plazo y la gestión estructurada de la enfermedad crónica son esenciales para monitorear el riesgo de recurrencia, la respuesta al tratamiento y las complicaciones. Estudios longitudinales de cohorte indican que, bajo estrategias de manejo estandarizadas (incluyendo tratamiento farmacológico, intervención quirúrgica cuando está indicada y seguimiento integral), aproximadamente la mitad de los pacientes que reciben manejo conservador pueden lograr una reducción ≥50 % en la carga total del dolor dentro de los dos años, sin progresión inevitable de la enfermedad14. Estos hallazgos subrayan la importancia de mantener el compromiso del paciente y una educación sanitaria eficaz para la gestión prolongada de la enfermedad. La evidencia sugiere que los pacientes con una mejor comprensión de la etiología, la fisiopatología y las opciones de tratamiento de la enfermedad tienen más probabilidades de participar activamente y adherirse a los regímenes terapéuticos, lo que conduce a mejores resultados15. Sin embargo, los enfoques tradicionales de educación sanitaria suelen tener alcance y escalabilidad limitados. Con la amplia adopción de internet, especialmente plataformas en línea de preguntas y respuestas y redes sociales, los pacientes dependen cada vez más de fuentes digitales para obtener información médica16,17. No obstante, la variabilidad considerable en la alfabetización en salud individual y en la capacidad de acceder, procesar y comprender información básica sobre salud para tomar decisiones informadas representa una barrera importante para una educación eficaz del paciente18. Además, la calidad desigual de la información sanitaria en línea, incluyendo contenidos inexactos o engañosos, puede influir negativamente en las decisiones médicas y el bienestar psicológico de los pacientes19.
Las tecnologías de inteligencia artificial (IA), particularmente el rápido desarrollo de modelos de lenguaje de gran tamaño (LLMs) en los últimos años, han creado nuevas oportunidades para la comunicación científica médica y la educación en salud20. Entrenados con corpus textuales a gran escala, estos modelos pueden generar respuestas estructuradas y lógicamente coherentes mediante interacciones en lenguaje natural21. Sistemas internacionales representativos, como ChatGPT, han demostrado un potencial prometedor en la respuesta a preguntas médicas, la consulta con pacientes y la educación médica22,23. Varios LLMs funcionalmente similares han surgido en China, con una cobertura de usuarios y escenarios de aplicación en continua expansión24. A pesar de estos avances, la aplicación de los LLMs en la divulgación científica médica aún enfrenta desafíos importantes, incluyendo la fiabilidad de los datos de entrenamiento, la frecuencia de actualización, la precisión científica de las respuestas generadas y la falta de validación clínica25. Además, las diferencias entre modelos en estilo lingüístico, legibilidad, estructura lógica y precisión en las citas pueden influir directamente en la comprensión y la confianza de los pacientes en la información relacionada con la salud26. Hasta la fecha, las evaluaciones sistemáticas del rendimiento de los LLMs en la educación sanitaria relacionada con TN han sido limitadas.
Por lo tanto, este estudio tuvo como objetivo evaluar y comparar sistemáticamente el desempeño de cuatro modelos lingüísticos grandes (LLM) chinos ampliamente utilizados (Doubao, DeepSeek, Wenxin Yiyan y Tongyi Qianwen) y un LLM internacional representativo (ChatGPT) al responder preguntas de educación para pacientes relacionadas con la neuralgia del trigémino (TN). Mediante un diseño transversal, construimos un conjunto de preguntas sobre TN basado en guías clínicas y preocupaciones comunes de los pacientes, y evaluamos las respuestas generadas por cinco LLM disponibles públicamente (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen y GPT-5). La legibilidad se evaluó mediante múltiples métricas, y la comprensibilidad y la capacidad de acción se analizaron utilizando la Herramienta de Evaluación de Materiales de Educación para Pacientes (PEMAT). La calidad general de la información se evaluó mediante la Puntuación Global de Calidad (GQS). Además, analizamos cómo diferentes temas de educación sanitaria influyen en estas métricas de evaluación y en sus interrelaciones, con el fin de proporcionar orientación basada en evidencia para la selección y optimización de los LLM en la comunicación clínica sobre salud.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Este estudio analizó únicamente texto generado por inteligencia artificial y no involucró a participantes humanos, animales, especímenes biológicos, historiales médicos, información personal identificable ni intervenciones en la atención clínica. Por lo tanto, no fue necesaria la revisión ética ni el consentimiento informado formal.
Diseño del estudio
Este estudio transversal evaluó la legibilidad, calidad y adecuación educativa de las respuestas generadas por cinco LLM en respuesta a preguntas frecuentes sobre la TN.
Identificación de preguntas frecuentes relacionadas con la neuralgia del trigémino
El 25 de noviembre de 2025, dos expertos clínicos con amplia experiencia en medicina del dolor revisaron de forma independiente las actuales guías clínicas para la neuralgia del trigémino (NT), incluyendo la Clasificación Internacional de Trastornos de Cefalea, tercera edición (ICHD-3), la guía de la Academia Europea de Neurología y la guía de la Academia Americana de Neurología/Federación Europea de Sociedades Neurológicas1,10,11. Tras una discusión de consenso, elaboraron una lista de 20 preguntas relacionadas con la NT comúnmente encontradas en la práctica clínica. El número de preguntas se determinó a priori para proporcionar una cobertura equilibrada de los cinco dominios temáticos predefinidos, seleccionando cuatro preguntas para cada dominio, manteniendo al mismo tiempo el número total de respuestas generadas por el modelo dentro de un rango factible para la evaluación y verificación manual por expertos. Para mejorar la reproducibilidad, el proceso de selección siguió un marco predefinido basado en dominios: los expertos primero identificaron preguntas candidatas dentro de cada dominio, las revisaron de forma independiente en cuanto a relevancia clínica, redacción orientada al paciente y evitación de redundancias, y luego alcanzaron un consenso sobre las cuatro preguntas finales por dominio. La lista final de preguntas se proporciona en Tabla 1 y Archivo Suplementario 1. Los cinco dominios temáticos predefinidos fueron conocimientos básicos sobre la enfermedad, etiología y factores de riesgo, diagnóstico, tratamiento, y prevención y rehabilitación. Dado que el conjunto de preguntas no se derivó de registros de búsquedas de pacientes, consultas en línea ni entrevistas formales con pacientes, se reconoce como una limitación del estudio el potencial de sesgo de selección.
Modelos de IA y procedimiento de recopilación de datos
El 25 de noviembre de 2025, se envió el conjunto final de 20 preguntas relacionadas con TN a cinco plataformas públicamente accesibles de modelos de lenguaje grandes (LLM, por sus siglas en inglés): Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen y GPT-5/ChatGPT. Se accedió a todos los modelos a través de sus interfaces de chat web públicas estándar; no se utilizó acceso mediante interfaz de programación de aplicaciones (API). Para cada plataforma, se empleó el modelo disponible públicamente por defecto en la fecha de recopilación de datos, sin modificar ningún parámetro de generación. Dado que las interfaces web públicas no mostraban identificadores de versión del modelo del backend, indicaciones del sistema ocultas, temperatura, top-p, número máximo de tokens de salida u otros parámetros de generación, estos elementos se registraron como «no mostrados en la interfaz web pública».
Los idiomas de los prompts y las respuestas fueron inglés para todos los modelos. Cada prompt estandarizado consistió únicamente en la pregunta en inglés textual, sin instrucciones adicionales específicas para el modelo. Cada pregunta se envió individualmente en una nueva sesión de chat independiente, sin historial previo de conversación, archivos cargados, complementos, instrucciones personalizadas ni preguntas de seguimiento. La lista completa de prompts estandarizados y las salidas brutas correspondientes de los modelos se proporciona en Supplementary File 1. Los metadatos de los modelos y la configuración de recopilación de datos se resumen en Supplementary Table 1.
Evaluación de legibilidad
La legibilidad de las respuestas generadas por modelos de lenguaje de gran tamaño (LLM) se evaluó utilizando varias fórmulas de legibilidad establecidas disponibles a través de una plataforma en línea de evaluación de legibilidad (http://readabilityformulas.com/). Dado que no existe un estándar universalmente aceptado como referencia para la evaluación de la legibilidad y en concordancia con estudios previos, se empleó un conjunto integral de índices de legibilidad ampliamente utilizados23,27. Se seleccionaron siete índices para captar aspectos complementarios de la legibilidad, incluyendo la longitud de la oración, la longitud de la palabra, la carga silábica, la complejidad basada en caracteres, la facilidad de lectura y el nivel escolar estimado, reduciendo así la dependencia de una única fórmula. Específicamente, se calcularon el Índice de Coleman-Liau (CL), la Fórmula Linsear Write (LW), el Índice Automatizado de Legibilidad (ARI), la Medida Simple de Gobbledygook (SMOG), el Índice Gunning Fog (GFOG), la Puntuación de Facilidad de Lectura de Flesch (FRES) y el Nivel Escolar de Flesch-Kincaid (FKGL). Estos índices estiman la dificultad de lectura o el nivel escolar y proporcionan medidas cuantitativas de la legibilidad del texto (Tabla 2).
Evaluación de la idoneidad educativa y la calidad de la información
La adecuación educativa se evaluó utilizando la Herramienta de Evaluación de Materiales Educativos para Pacientes (Patient Education Materials Assessment Tool, PEMAT), que comprende dos dominios: comprensibilidad y capacidad de acción28. El instrumento incluye 24 ítems, de los cuales 16 evalúan la comprensibilidad y ocho evalúan la capacidad de acción. Cada ítem se puntuó de forma dicotómica (0 = criterio no cumplido; 1 = criterio cumplido), obteniéndose una puntuación total que oscila entre 0 y 24, siendo las puntuaciones más altas indicativas de una mayor adecuación para la educación del paciente. La calidad general de la información se evaluó mediante la Puntuación Global de Calidad (Global Quality Score, GQS)27, una escala tipo Likert de cinco puntos ampliamente utilizada para evaluar la calidad de la información médica (Tabla 3).
El 25 de noviembre de 2025, dos expertos clínicos con más de 3 años de experiencia en el manejo de la neuralgia del trigémino evaluaron todas las respuestas generadas por inteligencia artificial utilizando ambos instrumentos de evaluación. Antes de la calificación, todas las respuestas generadas por inteligencia artificial se anonimizaron con identificadores codificados, y los revisores permanecieron ciegos respecto a la plataforma de modelos de lenguaje de gran tamaño durante las evaluaciones del PEMAT y del GQS. Las discrepancias se resolvieron mediante un tercer experto senior, quien determinó las puntuaciones finales. La fiabilidad entre evaluadores se evaluó mediante el coeficiente kappa de Cohen, en el que valores >0,75 indican un acuerdo excelente, de 0,40 a 0,75 un acuerdo aceptable y <0,40 un acuerdo deficiente. Los valores kappa de Cohen tanto para el PEMAT como para el GQS superaron 0,75, lo que demuestra una excelente fiabilidad entre evaluadores.
Análisis estadístico
Todos los análisis estadísticos se realizaron utilizando el software R (versión 4.4.3). La normalidad de los datos se evaluó mediante la prueba de Shapiro-Wilk y gráficos Q-Q. Las variables con distribución normal se resumieron como media ± desviación estándar y se compararon mediante análisis de varianza de un factor (ANOVA), seguido de la prueba post hoc de Tukey cuando correspondía. Las variables sin distribución normal se resumieron como medianas y rangos intercuartílicos y se compararon mediante la prueba de Kruskal-Wallis, seguida de la prueba post hoc de Dunn con corrección de Bonferroni para comparaciones por pares. Las correlaciones entre los índices de legibilidad, las puntuaciones PEMAT y los valores GQS se evaluaron utilizando el coeficiente de correlación de rangos de Spearman, aplicando la corrección de Benjamini-Hochberg para pruebas múltiples. Se consideró estadísticamente significativo un valor P ajustado bilateral < 0,05.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Este estudio evaluó sistemáticamente los efectos de los modelos de lenguaje grandes (LLMs) y de diferentes categorías de contenido educativo en salud sobre la legibilidad y calidad de los textos generados. En primer lugar, comparamos el desempeño de cinco LLMs—Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen y GPT-5—en cuanto a la adecuación para la educación del paciente, la calidad general de la información y múltiples métricas de legibilidad, incluyendo la puntuación PEMAT, GQS e índices de legibilidad establecidos (ARI...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Este estudio transversal de referencia comparó sistemáticamente la legibilidad, la idoneidad educativa y la calidad general de la información en materiales educativos sobre la neuralgia del trigémino (TN) generados por cinco modelos de lenguaje grandes (LLM) disponibles públicamente. Surgieron cuatro hallazgos principales. Primero, la legibilidad varió sustancialmente entre los modelos, siendo GPT-5 el que generó las respuestas más complejas lingüísticamente, mientras que Wenxin Yiyan produjo el contenido más legible. Se...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Los autores declaran que no tienen intereses competitivos.
Esta investigación no recibió ninguna subvención específica de ninguna agencia financiadora de los sectores público, comercial o sin fines de lucro. Los autores agradecen a los colegas clínicos que proporcionaron comentarios sobre el conjunto de preguntas relacionadas con la neuralgia del trigémino y ayudaron a perfeccionar el marco de evaluación. También agradecemos a todos los colaboradores que apoyaron la preparación y revisión del manuscrito.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| Plataforma de chat DeepSeek | DeepSeek | https://chat.deepseek.com/ | Interfaz pública de modelo de lenguaje de gran tamaño utilizada para generar respuestas |
| Plataforma de chat Doubao | Doubao | https://www.doubao.com/chat/ | Interfaz pública de modelo de lenguaje de gran tamaño utilizada para generar respuestas |
| GPT 5 | OpenAI | No aplicable | Interfaz pública de modelo de lenguaje de gran tamaño utilizada para generar respuestas |
| Software R, versión 4.4.3 | Foundation R para la Computación Estadística | No aplicable | Análisis estadístico y visualización |
| Calculadora en línea de fórmulas de legibilidad | Readability Formulas | No aplicable | Herramienta en línea utilizada para calcular índices de legibilidad |
| Plataforma de chat Tongyi Qianwen | Tongyi Qianwen | https://www.tongyi.com/ | Interfaz pública de modelo de lenguaje de gran tamaño utilizada para generar respuestas |
| Plataforma de chat Wenxin Yiyan | Wenxin Yiyan | https://yiyan.baidu.com/ | Interfaz pública de modelo de lenguaje de gran tamaño utilizada para generar respuestas |
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.