Hier stellen wir ein Protokoll vor, um systematisch die Lesbarkeit, pädagogische Eignung und Qualität patientenbezogener Informationen zum trigeminalen Neuralgie, die von großen Sprachmodellen generiert wurden, zu bewerten, um Modelle zu vergleichen und die Kommunikation mit Patienten zu leiten.
Forschungsartikel
Lesbarkeit und Qualität der Patientenaufklärung durch große Sprachmodelle bei Trigeminusneuralgie: Eine Querschnittsstudie
In diesem Artikel
Zusammenfassung
Zusammenfassung
Große Sprachmodelle (LLMs) werden zunehmend für die Patientenaufklärung genutzt, doch die Lesbarkeit und pädagogische Qualität von LLM-generierten Informationen zur Trigeminusneuralgie (TN) wurde bisher unzureichend bewertet. Diese querschnittliche Benchmark-Studie verglich TN-Aufklärungsinhalte, die von fünf öffentlich verfügbaren LLMs generiert wurden (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen und GPT-5). Zwanzig häufig gestellte TN-Fragen, die grundlegendes Krankheitswissen, Ätiologie/Risikofaktoren, Diagnose, Therapie sowie Prävention/Rehabilitation abdeckten, wurden an jedes Modell mittels standardisierter Prompts gestellt. Die Lesbarkeit wurde anhand von sieben etablierten Indizes bewertet, die pädagogische Eignung mit dem Patient Education Materials Assessment Tool für Verständlichkeit und Handlungsorientierung (PEMAT) und die Gesamtinformationsqualität anhand der Global Quality Score (GQS). Zwei klinische Experten bewerteten alle Antworten unabhängig voneinander, wobei Meinungsverschiedenheiten durch einen erfahrenen Schiedsrichter beigelegt wurden. Statistische Analysen verglichen die Modelleistung, thematische Unterschiede und Korrelationen zwischen den Bewertungsmetriken. Es zeigten sich signifikante Unterschiede zwischen den Modellen hinsichtlich Lesbarkeit, PEMAT- und GQS-Werten. GPT-5 erzeugte die sprachlich komplexesten Antworten, erzielte jedoch die höchsten Bewertungen hinsichtlich pädagogischer Eignung und Informationsqualität. Im Gegensatz dazu lieferte Wenxin Yiyan den am leichtesten lesbaren Text, erzielte aber im Allgemeinen niedrigere Werte bei PEMAT und GQS. Die Inhaltskategorie beeinflusste die Lesbarkeit, wobei Themen zur Prävention/Rehabilitation und zur Ätiologie/Risikofaktoren schwerer verständlich waren, während PEMAT und GQS über die Themen hinweg relativ konstant blieben. Die Lesbarkeitsindizes wiesen eine hohe interne Konsistenz sowie schwache bis moderate positive Korrelationen mit PEMAT und GQS auf, während PEMAT und GQS eine moderate positive Korrelation aufwiesen. Diese Ergebnisse legen nahe, dass die Modellauswahl die von Experten bewertete pädagogische Eignung und die Gesamtinformationsqualität beeinflusst, während die thematische Komplexität vorrangig die Lesbarkeit beeinträchtigt. Da Verständnis, Zufriedenheit, Vertrauen, Gesundheitsoutcomes, faktische Genauigkeit und klinische Sicherheit der Patienten nicht evaluiert wurden, sollten diese Ergebnisse als expertenbasierte Benchmark-Analyse und nicht als Beleg für klinische Einsatzbereitschaft interpretiert werden.
Einleitung
Trigeminusneuralgie (TN) ist ein neuropathisches Schmerzsyndrom, das durch wiederkehrende Episoden einseitiger, kurzer und äußerst heftiger Gesichtsschmerzen gekennzeichnet ist, die häufig als elektrische Schock- oder Stichschmerzen beschrieben werden. Laut der Internationalen Klassifikation von Kopfschmerzerkrankungen, 3. Auflage (ICHD-3), ist der Schmerz typischerweise auf das Versorgungsgebiet eines oder mehrerer Äste des Nervus trigeminus begrenzt, oft in unerträglicher Intensität und kann durch harmlose Reize wie leichtes Berühren, Gesichtswaschen, Zähneputzen, Sprechen oder Kauen ausgelöst werden. Die Anfälle zeichnen sich durch plötzlichen Beginn und abruptes Ende aus und dauern von Bruchteilen einer Sekunde bis zu mehreren Minuten1,2. Obwohl TN in der Regel nicht lebensbedrohlich ist, beeinträchtigt der starke und unvorhersehbare Schmerz wesentliche alltägliche Aktivitäten erheblich, darunter Essen, Sprechen, Schlaf und emotionale Regulation, was zu einer erheblichen psychosozialen Belastung und einer verminderten Lebensqualität führt. Evidenz aus systematischen Übersichtsarbeiten zeigt, dass Personen mit TN im Vergleich zur Allgemeinbevölkerung ein signifikant erhöhtes Risiko für Depressionen, Angststörungen und Schlafstörungen aufweisen3,4. In großen Kohortenstudien weisen etwa 35–55 % der TN-Patienten klinisch relevante Symptome von Angst oder Depression auf, und Schmerzkatastrophisierung ist weit verbreitet, was auf eine wechselseitige Interaktion zwischen chronischen schweren Schmerzen, Schlaflosigkeit und affektiven Störungen hindeutet5,6. Epidemiologische Schätzungen zufolge liegt die Prävalenz von TN in der Allgemeinbevölkerung zwischen etwa 0,03 % und 0,3 %, wobei eine höhere Häufigkeit bei Frauen und älteren Erwachsenen sowie bemerkenswerte Unterschiede zwischen geografischen Regionen, ethnischen Gruppen und Altersschichten bestehen7,8. In stark bevölkerten Ländern wie China und Indien ist mit der raschen Alterung der Bevölkerung ein anhaltender Anstieg der Zahl der von TN Betroffenen verbunden, was die Gesundheitssysteme zunehmend belastet und die Notwendigkeit wirksamerer, skalierbarer und datengestützter Ansätze zur Beurteilung und Behandlung der Erkrankung unterstreicht8,9.
TN kann in die Untertypen klassisch, sekundär und idiopathisch eingeteilt werden, wobei zunehmende Evidenz erhebliche Unterschiede in den ätiologischen Mechanismen und therapeutischen Strategien zwischen diesen Kategorien belegt1,10. Aktuelle Studien legen nahe, dass strukturelle Veränderungen im Eintrittsbereich der Nervenwurzel des Nervus trigeminus, die mit einem neurovaskulären Konflikt assoziiert sind, eine periphere Nervenhypererregbarkeit sowie eine veränderte zentrale Schmerzmodulation gemeinsam zur Pathogenese der Erkrankung beitragen11,12. Klinische Leitlinien empfehlen Carbamazepin und Oxcarbazepin als Therapie der ersten Wahl, während chirurgische oder interventionelle Maßnahmen in Betracht gezogen werden, wenn eine pharmakologische Therapie unwirksam oder schlecht verträglich ist10. Trotz dieser therapeutischen Fortschritte zeichnet sich TN durch einen rezidivierend-remittierenden Verlauf aus, und langfristige Schmerzrezidive bleiben häufig, sodass eine dauerhafte Remission schwer zu erreichen ist13. Folglich sind eine langfristige Nachsorge und ein strukturiertes Management chronischer Erkrankungen unerlässlich, um das Rezidivrisiko, die Therapieantwort und Komplikationen zu überwachen. Längsschnittliche Kohortenstudien zeigen, dass unter standardisierten Managementstrategien (einschließlich pharmakologischer Behandlung, indizierter chirurgischer Intervention und umfassender Nachsorge) etwa die Hälfte der Patienten, die einer konservativen Therapie unterzogen werden, innerhalb von zwei Jahren eine Reduktion der gesamten Schmerzbelastung um ≥50 % erreichen kann, ohne dass ein unvermeidlicher Krankheitsprogress eintritt14. Diese Befunde unterstreichen die Bedeutung einer nachhaltigen Patientenbeteiligung und einer wirksamen Gesundheitsaufklärung für das langfristige Krankheitsmanagement. Evidenz legt nahe, dass Patienten mit einem besseren Verständnis der Krankheitsätiologie, der Pathophysiologie und der Behandlungsoptionen eher bereit sind, aktiv an therapeutischen Maßnahmen teilzunehmen und diese einzuhalten, was zu verbesserten Behandlungsergebnissen führt15. Traditionelle Ansätze der Gesundheitsaufklärung sind jedoch häufig in ihrer Reichweite und Skalierbarkeit begrenzt. Angesichts der weiten Verbreitung des Internets, insbesondere von Online-Frage-und-Antwort-Plattformen und sozialen Medien, verlassen sich Patienten zunehmend auf digitale Quellen, um medizinische Informationen zu erhalten16,17. Dennoch stellen erhebliche Unterschiede in der individuellen Gesundheitskompetenz sowie die Fähigkeit, grundlegende Gesundheitsinformationen zugänglich zu machen, zu verarbeiten und zu verstehen, um informierte Entscheidungen zu treffen, erhebliche Barrieren für eine wirksame Patientenaufklärung dar18. Zudem kann die uneinheitliche Qualität von Online-Gesundheitsinformationen, einschließlich ungenauer oder irreführender Inhalte, die medizinischen Entscheidungen und das psychische Wohlbefinden der Patienten negativ beeinflussen19.
Künstliche Intelligenz (KI), insbesondere die rasante Entwicklung großer Sprachmodelle (LLMs) in den letzten Jahren, hat neue Möglichkeiten für die Wissenschaftskommunikation im medizinischen Bereich und die Gesundheitsaufklärung geschaffen20. Diese auf umfangreichen Textkorpora trainierten Modelle können durch Interaktion in natürlicher Sprache strukturierte und logisch kohärente Antworten generieren21. Repräsentative internationale Systeme wie ChatGPT haben vielversprechendes Potenzial für die Beantwortung medizinischer Fragen, die Patientenberatung und die medizinische Ausbildung gezeigt22,23. In China sind mehrere funktional ähnliche LLMs entstanden, deren Nutzerkreis und Anwendungsszenarien sich kontinuierlich erweitern24. Trotz dieser Fortschritte stehen die Anwendungen von LLMs in der medizinischen Volksaufklärung nach wie vor vor erheblichen Herausforderungen, darunter die Zuverlässigkeit der Trainingsdaten, die Aktualisierungshäufigkeit, die wissenschaftliche Genauigkeit der generierten Antworten sowie der Mangel an klinischer Validierung25. Zudem können Unterschiede zwischen Modellen hinsichtlich Sprachstil, Lesbarkeit, logischer Struktur und Zitiergenauigkeit das Verständnis und das Vertrauen der Patienten in gesundheitsrelevante Informationen direkt beeinflussen26. Bisher gibt es nur begrenzte systematische Bewertungen der Leistung von LLMs im Bereich der gesundheitlichen Aufklärung zu Themen rund um TN.
Daher hatte diese Studie zum Ziel, die Leistung von vier weit verbreiteten chinesischen LLMs (Doubao, DeepSeek, Wenxin Yiyan und Tongyi Qianwen) und eines repräsentativen internationalen LLMs (ChatGPT) bei der Beantwortung von Patientenaufklärungsfragen im Zusammenhang mit TN systematisch zu bewerten und zu vergleichen. Mithilfe eines Querschnittdesigns erstellten wir einen TN-Fragenkatalog basierend auf klinischen Leitlinien und häufigen patientenseitigen Anliegen und bewerteten die von fünf öffentlich verfügbaren LLMs (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen und GPT-5) generierten Antworten. Die Lesbarkeit wurde anhand mehrerer Metriken bewertet, während Verständlichkeit und Handlungsorientierung mit dem Patient Education Materials Assessment Tool (PEMAT) erhoben wurden. Die Gesamtinformationsqualität wurde anhand der Global Quality Score (GQS) bewertet. Zusätzlich analysierten wir, wie unterschiedliche Themen der Gesundheitsaufklärung diese Bewertungsmetriken und deren Wechselbeziehungen beeinflussen, um evidenzbasierte Empfehlungen für die Auswahl und Optimierung von LLMs in der klinischen Gesundheitskommunikation bereitzustellen.
Protokoll
Diese Studie analysierte ausschließlich künstlich generierte Texte und umfasste keine menschlichen Probanden, Tiere, biologischen Proben, Krankenakten, identifizierbare personenbezogene Daten oder Eingriffe in die klinische Versorgung. Daher war eine Ethikprüfung und eine formelle Einwilligung nicht erforderlich.
Studienaufbau
Diese Querschnittsstudie bewertete die Lesbarkeit, Qualität und didaktische Eignung der Antworten, die fünf LLMs als Reaktion auf häufig gestellte Fragen zu TN generierten.
Identifizierung häufig gestellter Fragen zum Trigeminusnerv
Am 25. November 2025 überprüften zwei klinische Experten mit umfangreicher Erfahrung in der Schmerzmedizin unabhängig voneinander die aktuellen klinischen Leitlinien zur Trigeminusneuralgie (TN), einschließlich der Internationalen Klassifikation der Kopfschmerzerkrankungen, 3. Auflage (ICHD-3), der Leitlinie der Europäischen Akademie für Neurologie sowie der Leitlinie der American Academy of Neurology/Europäischen Föderation neurologischer Gesellschaften1,10,11. Nach einer Konsensusdiskussion erstellten sie eine Liste mit 20 in der klinischen Praxis häufig auftretenden, TN-bezogenen Fragen. Die Anzahl der Fragen wurde a priori festgelegt, um eine ausgewogene Abdeckung der fünf vorab definierten thematischen Bereiche sicherzustellen, wobei jeweils vier Fragen pro Bereich ausgewählt wurden, während die Gesamtanzahl der modellgenerierten Antworten in einem für die manuelle Bewertung und Verifizierung durch Experten praktikablen Bereich blieb. Zur Verbesserung der Reproduzierbarkeit folgte der Auswahlprozess einem vorab festgelegten, domänenbasierten Rahmen: Die Experten identifizierten zunächst Kandidatenfragen innerhalb jedes Bereichs, prüften diese unabhängig auf klinische Relevanz, patientenorientierte Formulierung und Vermeidung von Redundanz und einigten sich anschließend auf die endgültigen vier Fragen pro Bereich. Die endgültige Liste der Fragen ist in Tabelle 1 und Zusatzdatei 1 enthalten. Die fünf vorab definierten thematischen Bereiche waren grundlegendes Krankheitswissen, Ätiologie und Risikofaktoren, Diagnose, Therapie sowie Prävention und Rehabilitation. Da der Fragenkatalog nicht aus Patientensuchprotokollen, Online-Suchanfragen oder formellen Patienteninterviews abgeleitet wurde, wird eine mögliche Selektionsverzerrung als Studienlimitation anerkannt.
KI-Modelle und Datenerhebungsverfahren
Am 25. November 2025 wurde der endgültige Satz mit 20 TN-bezogenen Fragen fünf öffentlich zugänglichen Plattformen für große Sprachmodelle (LLM) übermittelt: Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen und GPT-5/ChatGPT. Auf alle Modelle wurde über ihre standardmäßigen, öffentlichen Web-Chat-Schnittstellen zugegriffen; der Zugriff erfolgte nicht über eine Programmierschnittstelle (API). Für jede Plattform wurde das jeweils am Tag der Datenerhebung standardmäßig verfügbare öffentliche Modell verwendet, ohne irgendwelche Generierungsparameter zu verändern. Da die öffentlichen Webschnittstellen keine Backend-Modellversionen, versteckten Systemanweisungen, Temperatur, Top-p, maximale Ausgabewörter oder andere Generierungsparameter anzeigten, wurden diese Angaben als „nicht in der öffentlichen Webschnittstelle angezeigt“ dokumentiert.
Die Ausgangssprache und die Antwortsprache waren für alle Modelle Englisch. Jede standardisierte Aufforderung bestand ausschließlich aus der wörtlichen englischen Frage ohne zusätzliche, modellspezifische Anweisungen. Jede Frage wurde einzeln in einer neuen, unabhängigen Chat-Sitzung ohne vorherigen Gesprächsverlauf, hochgeladene Dateien, Plug-Ins, angepasste Anweisungen oder Nachfragen eingereicht. Die vollständige Liste der standardisierten Aufforderungen und die entsprechenden rohen Modellergebnisse sind in Supplementary File 1 enthalten. Die Metadaten der Modelle und die Einstellungen zur Datensammlung sind in Supplementary Table 1 zusammengefasst.
Beurteilung der Lesbarkeit
Die Lesbarkeit der von LLMs generierten Antworten wurde mithilfe mehrerer etablierter Formeln zur Lesbarkeitsbewertung bewertet, die über eine Online-Plattform zur Lesbarkeitsanalyse verfügbar sind (http://readabilityformulas.com/). Angesichts des Fehlens eines universell anerkannten Goldstandards zur Bewertung der Lesbarkeit und in Übereinstimmung mit früheren Studien kam ein umfassender Satz weit verbreiteter Lesbarkeitsindizes zum Einsatz23,27. Sieben Indizes wurden ausgewählt, um komplementäre Aspekte der Lesbarkeit abzudecken, darunter Satzlänge, Wortlänge, Silbenbelastung, zeichenbasierte Komplexität, Lesefreundlichkeit und geschätzte Schulstufe, wodurch die Abhängigkeit von einer einzelnen Formel verringert wurde. Konkret wurden der Coleman-Liau-Index (CL), die Linsear-Write-Formel (LW), der Automated Readability Index (ARI), das Simple Measure of Gobbledygook (SMOG), der Gunning-Fog-Index (GFOG), der Flesch-Lesefreundlichkeitswert (FRES) und der Flesch-Kincaid-Schulstufenindex (FKGL) berechnet. Diese Indizes schätzen den Leseschwierigkeitsgrad bzw. die Schulstufe und liefern quantitative Maße für die Lesbarkeit des Textes (Tabelle 2).
Beurteilung der pädagogischen Eignung und Informationsqualität
Die Eignung für die Bildung wurde mithilfe des Patient Education Materials Assessment Tool (PEMAT) bewertet, das zwei Bereiche umfasst: Verständlichkeit und Handlungsorientierung28. Das Instrument besteht aus 24 Einzelitems, wobei 16 die Verständlichkeit und acht die Handlungsorientierung beurteilen. Jedes Item wurde dichotom bewertet (0 = Kriterium nicht erfüllt; 1 = Kriterium erfüllt), was zu einer Gesamtpunktzahl zwischen 0 und 24 führt, wobei höhere Werte auf eine bessere Eignung für die Patientenaufklärung hinweisen. Die Gesamtqualität der Informationen wurde anhand der Global Quality Score (GQS)27 bewertet, einer weit verbreiteten fünfstufigen Likert-Skala zur Beurteilung der Qualität medizinischer Informationen (Tabelle 3).
Am 25. November 2025 bewerteten zwei klinische Experten mit mehr als drei Jahren Erfahrung im TN-Management alle KI-generierten Antworten unter Verwendung beider Bewertungsinstrumente. Vor der Bewertung wurden alle KI-generierten Antworten mit codierten Antwortkennungen anonymisiert, und die Prüfer waren während der PEMAT- und GQS-Bewertungen gegenüber der LLM-Plattform verblindet. Uneinigkeiten wurden von einem dritten, erfahrenen Experten beigelegt, der die endgültigen Bewertungen entschied. Die Übereinstimmung zwischen den Bewertenden wurde mittels des Cohens Kappa-Koeffizienten ermittelt, wobei Werte >0,75 auf eine hervorragende Übereinstimmung, 0,40–0,75 auf eine akzeptable Übereinstimmung und <0,40 auf eine schlechte Übereinstimmung hinweisen. Die Cohens Kappa-Werte sowohl für die PEMAT- als auch für die GQS lagen über 0,75 und zeigten somit eine hervorragende Übereinstimmung zwischen den Bewertenden.
Statistische Analyse
Alle statistischen Analysen wurden mit der R-Software (Version 4.4.3) durchgeführt. Die Datennormalität wurde mithilfe des Shapiro-Wilk-Tests und von Q-Q-Diagrammen überprüft. Normalverteilte Variablen wurden als Mittelwert ± Standardabweichung zusammengefasst und mittels einfaktorieller Varianzanalyse (ANOVA) verglichen, gefolgt von Tukeys Post-hoc-Test, wenn angebracht. Nicht normalverteilte Variablen wurden als Mediane und Interquartilbereiche dargestellt und mittels des Kruskal-Wallis-Tests verglichen, gefolgt von DUNNs Post-hoc-Test mit Bonferroni-Korrektur für paarweise Vergleiche. Zusammenhänge zwischen Lesbarkeitsindizes, PEMAT-Scores und GQS-Werten wurden mittels Spearmans Rangkorrelationskoeffizienten bewertet, wobei eine Benjamini-Hochberg-Korrektur für Mehrfachvergleiche angewandt wurde. Ein zweiseitiger adjustierter P-Wert < 0,05 galt als statistisch signifikant.
Ergebnisse
Diese Studie bewertete systematisch die Auswirkungen großer Sprachmodelle (LLMs) und verschiedener Kategorien von Gesundheitsbildungsinhalten auf die Lesbarkeit und Qualität der generierten Texte. Zunächst verglichen wir die Leistungsfähigkeit von fünf LLMs – Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen und GPT-5 – hinsichtlich der Eignung für die Patientenaufklärung, der Gesamtinformationsqualität sowie mehrerer Lesbarkeitsmetriken, einschließlich des PEMAT-Scores, des GQS und etablierter Lesbarkeitsindizes (ARI, FRES, GFOG, FKGL, CL, SMOG und LW). Danach untersuchten wir dieselben Outcome-Maße in fünf thematischen Bereichen der Gesundheitsaufklärung: Grundlagenwissen über Erkrankungen, Ätiologie und Risikofaktoren, Diagnose, Therapie sowie Prävention und Rehabilitation. Durch die Integration dieser beiden Analyseperspektiven erforschten wir zudem, wie Modelltyp und Inhaltskategorie gemeinsam die Textqualität und Lesbarkeit beeinflussen, und identifizierten so systematische Muster in von LLMs generierten Patientenaufklärungsmaterialien.
Analysen der Lesbarkeit über verschiedene große Sprachmodelle hinweg
Sieben etablierte Lesbarkeitsindizes wurden verwendet, um die sprachliche Komplexität von textuellen Inhalten zum Thema Trigeminusneuralgie, die von fünf großen Sprachmodellen generiert wurden – Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen und GPT-5 – systematisch zu vergleichen. Die Gesamtergebnisse sind in Tabelle 4 zusammengefasst, und die Verteilungen der einzelnen Lesbarkeitsmetriken sind in Abbildung 1A–G dargestellt. Bei allen Lesbarkeitsindizes zeigten sich statistisch signifikante Unterschiede zwischen den fünf Modellen, jeweils mit P < 0,001.
GPT-5 wies die höchsten Medianwerte für ARI, GFOG, FKGL, CL und SMOG sowie den niedrigsten FRES auf, was darauf hindeutet, dass es Texte mit längeren Satzstrukturen, komplexerem Wortschatz und der insgesamt höchsten Leselast erzeugt hat (Abbildung 1A–G). Im Gegensatz dazu zeigte Wenxin Yiyan die geringste sprachliche Komplexität. Seine Medianwerte für ARI, GFOG, FKGL, CL und SMOG lagen unter denen der anderen fünf Modelle, während sein FRES am höchsten war.
Doubao, DeepSeek und Tongyi Qianwen zeigten mittlere Lesbarkeitsstufen zwischen GPT-5 und Wenxin Yiyan. Doubao und DeepSeek wiesen vergleichbare Leistungen bei den Schuljahresindizes auf, einschließlich ARI, GFOG, FKGL und CL, und beide zeigten signifikant höhere Werte als Wenxin Yiyan, wobei alle P < 0,05 betrugen. Diese Ergebnisse deuten auf eine ähnliche, insgesamt höhere Lesbelastung für Doubao und DeepSeek hin, die mit einer größeren sprachlichen Komplexität als bei Wenxin Yiyan verbunden ist.
Tongyi Qianwen lieferte bei den meisten Lesbarkeitsindizes Werte, die zwischen denen von Doubao/DeepSeek und GPT-5 lagen. Auffällig war, dass sein CL-Wert näher an dem von GPT-5 lag, was auf eine leicht höhere sprachliche Komplexität im Vergleich zu Doubao und DeepSeek hindeutet, wobei es dennoch weniger komplex als GPT-5 bleibt. Der LW-Index wies ein von den anderen Lesbarkeitsmetriken abweichendes Verteilungsmuster auf. Wenxin Yiyan erreichte den höchsten LW-Wert (60,00), gefolgt von Tongyi Qianwen, DeepSeek und Doubao, während GPT-5 den niedrigsten LW-Wert (46,50) aufwies. Diese Diskrepanz spiegelt Unterschiede darin wider, wie einzelne Lesbarkeitsformeln Satzlänge und Wortschwierigkeit gewichten (Abbildung 1G).
Insgesamt wurden erhebliche Unterschiede in der sprachlichen Komplexität zwischen den fünf großen Sprachmodellen beobachtet. GPT-5 erzeugte den sprachlich komplexesten Text, Wenxin Yiyan lieferte den am leichtesten verständlichen Inhalt, und die übrigen Modelle zeigten mittlere Lesbarkeitsniveaus, wobei strukturelle Unterschiede erkennbar waren.
Vergleich der Eignung und Gesamtqualität von Patientenbildungsmaterialien verschiedener großer Sprachmodelle
Es wurden signifikante Unterschiede hinsichtlich der Eignung für die Patientenaufklärung, bewertet mittels PEMAT, zwischen den fünf Sprachmodellen beobachtet (Abbildung 1H; Tabelle 4), wobei alle P < 0,001 betrugen. GPT-5 erzielte die höchste, von Experten bewertete PEMAT-Punktzahl (9,40 ± 1,90), was auf eine höhere Eignung für die Bildung im Rahmen des vorliegenden Benchmarking-Verfahrens hinweist. Dieses Ergebnis sollte jedoch nicht als Beleg dafür interpretiert werden, dass Materialien, die von GPT-5 generiert wurden, das reale Verständnis, die Zufriedenheit, das Vertrauen, das Gesundheitsverhalten oder die klinischen Ergebnisse von Patienten verbessern.
DeepSeek erzielte einen mittleren PEMAT-Wert (6,80 ± 1,06) mit einer relativ kompakten Verteilung der Werte, was auf eine konsistente Leistung bei der Erstellung von Patientenaufklärungsmaterialien hindeutet. Dennoch blieb die gesamte pädagogische Eignung deutlich niedriger als die von GPT-5 (P < 0,001). Doubao, Tongyi Qianwen und Wenxin Yiyan erzielten niedrigere PEMAT-Werte (5,35 ± 1,04, 5,65 ± 1,09 bzw. 5,35 ± 0,93). Zwischen diesen drei Modellen wurden keine signifikanten Unterschiede festgestellt, und alle schnitten signifikant schlechter ab als DeepSeek und GPT-5 (alle P < 0,01). Diese Ergebnisse deuten darauf hin, dass die pädagogische Eignung dieser Modelle vergleichbar, jedoch insgesamt begrenzt ist, insbesondere hinsichtlich der instruktionalen Klarheit, der sprachlichen Gliederung und der Verständlichkeit.
Ein ähnliches Muster zeigte sich hinsichtlich der Gesamtinformationsqualität, wie mit der GQS beurteiltAbbildung 1I). Statistisch signifikante Unterschiede wurden zwischen den fünf Modellen festgestellt, wobei alle P < 0,001. GPT-5 erzielte die höchste GQS-Bewertung (4,00 ± 0,65). Die Werte lagen überwiegend im Bereich von 4–5 mit geringer Streuung, was auf eine durchweg hohe Leistung bezüglich inhaltlicher Kohärenz, struktureller Vollständigkeit und praktischer Nützlichkeit hinweist.
DeepSeek und Doubao folgten mit GQS-Werten von 3,35 ± 0,59 bzw. 3,40 ± 0,50. Ihre Bewertungsverteilungen lagen zwischen 3 und 4, was auf eine mäßige Informationsqualität und eine angemessene Zuverlässigkeit hindeutet. Im Gegensatz dazu erzielten Tongyi Qianwen und Wenxin Yiyan die niedrigsten GQS-Werte (2,50 ± 0,51 bzw. 2,20 ± 0,52). Ihre Verteilungen waren zum unteren Ende der Skala hin verschoben, was auf Einschränkungen bei der Informationsgenauigkeit, strukturellen Strenge und inhaltlichen Tiefe hinweist und ihre Eignung für die Patientenaufklärung beeinträchtigen könnte.
Insgesamt erzielte GPT-5 in diesem Datensatz die höchsten von Experten bewerteten PEMAT- und GQS-Werte, während DeepSeek und Doubao eine mittlere Leistung zeigten. Tongyi Qianwen und Wenxin Yiyan erhielten niedrigere GQS-Bewertungen. Diese Ergebnisse stellen von Experten bewertete Benchmark-Ergebnisse dar und sollten nicht als Beleg für klinische Einsatzbereitschaft oder Wirksamkeit auf Patientenebene interpretiert werden.
Vergleich der Lesbarkeit, Eignung für die Patientenaufklärung und Gesamtqualität zwischen Kategorien von Gesundheitsaufklärungsinhalten
Die Analyse nach Inhaltskategorien ergab signifikante Unterschiede in der Lesbarkeit zwischen den fünf Themen der Gesundheitsaufklärung (Tabelle 5). Bei der FRES zeigten sich statistisch signifikante Unterschiede zwischen den thematischen Kategorien (P = 0,004). Höhere FRES-Werte weisen auf eine einfachere Lesbarkeit hin. Texte zum Grundwissen über Krankheiten waren am leichtesten lesbar (Median = 28,50), gefolgt von diagnostischen Inhalten (Median = 16,00), Inhalten zu Ätiologie und Risikofaktoren (Median = 12,50) sowie behandlungsbezogenen Inhalten (Median = 11,50). Demgegenüber wiesen Texte zu Prävention und Rehabilitation die geringste Lesbarkeit auf (Median FRES = 1,00), was auf die größte Leseschwierigkeit hindeutet.
Ähnliche Muster zeigten sich bei den anderen Lesbarkeitsindizes. GFOG und FKGL unterschieden sich signifikant zwischen den thematischen Kategorien (P = 0,002 bzw. P = 0,036), wobei beide Indizes auf höhere Lesestufen für Inhalte zu Ätiologie und Risikofaktoren sowie Prävention und Rehabilitation hindeuteten. Der SMOG-Index legte ebenfalls nahe, dass Texte zur Ätiologie und zu Risikofaktoren einen höheren Anteil mehrsilbiger Wörter enthielten (P = 0,039). Die größten Unterschiede zeigten sich bei CL (P < 0,001). Texte zur Prävention und Rehabilitation wiesen die längsten Sätze auf (Median = 21,01), was die Leseschwierigkeit erheblich erhöhte, während Texte zum Grundlagenwissen über Krankheiten die kürzesten Sätze hatten (Median = 14,88), was der geringsten Leseanforderung entsprach. Bei ARI oder LW wurden keine signifikanten Unterschiede zwischen den Inhaltskategorien beobachtet.
Es wurden keine statistisch signifikanten Unterschiede hinsichtlich der Eignung für die Patientenbildung zwischen den fünf Inhaltskategorien basierend auf den PEMAT-Scores festgestellt (P = 0,252). Die mittleren PEMAT-Scores lagen zwischen 5,90 und 7,20, was darauf hinweist, dass die pädagogische Eignung trotz deutlicher Unterschiede in der sprachlichen Komplexität über alle Themen hinweg relativ konsistent blieb. Ebenso unterschied sich die Gesamtqualität der Informationen, gemessen mit der GQS, nicht signifikant zwischen den Inhaltskategorien (P = 0,822). Die mittleren GQS-Werte variierten zwischen 2,95 und 3,25, was zeigt, dass die Gesamtqualität der Informationen über die verschiedenen Inhaltsthemen hinweg relativ stabil war.
Insgesamt wurden erhebliche Unterschiede bei der Lesbarkeit zwischen den verschiedenen Themen der Gesundheitsaufklärung festgestellt, wobei Inhalte zu Krankheitsursachen und Risikofaktoren sowie zu Prävention und Rehabilitation die höchste Leseschwierigkeit aufwiesen, während Grundlagenwissen zu Erkrankungen am leichtesten verständlich war. Im Gegensatz dazu blieben die Eignung für die Patientenaufklärung und die Gesamtqualität der Informationen über die verschiedenen Inhaltskategorien hinweg relativ konstant.
Korrelationsanalyse zwischen Lesbarkeit, Eignung für die Patientenaufklärung und Gesamtqualität
Die Korrelationsmatrix in Abbildung 2 zeigt konsistente, robuste Zusammenhänge zwischen den Lesbarkeitsindizes, was auf eine hohe innere Konsistenz hinweist. Die meisten Lesbarkeitsmetriken, einschließlich ARI, GFOG, FKGL, CL und SMOG, wiesen mäßige bis starke positive Korrelationen untereinander auf, mit Korrelationskoeffizienten zwischen 0,64 und 0,97 (alle P < 0,001). Diese Ergebnisse untermauern weiterhin den komplementären Charakter dieser Indizes bei der Bewertung der sprachlichen Komplexität. Im Gegensatz dazu zeigte FRES signifikante negative Korrelationen mit mehreren Lesbarkeitsmetriken, darunter ARI, GFOG, FKGL, CL und SMOG, wobei die absoluten Korrelationskoeffizienten über 0,70 lagen (alle P < 0,001). Dieses Muster spiegelt die umgekehrte Bewertungsrichtung von FRES wider, bei der höhere Werte für eine größere Lesbarkeit stehen. Der LW-Index zeigte ebenfalls signifikante negative Korrelationen mit anderen Lesbarkeitsindizes, einschließlich ARI, FKGL, GFOG und SMOG, mit absoluten Korrelationskoeffizienten zwischen 0,75 und 0,90 (alle P < 0,001). Umgekehrt war LW positiv mit FRES korreliert (Korrelationskoeffizient = 0,69, P < 0,001).
Klare Zusammenhänge zeigten sich ebenfalls zwischen den Ablesbarkeitsindizes und der Gesamtinformationsqualität, gemessen mittels GQS. Der GQS wies schwache bis moderate positive Korrelationen mit den meisten Ablesbarkeitsmaßen auf, einschließlich ARI, GFOG, FKGL, CL und SMOG, wobei die Korrelationskoeffizienten zwischen 0,326 und 0,391 lagen (alle P < 0,001). Diese Ergebnisse deuten darauf hin, dass eine größere sprachliche Komplexität mit einer höheren, von Experten bewerteten Informationsqualität assoziiert war. Umgekehrt korrelierte der GQS moderat negativ mit FRES (Korrelationskoeffizient = −0,408, P < 0,001), was darauf hindeutet, dass Texte, die ein höheres Leseniveau erfordern, im Allgemeinen höhere GQS-Werte erhielten. Der GQS zeigte außerdem eine moderate negative Korrelation mit LW (Korrelationskoeffizient = −0,421, P < 0,001).
Die Zusammenhänge zwischen Lesbarkeit und der Eignung für die Patientenaufklärung, wie mit dem PEMAT bewertet, waren im Allgemeinen schwächer, aber tendenziell konsistent. Die PEMAT-Scores wiesen schwache positive Korrelationen mit ARI, GFOG, FKGL, CL und SMOG auf, wobei die Korrelationskoeffizienten zwischen 0,305 und 0,434 lagen (alle P < 0,01). Im Gegensatz dazu zeigten sich schwache negative Korrelationen der PEMAT-Scores mit FRES und LW, mit absoluten Korrelationskoeffizienten von jeweils 0,432 und 0,320 (beide P < 0,01). Diese Ergebnisse deuten darauf hin, dass in diesem Datensatz eine höhere sprachliche Komplexität mit einer leicht erhöhten, von Experten bewerteten Eignung für die Aufklärung verbunden war, wenngleich die Stärke dieser Zusammenhänge begrenzt war.
Wichtig ist, dass eine moderate positive Korrelation zwischen den PEMAT- und GQS-Scores beobachtet wurde (Korrelationskoeffizient = 0,645, P < 0,001). Dies war die stärkste Assoziation, die zwischen den Evaluationsbereichen festgestellt wurde, was darauf hinweist, dass Antworten mit höherer Eignung für die Bildung tendenziell auch höhere Bewertungen bezüglich der Gesamtinformationsqualität erhielten.
VERFÜGBARKEIT VON DATEN:
Der vollständige Datensatz, der diese Studie unterstützt, wird als ergänzendes Material bereitgestellt. Zusatzdatei 1 enthält die vollständige Liste der standardisierten Fragen, Aufforderungen sowie der 100 archivierten, von einem sprachbasierten KI-Modell generierten Antworten. Zusatz-Tabelle 2 enthält die Bewertungsbögen der Experten für PEMAT und GQS, einschließlich der verfügbaren Bewertungen auf Ebene einzelner Items, der Gesamtpunktzahlen für PEMAT und GQS, Informationen zum Vergleich der Bewertenden sowie gegebenenfalls Schiedsentscheidungen. Die Lesbarkeitswerte, die Quelldaten für die Abbildungen und der R-Analysecode sind als Zusatzdatei 2 enthalten. Da sich die Ausgaben von sprachbasierten KI-Modellen im Laufe der Zeit aufgrund von Modellaktualisierungen, Änderungen der Benutzeroberfläche und plattformweiter Anpassungen verändern können, sollten zur Überprüfung und für sekundäre Analysen die archivierten Ausgaben verwendet werden, nicht neu generierte Antworten.
Abbildung 1: Vergleich der Lesbarkeit, Eignung für die Patientenaufklärung und der allgemeinen Informationsqualität von fünf großen Sprachmodellen. (A–G) Dieses Panel stellt die Lesbarkeitsindizes vor: Automated Readability Index (ARI), Flesch Reading Ease Score (FRES), Gunning Fog Index (GFOG), Flesch-Kincaid Grade Level (FKGL), Coleman-Liau Index (CL), Simple Measure of Gobbledygook (SMOG) und Linsear Write Formula (LW). (H) Dieses Feld zeigt die Gesamt-PEMAT-Scores und das Feld (I) zeigt die Global Quality Scores (GQS). In jedem Boxplot stellt die mittlere Linie den Median dar, die Box den Interquartilabstand (IQR), die Whisker reichen bis 1,5 × IQR, und Punkte jenseits der Whisker stellen Ausreißer dar. Abkürzungen: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch Kincaid Grade Level; CL = Coleman Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = Patient Education Materials Assessment Tool für Verständlichkeit und Handlungsorientierung, druckbare Version; Global Quality Score = GQS. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 2: Spearman-Korrelationsmatrix zwischen Lesbarkeitsindizes, Eignung für die Patientenaufklärung und der Gesamtinformationsqualität aller vom Modell generierten Antworten. Die Matrix zeigt Spearman-Korrelationskoeffizienten für paarweise Assoziationen zwischen ARI, FRES, GFOG, FKGL, CL, SMOG, LW, PEMAT und GQS an. Abkürzungen: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch-Kincaid Grade Level; CL = Coleman-Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = Patient Education Materials Assessment Tool; GQS = Global Quality Score. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Tabelle 1: Liste von 20 Fragen im Zusammenhang mit Trigeminusneuralgie. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Tabelle 2: Lesbarkeitswerkzeuge, Formeln und Beschreibungen. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Tabelle 3: Die Qualitätskriterien der Global Quality Score (GQS). Bitte klicken Sie hier, um diese Datei herunterzuladen.
Tabelle 4: Analyseergebnisse verschiedener großer Sprachmodelle für die häufigsten Fragen im Zusammenhang mit dem Trigeminusneuralgie. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Tabelle 5: Analyseergebnisse über verschiedene Dimensionen hinweg für die häufigsten Fragen im Zusammenhang mit Trigeminusneuralgie. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzungstabelle 1: Lesbarkeitswerte der Antworten, die von den fünf großen Sprachmodellen bei allen bewerteten Lesbarkeitsindizes generiert wurden. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle 2: Bewertung der Eignung für Patientenaufklärung (PEMAT) und der Gesamtinformationsqualität (GQS) durch Experten für die Antworten, die von den fünf großen Sprachmodellen generiert wurden.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatzdatei 1: Standardisierte Fragen zur trigeminalen Neuralgie und vollständige Antworten, generiert von fünf großen Sprachmodellen. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatzdatei 2: R-Skripte und Quelldaten, die für die statistischen Analysen und die Erstellung der Abbildungen verwendet wurden. Bitte klicken Sie hier, um diese Datei herunterzuladen.
Diskussion
Diese querschnittliche Benchmarking-Studie verglich systematisch die Lesbarkeit, pädagogische Eignung und die gesamte Informationsqualität von Patientenbildungsunterlagen zur trigeminalen Neuralgie (TN), die von fünf öffentlich verfügbaren großen Sprachmodellen (LLMs) generiert wurden. Vier zentrale Ergebnisse wurden ermittelt. Erstens unterschied sich die Lesbarkeit erheblich zwischen den Modellen, wobei GPT-5 die sprachlich komplexesten Antworten erzeugte und Wenxin Yiyan die am leichtesten lesbaren Inhalte lieferte. Zweitens stellten Lesbarkeit und von Experten bewertete Informationsqualität unterschiedliche Bewertungsdimensionen dar, wobei GPT-5 trotz geringerer Lesbarkeit die höchsten PEMAT- und GQS-Werte erreichte. Drittens beeinflusste das Inhaltsthema die Lesbarkeit, wobei Themen wie Prävention, Rehabilitation sowie Ätiologie und Risikofaktoren in der Regel ein höheres Leseniveau erforderten, während PEMAT und GQS über die Inhaltskategorien hinweg relativ stabil blieben. Schließlich zeigten die Lesbarkeitsindizes eine hohe interne Konsistenz, und Korrelationsanalysen ergaben schwache bis moderate positive Zusammenhänge zwischen sprachlicher Komplexität und sowohl PEMAT als auch GQS sowie eine moderate positive Korrelation zwischen PEMAT und GQS. Insgesamt liefern diese Ergebnisse einen Referenzwert zur Bewertung von LLM-generierten Patientenbildungsunterlagen zur trigeminalen Neuralgie und unterstreichen gleichzeitig die Notwendigkeit, medizinische Vollständigkeit mit sprachlicher Zugänglichkeit in Einklang zu bringen. Wichtig ist, dass diese Ergebnisse Experten-bewertete Benchmarking-Daten darstellen und nicht als Beleg für das Verständnis durch Patienten, faktische Richtigkeit, klinische Sicherheit oder Eignung für den routinemäßigen klinischen Einsatz interpretiert werden sollten.
Die Ergebnisse dieser Studie stimmen mit früheren Bewertungen von KI-generierten medizinischen Informationen überein, bei denen eine erhebliche Variabilität zwischen LLMs und eine häufige Diskrepanz zwischen Lesbarkeit und Informationsqualität berichtet wurde26,27,29. Frühere Studien aus mehreren Krankheitsbereichen haben gezeigt, dass von LLMs generierte Patientenaufklärungsmaterialien oft über den empfohlenen Leseschwierigkeitsgrad hinausgehen und dass Modelle, die den lesefreundlichsten Text erzeugen, nicht unbedingt die umfassendsten oder qualitativ hochwertigsten Informationen liefern26,30. Die Befunde zur TN-Aufklärung unterstützen diese Beobachtung. GPT-5 erzeugte die sprachlich komplexesten Antworten, erzielte jedoch die höchsten PEMAT- und GQS-Werte, während Wenxin Yiyan verständlichere Texte produzierte, jedoch eine geringere, von Experten bewertete Eignung für die Patientenaufklärung und eine niedrigere Gesamtqualität aufwies. Darüber hinaus variierte die Lesbarkeit zwischen den thematischen Bereichen, wobei Themen wie Prävention und Rehabilitation sowie Ätiologie und Risikofaktoren im Allgemeinen eine größere sprachliche Komplexität aufwiesen, was darauf hindeutet, dass sowohl die Eigenschaften des Modells als auch die Komplexität des Themas die Leseschwierigkeit beeinflussen31.
Der scheinbare Kompromiss zwischen Lesbarkeit und Informationsqualität entspricht den unterschiedlichen Konstrukten, die von den Evaluationsinstrumenten erfasst werden. Formeln zur Bewertung der Lesbarkeit bewerten hauptsächlich oberflächennahe sprachliche Merkmale wie Satzlänge und lexikalische Komplexität, während PEMAT und GQS höherwertige Attribute beurteilen, darunter Informationsorganisation, Vollständigkeit, Klarheit der Erklärungen und Handlungsorientierung32. Bei der TN-Aufklärung umfassen qualitativ hochwertige Antworten häufig Erörterungen zu Warnsymptomen, differenzialdiagnostischen Überlegungen, pharmakologischer Therapie und Nebenwirkungen, interventionellen und chirurgischen Optionen sowie individualisierten Rehabilitationsstrategien33. Solch klinisch umfassende Inhalte erhöhen zwangsläufig die terminologische Dichte und syntaktische Komplexität, was zu höheren Lesbarkeitsscores und einer besseren, von Experten bewerteten Bildungsqualität führt. Wichtig ist, dass diese Ergebnisse nicht so interpretiert werden sollten, als sei komplexere Sprache vorzuziehen. Vielmehr zeigen sie, dass aktuelle LLMs die informatorische Vollständigkeit oft auf Kosten der sprachlichen Zugänglichkeit verbessern. Die zukünftige Entwicklung von Patientenaufklärungssystemen sollte daher darauf abzielen, die medizinische Genauigkeit beizubehalten, während die Sprache durch klare Sprachanpassung, strukturierte Darstellung zentraler Punkte, Erklärung fachlicher Begriffe und verständliche, handlungsorientierte Anleitungen vereinfacht wird, die für Patienten mit unterschiedlichem Grad an Gesundheitskompetenz geeignet sind11,34,35.
Die Korrelationsanalyse untermauert weiterhin den Unterschied zwischen Lesbarkeit und pädagogischer Qualität. Die meisten auf Schuljahresniveaus basierenden Lesbarkeitsindizes zeigten schwache bis moderate positive Zusammenhänge sowohl mit PEMAT als auch mit GQS, während FRES die erwartete inverse Beziehung aufwies, da höhere FRES-Werte eine einfachere Lesbarkeit anzeigen. Diese Ergebnisse implizieren nicht, dass eine größere sprachliche Komplexität wünschenswert ist; vielmehr legen sie nahe, dass aktuelle LLMs oft eine größere informationelle Vollständigkeit auf Kosten der Zugänglichkeit erreichen34. Demzufolge sollte die Entwicklung KI-gestützter Patientenaufklärung medizinische Genauigkeit und Vollständigkeit priorisieren und gleichzeitig die Verwendung einfacher Sprache, die strukturierte Darstellung zentraler Punkte, klare Erklärungen fachlicher Begriffe sowie handlungsorientierte Empfehlungen einbeziehen, die auf Patienten mit unterschiedlichen Stufen der Gesundheitskompetenz zugeschnitten sind11,35.
Ein weiterer methodischer Befund war das deutlich abweichende Verhalten des LW-Index im Vergleich zu den anderen Lesbarkeitsmaßen. Im Gegensatz zu ARI, FKGL, GFOG, CL und SMOG folgte LW einem Muster, das eher FRES ähnelte, und spiegelte damit Unterschiede wider, wie Lesbarkeitsformeln textliche Komplexität operationalisieren36. Da LW ursprünglich für technische Handbücher entwickelt wurde und eine Stichprobe der Satzstruktur sowie die Klassifizierung von Wörtern betont, anstatt allgemeine Satz- oder Silbenmerkmale zu berücksichtigen, könnte es anders auf KI-generierte medizinische Texte reagieren, die prägnante Aussagen mit längeren Erklärungen und ungleichmäßigen Verteilungen fachsprachlicher Begriffe kombinieren37,38. Diese Ergebnisse unterstreichen die Bedeutung eines mehrdimensionalen Bewertungsansatzes, da kein einzelner Lesbarkeitsindex alle Aspekte textlicher Komplexität hinreichend erfasst. In Übereinstimmung mit früheren Studien zu KI-generierten Gesundheitsinformationen sollte die Gesamtlesbarkeit daher anhand konvergierender Evidenz aus mehreren komplementären Indizes bewertet werden, anstatt sich auf ein einzelnes Maß zu stützen39.
Die Inhaltskategorie beeinflusste ebenfalls die Lesbarkeit. Themen wie Prävention, Rehabilitation sowie Ätiologie und Risikofaktoren führten in der Regel zu Texten mit höherem Leseschwierigkeitsgrad als Grundlagenwissen über Krankheiten, wahrscheinlich weil diese Themen bedingte Empfehlungen, mechanistische Erklärungen und spezialisiertere Fachbegriffe erfordern40,41. Im Gegensatz dazu basiert Grundlagenwissen über Krankheiten hauptsächlich auf Definitionen und kann in einfacherer Sprache vermittelt werden42. Trotz dieser Unterschiede blieben PEMAT und GQS über die verschiedenen thematischen Bereiche hinweg relativ konstant, was darauf hindeutet, dass die von Experten bewertete didaktische Eignung und die Gesamtinformationsqualität über verschiedene Arten von Patientenfragen hinweg erhalten blieben35,43.
Diese Ergebnisse haben mehrere Implikationen für die klinische Praxis und die zukünftige Entwicklung von LLMs. Da Patienten zunehmend LLMs nutzen, um Informationen vor oder nach medizinischen Konsultationen einzuholen, sollte KI-generierte Inhalte die Beratung durch Ärzte ergänzen, nicht jedoch ersetzen, insbesondere im Hinblick auf Arzneimittelsicherheit, Indikationen für interventionelle oder chirurgische Behandlungen sowie die Erkennung von Alarmzeichen-Symptomen, die eine sofortige Abklärung erfordern44. Gesundheitseinrichtungen könnten davon profitieren, von Experten geprüfte, einfach verständliche Bildungsressourcen bereitzustellen und LLMs stattdessen als Entwurfshilfen oder Entscheidungsunterstützungssysteme einzusetzen, anstatt sie als autonome Patientenaufklärungssysteme zu verwenden. Zukünftige Modelle sollten generierungsstrategien einbeziehen, die die Lesbarkeit berücksichtigen, transparente Angaben zu Modellversionen und Generierungsdaten liefern, Unsicherheiten explizit kommunizieren und Governance-Verfahren umfassen, darunter ärztliche Überprüfung, Verifizierung der Faktentreue, Screening auf Halluzinationen, Arzneimittelsicherheitsprüfungen, Anleitungen zu Alarmzeichen sowie Tests zur Überprüfung des Patientenverständnisses, bevor sie klinisch implementiert werden26,44,45.
Diese Studie weist mehrere Einschränkungen auf. Die Modellergebnisse wurden an einem einzigen Datum von öffentlich zugänglichen Webschnittstellen abgerufen, und nachfolgende Modellaktualisierungen, Änderungen der Schnittstelle, versteckte Systemanweisungen oder standardmäßige Generierungseinstellungen könnten die Reproduzierbarkeit beeinflussen. Der Satz von 20 Fragen wurde von klinischen Experten entwickelt, anstatt aus Patientensuchprotokollen oder formellen Patienteninterviews abgeleitet zu sein, was zu einer Selektionsverzerrung führen könnte. Darüber hinaus stützte sich die Studie auf von Experten bewertete PEMAT- und GQS-Beurteilungen und untersuchte nicht das Verständnis, das Vertrauen, die Zufriedenheit, das Gesundheitsverhalten oder klinischen Ergebnisse bei Patienten. Lesbarkeitsformeln, PEMAT und GQS bewerten ebenfalls nicht direkt die faktische Richtigkeit, das Risiko von Halluzinationen, die Zitiergenauigkeit, die Vollständigkeit von Kontraindikationen oder die klinische Sicherheit. Daher sollten diese Ergebnisse als eine von Experten bewertete, querschnittliche Benchmark-Analyse interpretiert werden, nicht jedoch als Beleg dafür, dass Materialien, die von einem LLM generiert wurden, für den routinemäßigen klinischen Einsatz bereit sind. Zukünftige Studien sollten archivierte Modellergebnisse, detaillierte Metadaten zu den Modellen, multilinguale Bewertungen, umfangreichere Fragenkataloge, formelle Sicherheitsprüfungen, Bewertungen der faktischen Richtigkeit sowie patientenzentrierte Outcome-Maße einschließen, bevor LLM-generierte Bildungsmaterialien für die klinische Anwendung in Betracht gezogen werden.
In dieser von Experten bewerteten, querschnittlichen Vergleichsstudie unterschieden sich öffentlich verfügbare große Sprachmodelle erheblich hinsichtlich der Lesbarkeit, pädagogischen Eignung und der Gesamtqualität der Patientenbildungsunterlagen zu trigeminalen Neuralgien. GPT-5 erzielte die höchsten von Experten bewerteten PEMAT- und GQS-Werte, erzeugte jedoch auch die sprachlich komplexesten Antworten, was verdeutlicht, dass Lesbarkeit und von Experten bewertete Bildungsqualität verwandte, aber unterschiedliche Dimensionen der Patientenaufklärung darstellen. Obwohl einige Modelle verständlichere Inhalte produzierten, bedeutete dies nicht zwangsläufig eine höhere pädagogische Eignung oder bessere Informationsqualität. Da diese Studie die faktische Richtigkeit nicht durch eine dedizierte Sicherheitsprüfung bewertete – einschließlich Risiko von Halluzinationen, Zitattreue, Patientenverständnis, Vertrauen, Zufriedenheit, Gesundheitsverhalten oder klinische Ergebnisse – sollten die Ergebnisse als expertenbasierte Benchmark-Analyse und nicht als Beleg für klinische Einsatzbereitschaft interpretiert werden. Zukünftige Studien sollten Expertenbewertungen, formelle Sicherheits- und Genauigkeitsprüfungen sowie patientenzentrierte Evaluierungen integrieren, um die sichere und wirksame Nutzung von mittels LLM generierten Materialien in der Patientenbildung zu unterstützen.
Offenlegungen
Die Autoren erklären, dass sie keine konkurrierenden Interessen haben.
Danksagungen
Diese Forschung erhielt keine spezifische Förderung durch öffentliche, kommerzielle oder gemeinnützige Einrichtungen. Die Autoren danken den klinischen Kollegen, die Rückmeldungen zum Fragenkatalog zur Trigeminusneuralgie gegeben und bei der Weiterentwicklung des Evaluationsrahmens unterstützt haben. Wir danken auch allen Beiträgenden, die bei der Erstellung und Überarbeitung des Manuskripts unterstützt haben.
Materialien
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| DeepSeek-Chatplattform | DeepSeek | https://chat.deepseek.com/ | Öffentlich zugängliche Schnittstelle für große Sprachmodelle, die zur Erzeugung von Antworten verwendet wird |
| Doubao-Chatplattform | Doubao | https://www.doubao.com/chat/ | Öffentlich zugängliche Schnittstelle für große Sprachmodelle, die zur Erzeugung von Antworten verwendet wird |
| GPT 5 | OpenAI | Nicht zutreffend | Statistische Analyse und Visualisierung |
| R-Software, Version 4.4.3 | R Foundation for Statistical Computing | Nicht zutreffend | Statistische Analyse und Visualisierung |
| Online-Lesbarkeitsrechner von Readability Formulas | Readability Formulas | Nicht zutreffend | Online-Tool zur Berechnung von Lesbarkeitsindizes |
| Tongyi-Qianwen-Chatplattform | Tongyi Qianwen | https://www.tongyi.com/ | Öffentlich zugängliche Schnittstelle für große Sprachmodelle, die zur Erzeugung von Antworten verwendet wird |
| Wenxin-Yiyan-Chatplattform | Wenxin Yiyan | https://yiyan.baidu.com/ | Öffentlich zugängliche Schnittstelle für große Sprachmodelle, die zur Erzeugung von Antworten verwendet wird |
Referenzen
- Headache Classification Committee of the International Headache Society (IHS). The International Classification of Headache Disorders, 3rd edition. Cephalalgia. 2018;38(1):1-211.
- Ashina S, et al. Trigeminal neuralgia. Nat Rev Dis Primers. 2024;10(1):39.
- Donertas-Ayaz B, Caudle RM. Locus coeruleus-noradrenergic modulation of trigeminal pain: Implications for trigeminal neuralgia and psychiatric comorbidities. Neurobiol Pain. 2023;13:100124.
- Martinelli R, et al. Psychological assessment in patients affected by trigeminal neuralgia: A systematic review. Neurosurg Rev. 2025;48(1):414.
- Melek LN, et al. Comparison of the neuropathic pain symptoms and psychosocial impacts of trigeminal neuralgia and painful posttraumatic trigeminal neuropathy. J Oral Facial Pain Headache. 2019;33(1):77-88.
- Zakrzewska JM, et al. Evaluating the impact of trigeminal neuralgia. Pain. 2017;158(6):1166-1174.
- Gambeta E, Chichorro JG, Zamponi GW. Trigeminal neuralgia: An overview from pathophysiology to pharmacological treatments. Mol Pain. 2020;16:1744806920901890.
- De Toledo IP, et al. Prevalence of trigeminal neuralgia: A systematic review. J Am Dent Assoc. 2016;147(7):570-576.e2.
- Svedung Wettervik T, et al. Incidence of trigeminal neuralgia: A population-based study in central Sweden. Eur J Pain. 2023;27(5):580-587.
- Bendtsen L, et al. European Academy of Neurology guideline on trigeminal neuralgia. Eur J Neurol. 2019;26(6):831-849.
- Cruccu G, et al. Trigeminal neuralgia: New classification and diagnostic grading for practice and research. Neurology. 2016;87(2):220-228.
- Araya EI, et al. Trigeminal neuralgia: Basic and clinical aspects. Curr Neuropharmacol. 2020;18(2):109-119.
- Chong MS, Bahra A, Zakrzewska JM. Guidelines for the management of trigeminal neuralgia. Cleve Clin J Med. 2023;90(6):355-362.
- Heinskou TB, et al. Favourable prognosis of trigeminal neuralgia when enrolled in a multidisciplinary management program: A two-year prospective real-life study. J Headache Pain. 2019;20(1):23.
- Liu S, et al. Comparative evaluation of ChatGPT and Gemini in brain-computer interface patient education: A multidimensional analysis of reliability, accuracy, comprehensibility, and readability. Int J Med Inform. 2026;206:106164.
- Forgie EME, et al. Social media and the transformation of the physician-patient relationship: Viewpoint. J Med Internet Res. 2021;23(12):e25230.
- Gantenbein L, Navarini AA, Maul LV, Brandt O, Mueller SM. Internet and social media use in dermatology patients: Search behavior and impact on the patient-physician relationship. Dermatol Ther. 2020;33(6):e14098.
- Youssef Y, et al. Social media and internet use among orthopedic patients in Germany: A multicenter survey. Front Digit Health. 2025;7:1486296.
- De Martino I, et al. Social media for patients: Benefits and drawbacks. Curr Rev Musculoskelet Med. 2017;10(1):141-145.
- Johnson KB, et al. Precision medicine, AI, and the future of personalized health care. Clin Transl Sci. 2021;14(1):86-93.
- Hirani R, et al. Artificial intelligence and healthcare: A journey through history, present innovations, and future possibilities. Life (Basel). 2024;14(5):557.
- Karatas G, Kirik F, Karatas ME, Cakir A, Ozdemir H. Comparative performance of ChatGPT o3-mini-high and DeepSeek-R1 in ophthalmology: An evaluation of diagnostic reasoning and case-based problem solving. J Fr Ophtalmol. 2025;49(1):104712.
- Hanci V, et al. Assessment of readability, reliability, and quality of ChatGPT, Bard, Gemini, Copilot, and Perplexity responses on palliative care. Medicine (Baltimore). 2024;103(33):e39305.
- Liu C, et al. Potential to perpetuate social biases in health care by Chinese large language models: A model evaluation study. Int J Equity Health. 2025;24(1):206.
- Haupt CE, Marks M. AI-generated medical advice—GPT and beyond. JAMA. 2023;329(16):1349-1350.
- Aydin S, Karabacak M, Vlachos V, Margetis K. Large language models in patient education: A scoping review of applications in medicine. Front Med (Lausanne). 2024;11:1477898.
- Kara M, et al. Evaluating the readability, quality, and reliability of responses generated by ChatGPT, Gemini, and Perplexity on the most commonly asked questions about ankylosing spondylitis. PLoS One. 2025;20(6):e0326351.
- Perez Rivera LR, et al. Evaluating the quality and reliability of large language models for plastic surgery patient education: A comparative analysis of ChatGPT and OpenEvidence. Aesthet Surg J. 2025. doi:10.1093/asj/sjaf249.
- Wilhelm TI, Roos J, Kaczmarczyk R. Large language models for therapy recommendations across three clinical specialties: Comparative study. J Med Internet Res. 2023;25:e49324.
- Will J, et al. Enhancing the readability of online patient education materials using large language models: Cross-sectional study. J Med Internet Res. 2025;27:e69955.
- Tukur Jido J, Al-Wizni A, Aung SL. Readability of AI-generated patient information leaflets on Alzheimer's disease, vascular dementia, and delirium. Cureus. 2025;17(6):e85463.
- Luo Z, Lin C, Kim TH, Shin YS, Ahn ST. Quality and readability analysis of artificial intelligence-generated medical information related to prostate cancer: A cross-sectional study of ChatGPT and DeepSeek. World J Mens Health. 2025. doi:10.5534/wjmh.250144.
- Joseph P, Silva NA, Nanda A, Gupta G. Evaluating the readability of online patient education materials for trigeminal neuralgia. World Neurosurg. 2020;144:e934-e938.
- Dong C, et al. Comparative evaluation of large language models in delivering guideline-compliant recommendations for topical NSAID use in musculoskeletal pain: A multidimensional analysis. Clin Rheumatol. 2025;44(11):4703-4710.
- Ozduran E, Buyukcoban S. Evaluating the readability, quality, and reliability of online patient education materials on post-COVID pain. PeerJ. 2022;10:e13686.
- Wang LW, Miller MJ, Schmitt MR, Wen FK. Assessing readability formula differences with written health information materials: Application, results, and recommendations. Res Social Adm Pharm. 2013;9(5):503-516.
- Singh SP, et al. Comprehension profile of patient education materials in endocrine care. Kans J Med. 2022;15(2):247-252.
- Marder RS, et al. ChatGPT-3.5 and ChatGPT-4.0 do not reliably create readable patient education materials for common orthopaedic upper- and lower-extremity conditions. Arthrosc Sports Med Rehabil. 2025;7(1):101027.
- Nasra M, et al. Can artificial intelligence improve patient educational material readability? A systematic review and narrative synthesis. Intern Med J. 2025;55(1):20-34.
- Bhatt C, et al. Evaluating readability, understandability, and actionability of online printable patient education materials for cholesterol management: A systematic review. J Am Heart Assoc. 2024;13(8):e030140.
- Avra TD, Le M, Hernandez S, Thure K, Ulloa JG. Readability assessment of online peripheral artery disease education materials. J Vasc Surg. 2022;76(6):1728-1732.
- Rooney MK, et al. Readability of patient education materials from high-impact medical journals: A 20-year analysis. J Patient Exp. 2021;8:2374373521998847.
- Ahmadzadeh K, et al. Patient education information material assessment criteria: A scoping review. Health Info Libr J. 2023;40(1):3-28.
- Duan L, Yao Z, Li X, Wu Y, Sheng D. Comparing large language models and human doctors in symptom-driven online medical consultations: A case study on trigeminal neuralgia. Digit Health. 2025;11:20552076251388140.
- Werner C, Harden J, Lawton J. Pathways to a diagnosis of trigeminal neuralgia: A qualitative study of patients' experiences. BMC Prim Care. 2025;26(1):65.