W niniejszej pracy przedstawiamy protokół systematycznej oceny czytelności, przydatności edukacyjnej oraz jakości informacji dla pacjentów na temat nerwoból ósemki, wygenerowanych przez duże modele językowe, w celu przeprowadzenia benchmarkingu modeli oraz optymalizacji komunikacji z pacjentami.
Artykuł badawczy
Czytelność i jakość edukacji pacjentów z nerwobóla trójdzielnego generowanej przez duże modele językowe: badanie przekrojowe
W tym artykule
Podsumowanie
Streszczenie
Duże modele językowe (LLM) są coraz częściej wykorzystywane do edukacji zdrowotnej pacjentów, jednak czytelność i jakość edukacyjna informacji na temat neuralgii trójdzielnej (TN) generowanych przez LLM nie zostały wystarczająco ocenione. Niniejsze przekrojowe badanie porównawcze analizowało treści edukacyjne dotyczące TN wygenerowane przez pięć publicznie dostępnych modeli LLM (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen oraz GPT-5). Każdemu modelowi przedstawiono dwadzieścia często zadawanych pytań dotyczących TN, obejmujących podstawową wiedzę o chorobie, etiologię/czynniki ryzyka, diagnostykę, leczenie oraz profilaktykę/rehabilitację, z wykorzystaniem ustandaryzowanych promptów. Czytelność oceniono za pomocą siedmiu uznanych wskaźników, przydatność edukacyjną za pomocą narzędzia Patient Education Materials Assessment Tool for Understandability and Actionability (PEMAT), a ogólną jakość informacji za pomocą Global Quality Score (GQS). Dwoje ekspertów klinicznych niezależnie oceniło wszystkie odpowiedzi, a rozbieżności rozstrzygał starszy arbiter. Analizy statystyczne porównały wydajność modeli, różnice tematyczne oraz korelacje między metrykami oceny. Zaobserwowano istotne różnice między modelami w zakresie wyników czytelności, PEMAT oraz GQS. Model GPT-5 generował najbardziej złożone językowo odpowiedzi, ale uzyskał najwyższe oceny w kategorii przydatności edukacyjnej i jakości informacji. Z kolei Wenxin Yiyan tworzył najbardziej czytelne teksty, lecz zazwyczaj otrzymywał niższe oceny PEMAT i GQS. Kategoria treści wpływała na czytelność – tematy dotyczące profilaktyki/rehabilitacji oraz etiologii/czynników ryzyka były trudniejsze w odbiorze, podczas gdy wyniki PEMAT i GQS pozostawały stosunkowo spójne w różnych tematach. Wskaźniki czytelności wykazały silną spójność wewnętrzną oraz słabą do umiarkowanej dodatnią korelację z PEMAT i GQS, natomiast PEMAT i GQS wykazały umiarkowaną korelację dodatnią. Wyniki te sugerują, że wybór modelu wpływa na ocenianą przez ekspertów przydatność edukacyjną i ogólną jakość informacji, podczas gdy złożoność tematu wpływa przede wszystkim na czytelność. Ponieważ nie oceniano zrozumienia przez pacjentów, satysfakcji, zaufania, wyników zdrowotnych, dokładności faktów ani bezpieczeństwa klinicznego, wyniki te należy interpretować jako ekspercką analizę porównawczą, a nie jako dowód gotowości do zastosowania w praktyce klinicznej.
Wprowadzenie
Nerwoból trójdzielny (TN) jest zespołem bólu neuropatycznego charakteryzującym się nawracającymi epizodami jednostronnego, krótkotrwałego i niezwykle silnego bólu twarzy, często opisywanego jako przypominający wstrząs elektryczny lub kłucie. Zgodnie z Międzynarodową Klasyfikacją Zespołów Bólowych Głowy, 3. wydanie (ICHD-3), ból jest zazwyczaj zlokalizowany w obszarze unerwienia jednej lub więcej gałęzi nerwu trójdzielnego, często ma nie do zniesienia natężenie i może być wyzwalany przez nieistotne bodźce, takie jak lekki dotyk, mycie twarzy, szczotkowanie zębów, mówienie lub żucie. Napady charakteryzują się nagłym początkiem i gwałtownym ustąpieniem, a ich czas trwania waha się od ułamków sekundy do kilku minut1,2. Chociaż TN zazwyczaj nie zagraża życiu, silny i nieprzewidywalny ból w znacznym stopniu zakłóca podstawowe czynności dnia codziennego, w tym jedzenie, mowę, sen i regulację emocjonalną, co skutkuje znacznym obciążeniem psychospołecznym i obniżeniem jakości życia. Dane z przeglądów systematycznych wskazują, że osoby z TN wykazują znacznie zwiększone ryzyko depresji, lęku i zaburzeń snu w porównaniu z ogółem populacji3,4. W dużych badaniach kohortowych około 35–55% pacjentów z TN wykazuje klinicznie istotne objawy lęku lub depresji, a katastrofizowanie bólu jest powszechne, co sugeruje dwukierunkową interakcję między przewlekłym silnym bólem, bezsennością a zaburzeniami afektywnymi5,6. Szacunki epidemiologiczne wskazują, że zapadalność na TN w ogólnej populacji wynosi od około 0,03% do 0,3%, przy czym częściej występuje u kobiet i osób starszych, z zauważalnymi różnicami w zależności od regionów geograficznych, grup etnicznych i grup wiekowych7,8. W krajach o bardzo dużym zagęszczeniu ludności, takich jak Chiny i Indie, szybkie starzenie się populacji wiąże się z trwałym wzrostem liczby osób cierpiących na TN, co nakłada rosnące obciążenie na systemy opieki zdrowotnej i podkreśla potrzebę opracowania bardziej skutecznych, skalowalnych i opartych na danych podejść do oceny i leczenia tej choroby8,9.
NN można podzielić na podtypy: klasyczny, wtórny i idiopatyczny, przy czym coraz więcej dowodów wskazuje na istotne różnice w mechanizmach etiologicznych i strategiach terapeutycznych między tymi kategoriami1,10. Obecne badania sugerują, że zmiany strukturalne związane z konfliktem naczyniowo-nerwowym w strefie wejścia korzenia nerwu trójdzielnego, nadpobudliwość nerwów obwodowych oraz zaburzona centralna modulacja bólu wspólnie przyczyniają się do patogenezy tej choroby11,12. Wytyczne kliniczne zalecają karbamazepinę i okskarbamazepinę jako leki pierwszego rzutu, natomiast podejścia chirurgiczne lub interwencyjne rozważa się w przypadku nieskuteczności lub słabej tolerancji farmakoterapii10. Mimo tych postępów terapeutycznych, NN charakteryzuje się przebiegiem nawracającym z okresami remisji, a długoterminowe nawroty bólu pozostają częste, co sprawia, że osiągnięcie trwałej remisji jest trudne13. W związku z tym niezbędne jest długoterminowe obserwowanie pacjentów oraz ustrukturyzowane zarządzanie chorobą przewlekłą w celu monitorowania ryzyka nawrotów, odpowiedzi na leczenie i powikłań. Podłużne badania kohortowe wskazują, że przy zastosowaniu znormalizowanych strategii zarządzania (obejmujących leczenie farmakologiczne, interwencję chirurgiczną w razie wskazań oraz kompleksową obserwację), około połowa pacjentów objętych leczeniem zachowawczym może osiągnąć ≥50% redukcji całkowitego obciążenia bólem w ciągu dwóch lat, bez nieuniknionej progresji choroby14. Wyniki te podkreślają znaczenie stałego zaangażowania pacjenta i skutecznej edukacji zdrowotnej w długoterminowym zarządzaniu chorobą. Dowody sugerują, że pacjenci z lepszym zrozumieniem etiologii, patofizjologii i opcji leczenia częściej aktywnie uczestniczą w schematach terapeutycznych i przestrzegają ich, co prowadzi do poprawy wyników15. Jednak tradycyjne metody edukacji zdrowotnej są często ograniczone pod względem zasięgu i skalowalności. Wraz z powszechnym upowszechnieniem internetu, w szczególności platform pytań i odpowiedzi oraz mediów społecznościowych, pacjenci coraz częściej polegają na źródłach cyfrowych w celu pozyskiwania informacji medycznych16,17. Niemniej jednak znaczna zmienność w indywidualnym poziomie kompetencji zdrowotnych oraz zdolności do dostępu, przetwarzania i rozumienia podstawowych informacji zdrowotnych niezbędnych do podejmowania świadomych decyzji stanowi główną barierę dla skutecznej edukacji pacjentów18. Co więcej, nierówna jakość internetowych informacji zdrowotnych, w tym treści niedokładnych lub wprowadzających w błąd, może negatywnie wpływać na decyzje medyczne i dobrostan psychiczny pacjentów19.
Technologie sztucznej inteligencji (AI), a w szczególności gwałtowny rozwój dużych modeli językowych (LLM) w ostatnich latach, stworzyły nowe możliwości w zakresie komunikacji nauk medycznych i edukacji zdrowotnej20. Modele te, trenowane na wielkoskalowych korpusach tekstowych, potrafią generować ustrukturyzowane i logicznie spójne odpowiedzi poprzez interakcję w języku naturalnym21. Reprezentatywne systemy międzynarodowe, takie jak ChatGPT, wykazały obiecujący potencjał w odpowiadaniu na pytania medyczne, konsultacjach pacjentów oraz edukacji medycznej22,23. W Chinach pojawiło się kilka funkcjonalnie podobnych modeli LLM, z stale rosnącą liczbą użytkowników i obszarami zastosowań24. Mimo tych postępów, zastosowanie modeli LLM w upowszechnianiu wiedzy medycznej wciąż napotyka istotne wyzwania, w tym kwestie niezawodności danych treningowych, częstotliwości aktualizacji, naukowej dokładności generowanych odpowiedzi oraz braku walidacji klinicznej25. Ponadto różnice między modelami w stylu językowym, czytelności, strukturze logicznej i dokładności cytowań mogą bezpośrednio wpływać na zrozumienie informacji zdrowotnych przez pacjentów oraz ich zaufanie do nich26. Do tej pory systematyczne oceny wydajności modeli LLM w edukacji zdrowotnej związanej z TN były ograniczone.
W związku z tym celem niniejszego badania była systematyczna ocena i porównanie skuteczności czterech powszechnie stosowanych chińskich modeli LLM (Doubao, DeepSeek, Wenxin Yiyan i Tongyi Qianwen) oraz reprezentatywnego międzynarodowego modelu LLM (ChatGPT) w odpowiadaniu na pytania dotyczące edukacji pacjentów w zakresie TN. Wykorzystując projekt przekrojowy, opracowaliśmy zestaw pytań dotyczących TN w oparciu o wytyczne kliniczne i typowe wątpliwości pacjentów, a następnie oceniliśmy odpowiedzi wygenerowane przez pięć publicznie dostępnych modeli LLM (Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen i GPT-5). Czytelność oceniano przy użyciu wielu wskaźników, natomiast zrozumiałość i możliwość wdrożenia zaleceń oceniano za pomocą narzędzia Patient Education Materials Assessment Tool (PEMAT). Ogólną jakość informacji oceniano za pomocą Global Quality Score (GQS). Ponadto przeanalizowano, w jaki sposób różne tematy edukacji zdrowotnej wpływają na te wskaźniki oceny oraz jakie są zależności między nimi, z целью dostarczenia opartych na dowodach wytycznych dotyczących wyboru i optymalizacji modeli LLM w klinicznej komunikacji zdrowotnej.
Protokół
W niniejszym badaniu analizowano wyłącznie tekst wygenerowany przez AI; nie zaangażowano w niego uczestników będących ludźmi, zwierząt, preparatów biologicznych, dokumentacji medycznej, możliwych do zidentyfikowania informacji osobistych ani interwencji w opiece klinicznej. W związku z tym ocena etyczna oraz formalna świadoma zgoda nie były wymagane.
Projekt badania
W niniejszym badaniu przekrojowym oceniono czytelność, jakość i przydatność edukacyjną odpowiedzi generowanych przez pięć modeli LLM na najczęściej zadawane pytania dotyczące TN.
Identyfikacja najczęściej zadawanych pytań dotyczących TN
25 listopada 2025 r. dwóch ekspertów klinicznych z dużym doświadczeniem w leczeniu bólu niezależnie przeanalizowało aktualne wytyczne kliniczne dotyczące nerwobólgu trójdzielnego (TN), w tym Międzynarodową Klasyfikację Zzaburzeń Bólowych Głowy, wydanie 3. (ICHD-3), wytyczne Europejskiej Akademii Neurologii oraz wytyczne Amerykańskiej Akademii Neurologii/Europejskiej Federacji Towarzystw Neurologicznych1,10,11. Po dyskusji konsensusowej opracowali listę 20 pytań związanych z TN, które często pojawiają się w praktyce klinicznej. Liczbę pytań ustalono a priori, aby zapewnić zrównoważony zakres pięciu zdefiniowanych wcześniej obszarów tematycznych, wybierając po cztery pytania dla każdego obszaru, zachowując jednocześnie całkowitą liczbę odpowiedzi generowanych przez model w zakresie umożliwiającym manualną ocenę i weryfikację przez ekspertów. Aby zwiększyć powtarzalność, proces wyboru przebiegał zgodnie z wcześniej zdefiniowaną strukturą opartą na obszarach: eksperci najpierw zidentyfikowali potencjalne pytania w każdym obszarze, niezależnie ocenili ich istotność kliniczną, sformułowanie zorientowane na pacjenta oraz brak redundancji, a następnie osiągnęli konsensus co do końcowych czterech pytań na obszar. Końcowa lista pytań znajduje się w Tabeli 1 oraz Pliku uzupełniającym 1. Pięć zdefiniowanych obszarów tematycznych to podstawowa wiedza o chorobie, etiologia i czynniki ryzyka, diagnostyka, leczenie oraz profilaktyka i rehabilitacja. Ponieważ zestaw pytań nie został opracowany na podstawie dzienników wyszukiwań pacjentów, zapytań w wyszukiwarkach internetowych ani formalnych wywiadów z pacjentami, możliwość wystąpienia błędu selekcji uznaje się za ograniczenie badania.
Modele AI i procedura gromadzenia danych
25 listopada 2025 r. sfinalizowany zestaw 20 pytań związanych z TN przekazano do pięciu publicznie dostępnych platform dużych modeli językowych (LLM): Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen oraz GPT-5/ChatGPT. Do wszystkich modeli uzyskano dostęp poprzez ich standardowe publiczne interfejsy czatu w przeglądarce; nie korzystano z dostępu przez interfejs programistyczny aplikacji (API). W przypadku każdej platformy wykorzystano domyślny publicznie dostępny model aktualny w dacie zbierania danych, bez modyfikacji jakichkolwiek parametrów generowania. Ponieważ publiczne interfejsy internetowe nie wyświetlały identyfikatorów snapshotów modeli backendowych, ukrytych promptów systemowych, temperatury, top-p, maksymalnej liczby tokenów wyjściowych ani innych parametrów generowania, elementy te odnotowano jako „niewidoczne w publicznym interfejsie internetowym”.
Językiem zapytań i odpowiedzi dla wszystkich modeli był język angielski. Każde zestandaryzowane zapytanie składało się wyłącznie z dosłownego pytania w języku angielskim, bez żadnych dodatkowych instrukcji specyficznych dla modelu. Każde pytanie przesyłano indywidualnie w nowej, niezależnej sesji czatu, bez wcześniejszej historii konwersacji, przesłanych plików, wtyczek, spersonalizowanych instrukcji czy zapytań uzupełniających. Pełna lista zestandaryzowanych zapytań oraz odpowiadające im surowe wyniki modeli znajdują się w Pliku uzupełniającym 1. Metadane modeli oraz ustawienia gromadzenia danych podsumowano w Tabeli uzupełniającej 1.
Ocena czytelności
Czytelność odpowiedzi generowanych przez LLM została oceniona przy użyciu wielu uznanych wzorów czytelności dostępnych za pośrednictwem internetowej platformy oceny czytelności (http://readabilityformulas.com/). Ze względu na brak powszechnie akceptowanego złotego standardu oceny czytelności i zgodnie z poprzednimi badaniami, zastosowano kompleksowy zestaw szeroko używanych wskaźników czytelności23,27. Wybrano siedem wskaźników, aby uchwycić komplementarne aspekty czytelności, w tym długość zdania, długość słowa, obciążenie sylabami, złożoność opartą na znakach, łatwość czytania oraz szacowany poziom klasy, co pozwoliło ograniczyć zależność od pojedynczego wzoru. Konkretnie obliczono: wskaźnik Colemana-Liau (CL), wzór Linsear Write (LW), zautomatyzowany wskaźnik czytelności (ARI), prosty pomiar bełkotu (SMOG), wskaźnik Gunning Fog (GFOG), wynik łatwości czytania Flescha (FRES) oraz poziom klasy Flescha-Kincaida (FKGL). Wskaźniki te szacują trudność czytania lub poziom klasy i dostarczają ilościowych miar czytelności tekstu (Tabela 2).
Ocena przydatności edukacyjnej i jakości informacji
Kwalifikację edukacyjną oceniono za pomocą narzędzia Patient Education Materials Assessment Tool (PEMAT), które składa się z dwóch domen: zrozumiałości i możliwości wdrożenia działań28. Narzędzie obejmuje 24 elementy, z czego 16 ocenia zrozumiałość, a osiem ocenia możliwość wdrożenia działań. Każdy element oceniano dychotomicznie (0 = kryterium niespełnione; 1 = kryterium spełnione), co dawało wynik całkowity w zakresie od 0 do 24, gdzie wyższe wyniki wskazywały na większą przydatność do edukacji pacjentów. Ogólną jakość informacji oceniono za pomocą Global Quality Score (GQS)27, szeroko stosowanej pięciostopniowej skali Likerta służącej do oceny jakości informacji medycznych (Tabela 3).
25 listopada 2025 roku dwóch ekspertów klinicznych z ponad 3-letnim doświadczeniem w leczeniu TN oceniło wszystkie odpowiedzi wygenerowane przez AI przy użyciu obu instrumentów oceny. Przed punktacją wszystkie odpowiedzi wygenerowane przez AI zostały zanonimizowane za pomocą kodowych identyfikatorów, a recenzenci nie wiedzieli, z której platformy LLM pochodziły odpowiedzi podczas ocen PEMAT i GQS. Rozbieżności rozstrzygał trzeci, starszy ekspert, który ustalał ostateczne wyniki. Niezawodność między sędziami oceniano za pomocą współczynnika kappa Cohena, gdzie wartości >0,75 oznaczały doskonałą zgodność, 0,40–0,75 oznaczały akceptowalną zgodność, a <0,40 oznaczały słabą zgodność. Wartości kappa Cohena dla PEMAT i GQS przekroczyły 0,75, co wykazało doskonałą niezawodność między sędziami.
Analiza statystyczna
Wszystkie analizy statystyczne przeprowadzono przy użyciu oprogramowania R (wersja 4.4.3). Normalność rozkładu danych oceniono za pomocą testu Shapiro-Wilka oraz wykresów Q-Q. Zmienne o rozkładzie normalnym przedstawiono jako średnia ± odchylenie standardowe i porównano za pomocą jednoczynnikowej analizy wariancji (ANOVA), a następnie, w razie potrzeby, zastosowano test post hoc Tukeya. Zmienne o rozkładzie nienormalnym przedstawiono jako mediany i rozstępy międzykwartylne i porównano za pomocą testu Kruskala-Wallisa, a następnie testu post hoc Dunna z korektą Bonferroniego dla porównań parzystych. Korelacje między wskaźnikami czytelności, wynikami PEMAT i wartościami GQS oceniono za pomocą współczynnika korelacji rang Spearmana, stosując korektę Benjamini-Hochberga dla wielokrotnych testów. Dwustronną skorygowaną wartość P < 0,05 uznano za statystycznie istotną.
Wyniki
W niniejszym badaniu systematycznie oceniono wpływ dużych modeli językowych (LLM) oraz różnych kategorii treści edukacji zdrowotnej na czytelność i jakość generowanych tekstów. Po pierwsze, porównano wydajność pięciu modeli LLM — Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen oraz GPT-5 — pod kątem przydatności w edukacji pacjentów, ogólnej jakości informacji oraz wielu wskaźników czytelności, w tym wyniku PEMAT, GQS oraz uznanych indeksów czytelności (ARI, FRES, GFOG, FKGL, CL, SMOG i LW). Po drugie, zbadano te same mierniki wyników w pięciu domenach tematycznych treści edukacji zdrowotnej: podstawowa wiedza o chorobie, etiologia i czynniki ryzyka, diagnostyka, leczenie oraz profilaktyka i rehabilitacja. Poprzez zintegrowanie tych dwóch perspektyw analitycznych, dalej zbadano, w jaki sposób typ modelu i kategoria treści wspólnie wpływają na jakość i czytelność tekstu, identyfikując tym samym systematyczne wzorce w materiałach edukacyjnych dla pacjentów generowanych przez LLM.
Analiza czytelności w różnych dużych modelach językowych
Do systematycznego porównania złożoności językowej tekstów dotyczących neuralgii nerwu trójdzielnego, wygenerowanych przez pięć dużych modeli językowych: Doubao, DeepSeek, Wenxin Yiyan, Tongyi Qianwen oraz GPT-5, wykorzystano siedem uznanych wskaźników czytelności. Ogólne wyniki podsumowano w Tabeli 4, a rozkłady poszczególnych miar czytelności przedstawiono na Rysunku 1A–G. W przypadku wszystkich wskaźników czytelności zaobserwowano statystycznie istotne różnice pomiędzy pięcioma modelami, przy P < 0,001 dla każdego z nich.
GPT-5 wykazywało najwyższe wartości mediany dla wskaźników ARI, GFOG, FKGL, CL i SMOG oraz najniższą wartość FRES, co wskazuje, że generowało teksty o dłuższych strukturach zdań, bardziej złożonym słownictwie i największym ogólnym obciążeniu podczas czytania (Rysunek 1A–G). Z kolei Wenxin Yiyan wykazywało najniższą złożoność językową. Jego wartości mediany ARI, GFOG, FKGL, CL i SMOG były najniższe spośród pięciu modeli, podczas gdy wskaźnik FRES był najwyższy.
Modele Doubao, DeepSeek i Tongyi Qianwen wykazały pośredni poziom czytelności pomiędzy GPT-5 a Wenxin Yiyan. Doubao i DeepSeek wykazały porównywalną wydajność w obrębie wskaźników poziomu edukacyjnego, w tym ARI, GFOG, FKGL i CL, a oba uzyskały znacznie wyższe wartości niż Wenxin Yiyan, przy wszystkich P < 0,05. Wyniki te wskazują na podobne ogólne obciążenie procesem czytania dla Doubao i DeepSeek, przy większej złożoności językowej niż w przypadku Wenxin Yiyan.
Tongyi Qianwen zazwyczaj uzyskiwał wartości pomiędzy wynikami Doubao/DeepSeek a GPT-5 w większości indeksów czytelności. Warto zauważyć, że jego wynik CL był bliższy wynikowi GPT-5, co sugeruje nieco większą złożoność językową niż w przypadku Doubao i DeepSeek, choć nadal mniejszą niż w GPT-5. Indeks LW wykazał wzorzec rozkładu odmienny od pozostałych miar czytelności. Wenxin Yiyan osiągnął najwyższy wynik LW (60.00), a następnie Tongyi Qianwen, DeepSeek i Doubao, podczas gdy GPT-5 uzyskał najniższy wynik LW (46.50). Rozbieżność ta odzwierciedla różnice w sposobie, w jaki poszczególne wzory czytelności przypisują wagi długości zdań i trudności słów (Rysunek 1G).
Ogólnie zaobserwowano istotne różnice w złożoności językowej pomiędzy pięcioma dużymi modelami językowymi. GPT-5 generował teksty o największej złożoności językowej, Wenxin Yiyan tworzył treści najbardziej przystępne, a pozostałe modele wykazywały pośredni poziom czytelności, choć widoczne były różnice strukturalne.
Porównanie przydatności w edukacji pacjentów oraz ogólnej jakości dużych modeli językowych
Zaobserwowano istotne różnice w przydatności do edukacji pacjentów, ocenianej za pomocą PEMAT, pomiędzy pięcioma modelami językowymi (Rysunek 1H; Tabela 4), przy wszystkich P < 0,001. GPT-5 uzyskał najwyższą ocenę PEMAT w ocenie eksperckiej (9,40 ± 1,90), co wskazuje na większą przydatność edukacyjną w ramach zastosowanego schematu porównawczego. Wynik ten nie powinien być jednak interpretowany jako dowód na to, że materiały wygenerowane przez GPT-5 poprawiają rzeczywiste zrozumienie, satysfakcję, zaufanie, zachowania prozdrowotne lub wyniki kliniczne pacjentów.
DeepSeek uzyskał umiarkowany wynik PEMAT (6,80 ± 1,06) przy stosunkowo wąskim rozkładzie wyników, co sugeruje spójną wydajność w generowaniu materiałów edukacyjnych dla pacjentów. Niemniej jednak, jego ogólna przydatność edukacyjna pozostała znacząco niższa niż w przypadku GPT-5 (P < 0,001). Modele Doubao, Tongyi Qianwen i Wenxin Yiyan osiągnęły niższe wyniki PEMAT (odpowiednio 5,35 ± 1,04, 5,65 ± 1,09 i 5,35 ± 0,93). Nie zaobserwowano istotnych różnic między tymi trzema modelami, a wszystkie one wypadły znacząco gorzej niż DeepSeek i GPT-5 (wszystkie P < 0,01). Wyniki te wskazują na porównywalną, lecz ograniczoną przydatność edukacyjną tych modeli, szczególnie w zakresie jasności instrukcji, organizacji językowej i łatwości zrozumienia.
Podobny wzorzec zaobserwowano w przypadku ogólnej jakości informacji, ocenianej za pomocą GQS (Rysunek 1I). Zidentyfikowano statystycznie istotne różnice pomiędzy pięcioma modelami, przy wszystkich P < 0,001. GPT-5 uzyskał najwyższą punktację GQS (4,00 ± 0,65). Jego wyniki koncentrowały się w przedziale 4–5 przy ograniczonej zmienności, co wskazuje na konsekwentnie wysoką wydajność w zakresie spójności treści, kompletności strukturalnej i użyteczności praktycznej.
Kolejno wyniki uzyskały modele DeepSeek oraz Doubao, z wynikiem GQS wynoszącym odpowiednio 3,35 ± 0,59 oraz 3,40 ± 0,50. Rozkłady ich wyników koncentrowały się między 3 a 4, co sugeruje umiarkowaną jakość informacji i rozsądną wiarygodność. W przeciwieństwie do nich, Tongyi Qianwen i Wenxin Yiyan osiągnęły najniższe wyniki GQS (odpowiednio 2,50 ± 0,51 i 2,20 ± 0,52). Ich rozkłady były przesunięte w stronę dolnego końca skali, co wskazuje na ograniczenia w zakresie dokładności informacji, rygoru strukturalnego i głębi treści, co może obniżać ich użyteczność w edukacji pacjentów.
Ogólnie GPT-5 uzyskał najwyższe oceny PEMAT i GQS wystawione przez ekspertów w tym zbiorze danych, podczas gdy DeepSeek i Doubao wykazały średnią wydajność. Tongyi Qianwen i Wenxin Yiyan otrzymały niższe oceny GQS. Wyniki te stanowią wyniki benchmarkingu ocenionego przez ekspertów i nie powinny być interpretowane jako dowód gotowości klinicznej lub skuteczności na poziomie pacjenta.
Porównanie czytelności, przydatności w edukacji pacjentów oraz ogólnej jakości w różnych kategoriach treści edukacji zdrowotnej
Analiza według kategorii treści wykazała istotne różnice w czytelności w obrębie pięciu tematów edukacji zdrowotnej (Tabela 5). W przypadku wskaźnika FRES zaobserwowano statystycznie istotne różnice między kategoriami tematycznymi (P = 0,004). Wyższe wartości FRES wskazują na łatwiejszą czytelność. Teksty dotyczące podstawowej wiedzy o chorobach były najbardziej czytelne (mediana = 28,50), a następnie treści diagnostyczne (mediana = 16,00), treści dotyczące etiologii i czynników ryzyka (mediana = 12,50) oraz treści związane z leczeniem (mediana = 11,50). Z kolei teksty dotyczące profilaktyki i rehabilitacji wykazały najniższą czytelność (mediana FRES = 1,00), co wskazuje na największą trudność w czytaniu.
Podobne wzorce zaobserwowano w przypadku pozostałych indeksów czytelności. Wskaźniki GFOG i FKGL różniły się znacząco pomiędzy kategoriami tematycznymi (P = 0,002 i P = 0,036), przy czym oba indeksy wskazywały na wyższy poziom trudności czytania w treściach dotyczących etiologii i czynników ryzyka oraz profilaktyki i rehabilitacji. Indeks SMOG również sugerował, że teksty dotyczące etiologii i czynników ryzyka zawierały większą proporcję słów wielosylabowych (P = 0,039). Największe różnice odnotowano dla CL (P < 0,001). Teksty dotyczące profilaktyki i rehabilitacji posiadały najdłuższe zdania (mediana = 21,01), co znacząco zwiększało trudność czytania, natomiast teksty zawierające podstawową wiedzę o chorobie miały najkrótsze zdania (mediana = 14,88), co odpowiadało najniższemu obciążeniu podczas czytania. Nie zaobserwowano istotnych różnic między kategoriami treści dla ARI lub LW.
Nie zidentyfikowano statystycznie istotnych różnic w przydatności materiałów do edukacji pacjentów pomiędzy pięcioma kategoriami treści na podstawie wyników PEMAT (P = 0,252). Średnie wyniki PEMAT wahały się od 5,90 do 7,20, co wskazuje, że mimo wyraźnych różnic w złożoności językowej, przydatność edukacyjna pozostała stosunkowo spójna we wszystkich tematach. Podobnie ogólna jakość informacji, oceniana za pomocą GQS, nie różniła się znacząco pomiędzy kategoriami treści (P = 0,822). Średnie wartości GQS mieściły się w przedziale od 2,95 do 3,25, co wskazuje, że ogólna jakość informacji była stosunkowo stabilna we wszystkich tematach treści.
Ogólnie zaobserwowano istotne różnice w czytelności poszczególnych tematów edukacji zdrowotnej; największą trudność w czytaniu wykazały treści dotyczące etiologii i czynników ryzyka oraz treści dotyczące profilaktyki i rehabilitacji, natomiast najbardziej czytelne były treści dotyczące podstawowej wiedzy o chorobie. W przeciwieństwie do tego, odpowiedniość edukacji pacjentów oraz ogólna jakość informacji pozostawały stosunkowo spójne we wszystkich kategoriach treści.
Analiza korelacji między czytelnością, przydatnością w edukacji pacjentów a ogólną jakością
Macierz korelacji na Rysunku 2 wykazuje spójne i silne powiązania między indeksami czytelności, co wskazuje na wysoką spójność wewnętrzną. Większość wskaźników czytelności, w tym ARI, GFOG, FKGL, CL i SMOG, wykazała umiarkowane do silnych korelacje dodatnie ze sobą, przy współczynnikach korelacji w zakresie od 0,64 do 0,97 (wszystkie P < 0,001). Wyniki te dodatkowo potwierdzają komplementarny charakter tych indeksów w ocenie złożoności językowej. W przeciwieństwie do nich, FRES wykazał istotne korelacje ujemne z wieloma wskaźnikami czytelności, w tym z ARI, GFOG, FKGL, CL i SMOG, przy wartościach bezwzględnych współczynników korelacji powyżej 0,70 (wszystkie P < 0,001). Wzorzec ten odzwierciedla odwrotny kierunek punktacji w FRES, gdzie wyższe wyniki oznaczają większą czytelność. Indeks LW również wykazał istotne korelacje ujemne z innymi indeksami czytelności, w tym z ARI, FKGL, GFOG i SMOG, przy wartościach bezwzględnych współczynników korelacji w zakresie od 0,75 do 0,90 (wszystkie P < 0,001). Z kolei LW był dodatnio skorelowany z FRES (współczynnik korelacji = 0,69, P < 0,001).
Zaobserwowano również wyraźne powiązania między wskaźnikami czytelności a ogólną jakością informacji, mierzoną za pomocą GQS. GQS wykazał słabe do umiarkowanych dodatnich korelacje z większością wskaźników czytelności, w tym ARI, GFOG, FKGL, CL oraz SMOG, przy współczynnikach korelacji w zakresie od 0,326 do 0,391 (wszystkie P < 0,001). Wyniki te sugerują, że większa złożoność językowa wiązała się z wyższą jakością informacji w ocenie ekspertów. Odwrotnie, GQS był umiarkowanie ujemnie skorelowany z FRES (współczynnik korelacji = −0,408, P < 0,001), co wskazuje, że teksty wymagające wyższego poziomu umiejętności czytania zazwyczaj otrzymywały wyższe oceny GQS. GQS wykazał również umiarkowaną ujemną korelację z LW (współczynnik korelacji = −0,421, P < 0,001).
Powiązania między czytelnością a przydatnością w edukacji pacjentów, oceniane za pomocą narzędzia PEMAT, były zazwyczaj słabsze, lecz spójne pod względem kierunku. Wyniki PEMAT wykazały słabe korelacje dodatnie z ARI, GFOG, FKGL, CL oraz SMOG, przy współczynnikach korelacji w zakresie od 0,305 do 0,434 (wszystkie P < 0,01). W przeciwieństwie do tego, wyniki PEMAT były słabo skorelowane ujemnie z FRES i LW, przy bezwzględnych współczynnikach korelacji wynoszących odpowiednio 0,432 i 0,320 (oba P < 0,01). Wyniki te sugerują, że w ramach tego zbioru danych większa złożoność językowa wiązała się z umiarkowanie wyższą oceną przydatności edukacyjnej dokonaną przez ekspertów, choć siła tych powiązań była ograniczona.
Co istotne, zaobserwowano umiarkowaną dodatnią korelację między wynikami PEMAT a GQS (współczynnik korelacji = 0,645, P < 0,001). Było to najsilniejsze powiązanie odnotowane pomiędzy domenami oceny, co wskazuje, że odpowiedzi o wyższej przydatności edukacyjnej miały również tendencję do otrzymywania wyższych ocen ogólnej jakości informacji.
DOSTĘPNOŚĆ DANYCH:
Pełny zestaw danych wspierający niniejsze badanie został udostępniony jako materiał uzupełniający. Plik uzupełniający 1 zawiera pełną listę ustandaryzowanych pytań, promptów oraz 100 zarchiwizowanych odpowiedzi wygenerowanych przez LLM. Tabela uzupełniająca 2 zawiera arkusze ocen PEMAT i GQS wypełnione przez ekspertów, w tym oceny PEMAT na poziomie poszczególnych pozycji (jeśli są dostępne), całkowite wyniki PEMAT, wyniki GQS, informacje dotyczące porównania oceniających oraz zapisy rozstrzygnięć w przypadkach spornych. Wyniki czytelności, dane źródłowe do rycin oraz kod analizy w programie R zostały dostarczone jako Plik uzupełniający 2. Ponieważ wyniki generowane przez LLM mogą zmieniać się w czasie ze względu na aktualizacje modeli, zmiany w interfejsie oraz modyfikacje na poziomie platformy, do weryfikacji i analiz wtórnych należy wykorzystywać zarchiwizowane wyniki, a nie odpowiedzi generowane ponownie.
Rysunek 1: Porównanie czytelności, przydatności w edukacji pacjentów oraz ogólnej jakości informacji w pięciu dużych modelach językowych. (A–G) Ten panel przedstawia wskaźniki czytelności: Automated Readability Index (ARI), Flesch Reading Ease Score (FRES), Gunning Fog Index (GFOG), Flesch-Kincaid Grade Level (FKGL), Coleman-Liau Index (CL), Simple Measure of Gobbledygook (SMOG) oraz Linsear Write Formula (LW). (H) Ten panel pokazuje całkowite wyniki PEMAT, a panel (I) przedstawia wyniki Global Quality Scores (GQS). Na każdym wykresie pudełkowym linia środkowa reprezentuje medianę, pudełko wskazuje rozstęp międzykwartylny (IQR), wąsy sięgają do 1,5 × IQR, a punkty poza wąsami reprezentują wartości odstające. Skróty: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch Kincaid Grade Level; CL = Coleman Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = Patient Education Materials Assessment Tool for Understandability and Actionability, format do druku; Global Quality Score = GQS. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rycina 2: Macierz korelacji Spearmana między wskaźnikami czytelności, przydatnością materiałów edukacyjnych dla pacjentów a ogólną jakością informacji we wszystkich odpowiedziach wygenerowanych przez model. Macierz przedstawia współczynniki korelacji Spearmana dla powiązań parzystych między ARI, FRES, GFOG, FKGL, CL, SMOG, LW, PEMAT i GQS. Skróty: ARI = Automated Readability Index; FRES = Flesch Reading Ease Score; GFOG = Gunning Fog Index; FKGL = Flesch-Kincaid Grade Level; CL = Coleman-Liau Index; SMOG = Simple Measure of Gobbledygook; LW = Linsear Write; PEMAT = Patient Education Materials Assessment Tool; GQS = Global Quality Score. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Tabela 1: Lista 20 pytań dotyczących nerwobólu trójdzielnego. Prosimy kliknąć tutaj, aby pobrać ten plik.
Tabela 2: Narzędzia do pomiaru czytelności, wzory i opisy. Kliknij tutaj, aby pobrać ten plik.
Tabela 3: Kryteria jakości Global Quality Score (GQS). Kliknij tutaj, aby pobrać ten plik.
Tabela 4: Wyniki analizy różnych dużych modeli językowych w odniesieniu do najczęstszych pytań dotyczących nerwobólu trójdzielnego. Kliknij tutaj, aby pobrać ten plik.
Tabela 5: Wyniki analizy w różnych wymiarach dla najczęstszych pytań dotyczących nerwobólu twarzy. Prosimy kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca 1: Wyniki czytelności odpowiedzi wygenerowanych przez pięć dużych modeli językowych we wszystkich ocenianych indeksach czytelności.Prosimy kliknąć tutaj, aby pobrać ten plik.
Tabela uzupełniająca 2: Oceny eksperckie przydatności edukacji pacjenta (PEMAT) oraz ogólnej jakości informacji (GQS) dla odpowiedzi wygenerowanych przez pięć dużych modeli językowych. Kliknij tutaj, aby pobrać ten plik.
Plik uzupełniający 1: Zestandaryzowane pytania dotyczące nerwobólu trójdzielnego oraz kompletne odpowiedzi wygenerowane przez pięć dużych modeli językowych. Kliknij tutaj, aby pobrać ten plik.
Plik uzupełniający 2: Skrypty R oraz dane źródłowe wykorzystane do analiz statystycznych i generowania rycin. Aby pobrać ten plik, kliknij tutaj.
Dyskusja
Niniejsze przekrojowe badanie benchmarkingowe systematycznie porównało czytelność, przydatność edukacyjną oraz ogólną jakość informacji zawartych w materiałach edukacyjnych dla pacjentów z nerwobólem trójdzielnym (TN), wygenerowanych przez pięć publicznie dostępnych dużych modeli językowych (LLM). Sformułowano cztery główne wnioski. Po pierwsze, czytelność znacząco różniła się w zależności od modelu – GPT-5 generował odpowiedzi najbardziej złożone językowo, natomiast Wenxin Yiyan tworzył treści najbardziej czytelne. Po drugie, czytelność i oceniana przez ekspertów jakość informacji były odrębnymi wymiarami ewaluacji, przy czym GPT-5 uzyskał najwyższe wyniki w skalach PEMAT i GQS pomimo niższej czytelności. Po trzecie, tematyka treści wpływała na czytelność – zagadnienia dotyczące profilaktyki, rehabilitacji, etiologii i czynników ryzyka zazwyczaj wymagały wyższego poziomu umiejętności czytania, podczas gdy wyniki PEMAT i GQS pozostawały stosunkowo stabilne w poszczególnych kategoriach treści. Wreszcie, indeksy czytelności wykazały silną spójność wewnętrzną, a analizy korelacyjne ujawniły słabe do umiarkowanych pozytywnych powiązania między złożonością językową a wynikami PEMAT i GQS, a także umiarkowaną pozytywną korelację między PEMAT a GQS. Zbiorczo wyniki te stanowią punkt odniesienia dla oceny materiałów edukacyjnych dla pacjentów z TN generowanych przez LLM, podkreślając jednocześnie potrzebę zbalansowania medycznej kompletności z dostępnością językową. Co ważne, wyniki te reprezentują oceny eksperckie w ramach benchmarkingu i nie powinny być interpretowane jako dowód na zrozumienie treści przez pacjentów, dokładność merytoryczną, bezpieczeństwo kliniczne czy gotowość do rutynowego zastosowania w praktyce klinicznej.
Wyniki niniejszego badania są zgodne z poprzednimi ewaluacjami medycznych informacji generowanych przez AI, w których zgłaszano znaczną zmienność pomiędzy różnymi modelami LLM oraz częwy brak spójności między czytelnością a jakością informacji26,27,29. Poprzednie badania przeprowadzone w wielu obszarach terapeutycznych wykazały, że materiały edukacyjne dla pacjentów generowane przez LLM często przekraczają zalecany poziom trudności tekstu, a modele tworzące najbardziej czytelne teksty niekoniecznie dostarczają najbardziej kompleksowych lub najwyższej jakości informacji26,30. Wyniki w edukacji na temat TN potwierdzają tę obserwację. GPT-5 generował odpowiedzi najbardziej złożone pod względem językowym, a mimo to uzyskał najwyższe wyniki w skalach PEMAT i GQS, podczas gdy Wenxin Yiyan tworzył teksty bardziej czytelne, lecz o niższej ocenie ekspertów w zakresie przydatności edukacyjnej i ogólnej jakości. Ponadto czytelność różniła się w zależności od obszarów tematycznych; tematy dotyczące profilaktyki i rehabilitacji oraz etiologii i czynników ryzyka wykazywały zazwyczaj większą złożoność językową, co sugeruje, że na trudność tekstu wpływają zarówno charakterystyka modelu, jak i złożoność zagadnienia31.
Pozorny kompromis między czytelnością a jakością informacji jest zgodny z odmiennymi konstruktami mierznymi przez instrumenty oceny. Formuły czytelności oceniają przede wszystkim cechy lingwistyczne na poziomie powierzchniowym, takie jak długość zdań i złożoność leksykalna, podczas gdy PEMAT i GQS oceniają atrybuty wyższego rzędu, w tym organizację informacji, kompletność, jasność wyjaśnień oraz możliwość wprowadzenia zaleceń w życie32. W przypadku edukacji w zakresie neuropatii trójdzielnego nerwu (TN), wysokiej jakości odpowiedzi często obejmują omówienie objawów alarmowych, diagnostykę różnicową, leczenie farmakologiczne i działania niepożądane, opcje interwencyjne i chirurgiczne oraz zindywidualizowane strategie rehabilitacji33. Tak kompleksywna klinicznie treść nieuchronnie zwiększa gęstość terminologiczną i złożoność składniową, co skutkuje wyższymi wskaźnikami czytelności i lepszą jakością edukacyjną ocenianą przez ekspertów. Co istotne, wnioski te nie powinny być interpretowane jako sugestia, że bardziej złożony język jest preferowany. Wskazują one raczej na to, że obecne duże modele językowe (LLM) często poprawiają kompletność informacyjną kosztem przystępności językowej. Przyszły rozwój systemów edukacji pacjentów powinien zatem skupić się na zachowaniu dokładności medycznej przy jednoczesnym upraszczaniu języka poprzez redakcję w stylu prostego języka, strukturalną prezentację kluczowych punktów, wyjaśnianie terminologii technicznej oraz jasne i możliwe do wdrożenia wskazówki, odpowiednie dla pacjentów o różnym poziomie kompetencji zdrowotnych11,34,35.
Analiza korelacji dodatkowo potwierdza rozróżnienie między czytelnością a jakością edukacyjną. Większość indeksów czytelności opartych na poziomie klasy wykazała słabe lub umiarkowane dodatnie powiązania zarówno z PEMAT, jak i GQS, podczas gdy FRES wykazał oczekiwaną odwrotną zależność, ponieważ wyższe wyniki FRES wskazują na większą łatwość czytania. Wyniki te nie oznaczają, że pożądana jest większa złożoność lingwistyczna; sugerują one raczej, że obecne modele LLM często osiągają większą kompletność informacyjną kosztem dostępności34. W związku z tym rozwój edukacji pacjentów wspomaganej przez AI powinien priorytetyzować dokładność i kompletność medyczną, jednocześnie uwzględniając redakcję w prostym języku, ustrukturyzowaną prezentację kluczowych punktów, jasne wyjaśnienia terminologii technicznej oraz praktyczne rekomendacje dostosowane do pacjentów o różnym poziomie kompetencji zdrowotnych11,35.
Dodatkowym spostrzeżeniem metodologicznym było odmienne zachowanie indeksu LW w porównaniu z pozostałymi miarami czytelności. W przeciwieństwie do ARI, FKGL, GFOG, CL i SMOG, indeks LW wykazał wzorzec bardziej zbliżony do FRES, co odzwierciedla różnice w sposobie, w jaki wzory czytelności operacjonalizują złożoność tekstu36. Ponieważ LW został pierwotnie opracowany dla instrukcji technicznych i kładzie nacisk na strukturę wybranych zdań oraz klasyfikację słów, a nie na ogólną charakterystykę zdań lub sylab, może on inaczej reagować na generowane przez AI teksty medyczne, które łączą zwięzłe stwierdzenia z dłuższymi fragmentami objaśniającymi i nierównomiernym rozmieszczeniem terminologii technicznej37,38. Wyniki te potwierdzają znaczenie wielowymiarowego modelu oceny, ponieważ żaden pojedynczy indeks czytelności nie oddaje w pełni wszystkich wymiarów złożoności tekstu. Zgodnie z wcześniejszymi badaniami nad generowanymi przez AI informacjami zdrowotnymi, ogólną czytelność należy zatem interpretować w oparciu o zbieżne dowody z wielu komplementarnych indeksów, a nie na podstawie pojedynczej miary39.
Kategoria treści również wpływała na czytelność. Tematy dotyczące profilaktyki, rehabilitacji oraz etiologii i czynników ryzyka zazwyczaj generowały teksty o wyższym poziomie trudności czytania niż podstawowa wiedza o chorobach, prawdopodobnie dlatego, że zagadnienia te wymagają sformułowania rekomendacji warunkowych, wyjaśnień mechanistycznych oraz bardziej specjalistycznej terminologii40,41. W przeciwieństwie do nich, podstawowa wiedza o chorobach opiera się głównie na definicjach i może być przekazywana prostszym językiem42. Pomimo tych różnic, wyniki PEMAT i GQS pozostały stosunkowo spójne we wszystkich domenach tematycznych, co sugeruje, że oceniana przez ekspertów przydatność edukacyjna i ogólna jakość informacji były utrzymane niezależnie od rodzaju pytań zadawanych przez pacjentów35,43.
Wyniki te mają szereg implikacji dla praktyki klinicznej oraz przyszłego rozwoju modeli LLM. Wobec faktu, że pacjenci coraz częściej korzystają z modeli LLM w celu uzyskania informacji przed lub po konsultacjach lekarskich, treści generowane przez AI powinny uzupełniać, a nie zastępować porady klinicystów, szczególnie w zakresie bezpieczeństwa leków, wskazań do leczenia interwencyjnego lub chirurgicznego oraz rozpoznawania objawów alarmowych wymagających pilnej oceny44. Organizacje ochrony zdrowia mogą odnieść korzyść z udostępniania sprawdzonych przez ekspertów, napisanych prostym językiem zasobów edukacyjnych, wykorzystując modele LLM jako narzędzia do tworzenia projektów lub wspierania decyzji, a nie jako autonomiczne systemy edukacji pacjentów. Przyszłe modele powinny uwzględniać strategie generowania treści z uwzględnieniem czytelności, przejrzyste raportowanie wersji modelu i dat generowania, wyraźne komunikowanie niepewności oraz procedury zarządzania, obejmujące weryfikację przez klinicystów, sprawdzanie dokładności faktów, screening pod kątem halucynacji, weryfikację bezpieczeństwa leków, wytyczne dotyczące objawów alarmowych oraz testowanie stopnia zrozumienia treści przez pacjenta przed wdrożeniem klinicznym26,44,45.
Niniejsze badanie posiada kilka ograniczeń. Wyniki modeli zostały zebrane z publicznie dostępnych interfejsów internetowych w jednym dniu, a późniejsze aktualizacje modeli, zmiany w interfejsach, ukryte instrukcje systemowe lub domyślne ustawienia generowania mogą wpływać na powtarzalność wyników. Zestaw 20 pytań został opracowany przez ekspertów klinicznych, a nie wypracowany na podstawie logów wyszukiwania pacjentów lub formalnych wywiadów z pacjentami, co może wprowadzać błąd selekcji. Ponadto badanie opierało się na ocenach PEMAT i GQS przeprowadzonych przez ekspertów i nie ewaluowano stopnia zrozumienia, zaufania, satysfakcji, zachowań zdrowotnych ani wyników klinicznych pacjentów. Formuły czytelności, PEMAT oraz GQS nie oceniają również bezpośrednio poprawności merytorycznej, ryzyka halucynacji, dokładności cytowań, kompletności przeciwwskazań ani bezpieczeństwa klinicznego. W związku z tym wyniki te należy interpretować jako przekrojową analizę porównawczą ocenioną przez ekspertów, a nie jako dowód na to, że jakiekolwiek materiały generowane przez LLM są gotowe do rutynowego zastosowania klinicznego. Przyszłe badania powinny obejmować zarchiwizowane wyniki modeli, szczegółowe metadane modeli, oceny wielojęzyczne, większe zestawy pytań, formalne audyty bezpieczeństwa, oceny poprawności merytorycznej oraz miary wyników zorientowane na pacjenta, zanim materiały edukacyjne generowane przez LLM zostaną rozważone do wdrożenia klinicznego.
W niniejszym przekrojowym badaniu porównawczym ocenianym przez ekspertów wykazano, że ogólnodostępne duże modele językowe znacząco różniły się pod względem przystępności, przydatności edukacyjnej oraz ogólnej jakości informacji w materiałach edukacyjnych dla pacjentów z neuralgią nerwu trójdzielnego. Model GPT-5 uzyskał najwyższe oceny w skalach PEMAT i GQS przyznane przez ekspertów, ale jednocześnie generował odpowiedzi o największej złożoności językowej, co podkreśla, że przystępność i oceniana przez ekspertów jakość edukacyjna stanowią powiązane, lecz odrębne wymiary edukacji pacjentów. Choć niektóre modele tworzyły treści bardziej przystępne, nie przekładało się tokoniecznie na większą przydatność edukacyjną lub ogólną jakość informacji. Ponieważ w badaniu nie oceniano dokładności faktograficznej za pomocą dedykowanego audytu bezpieczeństwa, ryzyka halucynacji, poprawności cytowań, stopnia zrozumienia przez pacjentów, zaufania, satysfakcji, zachowań prozdrowotnych ani wyników klinicznych, wyniki należy interpretować jako ekspercką analizę porównawczą, a nie dowód na gotowość do zastosowania klinicznego. Przyszłe badania powinny integrować recenzje eksperckie, formalne oceny bezpieczeństwa i dokładności faktograficznej oraz ewaluacje zorientowane na pacjenta, aby wspierać bezpieczne i skuteczne wykorzystanie materiałów generowanych przez LLM w edukacji pacjentów.
Oświadczenia
Autorzy oświadczają, że nie mają żadnych konfliktów interesów.
Podziękowania
Niniejsze badanie nie otrzymało żadnego konkretnego grantu z żadnej instytucji finansującej w sektorze publicznym, komercyjnym ani non-profit. Autorzy dziękują współpracownikom klinicznym, którzy przekazali uwagi do zestawu pytań dotyczących nerwobólu trójdzielnego i pomogli w dopracowaniu ram oceny. Dziękujemy również wszystkim osobom wspierającym przygotowanie i redakcję manuskryptu.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Platforma czatu DeepSeek | DeepSeek | https://chat.deepseek.com/ | Publicznie dostępny interfejs dużego modelu językowego służący do generowania odpowiedzi |
| Platforma czatu Doubao | Doubao | https://www.doubao.com/chat/ | Publicznie dostępny interfejs dużego modelu językowego służący do generowania odpowiedzi |
| GPT 5 | OpenAI | https://chat.openai.com/ | Publicznie dostępny interfejs dużego modelu językowego służący do generowania odpowiedzi |
| Oprogramowanie R, wersja 4.4.3 | R Foundation for Statistical Computing | Nie dotyczy | Analiza statystyczna i wizualizacja |
| Kalkulator czytelności online Readability Formulas | Readability Formulas | Nie dotyczy | Narzędzie online służące do obliczania wskaźników czytelności |
| Platforma czatu Tongyi Qianwen | Tongyi Qianwen | https://www.tongyi.com/ | Publicznie dostępny interfejs dużego modelu językowego służący do generowania odpowiedzi |
| Platforma czatu Wenxin Yiyan | Wenxin Yiyan | https://yiyan.baidu.com/ | Publicznie dostępny interfejs dużego modelu językowego służący do generowania odpowiedzi |
Bibliografia
- Headache Classification Committee of the International Headache Society (IHS). The International Classification of Headache Disorders, 3rd edition. Cephalalgia. 2018;38(1):1-211.
- Ashina S, et al. Trigeminal neuralgia. Nat Rev Dis Primers. 2024;10(1):39.
- Donertas-Ayaz B, Caudle RM. Locus coeruleus-noradrenergic modulation of trigeminal pain: Implications for trigeminal neuralgia and psychiatric comorbidities. Neurobiol Pain. 2023;13:100124.
- Martinelli R, et al. Psychological assessment in patients affected by trigeminal neuralgia: A systematic review. Neurosurg Rev. 2025;48(1):414.
- Melek LN, et al. Comparison of the neuropathic pain symptoms and psychosocial impacts of trigeminal neuralgia and painful posttraumatic trigeminal neuropathy. J Oral Facial Pain Headache. 2019;33(1):77-88.
- Zakrzewska JM, et al. Evaluating the impact of trigeminal neuralgia. Pain. 2017;158(6):1166-1174.
- Gambeta E, Chichorro JG, Zamponi GW. Trigeminal neuralgia: An overview from pathophysiology to pharmacological treatments. Mol Pain. 2020;16:1744806920901890.
- De Toledo IP, et al. Prevalence of trigeminal neuralgia: A systematic review. J Am Dent Assoc. 2016;147(7):570-576.e2.
- Svedung Wettervik T, et al. Incidence of trigeminal neuralgia: A population-based study in central Sweden. Eur J Pain. 2023;27(5):580-587.
- Bendtsen L, et al. European Academy of Neurology guideline on trigeminal neuralgia. Eur J Neurol. 2019;26(6):831-849.
- Cruccu G, et al. Trigeminal neuralgia: New classification and diagnostic grading for practice and research. Neurology. 2016;87(2):220-228.
- Araya EI, et al. Trigeminal neuralgia: Basic and clinical aspects. Curr Neuropharmacol. 2020;18(2):109-119.
- Chong MS, Bahra A, Zakrzewska JM. Guidelines for the management of trigeminal neuralgia. Cleve Clin J Med. 2023;90(6):355-362.
- Heinskou TB, et al. Favourable prognosis of trigeminal neuralgia when enrolled in a multidisciplinary management program: A two-year prospective real-life study. J Headache Pain. 2019;20(1):23.
- Liu S, et al. Comparative evaluation of ChatGPT and Gemini in brain-computer interface patient education: A multidimensional analysis of reliability, accuracy, comprehensibility, and readability. Int J Med Inform. 2026;206:106164.
- Forgie EME, et al. Social media and the transformation of the physician-patient relationship: Viewpoint. J Med Internet Res. 2021;23(12):e25230.
- Gantenbein L, Navarini AA, Maul LV, Brandt O, Mueller SM. Internet and social media use in dermatology patients: Search behavior and impact on the patient-physician relationship. Dermatol Ther. 2020;33(6):e14098.
- Youssef Y, et al. Social media and internet use among orthopedic patients in Germany: A multicenter survey. Front Digit Health. 2025;7:1486296.
- De Martino I, et al. Social media for patients: Benefits and drawbacks. Curr Rev Musculoskelet Med. 2017;10(1):141-145.
- Johnson KB, et al. Precision medicine, AI, and the future of personalized health care. Clin Transl Sci. 2021;14(1):86-93.
- Hirani R, et al. Artificial intelligence and healthcare: A journey through history, present innovations, and future possibilities. Life (Basel). 2024;14(5):557.
- Karatas G, Kirik F, Karatas ME, Cakir A, Ozdemir H. Comparative performance of ChatGPT o3-mini-high and DeepSeek-R1 in ophthalmology: An evaluation of diagnostic reasoning and case-based problem solving. J Fr Ophtalmol. 2025;49(1):104712.
- Hanci V, et al. Assessment of readability, reliability, and quality of ChatGPT, Bard, Gemini, Copilot, and Perplexity responses on palliative care. Medicine (Baltimore). 2024;103(33):e39305.
- Liu C, et al. Potential to perpetuate social biases in health care by Chinese large language models: A model evaluation study. Int J Equity Health. 2025;24(1):206.
- Haupt CE, Marks M. AI-generated medical advice—GPT and beyond. JAMA. 2023;329(16):1349-1350.
- Aydin S, Karabacak M, Vlachos V, Margetis K. Large language models in patient education: A scoping review of applications in medicine. Front Med (Lausanne). 2024;11:1477898.
- Kara M, et al. Evaluating the readability, quality, and reliability of responses generated by ChatGPT, Gemini, and Perplexity on the most commonly asked questions about ankylosing spondylitis. PLoS One. 2025;20(6):e0326351.
- Perez Rivera LR, et al. Evaluating the quality and reliability of large language models for plastic surgery patient education: A comparative analysis of ChatGPT and OpenEvidence. Aesthet Surg J. 2025. doi:10.1093/asj/sjaf249.
- Wilhelm TI, Roos J, Kaczmarczyk R. Large language models for therapy recommendations across three clinical specialties: Comparative study. J Med Internet Res. 2023;25:e49324.
- Will J, et al. Enhancing the readability of online patient education materials using large language models: Cross-sectional study. J Med Internet Res. 2025;27:e69955.
- Tukur Jido J, Al-Wizni A, Aung SL. Readability of AI-generated patient information leaflets on Alzheimer's disease, vascular dementia, and delirium. Cureus. 2025;17(6):e85463.
- Luo Z, Lin C, Kim TH, Shin YS, Ahn ST. Quality and readability analysis of artificial intelligence-generated medical information related to prostate cancer: A cross-sectional study of ChatGPT and DeepSeek. World J Mens Health. 2025. doi:10.5534/wjmh.250144.
- Joseph P, Silva NA, Nanda A, Gupta G. Evaluating the readability of online patient education materials for trigeminal neuralgia. World Neurosurg. 2020;144:e934-e938.
- Dong C, et al. Comparative evaluation of large language models in delivering guideline-compliant recommendations for topical NSAID use in musculoskeletal pain: A multidimensional analysis. Clin Rheumatol. 2025;44(11):4703-4710.
- Ozduran E, Buyukcoban S. Evaluating the readability, quality, and reliability of online patient education materials on post-COVID pain. PeerJ. 2022;10:e13686.
- Wang LW, Miller MJ, Schmitt MR, Wen FK. Assessing readability formula differences with written health information materials: Application, results, and recommendations. Res Social Adm Pharm. 2013;9(5):503-516.
- Singh SP, et al. Comprehension profile of patient education materials in endocrine care. Kans J Med. 2022;15(2):247-252.
- Marder RS, et al. ChatGPT-3.5 and ChatGPT-4.0 do not reliably create readable patient education materials for common orthopaedic upper- and lower-extremity conditions. Arthrosc Sports Med Rehabil. 2025;7(1):101027.
- Nasra M, et al. Can artificial intelligence improve patient educational material readability? A systematic review and narrative synthesis. Intern Med J. 2025;55(1):20-34.
- Bhatt C, et al. Evaluating readability, understandability, and actionability of online printable patient education materials for cholesterol management: A systematic review. J Am Heart Assoc. 2024;13(8):e030140.
- Avra TD, Le M, Hernandez S, Thure K, Ulloa JG. Readability assessment of online peripheral artery disease education materials. J Vasc Surg. 2022;76(6):1728-1732.
- Rooney MK, et al. Readability of patient education materials from high-impact medical journals: A 20-year analysis. J Patient Exp. 2021;8:2374373521998847.
- Ahmadzadeh K, et al. Patient education information material assessment criteria: A scoping review. Health Info Libr J. 2023;40(1):3-28.
- Duan L, Yao Z, Li X, Wu Y, Sheng D. Comparing large language models and human doctors in symptom-driven online medical consultations: A case study on trigeminal neuralgia. Digit Health. 2025;11:20552076251388140.
- Werner C, Harden J, Lawton J. Pathways to a diagnosis of trigeminal neuralgia: A qualitative study of patients' experiences. BMC Prim Care. 2025;26(1):65.