Interoperacyjna platforma internetowa oparta na dużych modelach językowych do analizy danych medycznych: protokół wsparcia decyzji klinicznych

Podsumowanie

Niniejszy protokół opisuje implementację interoperacyjnej platformy internetowej, która integruje dane kliniczne oparte na standardzie FHIR z generowaniem wspomaganym wyszukiwaniem (Retrieval-Augmented Generation) oraz wieloagentowymi dużymi modelami językowymi w celu wsparcia decyzji klinicznych. Przepływ pracy umożliwia odtwarzalne wdrożenie, standaryzowaną integrację danych oraz ewaluację analizy danych medycznych wspomaganej przez sztuczną inteligencję (AI).

Streszczenie

Procesy podejmowania decyzji klinicznych są często utrudnione przez fragmentaryczną dokumentację medyczną w formie elektronicznej oraz ograniczoną interoperacyjność między heterogenicznymi systemami informacji zdrowotnej. Niniejszy artykuł przedstawia szczegółowy protokół wdrażania interoperacyjnej platformy internetowej, która integruje dane kliniczne za pomocą standardu Fast Healthcare Interoperability Resources (FHIR), wraz z wykorzystaniem generowania wspomaganego wyszukiwaniem (RAG), dużych modeli językowych (LLM) oraz wieloagentowego frameworku rozumowania klinicznego w celu wsparcia analizy danych medycznych i decyzji klinicznych. Protokół opisuje kompletny przepływ pracy, w tym konfigurację środowiska obliczeniowego, przetwarzanie wstępne zestawów danych klinicznych, integrację danych w oparciu o FHIR, budowę bazy wektorowej, konfigurację wyszukiwania, inżynierię promptów, orkiestrację wieloagentową oraz ewaluację systemu. Reprezentatywne wyniki wykazują zdolność platformy do generowania klinicznie istotnych i spójnych kontekstowo odpowiedzi przy jednoczesnej poprawie interoperacyjności semantycznej między heterogenicznymi źródłami danych. Wydajność systemu oceniono za pomocą uzupełniających miar ilościowych i semantycznych, w tym BLEU, ROUGE, BERTScore oraz podobieństwa cosinusowego. Przeprowadzono ocenę jakościową z wykorzystaniem publicznie dostępnych, w pełni anonimizowanych referencyjnych zestawów danych medycznych w celu zweryfikowania powtarzalności proponowanego przepływu metodologicznego. Zaproponowana architektura łączy standaryzowaną interoperacyjność opieki zdrowotnej z modelami językowymi wspomaganymi wyszukiwaniem, aby poprawić rozumowanie kontekstowe, ograniczyć halucynacje i wspierać powtarzalne, wspomagane przez AI procesy kliniczne. Protokół ten dostarcza skalowalny i powtarzalny model dla badaczy i programistów dążących do wdrożenia interoperacyjnych, dbających o prywatność i inteligentnych systemów opieki zdrowotnej do wsparcia decyzji klinicznych, analizy danych medycznych oraz przyszłych badań translacyjnych.

Wprowadzenie

Informacje zdrowotne są rutynowo generowane w szpitalach, centrach diagnostycznych, laboratoriach i przychodniach, często pozostając rozproszone pomiędzy heterogenicznymi systemami informacyjnymi. Ta fragmentacja ogranicza interoperacyjność i utrudnia terminowy dostęp do kompleksowej dokumentacji pacjentów, co stwarza trwałe wyzwania dla opieki klinicznej, integracji danych oraz zarządzania opieką zdrowotną^1,2,3,4.

Konsekwencje tej fragmentacji stają się szczególnie widoczne w procesach klinicznych, które zależą od terminowego dostępu do informacji o pacjencie. Gdy pracownicy służby zdrowia nie mogą uzyskać pełnej i zintegrowanej dokumentacji medycznej, ocena kliniczna staje się trudniejsza, co zwiększa ryzyko podejmowania niepełnych decyzji i obniża efektywność udzielania opieki, szczególnie w sytuacjach nagłych^5,6.

Ostatnie osiągnięcia w dziedzinie sztucznej inteligencji (AI), w szczególności duże modele językowe (LLMs), rozszerzyły zakres podejść obliczeniowych dostępnych w zastosowaniach opieki zdrowotnej. Modele te były badane w zadaniach takich jak pomoc diagnostyczna, triaż kliniczny i wsparcie decyzji. Na przykład Jahan i wsp.⁵ ocenili zastosowanie LLMs w zadaniach biomedycznych, natomiast Taylor i wsp.⁷ zbadali dostrojone modele w zakresie cyfrowego przesiewowego badania zdrowia psychicznego, raportując obiecujące wyniki w specjalistycznych warunkach klinicznych.

Zastosowanie modeli LLM rozszerzyło się również na bardziej wyspecjalizowane dziedziny kliniczne. Song i wsp. ⁴⁹ badali ich wykorzystanie w diagnostyce pylicy płuc, natomiast Chien i wsp.⁸ zastosowali te modele do analizy wzorców obciążenia pracą opiekunów nieformalnych. W okulistyce Xue i wsp.⁹ zaproponowali system odpowiadania na pytania w diagnostyce jaskry, a Tan i wsp.³ oraz Wu i wsp.¹⁰ opisali zastosowanie LLM w hybrydowych systemach diagnostycznych i konsultacjach w ramach tradycyjnej medycyny chińskiej.

Zastosowanie LLM nie ogranicza się wyłącznie do bezpośrednich aplikacji klinicznych. Zhang i wsp.¹¹ zbadali ich wykorzystanie w rozpoznawaniu emocji w scenariuszach dotyczących zdrowia psychicznego, natomiast Sarzaeim i wsp.¹² przeanalizowali inteligentne systemy policyjne, które mogą również przyczynić się do analiz związanych ze zdrowiem publicznym. Badania te ilustrują szeroką stosowalność podejść opartych na LLM w różnych domenach związanych z opieką zdrowotną.

Choć duże modele językowe (LLMs) rozszerzyły możliwości zastosowań w opiece zdrowotnej, ich integracja ze środowiskami klinicznymi wciąż wiąże się z istotnymi wyzwaniami technicznymi, organizacyjnymi i regulacyjnymi. Praktyczne wdrożenie wymaga odpowiedniej infrastruktury obliczeniowej, skutecznego zarządzania danymi oraz zgodności z ramami regulacyjnymi, takimi jak Ogólne rozporządzenie o ochronie danych (GDPR) oraz brazylijska Ogólna ustawa o ochronie danych (LGPD). Ramy te określają wymogi dotyczące bezpiecznego i etycznego przetwarzania wrażliwych informacji zdrowotnych, rozwiązując jednocześnie kwestie związane z prywatnością, niezawodnością i stronniczością algorytmiczną w systemach opieki zdrowotnej wspomaganych przez AI^13,14.

Interoperacyjność pomiędzy heterogenicznymi źródłami danych opieki zdrowotnej, w tym elektroniczną dokumentacją medyczną (EHR), systemami obrazowania medycznego oraz urządzeniami Internetu Rzeczy (IoT), nadal stanowi główne wyzwanie techniczne dla wdrażania rozwiązań opieki zdrowotnej wspomaganych przez AI. W tym kontekście ustandaryzowane ramy interoperacyjności, takie jak HL7 FHIR, zapewniają ustrukturyzowany mechanizm wymiany informacji klinicznych pomiędzy różnymi systemami, zachowując jednocześnie spójność semantyczną i wspierając skalowalną integrację.

Niniejsza praca przedstawia interoperacyjną platformę internetową, która integruje duże modele językowe (LLM) ze standardami interoperacyjności opieki zdrowotnej w celu wsparcia analizy danych medycznych w heterogenicznych środowiskach klinicznych. Zaproponowana architektura łączy integrację danych w oparciu o standard HL7 FHIR z generowaniem wspomaganym wyszukiwaniem (RAG) oraz wieloagentowym środowiskiem przetwarzania, aby zapewnić kontekstową analizę wspomaganą przez AI, przy jednoczesnym zachowaniu zgodności z obowiązującymi wymogami dotyczącymi ochrony danych, w tym z brazylijską ogólną ustawą o ochronie danych (LGPD).

Niniejszy protokół opisuje interoperacyjną architekturę służącą do integracji heterogenicznych danych klinicznych z wykorzystaniem uznanych standardów interoperacyjności w ochronie zdrowia. Szczegółowo opisano w nim również implementację wieloagentowego potoku przetwarzania opartego na dużych i małych modelach językowych (LLM oraz SLM), wraz z ramami ewaluacyjnymi łączącymi metryki ilościowe i analizy jakościowe w celu oceny funkcjonowania proponowanej platformy.

Protokół

Niniejsza analiza nie wiązała się z rekrutacją uczestników będących ludźmi, dostępem do identyfikowalnych dokumentacji pacjentów ani eksperymentami na zwierzętach. Protokół został opracowany i oceniony wyłącznie z wykorzystaniem publicznie dostępnych i w pełni anonimowych zbiorów danych w celu walidacji metodologicznej. Nie uzyskano dostępu ani nie przetwarzano żadnych danych osobowych dotyczących stanu zdrowia. W związku z tym nie było wymagane zatwierdzenie przez Instytucjonalną Komisję Rewizyjną (IRB) lub Komisję Etyki Badań. Protokół opracowano zgodnie z obowiązującymi zasadami ochrony danych, w tym brazylijską Ogólną Ustawą o Ochronie Danych (LGPD), aby wspierać przyszłe zastosowania obejmujące dane kliniczne.

Wybór i wstępne przetwarzanie zbioru danych

Zaproponowany protokół został oceniony przy użyciu publicznie dostępnych i w pełni zanonimizowanych zbiorów danych klinicznych, obejmujących ustrukturyzowaną elektroniczną dokumentację medyczną (EHR), dane z systemów odpowiadania na pytania kliniczne oraz zbiory obrazowania medycznego w celu walidacji metodologicznej. Przed integracją z platformą zbiory danych poddano standaryzowanym procedurom wstępnego przetwarzania, w tym normalizacji danych, usuwaniu niespójnych lub niepełnych rekordów, mapowaniu na zasoby HL7 FHIR, oczyszczaniu tekstu, segmentacji na fragmenty do wyszukiwania oraz generowaniu osadzeń (embeddingów) dla indeksowania wektorowego. Kroki wstępnego przetwarzania zapewniły spójność semantyczną w heterogenicznych źródłach danych, co ułatwiło interoperacyjność i umożliwiło reprodukowalność zaproponowanego przepływu pracy, przy jednoczesnym zachowaniu zgodności z obowiązującymi zasadami prywatności danych.

Zbiory danych pozyskano z publicznie dostępnych repozytoriów referencyjnych, powszechnie wykorzystywanych w badaniach nad sztuczną inteligencją i zdrowiem cyfrowym. Wybrano je tak, aby reprezentowały heterogeniczne informacje kliniczne, w tym ustrukturyzowaną elektroniczną dokumentację medyczną (EHR), nieustrukturyzowane opisy kliniczne, zadania z zakresu odpowiadania na pytania kliniczne oraz metadane obrazowania medycznego. Zamiast oceniać konkretną kohortę kliniczną, protokół koncentruje się na zademonstrowaniu odtwarzalnego przepływu pracy wdrożeniowej, który może zostać dostosowany do różnych zbiorów danych opieki zdrowotnej. Różnorodność tych referencyjnych zbiorów danych umożliwia walidację potoku interoperacyjności, generowania wspomaganego wyszukiwaniem (RAG) oraz wieloagentowego systemu rozumowania w wielu modalnościach danych klinicznych.

Konfiguracja środowiska eksperymentalnego

Środowisko eksperymentalne skonfigurowano w celu oceny interoperacyjnej platformy w kontrolowanych i powtarzalnych warunkach. Architektura obejmuje moduły ingestii danych, warstwy interoperacyjności, duże modele językowe (LLMs) oraz komponenty ewaluacyjne zorganizowane w pojedynczy potok przetwarzania do analizy danych medycznych. Rysunek 1 przedstawia kompletny przepływ pracy, od ingestii danych klinicznych po generowanie wyników diagnostycznych.

Rysunek 1: Ogólny schemat działania systemu ilustrujący potok przetwarzania od surowych danych klinicznych do wyniku statusu choroby. Proces rozpoczyna się od pobierania elektronicznej dokumentacji medycznej (EHR), po czym następuje filtrowanie i wstępne przetwarzanie danych w celu wyodrębnienia informacji istotnych dla danej choroby. Etap projektowania ustrukturyzowanego promptu integruje wiedzę ekspercką, definicje chorób oraz hiperparametry, co umożliwia efektywną interakcję z dużym modelem językowym (LLM). LLM przeprowadza wnioskowanie tekstowe w celu wygenerowania odpowiedzi uwzględniających kontekst, które są następnie oceniane na podstawie reguł klinicznych w celu ustalenia ostatecznego statusu choroby. Schemat podkreśla integrację wstępnego przetwarzania danych, promptowania opartego na wiedzy oraz wnioskowania opartego na AI w celu wsparcia podejmowania decyzji klinicznych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Architektura interoperacyjności w ochronie zdrowia

Infrastruktura backendowa przyjmuje architekturę modułową opartą na interfejsach RESTful API w celu wsparcia komunikacji między komponentami platformy (Rycina 2). Architektura ta obejmuje heterogeniczne informacje kliniczne, w tym ustrukturyzowaną elektroniczną dokumentację medyczną (EHR), notatki lekarzy oraz metadane pochodzące z systemów obrazowania medycznego. Ponieważ dane te pochodzą z wielu źródeł i formatów, interoperacyjność osiągnięto dzięki ustandaryzowanym modelom danych, w szczególności w ramach standardu Fast Healthcare Interoperability Resources (FHIR)^15,16,17.^.Zastosowanie FHIR wspiera ustrukturyzowaną wymianę informacji przy jednoczesnym zachowaniu skalowalności i elastyczności w rozproszonych środowiskach opieki zdrowotnej. Wprowadzono również mechanizmy komunikacyjne oparte na standardzie HL7, aby ułatwić integrację z przestarzałymi systemami klinicznymi, które są nadal szeroko stosowane w placówkach ochrony zdrowia^16,17.

Rysunek 2: Architektura systemu proponowanej interoperacyjnej platformy. Interfejs sieciowy komunikuje się z zapleczem (backendem) poprzez API Flask przy użyciu żądań HTTP POST/GET. API zarządza routingiem, przetwarzaniem zapytań oraz interakcją z ustrukturyzowanymi i nieustrukturyzowanymi źródłami danych. Baza danych MySQL przechowuje ustrukturyzowane dane kliniczne, natomiast wektorowy magazyn danych oparty na FAISS wspiera wyszukiwanie podobieństw w operacjach odzyskiwania informacji. Potok oparty na LLaMA przetwarza dane wejściowe w formie tekstowej i generuje odpowiedzi przy użyciu reprezentacji wektorowych, umożliwiając generowanie wspomagane wyszukiwaniem (Retrieval-Augmented Generation, RAG). Architektura podkreśla integrację usług sieciowych, zarządzania bazami danych, wyszukiwania wektorowego oraz wnioskowania dużego modelu językowego w ramach jednego, zunifikowanego systemu. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Konfiguracja przepływu pracy dla wielu agentów

Architektura wieloagentowa jest zorganizowana w wyspecjalizowane agenty funkcjonalne odpowiedzialne za odrębne etapy przepływu pracy. Agent wstępnego przetwarzania wykonuje normalizację danych i mapowanie FHIR, po którym następuje agent wyszukiwania odpowiedzialny za przeszukiwanie semantyczne w bazie wektorowej. Agent wnioskowania integruje pobrany kontekst z LLM w celu generowania odpowiedzi, podczas gdy agent walidacji weryfikuje spójność i formatowanie wyników przed zwróceniem końcowej odpowiedzi. Koordynacja agentów opiera się na sekwencyjnej strategii orchestracji, w której wynik każdego agenta służy jako dane wejściowe dla następnego etapu, co zapewnia powtarzalną i modularną implementację.

Integracja danych klinicznych

Warstwa integracji danych agreguje informacje z wielu źródeł klinicznych i przygotowuje je do dalszego przetwarzania. Wstępne przetwarzanie obejmuje normalizację danych, tokenizację oraz wyrównywanie encji w celu poprawy spójności semantycznej w heterogenicznych zbiorach danych. Ponieważ informacje kliniczne różnią się strukturą i jakością, operacje te pomagają zredukować szum i ułatwiają interakcję z modelami AI. Zastosowano również strategie mapowania strukturalnego w celu zharmonizowania różnych formatów danych i zachowania kompatybilności z potokiem przetwarzania, co zilustrowano na Rysunku 3^15,16,17.

Rysunek 3: Szczegółowy przykład procesu wieloagentowego rozumowania klinicznego. Rysunek ilustruje, w jaki sposób zapytanie kliniczne jest analizowane w wielu etapach, obejmujących ocenę złożoności, rekrutację specjalistów, wspólną dyskusję oraz ostateczne podejmowanie decyzji. Proces ten demonstruje zdolność systemu do dynamicznego dostosowywania strategii rozumowania w zależności od złożoności zapytania, co zwiększa zarówno efektywność, jak i dokładność diagnostyczną w scenariuszach wspierania decyzji klinicznych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Konfiguracja potoku generowania rozszerzonego o pobieranie (Retrieval-Augmented Generation)

Generowanie wspomagane wyszukiwaniem (Retrieval-Augmented Generation, RAG) jest wykorzystywane w celu zapewnienia analizy uwzględniającej kontekst poprzez połączenie wyszukiwania informacji z możliwościami generatywnymi dużych modeli językowych. Zapytania użytkownika są przekształcane w reprezentacje wektorowe przy użyciu modeli embeddingowych, a następnie dopasowywane do bazy wektorowej za pomocą semantycznego wyszukiwania podobieństwa w celu pobrania najistotniejszych fragmentów kontekstowych. Pobrane dokumenty są następnie łączone z oryginalnym zapytaniem przed etapem wnioskowania przez LLM. Strategia ta pomaga dostarczyć informacji kontekstowych podczas generowania odpowiedzi i jest powiązana z poprawą spójności faktograficznej oraz redukcją halucynacji w aplikacjach wymagających szerokiej wiedzy, w tym w ochronie zdrowia^18,19. Rycina 1 oraz Rycina 3 przedstawiają ogólny schemat przepływu wyszukiwania oraz odpowiadający mu proces wnioskowania.

Dla każdego żądania użytkownika ostateczny prompt jest konstruowany dynamicznie poprzez połączenie oryginalnego zapytania z najbardziej odpowiednimi fragmentami kontekstowymi pobranymi z bazy wektorowej. Pobrane informacje są włączane jako dowody kontekstowe przed wnioskowaniem, co pozwala modelowi językowemu generować odpowiedzi oparte na pobranej wiedzy z zakresu opieki zdrowotnej, przy jednoczesnym zachowaniu spójności semantycznej i ograniczeniu generowania treści niepopartych danymi.

Inżynieria promptów i rozumowanie wieloagentowe

Protokół wykorzystuje ustrukturyzowane strategie promptowania w celu poprawy interpretacji kontekstowej podczas generowania odpowiedzi. Techniki te, wraz z zaawansowanymi mechanizmami wnioskowania, pomagają kierować procesem rozumowania w złożonych scenariuszach klinicznych i są zgodne z ostatnimi doniesieniami w literaturze²⁰.

Architektura obejmuje wieloagentowy system złożony ze wyspecjalizowanych modułów pełniących odrębne funkcje w potoku przetwarzania, w tym walidację danych, filtrowanie kontekstu, wsparcie wnioskowania klinicznego oraz weryfikację wyników. Modularna organizacja umożliwia wykonywanie zadań sekwencyjnie lub równolegle, zapewniając elastyczność w zależności od różnych wymagań przetwarzania (Rysunek 4). Rozdzielenie tych działań pomiędzy wielu agentów zmniejsza zależność od pojedynczego modelu językowego i wspiera bardziej odporny przepływ pracy. Strategia architektoniczna ta jest zgodna z ostatnimi osiągnięciami w dziedzinie rozproszonej sztucznej inteligencji i projektowania inteligentnych systemów^21,22.

Rysunek 4: Wieloagentowy schemat decyzyjny dla rozumowania klinicznego. Proces rozpoczyna się od zapytania użytkownika, które jest oceniane przez agenta weryfikującego odpowiedzialnego za ocenę złożoności zapytania. W przypadku złożonych kwestii system dynamicznie rekrutuje wielodyscyplinarny zespół (MDT) wyspecjalizowanych agentów, którzy uczestniczą w iteracyjnych rundach dyskusji, aby przeanalizować problem i dokonać syntezy wiedzy przed podjęciem ostatecznej decyzji. W przypadku prostszych spraw zapytanie jest obsługiwane przez agenta lekarza podstawowej opieki zdrowotnej (PCC), co umożliwia szybsze generowanie odpowiedzi. Ta adaptacyjna architektura równoważy wydajność i głębię analityczną, poprawiając jakość decyzji oraz skalowalność systemu w zastosowaniach opieki zdrowotnej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Ocena wydajności

Wydajność systemu oceniono za pomocą komplementarnych metryk, które oddają zarówno jakość językową, jak i spójność semantyczną wygenerowanych wyników. Do pomiaru podobieństwa syntaktycznego na podstawie nakładania się n-gramów zastosowano BLEU²³, natomiast ROUGE posłużyło do oceny pełności (recall) i zakresu treści, szczególnie w zadaniach streszczania i ekstrakcji informacji²⁴. Podobieństwo semantyczne oceniono za pomocą BERTScore, który wykorzystuje osadzenia kontekstowe pochodzące z modeli opartych na transformatorach do porównywania tekstów wygenerowanych i referencyjnych²⁵. Dodatkowe analizy obejmowały perpleksję oraz podobieństwo cosinusowe w celu zbadania odpowiednio pewności modelu i spójności semantycznej^26,27.

Wybrane metryki oceny zapewniają komplementarne perspektywy na wydajność systemu poprzez połączenie analiz leksykalnych i semantycznych. Kombinacja ta jest szczególnie istotna w zastosowaniach opieki zdrowotnej, gdzie interpretacja kontekstowa jest tak samo ważna jak podobieństwo leksykalne. Platformę oceniano w kontrolowanym środowisku obliczeniowym, które wspiera zarówno wdrożenie w chmurze, jak i lokalne. Lokalna implementacja modeli LLM została uwzględniona jako opcja w celu spełnienia wymogów dotyczących prywatności danych i zmniejszenia zależności od zewnętrznych usług podczas przetwarzania poufnych informacji klinicznych. Ta strategia wdrożenia jest zgodna z ramami ochrony danych i może zostać dostosowana do różnych środowisk operacyjnych^4.

Wyniki

Wydajność systemu oceniono przy użyciu komplementarnych wskaźników ilościowych wraz z analizą jakościową, aby zbadać zarówno poprawność językową, jak i spójność semantyczną wygenerowanych wyników. Strategia oceny ta łączy miary leksykalne i semantyczne, aby zapewnić szerszą charakterystykę zachowania modelu w zadaniach generowania języka związanego z opieką zdrowotną.

Tabela 1 przedstawia wyniki ilościowe uzyskane za pomocą miar BLEU, ROUGE oraz BERTScore. Metryki te wybrano, ponieważ oceniają one komplementarne aspekty wygenerowanego tekstu, w tym podobieństwo leksykalne, zakres informacji oraz spójność semantyczną, i są powszechnie stosowane w badaniach nad przetwarzaniem języka naturalnego.

Sędzia	Prompt	Pearson	RMSE	MAE	Wskaźnik trafień
Mixtral	krótki	0.098	1.779	1.346	6/28
	zero-shot	0.174	1.618	1.293	15/28
	few-shot	0.475	1.673	1.367	9/28
LLaMA 3	krótki	0.485	1.617	1.314	11/28
	zero-shot	0.479	1.614	1.314	10/28
	few-shot	0.425	1.652	1.339	13/28
LLaMA 3.1	krótki	0.349	1.621	1.318	06/28
	zero-shot	0.68	1.614	1.307	12/28
	few-shot	0.408	1.243	0.886	11/28

Tabela 1: Ilościowe wskaźniki oceny proponowanego systemu.

Do ilościowego określenia podobieństwa syntaktycznego, opartego na nakładaniu się n-gramów pomiędzy wygenerowanymi wynikami a tekstami referencyjnymi, wykorzystano miarę BLEU^23. Opracowana pierwotnie na potrzeby tłumaczenia maszynowego, znajduje ona zastosowanie w szerokim zakresie zadań generowania tekstu, ponieważ oddaje ona odpowiedniość strukturalną między tekstami. W niniejszej ocenie wyniki BLEU wskazują, że wygenerowane odpowiedzi zachowują cechy syntaktyczne zgodne z wynikami referencyjnymi.

Do oceny podobieństwa zorientowanego na pełność (recall) wykorzystano miarę ROUGE, kładąc nacisk na zakres istotnych informacji w wygenerowanych tekstach²⁴. W zastosowaniach medycznych metryka ta jest szczególnie użyteczna, ponieważ zachowanie klinicznie istotnych informacji jest często ważniejsze niż odtworzenie identycznego sformułowania. Jak wykazano w Tabeli 2, wyniki ROUGE wskazują, że wygenerowane odpowiedzi zachowują istotną treść kliniczną we wszystkich ocenianych przypadkach.

Sędzia	Prompt	ICC1	ICC2	ICC3	ICC1k	ICC2k	ICC3K
Mixtral	krótki	0.136	0.164	0.182	0.32	0.37	0.4
	zero-shot	0.28	0.353	0.507	0.539	0.621	0.755
	few-shot	0.224	0.323	0.522	0.463	0.588	0.766
LLaMA3	krótki	0.234	0.331	0.532	0.479	0.597	0.773
	zero-shot	0.244	0.34	0.551	0.492	0.607	0.786
	few-shot	0.218	0.321	0.531	0.456	0.587	0.772
LLaMA3.1	krótki	0.521	0.525	0.537	0.766	0.768	0.777
	zero-shot	0.246	0.343	0.56	0.495	0.611	0.792
	few-shot	0.599	0.597	0.589	0.817	0.816	0.811

Tabela 2: Wskaźniki zgodności między sędziami (ICC).

W celu oceny podobieństwa semantycznego z wykorzystaniem osadzeń kontekstowych pochodzących z modeli opartych na transformatorach zastosowano BERTScore²⁵. W przeciwieństwie do wskaźników BLEU i ROUGE, metryka ta porównuje teksty pod kątem znaczenia kontekstowego, a nie nakładania się słownictwa, co czyni ją odpowiednią do oceny generowania języka klinicznego. Wartości BERTScore uzyskane w niniejszym badaniu wskazują na wysoki stopień spójności semantycznej między wygenerowanymi odpowiedziami a odpowiadającymi im tekstami referencyjnymi.

Dodatkowe analizy objęły perpleksję oraz podobieństwo cosinusowe, aby uzupełnić główne wskaźniki oceny. Perpleksję obliczono w celu oszacowania przewidywalności generowanych wyników, przy czym niższe wartości wskazywały na mniejszą niepewność podczas generowania tekstu²⁶. Podobieństwo cosinusowe wykorzystano do ilościowego określenia zgodności między wektorami zanurzeń (embedding vectors) pochodzącymi z tekstów wygenerowanych i referencyjnych, co dostarczyło dodatkowej miary spójności semantycznej²⁷.

Wzięte łącznie, metryki ewaluacyjne dostarczają komplementarnych informacji na temat charakterystyki syntaktycznej, semantycznej i kontekstowej generowanych odpowiedzi. Rysunek 5 podsumowuje rozkład wyników ewaluacji w ramach ocenianych metryk, zapewniając ogólny wgląd w wydajność systemu w testowanych warunkach.

Wyniki oceny są zgodne z oczekiwanym działaniem generowania wspomaganego wyszukiwaniem (Retrieval-Augmented Generation, RAG) w aplikacjach wymagających dostępu do zewnętrznych źródeł wiedzy. Poprzez włączenie pobranych dokumentów do procesu generowania odpowiedzi, architektura dostarcza dodatkowych informacji kontekstowych, które wspierają udzielanie klinicznie istotnych odpowiedzi w scenariuszach wymagających szerokiej wiedzy^18,19. Strategie ustrukturyzowanego promptowania zostały wprowadzone jako mechanizmy uzupełniające, mające na celu nakierowanie procesu rozumowania i interpretacji kontekstowej, zgodnie z podejściami opisanymi w niedawnych badaniach²⁰.

Analiza jakościowa uzupełniła ocenę ilościową poprzez zbadanie interpretowalności i znaczenia klinicznego wygenerowanych wyników. Reprezentatywne przykłady odpowiedzi systemu dla różnych typów zapytań klinicznych przedstawiono na Rysunku 3. Przykłady te ilustrują sposób, w jaki platforma generuje spójne kontekstowo odpowiedzi w ocenianych scenariuszach, w tym w przypadkach obejmujących bardziej złożone informacje kliniczne.

Architektura wieloagentowa rozdziela zadania przetwarzania pomiędzy wyspecjalizowane moduły odpowiedzialne za komplementarne funkcje w ramach przepływu pracy. Taka organizacja zmniejsza zależność od jednego modelu językowego i umożliwia wieloetapowe przetwarzanie informacji oraz weryfikację wyników, co jest zgodne z aktualnymi podejściami wieloagentowymi opisanymi w literaturze^21,22. Rysunek 5 podsumowuje rozkład wyników ewaluacji uzyskanych przy zastosowaniu różnych strategii promptowania oraz modeli językowych rozważanych w niniejszym badaniu.

Rysunek 5: Rozkład wydajności proponowanego systemu w zależności od różnych strategii promptowania i modeli językowych. (A–F) Wykresy skrzypcowe ilustrują zmienność jakości odpowiedzi dla podejść z krótkimi promptami, promptowaniem zero-shot oraz few-shot z wykorzystaniem modeli LLaMA3, LLaMA3.1 i Mixtral. Wyniki podkreślają wpływ projektowania promptów na spójność i wydajność wyników, wykazując, że ustrukturyzowane strategie promptowania mają tendencję do generowania bardziej stabilnych i dokładnych odpowiedzi w zadaniach klinicznych. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Wyniki oceny są zgodne z niedawnymi badaniami, które opowiadają się za łączeniem metryk leksykalnych i semantycznych w celu oceny wydajności dużych modeli językowych^4,12. W szczególności metryki oparte na embeddingach stają się coraz ważniejsze dla uchwycenia podobieństwa kontekstowego w generowaniu języka związanego z opieką zdrowotną, gdzie interpretacja semantyczna wykracza poza dopasowanie leksykalne^28,29.

Podsumowując, ocena wskazuje, że proponowana platforma integruje standardy interoperacyjności, generowanie wspomagane wyszukiwaniem (RAG) oraz przetwarzanie wieloagentowe w ramach jednolitej struktury do analizy danych opieki zdrowotnej. Przedstawione w niniejszym badaniu wyniki ilościowe i jakościowe potwierdzają wykonalność proponowanego schematu działania w ocenianych warunkach eksperymentalnych i stanowią podstawę do przyszłej walidacji w rzeczywistych środowiskach klinicznych.

Dostępność danych

Zbiory danych wykorzystane w niniejszym badaniu są ogólnodostępne. Zbiór zdjęć rentgenowskich klatki piersiowej pobrano z Indiana University Chest X-ray Collection (Open-i, U.S. National Library of Medicine), w tym pliki indiana_reports.csv oraz indiana_projections.csv, dostępne pod adresem https://openi.nlm.nih.gov/. Benchmarkowy zbiór danych MedQA jest publicznie dostępny za pośrednictwem oficjalnego repozytorium. W badaniu nie wykorzystano żadnych zastrzeżonych danych klinicznych ani danych umożliwiających identyfikację pacjentów. Wszystkie procedury preprocessingu zostały opisane w sekcji Protokół, aby zapewnić powtarzalność wyników.

Dyskusja

Ocena przedstawiona w niniejszym badaniu stanowi walidację metodologiczną przeprowadzoną z wykorzystaniem publicznie dostępnych i w pełni zanonimizowanych referencyjnych zbiorów danych medycznych. Nie przeprowadzono prospektywnej walidacji klinicznej z udziałem personelu medycznego ani rekrutacją pacjentów, ponieważ celem niniejszej pracy jest zaprezentowanie odtwarzalnego protokołu implementacji, a nie skuteczności klinicznej.

Wyniki niniejszego badania sugerują, że połączenie standardów interoperacyjności opieki zdrowotnej z dużymi modelami językowymi zapewnia praktyczne ramy dla integracji heterogenicznych informacji klinicznych. Zaproponowana architektura łączy mechanizmy wymiany danych strukturalnych, w tym FHIR i HL7, z przetwarzaniem języka opartym na sztucznej inteligencji w ramach ujednoliconego procesu przepływu pracy, który jest zgodny z aktualnymi kierunkami rozwoju cyfrowych systemów zdrowotnych^15,16,17.

Ważnym aspektem proponowanego przepływu pracy jest integracja generowania wspomaganego wyszukiwaniem (RAG) w ramach architektury wieloagentowej. W tej konfiguracji pobrane dokumenty dostarczają dodatkowych informacji kontekstowych podczas generowania odpowiedzi, wspierając zadania kliniczne wymagające szerokiej wiedzy. Taka konstrukcja architektoniczna jest zgodna z niedawnymi badaniami, w których mechanizmy oparte na wyszukiwaniu opisano jako strategię poprawy ugruntowania kontekstowego i niezawodności odpowiedzi w zastosowaniach dużych modeli językowych^18,19.

W proponowany przepływ pracy włączono strategie ustrukturyzowanego promptowania, aby wspierać interpretację kontekstową podczas generowania odpowiedzi. Wcześniejsze badania wykazały, że inżynieria promptów oraz techniki ustrukturyzowanego rozumowania mogą poprawić wydajność dużych modeli językowych w złożonych zadaniach podejmowania decyzji²⁰. Podejście przyjęte w niniejszym protokole jest zgodne z tymi osiągnięciami i zapewnia ustrukturyzowane ramy dla przetwarzania języka klinicznego.

Z perspektywy ewaluacyjnej zastosowanie komplementarnych metryk pozwoliło na zbadanie różnych wymiarów wydajności systemu. Podczas gdy BLEU i ROUGE dostarczają informacji o podobieństwie syntaktycznym i stopniu pokrycia treści^23,24, metryki oparte na embeddingach, takie jak BERTScore, uchwyciły relacje semantyczne, które mogą nie zostać odzwierciedlone przez samo nakładanie się leksykalne²⁵. Ta wielowymiarowa strategia ewaluacji jest zgodna z niedawnymi badaniami benchmarkingowymi, które zalecają łączenie miar leksykalnych i semantycznych podczas oceny dużych modeli językowych w zastosowaniach opieki zdrowotnej^4,12.

Proponowany schemat postępowania dostarcza powtarzalnych ram metodologicznych dla wdrażania interoperacyjnych systemów wspomagania decyzji klinicznych opartych na AI. Zamiast porównywania różnych architektur sztucznej inteligencji, niniejsze badanie koncentruje się na udokumentowaniu pełnego procesu wdrażania, architektury systemu, mechanizmów interoperacyjności oraz metodologii ewaluacji, aby ułatwić powtarzalność i przyszłe zastosowania. Analizy porównawcze obejmujące konwencjonalne LLM, konfiguracje z wyłączonym RAG, modele dostrojone (fine-tuned) lub tradycyjne podejścia uczenia maszynowego wykraczają poza zakres tego wkładu metodologicznego i stanowią istotny kierunek przyszłych badań.

Przyszła implementacja proponowanego modelu w rzeczywistych środowiskach klinicznych będzie wymagać dodatkowej walidacji z udziałem personelu medycznego, a także zgodności z obowiązującymi wymogami regulacyjnymi i etycznymi. W zależności od przeznaczenia, takie systemy mogą podlegać przepisom dotyczącym oprogramowania jako wyrobu medycznego (SaMD) i powinny być zgodne z wymaganiami ustanowionymi przez organy regulacyjne, w tym amerykańską Agencję ds. Żywności i Leków (FDA) oraz europejskie rozporządzenie w sprawie wyrobów medycznych (MDR). Ponadto kluczowe dla bezpiecznego i odpowiedzialnego wdrożenia w placówkach ochrony zdrowia będą solidne zasady zarządzania danymi, cyberbezpieczeństwo, przejrzystość oraz praktyki dotyczące bezpieczeństwa klinicznego.

Analiza jakościowa uzupełniła ocenę ilościową, ilustrując charakterystykę wygenerowanych odpowiedzi w reprezentatywnych scenariuszach klinicznych. Przedstawione przykłady wskazują, że platforma była w stanie generować spójne kontekstowo odpowiedzi w ocenianych warunkach, dostarczając dodatkowych informacji na temat interpretowalności odpowiedzi poza metryki ilościowe. Podobne obserwacje zgłaszano w badaniach stosujących duże modele językowe w zastosowaniach klinicznych, w tym w diagnostyce wspomaganej oraz w interakcjach z pacjentem^28,29,30,31.

Zaproponowana architektura rozdziela zadania przetwarzania pomiędzy wyspecjalizowane moduły odpowiedzialne za komplementarne funkcje, w tym walidację danych, filtrowanie kontekstowe, wsparcie wnioskowania klinicznego oraz weryfikację wyników. Taka organizacja modułowa zmniejsza zależność od pojedynczego modelu językowego i umożliwia następujące po sobie etapy przetwarzania informacji w ramach przepływu pracy. Podobne strategie architektoniczne opisano w niedawnych badaniach nad rozproszonymi systemami AI oraz frameworkami wieloagentowymi zaprojektowanymi dla złożonych środowisk podejmowania decyzji^21,22.

Kilka kwestii związanych z implementacją może ułatwić powtarzalność i wdrożenie proponowanego protokołu. Spójne mapowanie informacji klinicznych do standardu HL7 FHIR pomaga zachować interoperacyjność semantyczną w całym potoku przetwarzania danych. Podobnie wstępne przetwarzanie dokumentów, strategie fragmentacji (chunking), generowanie embeddingów oraz indeksowanie wektorowe wpływają na działanie przepływu pracy Retrieval-Augmented Generation i powinny być konfigurowane oraz walidowane zgodnie z charakterystyką docelowej aplikacji. Projektowanie promptów (prompt engineering) oraz orchestracja wieloagentowa mogą być również iteracyjnie dopracowywane przy użyciu wiedzy dziedzinowej i opinii ekspertów, aby poprawić osadzenie kontekstowe podczas generowania odpowiedzi. Praktyki implementacyjne te są zgodne z ostatnimi osiągnięciami w dziedzinie godnej zaufania sztucznej inteligencji oraz modeli językowych wspomaganych wyszukiwaniem^18,19,20.

Należy uznać pewne ograniczenia niniejszego badania. Choć ocena łączyła komplementarne wskaźniki ilościowe i jakościowe, miary te mogą nie w pełni oddawać wszystkie aspekty rozumowania klinicznego. Obserwacja ta jest zgodna z wcześniejszymi badaniami, w których rekomendowano stosowanie ram oceny specyficznych dla danej dziedziny w aplikacjach opieki zdrowotnej¹². Ponadto platforma była oceniana w kontrolowanych warunkach z wykorzystaniem publicznie dostępnych i zanonimizowanych zestawów danych referencyjnych, które mogą nie w pełni reprezentować zmienność i złożoność rzeczywistych środowisk klinicznych.

Zaproponowana platforma została opracowana zgodnie z uznanymi standardami interoperacyjności w opiece zdrowotnej. Zastosowanie standardów HL7 i FHIR wspiera ustrukturyzowaną wymianę danych pomiędzy heterogenicznymi systemami informacji medycznej, zapewniając zestandaryzowane ramy dla integracji informacji klinicznych z wielu źródeł. Takie podejście architektoniczne jest zgodne z obecnymi wysiłkami mającymi na celu opracowanie interoperacyjnych systemów AI dla rozproszonych środowisk opieki zdrowotnej^15,16,17.

Pomyślna implementacja proponowanego schematu postępowania zależy od kilku krytycznych kroków metodologicznych. Po pierwsze, dane kliniczne powinny być spójnie mapowane na ustandaryzowane zasoby HL7 FHIR w celu zachowania interoperacyjności semantycznej pomiędzy heterogenicznymi systemami opieki zdrowotnej^15,17. Po drugie, wstępne przetwarzanie dokumentów, obejmujące normalizację, strategię dzielenia na fragmenty (chunking) oraz generowanie embeddingów, powinno zostać dokładnie skonfigurowane, ponieważ etapy te bezpośrednio wpływają na jakość wyszukiwania w potoku generowania wspomaganego wyszukiwaniem (RAG)^19,32,33. Po trzecie, baza danych wektorowych powinna być przebudowywana przy każdej aktualizacji bazy wiedzy, aby utrzymać spójność pomiędzy zaindeksowanymi dokumentami a wynikami wyszukiwania. Na koniec, inżynieria promptów oraz orchestracja wieloagentowa powinny być iteracyjnie walidowane przy użyciu reprezentatywnych scenariuszy klinicznych w celu poprawy dokładności kontekstowej, minimalizacji halucynacji oraz zwiększenia powtarzalności procesów wsparcia decyzji klinicznych wspomaganych przez AI^4,3,20,31.

Z punktu widzenia rozwiązywania problemów, typowe wyzwania wdrożeniowe obejmują niepełne mapowanie zasobów FHIR, obniżoną wydajność wyszukiwania związaną z indeksowaniem dokumentów lub konfiguracją bazy wektorowej, a także odpowiedzi uwarunkowane niewystarczającymi informacjami kontekstowymi lub nieoptymalnym projektowaniem promptów (prompt engineering). Problemy te można rozwiązać poprzez walidację zasobów interoperacyjności, optymalizację parametrów wyszukiwania, okresową aktualizację lub przebudowę bazy wektorowej po modyfikacjach bazy wiedzy oraz ciągłą ewaluację z wykorzystaniem uzupełniających metryk leksykalnych i semantycznych. Praktyki te zapewniają spójne działanie systemu i ułatwiają wdrażanie oraz utrzymanie systemów wspomagania decyzji klinicznych opartych na sztucznej inteligencji^4,12,25,23..

Z praktycznego punktu widzenia wdrożenie dużych modeli językowych w środowiskach opieki zdrowotnej wymaga rozważenia zasobów obliczeniowych oraz wymagań infrastrukturalnych. Chociaż proponowana architektura wspiera zarówno wykonanie w chmurze, jak i lokalne, mogą być niezbędne dodatkowe strategie optymalizacji w zależności od skali wdrożenia i dostępnych zasobów obliczeniowych, szczególnie w warunkach ograniczenia zasobów⁴.

Przyszłe badania mogą rozszerzyć proponowany schemat postępowania poprzez ocenę platformy z wykorzystaniem rzeczywistych zestawów danych klinicznych oraz rutynowych procesów opieki zdrowotnej. Dodatkowe analizy mogą również obejmować badanie strategii dostrajania specyficznych dla danej dziedziny oraz integrację metod wyjaśnialnej sztucznej inteligencji (explainable AI), aby zwiększyć interpretowalność modelu i zapewnić przejrzystość podczas wspierania decyzji klinicznych. Kierunki te mogą przyczynić się do szerszej oceny platformy w praktycznych środowiskach opieki zdrowotnej.

Podsumowując, niniejsza praca przedstawia powtarzalne ramy integrujące standardy interoperacyjności opieki zdrowotnej, generowanie wspomagane wyszukiwaniem (Retrieval-Augmented Generation, RAG) oraz wieloagentowe architektury modeli językowych w ramach ujednoliconego przepływu przetwarzania danych klinicznych. Zaproponowany protokół zapewnia ustrukturyzowane podejście do wdrażania i oceny systemów analizy danych medycznych wspomaganych przez AI i może służyć jako punkt odniesienia dla przyszłych rozwoju w zakresie interoperacyjnego wspierania decyzji klinicznych.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
FAISS	Meta Platforms Inc.	Version 1.8.0	Baza danych wektorowych wykorzystywana do wyszukiwania podobieństwa w potoku Retrieval-Augmented Generation (RAG).
FHIR Standard	HL7 International	Release 4 (R4)	Standard interoperacyjności w opiece zdrowotnej przyjęty do strukturalnej wymiany danych klinicznych.
Flask	Pallets Projects	Version 3.0.3	Framework webowy Python wykorzystywany do implementacji backendowego API RESTful.
HL7 Standard	HL7 International	Version 2.x	Starszy protokół przesyłania komunikatów wykorzystywany do interoperacyjności z systemami informacji szpitalnej.
HTTP REST API	Custom Implementation	N/A	Warstwa komunikacji RESTful pomiędzy frontendem, backendem, bazą danych a usługami AI.
LangChain	LangChain Inc.	Version 0.3.x	Framework wykorzystywany do integracji LLM, prompt engineeringu oraz przepływów Retrieval-Augmented Generation.
LangGraph	LangChain Inc.	Version 0.2.x	Framework wykorzystywany do orkiestracji wieloagentowego przepływu rozumowania klinicznego.
LLaMA 3.1 8B Instruct	Meta Platforms Inc.	Version 3.1	Duży model językowy (LLM) zastosowany do rozumowania klinicznego i generowania języka naturalnego.
MySQL Community Server	Oracle Corporation	Version 8.0	Relacyjna baza danych wykorzystywana do przechowywania strukturalnych danych klinicznych.
Ollama	Ollama Inc.	Version 0.9.x	Lokalny silnik inferencji wykorzystywany do uruchamiania dużych modeli językowych przy zachowaniu prywatności pacjentów.
Python	Python Software Foundation	Version 3.11	Język programowania wykorzystywany do implementacji całej platformy.
PyTorch	Linux Foundation	Version 2.4	Framework głębokiego uczenia wykorzystywany do inferencji dużych modeli językowych.
Retrieval-Augmented Generation (RAG) Pipeline	Custom Implementation	N/A	Framework AI łączący wyszukiwanie semantyczne z inferencją LLM w celu generowania odpowiedzi świadomych kontekstu.
Sentence Transformers	Hugging Face Inc.	all-MiniLM-L6-v2	Model embeddingowy wykorzystywany do generowania gęstych reprezentacji wektorowych dla semantycznego wyszukiwania dokumentów.
Ubuntu Linux	Canonical Ltd.	Version 24.04 LTS	System operacyjny wykorzystywany do rozwoju i ewaluacji eksperymentalnej.
Visual Studio Code	Microsoft Corporation	Version 1.100	Zintegrowane środowisko programistyczne wykorzystywane do implementacji i debugowania oprogramowania.