Wszystkie zestawy danych wykorzystane w niniejszym badaniu zostały pobrane z publicznie dostępnych i w pełni zanonimizowanych repozytoriów, w tym z UCI Machine Learning Repository, bazy danych PhysioNet MIMIC-III oraz zbiorów danych NIH Chest X-ray. Nie uzyskano dostępu do żadnych danych umożliwiających identyfikację pacjentów. Badanie zostało przeprowadzone zgodnie z instytucjonalnymi wytycznymi etyki badań dotyczącymi wtórnej analizy publicznie dostępnych, zanonimizowanych danych. Formalna zgoda Komisji Bioetycznej nie była wymagana, ponieważ nie rekrutowano bezpośrednio uczestników będących ludźmi i nie wykorzystano chronionych informacji zdrowotnych.
1. Przegląd schematów eksperymentalnych
- Opracować odtwarzalny i wyjaśnialny potok sztucznej inteligencji (XAI) dla przejrzystej analityki w opiece zdrowotnej. Zorganizować przepływ pracy w ramach Warstwy Danych, Warstwy Wstępnego Przetwarzania, Warstwy Modelowania, Warstwy Wyjaśnialności, Warstwy Ewaluacji oraz Warstwy Wizualizacji.
- Zintegrować te moduły w jednolity przepływ pracy zdolny do przetwarzania ustrukturyzowanych danych klinicznych, elektronicznej dokumentacji medycznej oraz zestawów danych z obrazowania medycznego.
- Zapewnić, aby każdy moduł przyczyniał się do odtwarzalności, interpretowalności, skalowalności oraz standaryzacji realizacji eksperymentów.
- Zaprojektować modularną architekturę w sposób wspierający ciągły strumieniowanie danych i zapewnić, aby każdy etap potoku przyczyniał się do odtwarzalności, interpretowalności i skalowalności w całym przepływie pracy eksperymentalnej.
2. Środowisko obliczeniowe i konfiguracja systemu
- Przed uruchomieniem przepływu pracy zainstaluj wymagane zależności oprogramowania, otwierając terminal wiersza poleceń i wykonując następujące polecenie:
pip install numpy pandas scikit-learn tensorflow shap lime opencv-python matplotlib seaborn
- Przed przystąpieniem do wstępnego przetwarzania danych i opracowywania modelu zweryfikuj pomyślną instalację wszystkich pakietów oprogramowania i potwierdź ich kompatybilność z wersjami wymienionymi w Tabeli Materiałów.
- Jako główne środowisko programistyczne wykorzystaj Python 3.11. Zainstaluj i skonfiguruj NumPy 1.26 oraz Pandas 2.1 do manipulacji danymi i zadań inżynierii cech. Zainstaluj Scikit-learn 1.5 do opracowywania i ewaluacji modeli uczenia maszynowego.
- Zainstaluj TensorFlow 2.15 do trenowania i wnioskowania modeli głębokiego uczenia. Zainstaluj SHAP 0.46 oraz LIME 0.2.0 do analizy wyjaśnialności. Zainstaluj OpenCV 4.10 do zadań przetwarzania obrazów. Zainstaluj Matplotlib 3.9 oraz Seaborn 0.13 do wizualizacji danych i raportowania wyników. Szczegółowe specyfikacje oprogramowania i szczegóły implementacji niezbędne do odtworzenia wyników znajdują się w Tabeli Materiałów.
- Skonfiguruj środowisko obliczeniowe, korzystając ze stacji roboczej wyposażonej w procesor wielordzeniowy, akcelerację jednostką przetwarzania graficznego (GPU) oraz zasoby pamięci wystarczające do obsługi dużych zbiorów danych medycznych i obciążeń związanych z głębokim uczeniem.
- Ustaw stałe ziarna losowości (random seeds) dla partycjonowania danych, inicjalizacji modelu i procedur trenowania, aby zapewnić odtwarzalność pomiędzy seriami eksperymentów. Włącz mechanizmy logowania w celu rejestrowania operacji wstępnego przetwarzania danych, konfiguracji modeli, ustawień hiperparametrów, procedur trenowania i wyników ewaluacji w całym przepływie pracy.
- Skonfiguruj architektury modeli, parametry optymalizacji, szybkości uczenia, rozmiary partii (batch sizes), ustawienia trenowania i wartości hiperparametrów zgodnie ze specyfikacjami podsumowanymi w Tabeli 1. Przestrzegaj tych ustawień podczas eksperymentów replikacyjnych, aby zapewnić spójność z raportowanymi wynikami.
- Oczekiwany wynik – w pełni skonfigurowane i odtwarzalne środowisko obliczeniowe z wszystkimi wymaganymi pakietami oprogramowania, zasobami sprzętowymi, mechanizmami logowania i ustawieniami konfiguracji modelu, gotowe do późniejszego wstępnego przetwarzania danych, opracowywania modelu, analizy wyjaśnialności i procedur ewaluacji.
| Komponent | Parametr | Wartość | Opis |
| Las Losowy | liczba estymatorów | 100 | Liczba drzew |
| Losowy Las | maksymalna głębokość | Proszę podać tekst źródłowy do tłumaczenia. | Głębokość drzewa |
| XGBoost | wskaźnik uczenia | 0.01 | Szybkość uczenia |
| XGBoost | liczba estymatorów | 100 | Rundy wzmacniające |
| CNN (konwolucyjna sieć neuronowa) | epoki | 25 | Epoki trenowania |
| CNN | wielkość partii | 32 | Wielkość partii |
| CNN | optymalizator | Adam | Algorytm optymalizacji |
| MLP (wielowarstwowy perceptron) | warstwy ukryte | 2 | Liczba warstw ukrytych |
| wielowarstwowy perceptron | aktywacja | ReLU (liniowa jednostka prostowana) | Funkcja aktywacji |
| Ogólne | podział zbioru treningowego | 70% | Stosunek danych treningowych |
| Ogólne | podział walidacyjny | 15% | Współczynnik walidacji |
| Ogólne | podział_zbioru_testowego | 15% | Wskaźnik testowy |
Tabela 1: Szczegóły implementacji i konfiguracja hiperparametrów.
W poniższej tabeli podsumowano środowisko obliczeniowe, biblioteki programowe, konfiguracje modeli uczenia maszynowego i głębokiego uczenia, ustawienia optymalizacji, szybkości uczenia, rozmiary partii, parametry treningowe oraz wartości hiperparametrów wykorzystane podczas ewaluacji eksperymentalnej proponowanego wyjaśnialnego frameworka AI.
3. Przygotowanie i wstępne przetwarzanie zbioru danych
- Wybierz publicznie dostępne zbiory danych z zakresu opieki zdrowotnej, aby zapewnić przejrzystość i powtarzalność przepływu pracy eksperymentalnej.;
- Wykorzystaj cztery reprezentatywne scenariusze opieki zdrowotnej w celu walidacji proponowanego schematu: (i) diagnostyka raka piersi z wykorzystaniem Wisconsin Breast Cancer Dataset, (ii) przewidywanie ryzyka cukrzycy z wykorzystaniem Pima Indians Diabetes Dataset, (iii) przewidywanie wyników klinicznych z wykorzystaniem elektronicznej dokumentacji medycznej MIMIC-III oraz (iv) klasyfikacja chorób klatki piersiowej z wykorzystaniem NIH Chest X-ray Dataset. Wybierz te zbiory danych, aby ocenić schemat w odniesieniu do ustrukturyzowanych rekordów klinicznych, podłużnej elektronicznej dokumentacji medycznej oraz obrazowania medycznego, powszechnie stosowanych w systemach wspomagania decyzji w opiece zdrowotnej.
- Zaimportuj każdy zbiór danych do środowiska Python i rozdziel rekordy na cechy wejściowe oraz zmienne celu. Zorganizuj ustrukturyzowane dane kliniczne dla zadań przewidywania chorób, elektroniczną dokumentację medyczną dla podłużnej analizy wyników oraz zbiory obrazowania medycznego dla zadań klasyfikacji diagnostycznej. Zweryfikuj integralność każdego zbioru danych przed przystąpieniem do operacji preprocessingu.
- Zidentyfikuj i uzupełnij brakujące wartości, stosując odpowiednie techniki imputacji. Zestandaryzuj cechy numeryczne poprzez procedury skalowania i normalizacji cech, aby zapewnić porównywalność zmiennych.
- Zakoduj zmienne kategoryczne, stosując odpowiednie metody kodowania w zależności od charakterystyki zbioru danych. Przeprowadź selekcję cech za pomocą analizy korelacji i miar istotności cech opartych na modelu, aby zidentyfikować najistotniejsze zmienne i zredukować wymiarowość danych.
- Zmień rozmiar wszystkich obrazów medycznych do 224, 224 pikseli przed trenowaniem modelu. Znormalizuj wartości intensywności pikseli zgodnie z wymaganiami wybranej architektury głębokiego uczenia. Zastosuj techniki augmentacji danych, w tym rotację obrazu i poziome odbicie lustrzane, aby poprawić generalizację modelu i zmniejszyć przeuczenie. Zweryfikuj jakość obrazów i zapewnij spójność wymiarów obrazów w całym zbiorze danych.
- Oceń integralność danych, analizując kompletność zbioru danych, spójność oraz dopasowanie cech do etykiet. Zweryfikuj, czy wszystkie rekordy zostały prawidłowo przypisane do odpowiadających im klas celu. Przejrzyj charakterystykę zbioru danych, w tym wielkość próby, liczbę cech i modalność danych, zgodnie z podsumowaniem w Tabeli 2.
- Wdróż procedury walidacji specyficzne dla danego zbioru danych, aby zapewnić rygor metodologiczny i powtarzalność. Zapisz wielkość próby, rozkład klas, strategię podziału na zbiory treningowy, walidacyjny i testowy, środki zapobiegające wyciekowi danych, procedury optymalizacji hiperparametrów, projekt walidacji krzyżowej oraz protokół testowania zewnętrznego dla każdego zbioru danych. Podsumuj te procedury walidacji w Tabeli 3.
- Przeprowadź kontrolę jakości preprocessingu, oceniając obsługę brakujących wartości, usuwanie wartości odstających, skalowanie cech, kodowanie kategoryczne, zachowanie rozkładu klas oraz procedury partycjonowania zbioru danych. Zweryfikuj, czy operacje preprocessingu są stosowane spójnie we wszystkich zbiorach danych.
- Potwierdź brak istotnego wycieku danych podczas partycjonowania zbioru danych. Przeanalizuj wyniki walidacji preprocessingu przedstawione na Rysunku 1, aby upewnić się, że wygenerowano zestandaryzowane zbiory danych do późniejszych analiz uczenia maszynowego i wyjaśnialności.
- Oczekiwany wynik – wygenerowanie oczyszczonych i zestandaryzowanych zbiorów danych z odpowiednio uzupełnionymi brakującymi wartościami, zakodowanymi zmiennymi kategorycznymi, znormalizowanymi cechami numerycznymi oraz rekordami podzielonymi na podzbiory treningowe, walidacyjne i testowe. Upewnij się, że charakterystyka zbioru danych, rozkłady klas i procedury walidacji odpowiadają tym raportowanym w Tabeli 2 i Tabeli 3, oraz potwierdź pomyślną walidację preprocessingu, jak zilustrowano na Rysunku 1.
| Zbiór danych | Typ | Próbki | Cechy | Cel |
| Rak piersi | Tabularny | 569 | 30 | Łagodny/Złośliwy |
| Cukrzyca | Tabularny | 768 | 8 | Wynik choroby cukrzycowej |
| MIMIC-III | elektroniczna dokumentacja medyczna | ~60,000 | Zmienne kliniczne | Śmiertelność |
| RTG klatki piersiowej | Obrazowanie | ~112,000 | Obrazy | Etykiety chorób |
Tabela 2: Charakterystyka zbiorów danych i przypadki użycia w opiece zdrowotnej.
Tabela ta zawiera podsumowanie zbiorów danych z zakresu opieki zdrowotnej wykorzystanych w badaniu, w tym typ zbioru danych, liczbę próbek, liczbę cech, zmienne docelowe, domenę zastosowań w opiece zdrowotnej oraz powiązane kliniczne przypadki użycia. Zbiory danych obejmują ustrukturyzowane rekordy kliniczne, elektroniczną dokumentację medyczną oraz dane z obrazowania medycznego, aby zademonstrować możliwość zastosowania struktury w różnych scenariuszach analityki opieki zdrowotnej.
| Zbiór danych | Wielkość próby | Rozkład klas | Strategia podziału | Zapobieganie wyciekom | Wyszukiwanie hiperparametrów | Walidacja krzyżowa | Test zewnętrzny |
| Rak piersi (UCI Wisconsin) | 569 | 357 łagodne / 212 złośliwe | 70/15/15 | Preprocessing wyłącznie dla zbioru treningowego | Przeszukiwanie siatki (Grid Search) | 5-krotna stratyfikowana walidacja krzyżowa | Niezależny zbiór walidacyjny |
| Cukrzyca u Indian Pima | 768 | 500 osób bez cukrzycy / 268 osób z cukrzycą | 70/15/15 | Preprocessing tylko dla zbioru treningowego | Przeszukiwanie siatki | 5-krotna stratyfikowana walidacja krzyżowa | Niezależny zbiór walidacyjny |
| Elektroniczna Dokumentacja Medyczna (EHR) MIMIC-III | 5274 | Kohorty stratyfikowane według wyników | 70/15/15 na poziomie pacjenta | Separacja na poziomie pacjenta | Losowe przeszukiwanie | 5-krotna walidacja krzyżowa na poziomie pacjenta | Niezależny zbiór walidacyjny |
| RTG klatki piersiowej NIH | 112120 | Zapalenie płuc/Normalna tkanka wielowarstwowa | 70/15/15 | Separacja na poziomie obrazu | Losowe przeszukiwanie | 5-krotna stratyfikowana walidacja krzyżowa | Niezależny zbiór walidacyjny |
Tabela 3: Walidacja na poziomie zbioru danych i projekt eksperymentalny.
W poniższej tabeli podsumowano metodologię walidacji zastosowaną dla każdego zbioru danych, w tym wielkość próby, rozkład klas, strategię podziału na zbiory treningowy, walidacyjny i testowy, procedury zapobiegania wyciekowi danych, metody optymalizacji hiperparametrów, projekt walidacji krzyżowej oraz protokoły testów zewnętrznych. Środki te zostały wdrożone w celu zapewnienia rygoru metodologicznego, powtarzalności oraz bezstronnej oceny modelu.

Rysunek 1: Walidacja potoku wstępnego przetwarzania danych.
Wyniki walidacji kluczowych operacji wstępnego przetwarzania wykonanych przed opracowaniem modelu. (A) Analiza brakujących wartości w reprezentatywnych cechach opieki zdrowotnej. (B) Rozkład zmiennej numerycznej przed i po obsłudze wartości odstających. (C) Walidacja skalowania cech z wykorzystaniem standaryzacji. (D) Walidacja kodowania kategorycznego. (E) Rozkład klas po wstępnym przetwarzaniu. (F) Walidacja podziału danych na zbiory treningowy, walidacyjny i testowy. Wyniki te potwierdzają pomyślne wstępne przetwarzanie i przygotowanie zbiorów danych do modelowania predykcyjnego oraz analizy wyjaśnialności. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
4. Architektura systemu ramowego wyjaśnialnej sztucznej inteligencji (Explainable AI)
- Zorganizuj strukturę w oparciu o architekturę warstwową, aby ułatwić modułowe przetwarzanie, poprawić przejrzystość przepływu pracy i wesprzeć odtwarzalność implementacji. Skonfiguruj warstwę danych (Data Layer) do odbierania i zarządzania surowymi zbiorami danych medycznych. Kieruj wszystkie przychodzące zbiory danych przez warstwę danych przed rozpoczęciem operacji wstępnego przetwarzania.
- Przeprowadź procedury czyszczenia, transformacji, normalizacji, inżynierii cech i kodowania danych w warstwie wstępnego przetwarzania (Preprocessing Layer). Upewnij się, że wszystkie operacje wstępnego przetwarzania zostały zakończone przed przystąpieniem do opracowywania modelu.
- Opracuj modele predykcyjne w warstwie modelowania (Modeling Layer), wykorzystując algorytmy uczenia maszynowego i głębokiego uczenia. Wytrenuj modele Gradient Boosting, Random Forest, wielowarstwowy perceptron (MLP) oraz splotową sieć neuronową (CNN), wykorzystując przetworzone zbiory danych i zoptymalizowane konfiguracje hiperparametrów.
- Zastosuj techniki wyjaśnialności w warstwie wyjaśnialności (Explainability Layer) w celu interpretacji predykcji modelu. Generuj wyjaśnienia atrybucji cech za pomocą SHAP i LIME dla ustrukturyzowanych zbiorów danych. Generuj mapy ciepła Grad-CAM dla modeli opartych na obrazach, aby zwizualizować obszary wpływające na predykcje modelu.
- Oceń wydajność predykcyjną i wyjaśnialność w warstwie ewaluacji (Evaluation Layer). Oblicz dokładność (accuracy), precyzję (precision), czułość (recall), wynik F1 (F1-score), ROC-AUC, wierność (fidelity), stabilność oraz metryki oceny zorientowane na klinicystę. Zapisz wszystkie wyniki ewaluacji do późniejszej analizy i raportowania.
- Generuj klinicznie interpretowalne wyniki wizualne w warstwie wizualizacji (Visualization Layer). Twórz wykresy porównawcze wydajności, wizualizacje istotności cech, zbiorcze wykresy SHAP, wyjaśnienia LIME, mapy ciepła Grad-CAM oraz pulpity raportowe dla klinicystów. Przechowuj wszystkie wyniki wizualne w celu dołączenia ich do końcowego raportu eksperymentalnego.
- Przejrzyj kompletną architekturę struktury przedstawioną na Rysunku 2 przed rozpoczęciem realizacji przepływu pracy.
- Oczekiwany wynik – wygenerowanie w pełni wytrenowanych modeli uczenia maszynowego i głębokiego uczenia, w tym architektur Gradient Boosting, Random Forest, CNN i MLP. Przechowuj konfiguracje modeli, zoptymalizowane hiperparametry, logi treningowe, pliki punktów kontrolnych (checkpoint), wyniki wyjaśnialności oraz artefakty wizualizacji do późniejszej ewaluacji i analizy interpretowalności.

Rysunek 2: Architektura systemu ramowego wyjaśnialnej sztucznej inteligencji (Explainable AI) dla analityki opieki zdrowotnej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
5. Wykonanie przepływu pracy
- Pobrać zestawy danych z zakresu opieki zdrowotnej z publicznie dostępnych repozytoriów i zapisać je w ustrukturyzowanych formatach odpowiednich do analizy za pomocą uczenia maszynowego i głębokiego uczenia. Przed rozpoczęciem procedury eksperymentalnej zapoznać się z pełnym schematem postępowania przedstawionym na Rysunku 3.
- Przeprowadzić oczyszczanie i wstępne przetwarzanie danych zgodnie z procedurami opisanymi w sekcji 3. Znormalizować zmienne numeryczne przy użyciu odpowiednich metod skalowania. Zakodować zmienne kategoryczne za pomocą właściwych technik kodowania. Zidentyfikować i uzupełnić brakujące wartości, stosując strategie imputacji specyficzne dla danego zbioru danych. Przed przystąpieniem do opracowania modelu zweryfikować jakość danych, spójność cech z etykietami oraz kompletność zbioru danych.
- Podzielić każdy zbiór danych na podzbiory treningowe, walidacyjne i testowe, aby zapewnić obiektywną ocenę modelu. Zachować rozkład klas podczas podziału zbioru danych i wdrożyć środki zapobiegające wyciekowi danych (leakage), jeśli jest to możliwe. Podzbiór testowy zarezerwować wyłącznie do końcowej oceny modelu.
- Wytrenować modele uczenia maszynowego na ustrukturyzowanych zbiorach danych, korzystając z algorytmów zespołowych, w tym Gradient Boosting oraz Random Forest. Wytrenować modele głębokiego uczenia na zbiorach danych obrazowych, wykorzystując architektury splotowych sieci neuronowych (CNN) zdolnych do uczenia się przestrzennych cech obrazu. Iteracyjnie aktualizować parametry modelu podczas trenowania i monitorować wyniki walidacji po każdej epoce treningowej. Zastosować mechanizm wczesnego zatrzymania (early stopping), gdy wyniki walidacji pogorszą się lub przestaną ulegać poprawie zgodnie z predefiniowanymi kryteriami zatrzymania.
- Zoptymalizować hiperparametry modelu za pomocą systematycznych strategii przeszukiwania, w tym grid search oraz randomized search. Dostosować szybkość uczenia (learning rate), liczbę estymatorów, głębokość drzew, wielkość partii (batch size), liczbę epok oraz inne parametry specyficzne dla modelu w oparciu o wyniki walidacji. Wybrać końcowy model na podstawie zdolności predykcyjnych i możliwości generalizacji w odniesieniu do zbiorów walidacyjnych.
- Zastosować metody wyjaśnialności po zakończeniu trenowania modelu. Wygenerować wyjaśnienia globalne przy użyciu technik atrybucji cech w celu zidentyfikowania zmiennych, które mają najsilniejszy wpływ na predykcje modelu. Wygenerować wyjaśnienia lokalne, aby przeanalizować poszczególne przypadki predykcji i ocenić zachowanie modelu na poziomie pojedynczej próbki. Utworzyć mapy ciepła Grad-CAM dla modeli klasyfikacji obrazów, aby wyróżnić obszary obrazu wpływające na przewidziany wynik. Zapisać wszystkie wyniki wyjaśnień do późniejszej analizy i raportowania.
- Ocenić wydajność predykcyjną za pomocą wskaźników dokładności (accuracy), precyzji (precision), pełności (recall), miary F1 (F1-score) oraz pola pod krzywą charakterystyki pracy odbiornika (ROC-AUC). Ocenić jakość wyjaśnień za pomocą metryk wierności (fidelity) i stabilności, aby zweryfikować wiarygodność i spójność wyjaśnień. Porównać wydajność modelu w różnych zbiorach danych i metodach wyjaśnialności, aby ocenić odporność i generalizowalność opracowanego schematu.
- Wygenerować wyniki wizualizacji i raporty analityczne, aby przedstawić wyniki w sposób interpretowalny klinicznie. Utworzyć wykresy porównawcze wydajności, wykresy istotności cech, wizualizacje podsumowujące SHAP, wyniki wyjaśnień LIME, mapy ciepła Grad-CAM oraz inne istotne klinicznie wizualizacje. Przejrzeć wszystkie wyniki wizualne, aby zapewnić ich przejrzystość i spójność przed raportowaniem.
- Udokumentować wszystkie operacje wstępnego przetwarzania, konfiguracje modeli, ustawienia hiperparametrów, procedury wyjaśnialności, strategie walidacji oraz wyniki oceny. Prowadzić szczegółową dokumentację eksperymentalną w celu umożliwienia reprodukowalności i niezależnej replikacji schematu postępowania. Zweryfikować spójność wyników w powtórzonych seriach eksperymentalnych i zarchiwizować wszystkie artefakty procesu do przyszłych referencji.
- Oczekiwany wynik – wygenerowanie w pełni wytrenowanego modelu predykcyjnego z zoptymalizowanymi hiperparametrami, zapisanych wag modelu, logów treningowych, metryk wydajności oraz wyników wyjaśnialności, w tym wyjaśnień SHAP, wyjaśnień LIME i map ciepła Grad-CAM. Zapisać wszystkie artefakty modelu, raporty z oceny i wyniki wizualizacji do późniejszej analizy i oceny reprodukowalności.

Rycina 3: Kompleksowy schemat przepływu rurociągu wyjaśnialnej sztucznej inteligencji (Explainable AI). Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
6. Ewaluacja modelu i ocena wyjaśnialności
- Oceń wydajność modelu predykcyjnego przy użyciu standardowych metryk klasyfikacji, w tym dokładności (accuracy), precyzji (precision), czułości (recall), wyniku F1 (F1-score) oraz pola pod krzywą charakterystyki operacyjnej odbiornika (ROC-AUC). Oblicz dokładność, aby zmierzyć ogólną poprawność klasyfikacji.
- Oblicz precyzję, aby ocenić proporcję poprawnie zidentyfikowanych predykcji pozytywnych. Oblicz czułość, aby ocenić zdolność modelu do identyfikacji przypadków pozytywnych. Oblicz wynik F1, aby zrównoważyć precyzję i czułość. Oblicz ROC-AUC, aby ocenić zdolność dyskryminacyjną przy różnych progach klasyfikacji.
- Zastosuj te metryki oceny konsekwentnie we wszystkich zbiorach danych i architekturach modeli, aby ułatwić obiektywne porównanie wydajności. Zapisz wszystkie wartości metryk i przechowuj wyniki oceny do późniejszej analizy statystycznej i raportowania.
- Oceń wydajność wyjaśnialności przy użyciu metryk wierności (fidelity) i stabilności (stability). Oblicz wierność, aby określić stopień, w jakim wygenerowane wyjaśnienia dokładnie odzwierciedlają predykcje modelu i mechanizmy podejmowania decyzji.
- Oblicz stabilność, porównując wyjaśnienia wygenerowane z podobnych próbek wejściowych i kwantyfikując spójność wyników wyjaśnień. Zweryfikuj, czy wartości wierności i stabilności spełniają zdefiniowane kryteria jakości przed interpretacją wyjaśnień modelu.
- Porównaj wydajność wyjaśnialności wyników uzyskanych za pomocą SHAP, LIME i Grad-CAM.
- Oczekiwany wynik – wygeneruj ilościowe wyniki oceny, w tym metryki dokładności, precyzji, czułości, wyniku F1, ROC-AUC, wierności i stabilności. Przygotuj wyniki wyjaśnialności oraz wizualizacje odpowiednie do raportowania naukowego, oceny powtarzalności i interpretacji klinicznej.
7. Ewaluacja zorientowana na człowieka
- Zrekrutuj 12 pracowników ochrony zdrowia, w tym 6 lekarzy, 3 radiologów oraz 3 analityków danych klinicznych. Wybierz uczestników z wcześniejszym doświadczeniem w podejmowaniu decyzji klinicznych, interpretacji obrazów medycznych, analityce opieki zdrowotnej lub przeglądzie elektronicznej dokumentacji medycznej. Uzyskaj świadomą zgodę od wszystkich uczestników przed rozpoczęciem procedury oceny.
- Po zakończeniu trenowania modelu i analizy wyjaśnialności, losowo wybierz 100 przypadków ze zbiorów testowych. Wygeneruj dwa warunki oceny dla każdego przypadku:
- wynik zawierający tylko predykcję oraz
- predykcję wraz z informacjami dotyczącymi wyjaśnialności. Zrandomizuj kolejność prezentacji przypadków i warunków oceny, aby zminimalizować błąd prezentacji oraz efekty uczenia się.
- Przygotuj zestandaryzowane formularze oceny zawierające wyniki predykcji, wyniki wyjaśnień oraz kwestionariusze oceny. Prezentuj przypadki uczestnikom indywidualnie, korzystając z komputerowego interfejsu oceny.
- Poleć uczestnikom samodzielne przeanalizowanie każdego przypadku bez omawiania odpowiedzi z innymi oceniającymi. Umożliw uczestnikom przeprowadzenie wszystkich ocen w identycznych warunkach eksperymentalnych.
- Przeprowadź ankietę w pięciostopniowej skali Likerta, dostosowaną do opublikowanych badań nad oceną wyjaśnialnej sztucznej inteligencji. Poleć uczestnikom ocenę zaufania, interpretowalności i użyteczności dla każdego analizowanego przypadku. Zapisz odpowiedzi z kwestionariuszy elektronicznie i zweryfikuj wypełnienie wszystkich punktów ankiety przed przejściem do analizy statystycznej.
- Podczas procesu oceny zmierz obiektywne wskaźniki użyteczności klinicznej. Zarejestruj zgodność decyzji poprzez porównanie decyzji uczestników z odpowiadającymi im etykietami referencyjnymi lub wynikami rzeczywistymi (ground-truth). Oblicz zgodność decyzji jako procent decyzji uczestników zgodnych z wynikiem referencyjnym.
- Zarejestruj czas analizy każdego przypadku, mierząc odstęp między prezentacją przypadku a przesłaniem końcowej odpowiedzi. Oblicz średni czas analizy oddzielnie dla warunku tylko predykcji oraz warunku predykcji z wyjaśnieniem.
- Oblicz średnie wyniki zaufania, interpretowalności i użyteczności dla wszystkich uczestników i przypadków oceny. Porównaj wyniki uzyskane w warunku tylko predykcji oraz w warunku predykcji z wyjaśnieniem.
- Po zakończeniu wszystkich ocen uczestników przeprowadź sparowane testy t, aby ustalić, czy różnice w zaufaniu, interpretowalności, użyteczności, zgodności decyzji i czasie analizy są istotne statystycznie. Przyjmij próg istotności p 0.05 dla wszystkich porównań statystycznych.
- Po zebraniu odpowiedzi od wszystkich uczestników oblicz współczynnik Kappa Fleissa w celu oceny zgodności między sędziami. Wykorzystaj zagregowane oceny uczestników, aby określić spójność ocen poszczególnych recenzentów. Zinterpretuj wartości Kappa Fleissa zgodnie z uznanymi wytycznymi dotyczącymi zgodności i zapisz wynikowe statystyki zgodności.
- Podsumuj dane demograficzne uczestników, metodologię oceny, projekt kwestionariusza, procedury analizy statystycznej, obiektywne miary wydajności oraz wyniki zgodności między sędziami w Tabeli 4.
- Przeanalizuj wyniki modelu w obu warunkach oceny i porównaj odpowiedzi uczestników pomiędzy tymi warunkami. Zweryfikuj, czy wyjaśnienia zwiększają zaufanie, interpretowalność i użyteczność, nie wpływając negatywnie na jakość decyzji.
- Potwierdź spójność ocen uczestników, korzystając z obliczonej statystyki Kappa Fleissa. Zapisz wszystkie wyniki oceny do późniejszego raportowania i oceny powtarzalności.
- Oczekiwany wynik – Wygeneruj wyniki zaufania klinicystów, oceny interpretowalności, oceny użyteczności, miary zgodności decyzji, statystyki czasu analizy, wyniki sparowanych testów t oraz statystyki zgodności między sędziami. Przedstaw ilościowe dowody opisujące użyteczność kliniczną, interpretowalność i wiarygodność frameworka wyjaśnialnej sztucznej inteligencji.
| Parametr | Wartość |
| Eksperci | 12 |
| Lekarze | 6 |
| Radiolodzy | 3 |
| Analitycy danych klinicznych | 3 |
| Analiza przypadków | 100 |
| Projekt ewaluacji | Randomizowane (tylko predykcja vs predykcja + wyjaśnienie) |
| Narzędzie badawcze | 5-stopniowa skala Likerta |
| Ocena zaufania | Interpretowalność, zaufanie, użyteczność |
| Test statystyczny | Test t dla prób zależnych (p < 0,05) |
| Rzetelność międzyosobowa | Kappa Fleissa |
| Obiektywne miary | Zgodność decyzji, czas recenzji |
Tabela 4: Protokół oceny zorientowanej na człowieka i projekt oceny klinicznej.
Tabela ta przedstawia ramy oceny klinicznej wykorzystane do analizy interpretowalności, wiarygodności oraz użyteczności systemu wyjaśnialnej sztucznej inteligencji (explainable AI). Podsumowano w niej informacje dotyczące demografii uczestników, metodologii przeglądu przypadków, projektu ankiety, procedur analizy statystycznej, oceny niezawodności między sędziami oraz obiektywnych miar ewaluacji.
8. Walidacja i ocena powtarzalności
- Przeprowadź badania walidacyjne i ablacyjne w celu oceny odporności i niezawodności proponowanego modelu. Zidentyfikuj cechy o wysokich wynikach istotności, korzystając z wybranych metod wyjaśnialności. Usuwaj istotne cechy stopniowo i ponownie trenuj modele predykcyjne po każdym etapie usunięcia cechy.
- Oceń wydajność modelu po każdym eksperymencie ablacyjnym, korzystając z metryk dokładności (accuracy), precyzji (precision), pełności (recall), wyniku F1 (F1-score) oraz ROC-AUC. Porównaj uzyskane wartości wydajności z wydajnością modelu bazowego, aby określić wkład poszczególnych cech w wyniki predykcyjne.
- Oceń stabilność wyjaśnień poprzez generowanie wyjaśnień dla podobnych próbek wejściowych przy użyciu SHAP, LIME i Grad-CAM. Porównaj wyniki wyjaśnień w ramach powtórzonych ewaluacji i określ spójność, korzystając z predefiniowanych metryk stabilności. Zweryfikuj, czy wyjaśnienia pozostają stabilne przy niewielkich zmianach danych wejściowych i powtórzonych przebiegach eksperymentalnych.
- Zarejestruj wszystkie procedury eksperymentalne w całym przepływie pracy. Udokumentuj operacje wstępnego przetwarzania danych, procedury podziału zbioru danych, architektury modeli, ustawienia hiperparametrów, konfiguracje trenowania, metody wyjaśnialności, strategie walidacji oraz metryki oceny. Przechowuj wszystkie parametry konfiguracji i wyniki eksperymentalne w ustrukturyzowanym formacie, aby ułatwić reprodukowalność i niezależną weryfikację.
- Przejrzyj wszystkie zapisy eksperymentalne, aby zapewnić ich kompletność i spójność. Zweryfikuj, czy przepływ pracy może zostać powtórzony przy użyciu udokumentowanych procedur, plików konfiguracyjnych i specyfikacji oprogramowania. Utrzymuj modularną strukturę przepływu pracy, aby ułatwić adaptację protokołu w przyszłych badaniach i wesprzeć konwersję na wideo-protokół eksperymentalny zgodny z wymogami metodologicznymi JoVE.
9. Zasoby dotyczące powtarzalności
- Wszystkie eksperymenty należy przeprowadzać przy użyciu stałych ziarn losowości (random seeds), aby zapewnić powtarzalność wyników w kolejnych uruchomieniach. Kod źródłowy, skrypty preprocessingu, pliki konfiguracyjne, specyfikacje środowiska, parametry modelu oraz skrypty wizualizacji należy przechowywać w publicznie dostępnym repozytorium.
- Należy dostarczyć szczegółowe instrukcje dotyczące pozyskiwania zbiorów danych, preprocessingu, przeprowadzania eksperymentów, trenowania modeli, generowania wyjaśnień (explainability), procedur walidacji oraz odtwarzania wszystkich raportowanych tabel i rysunków. Wszystkie komponenty przepływu pracy niezbędne do niezależnej replikacji należy zarchiwizować, w tym specyfikacje oprogramowania, przepływy pracy preprocessingu, pliki konfiguracyjne, instrukcje dostępu do zbiorów danych, punkty kontrolne (checkpoints) modelu oraz zasoby wizualizacyjne.
- Zasoby oprogramowania, przepływy pracy preprocessingu, pliki konfiguracyjne, instrukcje dostępu do zbiorów danych oraz zasoby zapewniające powtarzalność wykorzystane w ramach struktury zestawiono w Tabeli 5.
- Oczekiwany wynik- Wygenerowanie kompletnego, powtarzalnego pakietu eksperymentalnego zawierającego skrypty preprocessingu, pliki konfiguracyjne, wytrenowane modele, punkty kontrolne modelu, wyniki wyjaśnień, raporty z walidacji, artefakty wizualizacyjne, specyfikacje oprogramowania oraz dokumentację niezbędną do niezależnej replikacji i weryfikacji proponowanej struktury.
| Zasób | Opis |
| Kod źródłowy | Skrypty implementacyjne w języku Python do wstępnego przetwarzania danych, trenowania modelu, wyjaśnialności i ewaluacji |
| Plik środowiskowy | plik requirements.txt zawierający zależności pakietów i ich wersje |
| Pliki konfiguracyjne | Ustawienia architektury modelu, hiperparametry i konfiguracje eksperymentów |
| Stałe ziarna liczb pseudolosowych | Użyto ziarna (seed) = 42 w celu zapewnienia powtarzalności eksperymentów |
| Instrukcje dostępu do zbioru danych | Linki i procedury pozyskiwania publicznych zbiorów danych z zakresu opieki zdrowotnej |
| Skrypty do wstępnego przetwarzania | Skrypty do czyszczenia, normalizacji, kodowania i selekcji cech danych |
| Skrypty do generowania rycin | Skrypty do regeneracji wszystkich rycin do manuskryptu |
| Skrypty do generowania tabel | Skrypty do reprodukcji przedstawionych tabel i wskaźników |
| Przykładowe dane wejściowe | Przykładowe zestawy danych i pliki wejściowe |
| Przykładowe wyniki | Wyniki predykcji, objaśnienia i raporty ewaluacyjne |
Tabela 5: Zasoby do odtwarzalności i materiały eksperymentalne.
Tabela ta podsumowuje zasoby udostępnione w celu zapewnienia powtarzalności eksperymentalnej, w tym kod źródłowy, skrypty do wstępnego przetwarzania danych, pliki konfiguracyjne, specyfikacje środowiska, instrukcje dostępu do zbiorów danych, ustawienia stałego ziarna generatora liczb pseudolosowych, skrypty do generowania rycin oraz przykładowe pliki wejściowe i wyjściowe niezbędne do odtworzenia przedstawionych wyników.