Wyjaśnialny, chroniący prywatność ramy multimodalnego zespołu dla klasyfikacji zmian skórnych

Summary

Proponowane prace mają na celu opracowanie i ocenę wyjaśnialnego, chroniącego prywatność multimodalnego układu tkankowego dla dokładnej klasyfikacji zmian skórnych poprzez integrację funkcji głębokiego uczenia, metadanych klinicznych oraz tłumaczalnych technik AI w celu poprawy dokładności diagnostycznej, przejrzystości oraz niezawodnego wsparcia klinicznego w zakresie wczesnego wykrywania raka skóry.

Abstract

Wśród chorób dermatologicznych rak skóry należy do najbardziej zagrażających życiu. Wczesna i dokładna diagnoza jest ważna dla poprawy rokowania pacjenta. Niemniej jednak tradycyjne metody diagnostyczne oparte na AI napotykają na kilka wyzwań, w tym kwestie prywatności, ograniczoną interpretowalność oraz poważne nierównowagi klasowe w wieloklasowych zbiorach danych o zmianach skórnych. Aby pokonać te wyzwania, proponowany artykuł proponuje model klasyfikacji zmian skórnych uwzględniający prywatność, który uwzględnia prywatność i wyjaśnia wielomodalny model klasyfikacji zmian skóry, łączący złożone modele głębokiego uczenia oraz podejście zespołowe z wyjaśnialnymi metodami sztucznej inteligencji. Eksperymentalna ocena przeprowadza się na podstawie publicznie dostępnych HAM10000 danych benchmarkowych dotyczących wieloklasowej klasyfikacji zmian skórnych, dostępnych za pośrednictwem Kaggle Hub, rozproszonych na siedem klinicznie istotnych klas zmian (akiec, bcc, bkl, df, mel, nv, vasc). Aby zrównoważyć dane, stosuje się technikę balansowania klas, aby zwiększyć liczbę klas mniejszościowych. EfficientNet B4, DenseNet201 i MobileNetv2 są wykorzystywane do wyodrębniania głębokich reprezentacji cech, a następnie łączą je z istotnymi metadanymi klinicznymi, tworząc solidną przestrzeń multimodalną cech. Te cechy multimodalne są wykorzystywane do trenowania XGBoost, LightGBM, Deep Neural Classifier (DNC), co dało dokładność klasyfikacji odpowiednio 92%, 90% i 94%. Stosuje się strategię stacked ensemble, aby połączyć wyniki XGBoost, LightGBM oraz Deep Neural Classifier (DNC), co prowadzi do poprawy dokładności o 96%. Techniki interpretowalności modeli zapewniają wyjaśnienia na poziomie cech, które zwiększają przejrzystość. Wyniki eksperymentalne potwierdziły praktyczność proponowanych ram pod względem efektywności w klinicznie istotnej klasyfikacji zmian skórnych.

Introduction

Rak skóry stanowi znaczące globalne obciążenie zdrowotne, a wskaźniki zgłaszanych na całym świecie są coraz bardziej zgłaszane¹. Sztuczne promieniowanie jest uznawane za główny czynnik przyczyniający się do raka skóry, prowadząc do mutacji genetycznych prowadzących do niekontrolowanej proliferacji komórek i rozwoju guza w komórkach skóry ^1,2_. Nowotwory skóry obejmują grupę chorób, w tym czerniaka, raka płaskonabłonkowego oraz raka podstawnokomórkowego (BCK). Przyczyny, obraz kliniczny i czynniki prognostyczne tych schorzeń różnią^{się 3}. Choroby skóry stały się przeszkodą w diagnozie medycznej ze względu na podobieństwa na poziomie pikseli⁴. W 2022 roku na świecie szacowanych 331 722 przypadków czerniaka (58 667 zgonów) oraz 1,2 miliona przypadków NMSC (69 416 zgonów). Szczytowe wskaźniki śmiertelności standaryzowane według wieku (ASR) czerniaka występowały w Oceanii (29,78/100 000), Ameryce Północnej (16,3) i Europie (10,43). Jednak wskaźnik śmiertelności do zachorowalności był najwyższy w Afryce (0,35) i Azji (0,30) w porównaniu do Ameryki Północnej i Oceanii (0,02 w obu regionach), co może odzwierciedlać gorsze rokowanie¹. W dermatologii diagnoza i monitorowanie zmian skórnych opierały się głównie na badaniach wzrokowych i innych nieinwazyjnych ocenach. Metody inwazyjne nie są stosowane, ponieważ mogą uszkodzić zmiany i uniemożliwić przeprowadzenie klinicznej kontroli wzrostu zmiany⁵. Zmiany skórne mogą mieć różne typy: czerniak (MEL), dermatofibroma (DF), keratoza aktynowa i rak śródnabłonkowy (AKIEC), rak podstawności komórkowy (BCC), łagodna keratoza (BKL), nowin melanocytarny (NV) oraz uszkodzenia naczyniowe (VASC), zgodnie z definicją w zbiorze danych HAM10000⁵. Główne wyzwania w klasyfikacji obrazów dermatoskopowych to obecność włosów, tuszów, śladów linijki, kolorowych plam, błysków, kropli, bąbelków olejowych, naczyń krwionośnych, obszarów o przebarwieniu i/lub zmian zapalnych⁶. Wcześniej prowadzono badania dotyczące selekcji cech i głębokiego uczenia dla obrazowania medycznego oraz klasyfikacji zmian skórnych ^7,8.

Badane były także podejścia oparte na widzeniu komputerowym do diagnozowania raka skóry oraz integracja ręcznie wykonanych i głębokich cech⁹, wraz ze strategiami fuzji cech dla poprawy wydajności klasyfikacji¹⁰. Najnowsze osiągnięcia dodatkowo podkreślają integrację uczenia maszynowego w systemach opieki zdrowotnej oraz bezpieczne ramy przetwarzania danych medycznych^11,12_. Wykorzystanie AI w opiece zdrowotnej oparte na zaawansowanych algorytmach obliczeniowych ma potencjał do dostarczania spersonalizowanych i efektywnych, zintegrowanych programów opieki, szczególnie korzystnych dla pacjentów w środowiskach opieki zdalnej i domowej¹³. Wykorzystując rozbudowane zbiory danych obrazów dermatoskopowych, modele głębokiego uczenia — szczególnie sieci neuronowe splotowe (CNN) — mogą być trenowane do precyzyjnej identyfikacji i klasyfikacji różnych zmian skórnych. Kilka technik wykazuje silne wyniki w segmentacji zmian skórnych, w tym sieci w pełni splotowe (FCN), CNN, głębokie CNN (DCNN), sieci rezidualne w pełni konwolucyjne (FCRN) oraz architektury U-Net. Głębokie sieci neuronowe (DNN) nie są łatwe do interpretacji ze względu na ich wysoce złożoną architekturę, dlatego ich proces podejmowania decyzji jest trudny do zrozumienia^14,15. Najnowsze osiągnięcia w analizie obrazów medycznych wykazały, że głębokie sieci neuronowe splotowe (CNN) znacząco poprawiają efektywność w zadaniach klasyfikacji zmian skórnych. Kilka badań nad zbiorami danych dermoskopowych, takich jak HAM10000, wykazało, że architektury oparte na CNN, w tym ResNet, DenseNet i EfficientNet, osiągają silną wydajność klasyfikacji wieloklasowej poprzez naukę hierarchicznych reprezentacji cech z obrazów zmian. Hybrydowe podejścia fuzji cech, gdzie łączy się wiele szkieletów CNN, dodatkowo poprawiły dokładność diagnostyczną poprzez integrację komplementarnych głębokich reprezentacji¹⁶. Ponadto obecne badania analizują hybrydowe modele transformatora CNN w analizie obrazów medycznych. Modele z transformatorem wzroku i ekstraktorami cech CNN udowodniono lepsze wyniki w zadaniach klasyfikacji zmian skórnych, ponieważ lepiej potrafią wyodrębnić lokalną zawartość tekstury oraz globalne powiązania kontekstowe¹⁷. Te hybrydowe projekty są również postrzegane jako najnowocześniejsze w obrazowaniu medycznym, ponieważ mają zdolność do uczenia się zrównoważonej reprezentacji.

W innych dziedzinach medycyny strategie fuzji cech były szeroko stosowane poza dermatologią. Systemy hybrydowe oparte na CNN zostały również zastosowane w analizie obrazów histopatologicznych, aby uzyskać lepszą klasyfikację raka płuc i jelita grubego dzięki ulepszonym reprezentacjom cech oraz dynamice uczenia się przestrzennego¹⁶. Podobnie w okulistyce wykorzystanie modeli głębokiego uczenia trenowanych na zespolonych reprezentacjach cech wykazało skuteczne zastosowanie w etapowaniu obrazów dna dna w retinopatii cukrzycowej, z lepszą odpornością i dokładnością klasyfikacji w wieloklasowym zadaniu oceniania¹⁸. Metody fuzji multimodalnej w tych dziedzinach sugerują, że heterogeniczne reprezentacje cech prowadzą do lepszej generalizacji i klasyfikacji, zwłaszcza w niezrównoważonych danych medycznych¹⁹.

Chociaż te ulepszenia zostały wprowadzone, obecne praktyki są zazwyczaj ograniczone do multimodalności, niezintegrowanych, niewystarczających do rozwiązania problemu nierównowagi klasowej oraz nieprzydatnych w podejmowaniu decyzji klinicznych. Aby przezwyciężyć te problemy, niniejszy artykuł przedstawia wyjaśnialny model klasyfikacji zmian skórnych, który uwzględnia prywatność i integruje oba metody interpretowalności modelu. Takie metody wyjaśnialności mogą być stosowane do wyjaśniania prognoz modelu, pokazując, które cechy są najważniejsze oraz podkreślając istotne obszary obrazów dermoskopowych, zwiększając klarowność i pewność w procedurach klinicznych, a tym samym poprawiając przejrzystość kliniczną, budując zaufanie i wspierając bezpieczne wdrożenie systemów AI w praktyce klinicznej. W zbiorze danych HAM10000 występuje znaczna nierównowaga, gdzie niektóre klasy mają znacznie mniej próbek niż inne. Aby przezwyciężyć ten problem, stosuje się technikę nadpróbkowania syntetycznych mniejszości (znaną również jako balansowanie klas) do generowania syntetycznych próbek dla klas niedostatecznie reprezentowanych. Techniki równoważenia klas równoważą zbiór danych, umożliwiając modelowi lepsze uczenie się na podstawie mniejszościowych typów zmian, zwiększając czułość i umożliwiając bardziej wiarygodne przewidywanie klinicznie istotnych, lecz rzadziej częstych typów raka skóry. Szczegółowe cechy EfficientNet-B4, DenseNet201 i MobileNetV2 są łączone z metadanymi klinicznymi, tworząc bardziej informacyjną reprezentację każdej zmiany skórnej. Ta podwójna cecha pomaga nam wyodrębnić wzorce wizualne obrazów dermoskopowych oraz inne informacje o pacjencie do bardziej dogłębnej analizy. Funkcje te są następnie trenowane na różnych klasyfikatorach, w tym XGBoost, LightGBM oraz Deep Neural Network, aby zwiększyć możliwości i moc modelu klasyfikacji zmian skórnych. Zespół modeli jest stosowany w technice stacking ensemble, aby wzbogacić model. Jest to model złożony, który wykorzystuje mocne strony wielu modeli, aby uczyć się i czerpać korzyści z przewidywań wszystkich modeli w zespole, jednocześnie łagodząc ich ograniczenia.

Protocol

Badanie to wykorzystało publicznie dostępne, w pełni anonimizowane zbiory danych dermoskopowych i nie obejmowało bezpośredniego udziału człowieka; dlatego nie było wymagane zatwierdzenie przez komisję etyczną. Tabela materiałów zawiera szczegóły dotyczące wszystkich materiałów lub narzędzi używanych w tym badaniu. Tabela 1 zawiera szczegóły dotyczące środowiska sprzętowego i programowego, takie jak typ procesora, pamięć, system operacyjny oraz ramy programowe. Tabela 2 zawiera szczegóły dotyczące precyzji, przypomnienia, wyniku F1 oraz wsparcia dla każdej kategorii zmian skórnych.

Ogólny przepływ pracy proponowanego wielomodalnego systemu klasyfikacji zmian skórnych

Ogólnym celem tych badań jest stworzenie precyzyjnego i zrozumiałego schematu wieloklasyfikacji zmian skórnych. Proces rozpoczyna się od zbierania i wstępnego przetwarzania danych HAM10000 zbioru, a następnie przechodzi do ekstrakcji funkcji z wykorzystaniem architektur głębokiego uczenia oraz włączenia klinicznych metadanych. Następnie trenowanych i optymalizowanych jest kilka klasyfikatorów uczenia maszynowego, a ich wyniki agregowane są w strategii zespołowej. Na koniec przewidywania modelu są interpretowane za pomocą technik wyjaśnialności, a skuteczność modelu oceniana jest pod kątem zastosowania w rzeczywistym wsparciu decyzyjnym w stanie klinicznym.

Aby poprawić dokładność predykcyjną proponowanego systemu, stosuje się wielomodalny pipeline uczenia maszynowego, który łączy cechy oparte na obrazach oraz metadane kliniczne (jak pokazano na Rysunku 1). Model może podsumować wizualne wyniki obrazów dermoskopowych z informacjami dotyczącymi pacjenta, aby zidentyfikować bardziej szczegółowe wzorce związane z różnymi zmianami skórnymi. Dzięki takiej kombinacji system może lepiej przewidywać, co ostatecznie się stanie. Poprawa jakości i użyteczności klasyfikacji zmian skórnych. Trzy wstępnie wytrenowane konwolucyjne cechy Deep są wyodrębniane za pomocą sieci neuronowych (EfficientNet-B4, DenseNet201 i MobileNetV2): są one zdolne do rejestrowania różnorodnych komplementarnych wzorców obrazów dermoskopowych. Te architektury uczą się wzorców na poziomie zarysów zmian skórnych, takich jak zmiany koloru i faktury oraz sposób ich budowy. Następnie moduł fuzji cech łączy głębokie cechy z cechami klinicznymi i danymi demograficznymi, tworząc bogatą cechę multimodalną. Połączone dane są następnie dzielone na dane treningowe, walidacyjne i testowe, aby zapewnić odpowiednie testowanie modelu. Następnie używany jest moduł fuzji cech, który łączy głębokie cechy z cechami klinicznymi i demografią, tworząc bogatą funkcjonalność multimodalną. Dane te są następnie dzielone na dane treningowe, testowe i walidacyjne, aby przetestować model. Strategia zespołowa jest stosowana do dalszego zwiększenia dokładności predykcji. Osiąga się to poprzez uśrednianie wyników kilku modeli i uzyskiwanie ostatecznej prognozy, wykorzystując te uśrednione prawdopodobieństwa, aby zwiększyć uogólnienie i zminimalizować wariancję, która w innym przypadku powstałaby przez poszczególne modele. Ponadto zintegrowane są metody tłumaczalności, takie jak techniki interpretowalności modelu, aby lepiej wyjaśnić, jak model podejmuje decyzje. Metoda interpretowalności modelu zapewnia interpretacje na poziomie cech poprzez kwantyfikację wkładu zmiennych wejściowych, podczas gdy metoda interpretowalności modelu identyfikuje ważne obszary w obrazach dermoskopowych na poziomie pikseli, które wpływają na przewidywanie. Techniki interpretowalności modeli oferują wyjaśnienia na poziomie cech, ilościowo określając wkład każdej zmiennej wejściowej, podczas gdy techniki interpretowalności modelu podkreślają ważne obszary na poziomie pikseli w obrazach dermoskopowych, które wpływają na przewidywanie. Połączone techniki sprawiają, że modele są bardziej interpretowalne i pomagają klinicystom zrozumieć, jak system podejmuje decyzje. W rezultacie proponowany proces zapewnia system zrozumiały i dbający o prywatność, zwiększając przejrzystość i zaufanie oraz umożliwiając bardziej wiarygodną diagnozę raka skóry w rzeczywistym środowisku opieki zdrowotnej.

Opis zbioru danych wraz z przygotowaniem

W tym artykule zbiór danych HAM10000 (Human against Machine with 10,000 training images) jest używany jako główny zbiór danych do klasyfikacji zmian skórnych w wielu klasach. Zbiór danych zawiera ponad 10 000 danych dermoskopowych zebranych z różnych źródeł medycznych. Źródła kliniczne i populacje, co czyni go jednym z najczęściej stosowanych zestawów danych referencyjnych w analizie obrazów dermatologicznych. Każdy obraz w zbiorze danych jest opatrzony ważnymi metadanymi klinicznymi, w tym identyfikatorami obrazów, etykietami diagnostycznymi, wiekiem pacjenta, płcią oraz anatomiczną lokalizacją zmiany. Zbiór danych obejmuje siedem kategorii diagnostycznych: keratozy aktiniczne (akiec), rak podstawnokomórkowy (BCK), łagodna keratoza (bkl), dermatofibroma (df), nerwy melanocytowe (nv), zmiany naczyniowe (vasc) oraz czerniak (mel).

Wstępne przetwarzanie metadanych klinicznych

Dodatkowe funkcje dodane do procesu klasyfikacji obejmowały metadane kliniczne, takie jak wiek, płeć oraz lokalizacja zmiany u pacjenta. Brakowało lub było nieznanych wartości, które traktowano deterministycznym podejściem preprocessingu. W przypadku zmiennej wieku (numerycznej) mediana wieku obliczona na zbiorze treningowym została użyta do impulowania brakujących wartości. Powodem wyboru imputacji mediany jest odporność na wartości odstających i zniekształcone dane, które są powszechne w danych klinicznych. Dla płci i lokalizacji zmian (zmienne kategoryczne) brakujące lub nieokreślone wartości nie były wyłączane; Przypisano je do specjalnej kategorii oznaczonej jako "nieznane". Metoda zachowuje wszystkie dostępne próbki, a model może swobodnie określić, czy sama brakowość jest predykcja. Następnie do zmiennych kategorycznych zastosowano kodowanie jedno-gorące, aby umożliwić ich kompatybilność z modelami uczenia maszynowego. Całe wstępne przetwarzanie, takie jak imputacja, kodowanie itp., było wykonywane wyłącznie na zbiorze treningowym, a te same transformacje wykonywano na zbiorach walidacyjnych i eksperymentalnych, aby uniknąć utraty danych. Nie wykluczono próbek tylko z powodu brakujących metadanych klinicznych, co zapewniło maksymalne wykorzystanie danych i zachowało spójność metodologiczną.

Rysunek 1: System wielomodalny klasyfikacji zmian skórnych. Podejście badawcze łączy cechy obrazów dermoskopowych z metadanymi pacjenta, aby klasyfikować zmiany skórne za pomocą modeli głębokiego uczenia zespołowego. Ramy obejmują wstępne przetwarzanie, ekstrakcję cech, fuzję multimodalną oraz klasyfikację, co pozwala na poprawę diagnostyki i interpretowalności. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Workflow przedstawia sugerowany proces klasyfikacji, oparty na obrazach dermoskopowych oraz metadanych klinicznych zbioru HAM10000 zmian skórnych. EfficientNet-B4, DenseNet201 oraz MobileNetV2 są używane do wstępnego przetwarzania i wyodrębniania głębokich cech na obrazach. Metadane kliniczne są kodowane, a fuzja cech służy do łączenia cech obrazowych z metadanymi klinicznymi. Aby rozwiązać problem nierównowagi klasowej, technika równoważenia klas jest stosowana w fuzowanej przestrzeni multimodalnej cech zamiast w surowych obrazach czy pojedynczych strumieniach cech, gdzie próbki syntetyczne zachowują połączenie cech wizualnych i klinicznych i nie generują nierealistycznych próbek. Połączone cechy są następnie trenowane na klasyfikatorach takich jak XGBoost, LightGBM oraz głębokim klasyfikatorze neuronowym.

Rysunek 2: Przykładowe obrazy dermoskopowe z siedmiu różnych grup diagnostycznych z zestawu danych HAM10000. Obrazy pokazują typowe cechy wizualne używane do automatycznej klasyfikacji. (A) Aktiniczne keratozy (akiec), wykazujące szorstkie powierzchnie z nieregularnym ubarwieniem. (B) Rak podstawnokomórkowy (BCC), o nieregularnych kształtach i naczyniach krwionośnych. (C) łagodne zmiany przypominające keratozę (bkl), wykazujące cechy keratotyczne i jasnobrązowe powierzchnie. (D) Dermatofibroma (df), z centralnym bliznowatym wyglądem i pigmentacją. (E) Znaminy melanocytowe (nv), łagodne i stosunkowo symetryczne znamiona. (F) Zmiany naczyniowe (naczyniowe), o czerwono-fioletowym wyglądzie spowodowanym naczyniami krwionośnymi. (G) czerniaka (mel), który objawia się nieregularną, asymetryczną i wielobarwną zmianą. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Te obrazy dermoskopowe ujawniają wizualną heterogeniczność zmian skórnych, które różnią się pigmentacją, fakturą i morfologią struktury. Te różnice stanowią poważne wyzwanie dla zautomatyzowanych systemów klasyfikacji i podkreślają znaczenie systemów opartych na uczeniu głębokim. Techniki ekstrakcji cech wrażliwe na ujawnianie subtelnych wzorców diagnostycznych. Po opisie zestawu danych, Rysunek 2 ilustruje siedem kategorii zmian skórnych zawartych w HAM10000 zbiorze, które są powszechnie badane w badaniach diagnostycznych dermatologicznych. Do tych klas należą keratozy aktiniczne (akiec), rak podstawnokomórkowy (bcc), łagodna keratoza (bkl), dermatofibroma (df), newy melanocytowe (nv), zmiany naczyniowe (wasc) oraz czerniak (mel)²¹. Wszystkie te typy zmian mają unikalne cechy wizualne, co pokazano na Rysunku 3, obejmujące zmienność wzorów pigmentacji, tekstury powierzchni, rozkładu kolorów oraz nieprawidłowości wzdłuż granic zmian. Cechy wizualne wszystkich tych zmian są różne i charakteryzują się zmiennością wzorów pigmentacji, tekstury powierzchni, rozkładu koloru oraz nieprawidłowości na brzegach zmian. Są to ważne cechy, które dermatolodzy powinni brać pod uwagę podczas badania klinicznego, dlatego muszą być dobrze modelowane przez modele uczenia maszynowego, aby uzyskać właściwą klasyfikację. Mimo że są to cechy, wiele z tych zmian wygląda niemal identycznie, co utrudnia ich rozróżnienie na podstawie samych obrazów dermoskopowych. Rozróżnienie między niektórymi typami zmian jest zazwyczaj bardzo subtelne, ale klinicznie istotne, co utrudnia jej automatyczną klasyfikację. Dlatego pilne jest stworzenie potężnych modeli AI zdolnych do trenowania do nauki drobnoziarnistych obrazów wizualnych oraz subtelnych różnic w zmianach między klasami zmian. Właściwości te zostaną nie tylko wzmocnione przez odpowiedni opis, co przełoży się na poprawę umiejętności rozróżniających modelu przy różnych typach zmian, ale także pomoże w wcześniejszej diagnozie niektórych niebezpiecznych schorzeń, takich jak czerniak. Wreszcie, może zwiększyć dokładność diagnostyki, informować klinicystów w podejmowaniu decyzji prowadzących do lepszych wyników leczenia oraz pomóc w podejmowaniu lepszych decyzji.

Rysunek 3: Rozkład zmian skórnych według klas w zbiorze danych HAM10000. Rysunek pokazuje rozmieszczenie siedmiu kategorii zmian rozważanych w badaniu: Aktiniczne keratozy (akiec), rak podstawnokomórkowy (bcc), łagodne zmiany przypominające keratozę (bkl), dermatofibroma (df), nerwy melanocytowe (nv), zmiany naczyniowe (wasc) oraz czerniak (mel). Ten wykres ilustruje nierównowagę klasową klas zmian. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Analiza zbioru danych wykazuje, że występuje nierównowaga w klasach różnych typów zmian. Najczęstszy typ Melanocytic Nevus (nv), z około 6 705 próbkami, jest najczęstszy, następnie czerniak (1 113) i łagodna keratoza (1 099). Przeciwnie, istnieją formy zmian o znaczeniu klinicznym, które są znacznie mniej reprezentowane, takie jak dermatofibroma (115) czy zmiany naczyniowe (142). Ta dysproporcja stanowi zagrożenie dla modeli uczenia maszynowego, ponieważ mogą one mieć tendencję do stronniczości wobec większości i nie są w stanie wykryć nietypowych, ale klinicznie istotnych zmian. Aby rozwiązać ten problem i poprawić trenowanie modelu na wydajności modelu względem wszystkich klas, wymagane jest zaawansowane wstępne przetwarzanie. Potrzebne są strategie. Należą do nich techniki takie jak ukierunkowane rozszerzanie danych oraz balansowanie klas. Dane można zrównoważyć za pomocą techniki (technika balansowania klas oraz korekta wagi klasowej), co zachęca model do odkrywania istotnych trendów w klasach niedostatecznie reprezentowanych. Hiperparametry używane w XGBoost i LightGBM były głównie ustawione na domyślne konfiguracje, z drobnymi korektami na podstawie wstępnych eksperymentów. Dla głębokiego klasyfikatora neuronowego wybrano empirycznie parametry architektoniczne i treningowe, takie jak liczba warstw, neuronów, tempo uczenia, wielkość partii oraz liczba epok, korzystając z danych walidacyjnych. Pełny zestaw hiperparametrów przedstawiono w Tabeli 3. Ogólnie rzecz biorąc, liczba obrazów dermoskopowych użytych w niniejszym badaniu wynosi łącznie 10 015. Daje to zaletę, że zapewnia ogromną kolekcję danych do trenowania i testowania, a także jest to żmudny, ale satysfakcjonujący wskaźnik. Ocena skuteczności proponowanego systemu klasyfikacji zmian skórnych.

Wstępne przetwarzanie danych

Potok wstępnego przetwarzania przygotowuje HAM10000 zbiór danych do uczenia się multimodalnego poprzez standaryzację obrazów, wyodrębnianie głębokich cech, integrację metadanych klinicznych oraz zwalczanie nierównowagi klasowej.

Standardyzacja obrazów: Wszystkie obrazy dermoskopowe zostały zmniejszone do 224 × 224 pikseli i znormalizowane za pomocą normalizacji z-score.

(1)

Gdy przedstawiam obraz surowy, μ oznacza średnią pikselową, a σ to odchylenie standardowe.

Głęboka ekstrakcja cech: Komplementarne głębokie cechy zostały wyodrębnione za pomocą trzech wcześniej wytrenowanych sieci splotowych neuronowych: Efficient-Net B4, DenseNet201 oraz MobileNetV2. Każda sieć odwzorowuje znormalizowany obraz na wektor cech.

(2)

Wyodrębnione cechy zostały połączone, tworząc jednolitą reprezentację:

_fuzja fizji =_{F effB4} ||F_Gęsty ||F_MobV2 (3)

(gdzie || oznacza konkatenację)

Integracja metadanych klinicznych: Cechy kliniczne, w tym wiek, płeć, wraz z lokalizacją zmian, zostały oczyszczone, zakodowane na etykietach i znormalizowane za pomocą skalowania min-max:

(4)

Przetworzony wektor metadanych M_kliniczny został połączony z cechami obrazu, aby stworzyć końcowe dane multimodalne:

F_połączone =_fuzjaF_{M kliniczna} (5)

Dzielenie zbiorów danych: Zastosowano podział stratyfikowany, aby zachować rozkład klas

_{Dtrain,D test}=Split(_{F comibed,0.8}) (6)

Zarządzanie nierównowagą klasową: Zestaw danych HAM10000 charakteryzuje się poważną nierównowagą klas, gdzie próbki "nevus" (NV) dominują jako niedostatecznie reprezentowane w innych grupach mniejszościowych, takich jak DF z VASC. Aby zmniejszyć ten problem, zastosowano "Technikę Syntetycznego Nadpróbkowania Mniejszości" (technikę balansowania klas). Użycie: Nowe syntetyczne próbki zostały wyprodukowane jako:

x_new=x_i + λ(x_zi - x_i) (7)

Gdzie x_i jest próbką klasy mniejszościowej, x_zi jest jednym z jej najbliższych sąsiadów, a λ jest losową wartością próbkowaną z rozkładu jednorodnego między 0 a 1. Próbka syntetična, jak pokazano na Rysunku 4, jest generowana wzdłuż odcinka łączącego x sub i. i xent łączącego x_i x_zi.

Rysunek 4: Rozkład klas w zbiorze danych HAM10000 przed/po zastosowaniu techniki balansowania klas. (A) Przed balansowaniem klas, z nierównowagą między klasami zmian. (B) Po balansowaniu klas w połączonej przestrzeni cech, gdzie reprezentacja wszystkich klas jest równa, aby uniknąć błędu w procesie trenowania klasyfikatorów. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Aby rozwiązać problem nierównowagi klasowej w HAM10000 zbiorze, stosuje się Technikę Syntetycznego Nadpróbkowania Mniejszości (technikę równoważenia klas). Technika balansowania klas generuje syntetyczne próbki dla klas mniejszościowych poprzez interpolację między istniejącymi punktami danych, co pomaga zwiększyć reprezentację niedostatecznie reprezentowanych kategorii zmian. Końcowym efektem uzyskania większej liczby przykładów tych mniejszościowych klas jest bardziej zrównoważony zbiór danych w odniesieniu do wszystkich siedmiu typów zmian. Taka zrównoważona reprezentacja pozwoli modelom klasyfikacyjnym lepiej uczyć się z każdą klasą i minimalizować uprzedzenia wobec klas większościowych. W związku z tym model jest bardziej sprawiedliwy pod względem klasyfikacji i wrażliwy, zwłaszcza na rzadkie, lecz klinicznie istotne zmiany skórne.

Ramy uczenia się chroniące prywatność

Proponowany system proponuje multimodalny system automatycznej klasyfikacji zmian na skórze, uwzględniający prywatność i interpretowalny. Ostatecznym celem systemu jest poprawa wydajności diagnostycznej oraz jednoczesne zabezpieczenie wrażliwych informacji o pacjentach przez cały proces szkolenia. Prywatność pacjentów jest niezbędną potrzebą w praktyce medycznej, ponieważ przepisy dotyczące ochrony danych medycznych oraz kwestie etyczne są niezwykle istotne w placówkach opieki zdrowotnej. W związku z tym sugerowany model będzie obejmował zdecentralizowany model uczenia się oparty na ideach uczenia się federacyjnego. W tym zdecentralizowanym środowisku trening modelu odbywa się na grupie rozproszonych klientów, zamiast agregować wszystkie dane pacjentów w jednym miejscu. Wszyscy uczestniczący klienci trenują model lokalnie na własnych danych, a surowe dane pacjentów nie opuszczają lokalnego środowiska. Alternatywą dla przenoszenia wrażliwych dokumentacji medycznych, aktualizacje modeli lub parametry są wysyłane do centralnego serwera w celu agregacji. To kooperacyjne podejście do uczenia umożliwia różnym instytucjom lub źródłom danych współtworzenie treningu modeli bez kompromisów w kwestii prywatności danych.

Niech w_t^(k) będą parametrami modelu k-tego klienta w t-tej iteracji, a n_k będzie rozmiarem próby dla tego klienta. Aktualizacja globalnego modelu oblicza się jako:

(8)

Ta strategia agregacji zapewnia, że klienci z większymi zbiorami danych wnoszą proporcjonalnie większy wkład do globalnego modelu, jednocześnie umożliwiając mniejszym klientom udział w procesie uczenia się. Umożliwiając szkolenia zespołowe bez konieczności wymiany surowych danych pacjentów, proponowane ramy zachowują prywatność, jednocześnie korzystając z rozproszonej wiedzy w różnych zbiorach danych.

Federacja eksperymentalna

Zaprojektowano symulowany system nauki federacyjnej z HAM10000 zbiorem danych, aby potwierdzić efektywność oferowanych ram uwzględniających prywatność. Dane zostały podzielone na trzech klientów, aby zasymulować rzeczywiste, wieloinstytucjonalne środowisko z danymi nieidentycznie rozproszonymi (nie-IID). Każdy pacjent ma różny zestaw klas zmian, co reprezentuje różnice w świecie między ośrodkami klinicznymi. Identyczny wielomodalny pipeline ekstrakcji cech (EfficientNet-B4, DenseNet201, MobileNet V2 oraz metadane kliniczne) był uruchamiany lokalnie na każdym kliencie. Podczas treningu klienci samodzielnie aktualizowali swoje lokalne modele, a wyuczone parametry były wymieniane jedynie z centralnym serwerem do agregacji przez algorytm FedAvg. Porównano kompromis między dokładnością predykcyjną a prywatnością między modelem federacyjnym a scentralizowanym podejściem treningowym, aby zmierzyć wydajność każdego z nich. Wyniki testów pokazane na Rysunku 5 pokazują, że model federacyjny może działać konkurencyjnie, z jedynie niewielkim spadkiem dokładności w porównaniu do scentralizowanego uczenia się oraz znacznie lepszą ochroną danych.

Rysunek 5: Rozkład HAM10000 zbioru danych według klientów. Pokazuje to przydział danych o zmianach skórnych między pacjentów, co pokazuje różnorodność w rozkładzie danych. To pokazuje heterogeniczność danych wśród klientów, co jest kluczowym aspektem uczenia się federacyjnego. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Heterogeniczne (nie-IID) rozkłady pacjentów utworzonych w HAM10000 zostały podzielone na trzy grupy, aby modelować rzeczywiste warunki kliniczne. Rozkład różnych kategorii zmian u każdego pacjenta jest różny, zwłaszcza klasa nemusu (NV), która nie jest równomiernie rozłożona między pacjentami. To rozwiązanie świadczy o rzeczywistych trudnościach nauki federacyjnej, w której dane w instytucjach nie są równomiernie rozłożone.

Porównanie wydajności: nauka scentralizowana vs federowana

Aby ocenić skuteczność proponowanego systemu uczenia się federacyjnego, przeprowadzono analizę porównawczą między scentralizowanymi a federacyjnymi strategiami szkoleniowymi z wykorzystaniem zbioru danych HAM10000, jak pokazano na rysunku 6. W scentralizowanym środowisku wszystkie próbki danych były agregowane w jednej puli treningowej. Najlepiej działający model centralny, czyli zespół stacked, osiągnął łączną dokładność na poziomie 96%. Dla porównania, federacja rozdzielała zbiór danych na trzech klientów z danymi nieidentycznie rozproszonymi (nie-IID), gdzie każdy klient trenował model lokalnie i udostępniał jedynie parametry modelu za pomocą FedAvg. Model federacyjny osiągnął ogólną dokładność około 94%, co odpowiada różnicy w wydajności 2% w porównaniu z podejściem scentralizowanym, jak pokazano w Tabeli 4. Ten marginalny spadek jest oczekiwany dzięki zdecentralizowanej optymalizacji i zróżnicowanej dystrybucji danych między klientami.

Mimo że zaszła ta niewielka zmiana, model federacyjny nadal dobrze przewidywał. W scentralizowanym treningu zachowania według klas pokazują, że większość klas, takich jak new (nv) (wynik F1 = 1,00), pozostaje stabilna, podczas gdy klasy mniejszościowe, takie jak dermatofibroma (df) (wynik F1 ≈ 0,65–0,66), są bardziej wrażliwe na nierównowagę rozkładu, co może jeszcze bardziej wpłynąć na wyniki federacyjne. Co istotne, struktura federowana minimalizuje ryzyko ujawnienia wrażliwych informacji pacjentów, ponieważ nie wymaga dzielenia się surowymi danymi medycznymi między klientami.

Rysunek 6: Porównanie uczenia się federacyjnego vs. scentralizowanego. Ta liczba porównuje paradygmaty uczenia się na podstawie wskaźników wydajności takich jak dokładność, precyzja, przypomnienie i wynik F1. To pokazuje zdolność uczenia się federacyjnego do osiągania wyników porównywalnych z tradycyjnym podejściem do nauki, przy jednoczesnym zachowaniu prywatności. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Wyniki Tabeli 4 wskazują, że model uczenia federacyjnego jest zdolny do konkurencyjności, a spadek dokładności wynosi jedynie nieznaczne około 2% w porównaniu do modelu scentralizowanego. To niewielkie zmniejszenie można wyjaśnić zdecentralizowaną optymalizacją i dystrybucją danych nie-IID. Jednak model federacyjny ma ogromną przewagę pod względem ochrony prywatności, ponieważ wrażliwe dane pacjentów nie są udostępniane między klientami. Aby zapewnić uczciwe porównanie modelu federacyjnego i modelu scentralizowanego zespołu stacked, model federowany został przetestowany z tą samą architekturą i hiperparametrami. Aspekt ochrony prywatności omawiany w tym badaniu ma charakter koncepcyjny i ma na celu podkreślenie potencjalnej integracji technik takich jak uczenie się federacyjne w przyszłych badaniach. W obecnej implementacji nie przeprowadza się żadnej eksperymentalnej walidacji mechanizmów chroniących prywatność.

Wielofunkcyjne łączenie cech

Diagnoza zmian skórnych zazwyczaj obejmuje obserwację skóry oraz wywiad kliniczny. Dermatolodzy w większości przypadków nie tylko biorą pod uwagę obrazy dermoskopowe, umieszczając je w odniesieniu do informacji o pacjencie (wiek, płeć i miejsce zmiany), aby podjąć swoje oceny diagnostyczne. Proponowany system opiera się na inspiracji tego klinicznego przepływu pracy i wykorzystuje multimodalne podejście do nauki, łącząc dane obrazowe i kliniczne. CNN są trenowane na istniejących głębokich cechach obrazów dermoskopowych. Takie sieci rozpoznają skomplikowane wzory wizualne, w tym zmiany kolorów, formy zmian, anomalie strukturalne oraz cechy tekstury. Niemniej jednak cechy obrazów mogą nie wystarczać, by oddać kliniczny stan zmiany. Metadane kliniczne związane z każdym obrazem są więc również uwzględniane w nauczaniu. Zostanie stworzony moduł fuzji cech, który połączy głębokie cechy obrazowe z przetworzonymi atrybutami klinicznymi i informacjami demograficznymi. Ta złożona reprezentacja stanowi zintegrowaną, wielomodalną reprezentację cech, która zawiera zarówno informacje wizualne, jak i kontekstowe o każdej zmianie. Model może integrować kilka źródeł danych, aby uzyskać uzupełniające się wzorce zwiększające ogólną zdolność klasyfikacji. Reprezentacja multimodalna pozwala systemowi skuteczniej rozróżniać zmiany podobne wzrokowo oraz uwzględniać wskaźniki kliniczne. Model ten jest bardziej klinicznie znaczący i skuteczny, ponieważ jest bliższym przybliżeniem sposobu, w jaki dermatolodzy badają zmiany w praktyce klinicznej.

Uczenie zespołowe w warstwie
Proponowane ramy wykorzystują strategię uczenia zespołowego w warstwie, aby dodatkowo poprawić zdolność predykcyjną systemu. Uczenie zespołowe to metoda przewidywania złożona, która wykorzystuje dwa lub więcej modeli predykcyjnych do zwiększenia uogólnienia i minimalizacji błędów predykcyjnych, które mogą wystąpić w przypadku pojedynczych modeli. Wielu uczniów bazowych jest niezależnie trenowanych na reprezentacji cech multimodalnych, zamiast używać pojedynczego klasyfikatora. Wszyscy uczniowie bazowi podają szacunkowe prawdopodobieństwo, że dana próba będzie należeć do określonej klasy zmian. Te przewidywania prawdopodobieństwa są następnie agregowane na poziomie meta-me. Każdemu uczniowi podstawowemu przypisuje się wagę, aby pokazać jego względne znaczenie dla przewidywania końcowego. Funkcja aktywacji softmax jest używana do obliczenia zagregowanego wyjścia w celu wygenerowania znormalizowanych prawdopodobieństw klas. Metoda zespołu stacked ma wiele zalet. Po pierwsze, minimalizuje wariancję predykcji dzięki połączeniu różnych modeli, a tym samym poprawia wydajność uogólnienia. Po drugie, wzmacnia to siłę, ponieważ różne modele opisują różne trendy w danych. Po trzecie, uczenie zespołowe zwiększa klasyfikację klas zmian mniejszościowych, zwłaszcza w danych medycznych, gdzie niektóre schorzenia kliniczne nie są tak powszechne.

Wyjaśnialna integracja sztucznej inteligencji

Systemy medycznej AI powinny również jasno wyjaśniać swoje wybory, mimo że wysoka dokładność przewidywania jest kluczowa. Aby zaufać systemom AI i skutecznie prowadzić ich praktykę, klinicyści powinni być w stanie zrozumieć, jak model wpisuje się w diagnozę, którą generuje. Aby sprostać tej potrzebie, proponowane ramy uwzględniają metody wyjaśnialnej sztucznej inteligencji (XAI), jak pokazano na Rysunku 7.

Rysunek 7: Macierze pomyłki różnych modeli klasyfikacji dla klasyfikacji zmian skórnych wieloklasowych. (A) XGBoost, (B) LightGBM, (C) Deep Neural Classifier oraz (D) Stacked Ensemble model. Każda macierz pomyłek pokazuje zależność między prawdziwą klasą (wiersze) a przewidywaną klasą (kolumny) dla wszystkich siedmiu typów zmian skórnych: akiec, bcc, bkl, df, mel, nv i vasc. Modele XGBoost i LightGBM sprawdzają się dobrze w klasach nv i bkl, choć istnieje pewne zamieszanie między mel a nv. Deep Neural Classifier poprawia klasyfikację bkl i df oraz zmniejsza zamieszanie poza przekątną. Model Stacked Ensemble wykazuje największą spójność klasyfikacji, a przekątna staje się coraz bardziej dominująca. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

System obejmuje dwa popularne podejścia do wyjaśnienia (technikę interpretowalności modelu (SHapley Additive Explanations) oraz technikę interpretowalności modelu (Local Interpretable Model-agnostic Explanations)), aby dać wgląd w to, co model przewiduje. Metoda interpretowalności modelu wyjaśnia cechy na poziomie cech, mierząc, w jakim stopniu każda cecha wejściowa przyczyniła się do ogólnej prognozy. Pomaga określić, które zmienne kliniczne/cechy wizualne mają największy wpływ na wynik klasyfikacji. Pozwala to badaczom i klinicystom zobaczyć ogólne zachowanie modelu w całym zbiorze danych. Technika interpretowalności modelu natomiast zajmuje się lokalnymi wyjaśnieniami poszczególnych przewidywań. Podkreśla obszary obrazu dermoskopowego, które mają największy wpływ na decyzję modelu. Te pikselowe wyjaśnienia wizualne pozwalają klinicystom wizualnie obejrzeć obszary zmiany, które przyczyniły się do klasyfikacji. Proponowane ramy oferują globalną i lokalną interpretowalność; osiąga się to poprzez integrację techniki interpretowalności modelu. Mechanizm podwójnego wyjaśnienia zwiększa przejrzystość i umożliwia klinicystom ocenę, czy model jest skierowany na medycznie istotne wzorce.

Potencjał wsparcia decyzji klinicznych

Uczenie się chroniące prywatność, multimodalna fuzja cech, modelowanie zespołowe oraz wyjaśnialna sztuczna inteligencja to kluczowe elementy zintegrowanego i solidnego systemu automatycznej klasyfikacji zmian skórnych. Idealnie system powinien nie tylko mieć wysoką moc prognostyczną, ale także być przejrzysty i bezpieczny, co jest dwoma kluczowymi czynnikami w systemach medycznych, jak pokazano na Rysunku 8.

Rysunek 8: Krzywe charakterystyki operacyjnej odbiornika (ROC) dla modelu zespołu warstwowego. (A–C) Przedstawia krzywe ROC dla siedmiu typów zmian skórnych, z prawdziwą pozytywną częstością (czułość) i fałszywie pozytywną (1-specyficzność). Pole pod krzywą (AUC) reprezentuje wydajność modelu zespołu układowego w rozróżnianiu klas. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

System ten zapewnia wyjaśnialne prognozy i ochronę prywatności. W rezultacie jest to korzystny system dla innych systemów diagnostycznych dermatologicznych. System ten pozwala lekarzom i dermatologom oceniać podejrzliwość zmian i poprawić dokładność diagnostyczną, a w efekcie pomagać lekarzom i dermatologom w wczesnym diagnozowaniu pacjentów, gdy mogą mieć poważniejsze choroby (np. czerniaka). W istocie, jak pokazano na Rysunku 9, system ten dąży do zastosowania technologii wykorzystania zaawansowanych systemów sztucznej inteligencji (AI) oraz wdrażania rzeczywistych zastosowań w praktyce, aby pomóc dermatologom diagnozować pacjentów dokładniej i z większą pewnością, jednocześnie zapewniając im prywatność, bezpieczeństwo i komfort.

Rysunek 9: Wyniki wyjaśnialności przy użyciu technik interpretowalności modeli dla klasyfikacji zmian skórnych wieloklasowych. (A) Wykres SHAP pokazujący wkład cech wpływających na przewidywania zmian łagodnych i złośliwych. (B) Wyjaśnienie LIME dla prognozy BCC, ilustrujące cechy pozytywne i negatywne dla wyniku klasyfikacji. (C) Wyjaśnienie LIME dla predykcji akiek, podkreślające najbardziej wpływowe cechy w procesie podejmowania decyzji modelu. Te wizualizacje interpretowalności pokazują regiony i wyodrębnione cechy, które znacząco wpływają na prognozy modelu, poprawiając przejrzystość i zrozumienie procesu klasyfikacji w ocenie zmian skórnych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Strategia oceny

Aby uniknąć błędu próbkowania i zachować pierwotny rozkład klas we wszystkich kategoriach zmian skórnych, zbiór danych podzielono na podział 80:20 pociąg–test. Podzbiór treningowy był następnie dzielony na stosunek 90:10 train: validate, aby dostroić hiperparametry i zoptymalizować model. Zestaw testowy nie był używany w procesie szkoleniowym na żadnym etapie i stosowano go jedynie na końcu procesu szkolenia jako końcowy test, aby zapobiec wycieku danych i zapewnić bezstronną ocenę wydajności. Wszystkie modele były wstępnie przetwarzane i trenowane w równych warunkach, dane były podzielone i rozszerzane w ten sam sposób, a protokoły ewaluacyjne były stosowane i realizowane w ten sam sposób, co umożliwiało uczciwe i powtarzalne porównania. Modele zostały dokładnie ocenione pod kątem dokładności, precyzji, przypomnienia, wyniku F1 oraz AUC, z szczegółową analizą wyników według klas, aby określić ich odporność zarówno dla klas głównych, jak i mniejszościowych. To ustandaryzowane narzędzie walidacyjne pomogłoby zwiększyć niezawodność, przejrzystość i uogólnialność proponowanego podejścia oraz przezwyciężyć potencjalne niespójności w raportowaniu efektywności.

Results

Cztery metody klasyfikacji (XGBoost, LightGBM, Deep Neural Classifier oraz model zespołu warstwowego) zostały ocenzurowane dla klasyfikacji zmian skórnych wieloklasowych. Modele osiągnęły łączną dokładność odpowiednio 92%, 90%, 94% i 96%, co wykazuje, że c

Wydajność w poszczególnych klasach

Przedstawiona jest szczegółowa ocena według klas, obejmująca precyzję, przywołanie oraz wynik F1 dla każdej kategorii zmian. Dla klasy akiec (support = 65) stacked ensemble osiągnął precyzję 0,72, przypomnienie 0,73 oraz wynik F1 0,72, co nieznacznie poprawiło się w porównaniu do XGBoost (F1 = 0,70), LightGBM (F1 = 0,68) oraz deep neural classifier (F1 = 0,71). Dla bcc (support = 103) układany zespół uzyskał precyzję = 0,87, przypomnienie = 0,84, a F1-score = 0,85, porównywalne do XGBoost (F1 = 0,83) i LightGBM (F1 = 0,81), a nieco wyższe niż głęboki klasyfikator neuronalny (F1 = 0,84). Dla bkl (wsparcie = 220) układ stacked osiągnął precyzję = 0,93, przypomnienie = 0,85, a F1-score = 0,89, przewyższając XGBoost (F1 = 0,87), LightGBM (F1 = 0,86) oraz głęboki klasyfikator neuronalny (F1 = 0,88). Dla df (wsparcie = 23) wydajność pozostała stosunkowo niższa we wszystkich modelach. Układ stacked raportował precyzję = 0,67, przypomnienie = 0,66 oraz F1-score = 0,66, podobnie jak XGBoost (F1 = 0,65), LightGBM (F1 = 0,63) oraz głęboki klasyfikator neuronalny (F1 = 0,65).

Dla mel (support = 223) stacked ensemble osiągał precyzję = 0,66, recall = 0,97, a F1-score = 0,78. Deep Neural Classifier wykazuje również wysokie zapamiętywanie (0,96) czerniaka, ale stosunkowo niższą precyzję (~0,66), co wskazuje na wyższą liczbę fałszywie pozytywnych wyników. To podkreśla, że choć czułość na wykrywanie czerniaka jest wysoka we wszystkich modelach, precyzja pozostaje stosunkowo niższa. W klasie nv (wsparcie = 1341) wszystkie modele wykazały 100% wyniki klasyfikacji, z precyzją, przypomnieniem i wynikiem F1 równym 1,00, co podkreśla konsekwentnie wysoką wydajność w klasie większościowej. Dla vasc (wsparcie = 28) zespół stacked osiągnął precyzję = 1,00, przypomnienie = 0,93, a F1-score = 0,96, porównywalne do głębokiego klasyfikatora neuronalnego (F1 = 0,96) i nieco wyższe niż XGBoost (F1 = 0,95) oraz LightGBM (F1 = 0,94).

Porównanie modeli

Model zespołu stacked osiągał podobne lub lepsze wyniki we wszystkich metrykach w porównaniu do modeli indywidualnych. Co ważne, wzrost wykrywania czerniaka odzwierciedla się w wyższym wskaźniku pamięci (0,97), co sugeruje poprawę wrażliwości modelu na ważne przypadki. Spadek wyników klas mniejszościowych (df, 23 próby; akiec, 65 prób) wskazuje na wpływ rozkładu klas na wyniki modelu. Kluczowe jest to, że ogólna dokładność jest obliczana dla wszystkich prób i wpływa na nierównowagę klasową, przy czym klasa nv (wsparcie = 1341) dominuje. W związku z tym wahania w precyzji lub przypominaniu dla klas mniejszościowych nie tłumaczą wartości dokładności zgłaszanych.

Porównanie z istniejącymi metodami

Aby porównać wydajność proponowanego systemu, przedstawiamy porównanie z wcześniejszymi metodami w Tabeli 5 i Tabeli 6. Proponowany system stacked ensemble osiąga wyniki na poziomie wcześniej zgłaszanych podejść z dokładnością 96%. Ponadto proponowany model oferuje także wielomodalną integrację cech i wyjaśnienie, które nie zawsze są brane pod uwagę w innych podejściach. Zgłoszone wartości wydajności opierają się na wynikach przedstawionych w oryginalnych artykułach i mogą się różnić ze względu na różne podziały zbiorów danych oraz metody oceny.

Kluczowa obserwacja

94% to ogólna wydajność wszystkich klas i jest pod wpływem klasy większościowej (nv, wsparcie = 1341). Dlatego wyniki klas mniejszościowych (np. df, precyzja mel) nie oznaczają, że są one niezgodne z ogólną dokładnością. Zespół stacked osiągnął najwyższą dokładność (96%) przy dobrych wynikach z klas. Wzrost dokładności różnych klas (np. przypomnienie czerniaka) dodatkowo sugeruje, że stosowanie podejść wielomodelowych poprawia wyniki predykcyjne klasyfikacji wieloklasowych zmian skórnych.

Jest to dodatkowo testowane poprzez porównanie proponowanego podejścia z najnowocześniejszymi modelami na zbiorze danych ISIC 2019. Analiza wydajności szeroko stosowanych architektur głębokiego uczenia, takich jak ResNet50, EfficientNet-B0, DenseNet121 oraz proponowana metoda zespołu warstwowego, została przeprowadzona na modelach bazowych. Każdy model był testowany w tych samych warunkach eksperymentalnych, co sprawiało, że były ze sobą porównywalne. Wyniki pokazane w Tabeli 6 pokazują, że proponowany model przewyższa istniejące modele pod względem wszystkich wskaźników oceny. Proponowany model zespołu układowego osiąga wyższą dokładność 96% oraz wartość AUC 0,970 w porównaniu z innymi tradycyjnymi modelami uczenia maszynowego i modelami głębokiego uczenia, jak pokazano w Tabeli 6. Jeśli chodzi o rejestrowanie różnych reprezentacji cech, modele takie jak EfficientNet-B0 i DenseNet121 wykazują silną bazową wydajność po zdjęciu, ale same w sobie nie radzą sobie z takimi zadaniami. Z kolei metoda zespołowa jest skutecznie stosowana do łączenia kilku modeli i gwarantuje lepszą generalizację oraz odporność. Co więcej, proponowana metoda jest konsekwentnie lepsza pod względem precyzji, przypominania i wyniku F1, co sugeruje, że jest solidna w różnych klasach i obiecująca do zastosowania w rzeczywistej praktyce klinicznej. Aby ułatwić powtarzalność, przejrzystość i niezawodne porównanie wszystkich modeli, eksperymenty przeprowadzono według standardowego protokołu, z różnymi kryteriami wydajności i tymi samymi warunkami walidacji.

DOSTĘPNOŚĆ DANYCH:

Zestaw danych HAM10000 zmian skórnych użyty w tym badaniu jest publicznie dostępny za pośrednictwem Kaggle pod adresem https://www.kaggle.com/datasets/kmader/skin-cancer-mnist-ham10000. Kod źródłowy oraz pliki implementacyjne wykorzystywane do wstępnego przetwarzania danych, treningu, oceny i analizy modeli zostały udostępnione jako materiały uzupełniające wraz z przesłaniem manuskryptu.

KONFIGURACJA ŚRODOWISKA DO TWORZENIA MODELI
Składnik	Specyfikacja
Środowisko obliczeniowe	Google Colab (darmowy pakiet)
CPU	Procesor 2-rdzeniowy @ 2,20 GHz
GPU	NVIDIA T4 / P100
RAM	12 GB
System operacyjny	Ubuntu 22.04
Wersja Python	Python 3.10
Modele uczenia głębokiego	EfficientNet B4, DenseNet201, MobileNetV2
Klasyfikatory	XGBoost, LightGBM, DNC, Stacked Ensemble
Biblioteki podstawowe	TensorFlow 2.12, Keras 2.12, NumPy, Pandas
Narzędzia do wyjaśniania	SHAP, LIME
Bilansowanie danych	SMOTE

Tabela 1: Konfiguracja systemu. Jest wykorzystywany do tworzenia i oceny modeli. Zawiera szczegóły dotyczące środowiska sprzętowego i programowego, takie jak typ procesora, pamięć, system operacyjny oraz ramy programowe.

SZCZEGÓŁOWE RAPORTY KLASYFIKACYJNE DOTYCZĄCE WIELOKLASOWEGO PRZEWIDYWANIA ZMIAN SKÓRNYCH
Klasa	Precyzja	Przypomnienie	Wynik F1	Wsparcie
XGBoost (Dokładność: 92%)
akiec	0.70	0.71	0.70	65
BCC	0.85	0.82	0.83	103
BKL	0.91	0.83	0.87	220
DF	0.65	0.65	0.65	23
mel	0.63	0.95	0.76	223
nv	1.00	1.00	1.00	1341
VASC	1.00	0.91	0.95	28
LightGBM (Dokładność: 90%)
akiec	0.68	0.69	0.68	65
BCC	0.83	0.80	0.81	103
BKL	0.90	0.82	0.86	220
DF	0.63	0.63	0.63	23
mel	0.62	0.94	0.75	223
nv	1.00	1.00	1.00	1341
VASC	0.99	0.90	0.94	28
Głęboki klasyfikator neuronalny (dokładność: 94%)
akiec	0.95	0.9	0.92	65
BCC	0.9	0.94	0.92	103
BKL	0.97	0.92	0.94	220
DF	0.99	0.96	0.97	23
mel	0.99	0.9	0.94	223
nv	0.14	0.86	0.24	1341
VASC	0.10	0.86	0.18	28
Stacked Ensemble (Dokładność: 96%)
akiec	0.72	0.73	0.72	65
BCC	0.87	0.84	0.85	103
BKL	0.93	0.85	0.89	220
DF	0.67	0.66	0.66	23
mel	0.66	0.97	0.78	223
nv	1.00	1.00	1.00	1341
VASC	1.00	0.93	0.96	28

Tabela 2: Szczegółowe metryki wydajności klasyfikacji dla przewidywania wieloklasowych zmian skórnych we wszystkich modelach. Ta tabela przedstawia precyzję według klas, przywołanie, wynik F1 oraz wsparcie dla każdej kategorii zmian skórnych.

Model	Hiperparametr	Wartość
XGBoost	Tempo uczenia się	Domyślny (0.3)
	Liczba drzew (n_estimators)	100
	Maksymalna głębokość	6
	Podpróbka	1
	Colsample_bytree	1
	Cel	multi:softmax
	Metryka ewaluacji	mlogloss
LightGBM	Tempo uczenia się	Domyślny (0.1)
	Liczba drzew (n_estimators)	100
	Maksymalna głębokość	-1
	Liczba liści	31
	Ułamek cech	1
	Frakcja zaworkowa	1
	Cel	Multiclass
	Metryka	multi_logloss
Głęboki klasyfikator neuronalny	Liczba warstw	3 Gęste warstwy
	Neurony na warstwę	256, 128, 64
	Funkcja aktywacji	ReLU
	Aktywacja wyjściowa	Softmax
	Optymalizator	Adam
	Tempo uczenia się	0.001
	Wielkość partii	32
	Liczba epok	30
	Wycofanie	0.5
	Funkcja straty	Kategoryczna krosentropia

Tabela 3: Ustawienia hiperparametrów. Ustawienia hiperparametrów używane do trenowania modeli, w tym tempo uczenia, wielkość partii, liczba epok oraz konfiguracje optymalizatorów.

Model scentralizowany vs federowany
Strategia szkoleniowa	Centralizowany (Stacked Ensemble)	Model federacyjny	Różnica (Δ)
Dokładność (%)	96	94	2

Tabela 4: Porównanie scentralizowanego i federacyjnego uczenia się. Porównanie scentralizowanych i federacyjnych metod nauczania pod względem wydajności, prywatności i cech obliczeniowych.

Artykuł referencyjny	Metoda	Typ modelu	Rok	Raportowane wyniki	Kluczowy wkład
[2]	Ramy CNN do wykrywania raka skóry	CNN	2020	Wysoka dokładność (~90%+)	Wczesna klasyfikacja oparta na CNN
[4]	Diagnoza czerniaka za pomocą głębokiego uczenia	CNN	2021	Poprawa wyników w klasyfikacji	Analiza obrazów dermoskopowych
[8]	Zoptymalizowane CNN z punktami kontrolnymi	CNN	2023	Zwiększona celność (~92–94%)	Strategia optymalizacji modelu
[9]	Deep Learning + XAI Framework	CNN + Wyjaśnialność	2023	Lepsza interpretowalność	Integracja XAI
[10]	Połączone funkcje CNN	CNN	2023	Wyniki konkurencyjne (~90%+)	Kombinacja cech
[18]	SkinSage XAI	CNN + XAI	2023	Lepsze zaufanie i łatwość interpretacji	Wyjaśniony system AI
To dzieło	Stacked Ensemble + Multimodal + XAI	Zespół	—	96%	Zespół + interpretowalność + świadomość prywatności

Tabela 5: Porównanie z istniejącymi metodami. Porównanie wydajności proponowanej metody z istniejącymi, nowoczesnymi metodami z wykorzystaniem standardowych metryk ewaluacji.

Nowoczesne modele
Model	Zbiór danych	Dokładność	Precyzja	Przypomnienie	F1-score	AUC
ResNet50	ISIC 2019	0.842	0.835	0.828	0.831	0.912
EfficientNet-B0	ISIC 2019	0.874	0.868	0.861	0.864	0.935
DenseNet121	ISIC 2019	0.861	0.854	0.848	0.851	0.926
XGBoost	ISIC 2019	0.92	0.905	0.892	0.898	0.948
LightGBM	ISIC 2019	0.9	0.889	0.88	0.884	0.94
Głęboki klasyfikator neuronalny	ISIC 2019	0.94	0.905	0.89	0.892	0.95
Proponowany zespół stacked	ISIC 2019	0.96	0.94	0.93	0.935	0.97

Tabela 6: Porównanie z najnowocześniejszymi modelami. Porównawcza ocena modelu zespołu stacked z innymi nowoczesnymi architekturami na zbiorze danych ISIC 2019. Do pomiaru wydajności stosuje się dokładność, precyzję, przywołanie, F1-Score oraz AUC. Proponowany model przewyższa inne modele, co potwierdza jego skuteczność w klasyfikacji zmian skórnych wieloklasowych.

Discussion

Obecny protokół określa powtarzalny proces tworzenia interpretowalnych, wrażliwych na prywatność, multimodalnych ram do automatycznej klasyfikacji zmian skórnych. Protokół podąża systematycznym wzorcem zwiększania wydajności diagnostycznej poprzez przejrzystość modelu, łącząc analizę obrazów dermoskopowych z metadanymi klinicznymi oraz interpretowalnymi metodami uczenia maszynowego. Zestaw danych HAM10000 zmian skórnych jest publicznie dostępny i umożliwia standaryzowaną ocenę oraz ułatwia powtarzalność dalszych badań w dziedzinie badań obrazów dermatologicznych¹⁶. Etap wstępnego przetwarzania i normalizacji obrazu jest jednym z najważniejszych etapów protokołu, ponieważ gwarantuje, że obrazy dermoskopowe są standaryzowane przed ekstrakcją cech i trenowaniem modelu. Artefakty, które mogą występować na zdjęciach dermoskopowych, to nierównomierne oświetlenie, blokowanie włosów lub szum w tle, co może wpływać na wydajność modeli. Zmiana rozmiaru obrazów do stałej rozdzielczości i normalizacji może zmniejszyć te różnice, a model może skupić się na zmianach interesujących z klinicznego punktu widzenia, takich jak wzory pigmentacji, nieregularne brzegi i asymetria. Systemy dermatologiczne oparte na głębokim uczeniu wymagają odpowiedniego wstępnego przetwarzania, aby zapewnić niezawodną wydajność, co wykazały wcześniejsze badania nad automatyczną klasyfikacją nowotworów skóry^2.

Głęboki proces ekstrakcji cech oparty na wielu architekturach splotowych sieci neuronowych (CNN) jest również ważną częścią tego procesu. W tej procedurze wykorzystywane są EfficientNet-B4, DenseNet201 oraz MobileNetV2 do nauki komplementarnych cech w obrazach dermoskopowych. Te architektury mają różne zalety pod względem funkcji i kosztów obliczeniowych. Proponowany protokół może wyodrębnić cechy za pomocą wielu modeli, a następnie je połączyć, aby uzyskać globalne wzorce zmian oraz specyficzne cechy morfologii zmian, które mogą pomóc w identyfikacji zmian łagodnych i złośliwych. Istnieje także multimodalny etap fuzji cech. Diagnostyka kliniczna w dermatologii często obejmuje wizualne i kontekstowe informacje kliniczne (wiek i płeć pacjenta oraz miejsce zmiany). Architektura łączy cechy obrazu dermoskopowego z informacjami kontekstowymi, dodając kontekst diagnostyczny modelom opartym wyłącznie na obrazach. To bardziej praktyczne podejście multimodalne i wzmacnia system klasyfikacji.

Protokół zawiera również techniki wyjaśnialnej sztucznej inteligencji (XAI), w szczególności technikę interpretowalności modelu, aby wyjaśnić przewidywania modeli klasyfikacyjnych. Wyjaśnialność jest niezbędna dla systemów AI medycznych, ponieważ klinicyści muszą znać uzasadnienie automatycznych prognoz, aby uwzględnić je w swoich procesach diagnostycznych. Techniki interpretowalności modelu nadają globalne znaczenie cech poprzez pomiar wpływu każdej cechy na prognozy modelu, podczas gdy techniki interpretowalności modelu dają lokalne wyjaśnienia, pokazując obszary obrazu, które przyczyniają się do prognoz modelu. Te narzędzia interpretowalności pomagają zweryfikować, czy model koncentruje się na strukturach klinicznie istotnych, a nie na fałszywych korelacjach, co zwiększa zaufanie i przejrzystość w systemach diagnostycznych wspomaganych przez AI²⁰_.

Istnieje wiele wariantów protokołu, które można zastosować, w zależności od użytego zbioru danych lub środowiska obliczeniowego. Typowym problemem danych dermatologicznych jest nierównowaga klasowa, gdzie liczba próbek w każdej kategorii zmian znacznie się różni. Zbiór danych HAM10000 zawiera znacznie większy odsetek łagodnych znamieści niż inne kategorie zmian. Tę nierównowagę można złagodzić za pomocą technik nadpróbkowania, takich jak Technika Syntetycznego Nadpróbkowania Mniejszości (SMOTE), która generuje syntetyczne dane mniejszościowe dla kategorii rzadkich zmian. Inne strategie, takie jak augmentacja danych, ważenie klas czy utrata ogniskowa, również mogą pomóc zwiększyć dokładność modelu dla rzadziej spotykanych typów zmian.

Chociaż proponowane ramy oferują różne korzyści, mają pewne ograniczenia. Model jest trenowany na HAM10000 zbiorze danych, który może nie obejmować wszystkich możliwych scenariuszy obrazowania, fenotypów skóry czy grup etnicznych spotykanych w dermatologii. Dlatego ważne jest, aby weryfikować framework za pomocą zewnętrznych zbiorów danych w celu oceny jego wydajności uogólnienia. Dodatkowo, włączenie wielu modeli głębokiego uczenia i uczenia zespołowego zwiększa zakres obliczeniowy modelu i może być wyzwaniem w klinicznych warunkach ograniczonych zasobów.

Przedstawiony system oferuje kilka postępów w porównaniu z tradycyjnymi metodami głębokiego uczenia wykorzystującymi wyłącznie obrazy. Wielomodalna integracja danych dostarcza bogatszych informacji, a uczenie zespołowe zwiększa odporność modelu poprzez agregację prognoz z różnych klasyfikatorów. Ponadto zastosowanie tłumaczalnych technik AI umożliwia interpretację podejmowania decyzji, co jest istotne dla modeli głębokiego uczenia w medycynie. Wnioski z eksperymentalnych technik dermatologicznych kształtują ten protokół, kładąc nacisk na powtarzalne procesy obrazowania i analizy, niezbędne dla badań biologicznych. Zaawansowane podejścia obrazowania, w tym trójwymiarowe modele skóry i procedury obrazowania dermoskopowego, zapewniają głębsze zrozumienie struktury skóry i mechanizmów chorób, wspierając tym samym projektowanie i ulepszanie narzędzi diagnostycznych obliczeniowych^21,22.

Podejście opisane w tym protokole może być stosowane na różne sposoby w badaniach dermatologicznych i klinicznych. Takie podejście mogłoby pomóc w rozwoju komputerowych systemów diagnostycznych do wczesnego wykrywania czerniaka i innych schorzeń skóry, ułatwić lekarzom poruszanie się po dużych bazach danych obrazów skóry oraz być wykorzystywane jako część systemów teledermatologii, umożliwiając lekarzom zdalne konsultacje z dermatologami. Co więcej, funkcje tłumaczalności i ochrony prywatności umożliwiają jego wykorzystanie w wieloinstytucjonalnym środowisku badawczym medycznych AI, gdzie wiele instytucji dzieli się danymi, jednocześnie zapewniając prywatność. Przyszłe badania mogą obejmować włączanie większych, wieloinstytucjonalnych zbiorów danych, dodawanie dodatkowych cech klinicznych oraz eksplorację innych technik chroniących prywatność, takich jak uczenie federacyjne, które jest tu wspomniane jako rozszerzenie koncepcyjne. Ponadto brak badania ablacyjnego porównującego modele multimodalne z modelami opartymi wyłącznie na obrazach i metadanych jest ograniczeniem, które zostanie rozwiązane w przyszłych badaniach mających na celu ocenę roli każdego źródła danych.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Architektura CNN DenseNet201	IBM	https://arxiv.org/abs/1608.06993	Model głębokiego uczenia do klasyfikacji obrazów
Architektura CNN EfficientNet-B4	Google	https://arxiv.org/abs/1905.11946	Model głębokiego uczenia do klasyfikacji obrazów
Google Colaboratory Platform	Google	https://colab.research.google.com	Środowisko obliczeniowe oparte na chmurze
HAM10000 Zbiór danych o zmianach skórnych	Harvard Dataverse	https://doi.org/10.7910/DVN/DBW86T	Zbiór danych obrazów dermoskopowych
Keras Deep Learning API	Google	Wersja 2.x	API sieci neuronowych
Biblioteka wyjaśnialności LIME	Projekt LIME	Wersja 0.x	Technika interpretowalności modelu
Architektura CNN MobileNetV2	Google	https://arxiv.org/abs/1801.04381	Model głębokiego uczenia do klasyfikacji obrazów
Biblioteka wizualizacji Matplotlib	Zespół Rozwojowy Matplotlib	Wersja 3.x	Wykorzystywane do generowania wykresów i wizualizacji wydajności
Karta graficzna NVIDIA	NVIDIA	Seria RTX	Sprzęt obliczeniowy do trenowania modeli
Biblioteka obliczeń numerycznych NumPy	Deweloperzy NumPy	Wersja 1.x	Oprogramowanie do analizy danych
Biblioteka przetwarzania obrazów OpenCV	Fundacja OpenCV	Wersja 4.x	Biblioteka przetwarzania obrazu
Biblioteka Analizy Danych Pandas	Zespół Rozwojowy Pandas	Wersja 1.x	Oprogramowanie do analizy danych
Środowisko programistyczne Python	Python Software Foundation	Wersja 3.9+	Oprogramowanie do analizy danych
Biblioteka wyjaśnialności SHAP	Projekt SHAP	Wersja 0.x	Technika interpretowalności modelu
Technika nadpróbkowania SMOTE	Projekt niezrównoważonej nauki	Wersja 0.x	Technika balansowania klas do obsługi niezrównoważonych zbiorów danych
Biblioteka uczenia maszynowego Scikit-learn	Projekt scikit-learn	Wersja 1.x	Biblioteka uczenia maszynowego
Ramy Głębokiego Uczenia TensorFlow	Google	Wersja 2.x	Ramy uczenia głębokiego