Een uitlegbaar privacybehoudend multimodaal ensemblekader voor huidlaesieclassificatie

Summary

Het voorgestelde werk heeft als doel een verklaarbare, privacybehoudende multimodale ensemblestructuur te ontwikkelen en te evalueren voor nauwkeurige classificatie van huidlaesies door deep learning-functies, klinische metadata en verklaarbare AI-technieken te integreren om de diagnostische nauwkeurigheid, transparantie en betrouwbare klinische beslissingsondersteuning voor vroege huidkankerdetectie te verbeteren.

Abstract

Onder de dermatologische aandoeningen is huidkanker een van de meest levensbedreigende. Vroege en nauwkeurige diagnose is belangrijk om de prognose van een patiënt te verbeteren. Desalniettemin staan traditionele AI-gebaseerde diagnostische methoden voor verschillende uitdagingen, waaronder privacyzorgen, beperkte interpreteerbaarheid en een ernstige klassenongelijkheid in multiklasse huidlaesiedatasets. Om deze uitdagingen te overwinnen, stelt het voorgestelde artikel een privacybewust, verklaarbaar multimodaal classificatiemodel voor huidlaesies voor, dat complexe deep learning-modellen combineert met een ensemble-modelleringsbenadering met verklaarbare kunstmatige intelligentiemethoden. Experimentele evaluatie wordt uitgevoerd met behulp van publiek beschikbare HAM10000 benchmarkgegevens over de classificatie van multiklasse huidlaesies die toegankelijk zijn via Kaggle Hub, verdeeld over zeven klinisch significante laesieklassen (akiec, bcc, bkl, df, mel, nv, vasc). Om de data in balans te brengen, wordt een klassenbalanstechniek gebruikt om de minderheidsklassen te versterken. De EfficientNet B4, DenseNet201 en MobileNetv2 worden gebruikt om diepgaande feature-representaties te extraheren, die vervolgens gecombineerd worden met belangrijke klinische metadata om een robuuste multimodale featurespace te creëren. Deze multimodale functies worden gebruikt om XGBoost, LightGBM, Deep Neural Classifier (DNC) te trainen die respectievelijk classificatienauwkeurigheden van 92%, 90% en 94% opleverden. Er wordt een gestapelde ensemblestrategie toegepast om de output van XGBoost, LightGBM en Deep Neural Classifier (DNC) te combineren, wat leidt tot een verbetering van 96% in nauwkeurigheid. Modelinterpreteerbaarheidstechnieken bieden uitleg op feature-niveau die de transparantie vergroten. De experimentele bevindingen bewezen de praktische bruikbaarheid van het voorgestelde kader in termen van efficiëntie bij klinisch relevante classificatie van huidlaesies in het echte leven.

Introduction

Huidkanker vormt een aanzienlijke wereldwijde gezondheidslast, met stijgende incidentiecijfers die wereldwijd^worden gemeld 1. Kunstmatige straling wordt erkend als een belangrijke bijdragende factor aan huidkanker, wat leidt tot genetische mutaties die leiden tot ongecontroleerde celproliferatie en tumorontwikkeling in huidcellen ^1,2_. Huidkankers omvatten een groep ziekten, waaronder melanoom, plaveiselcelcarcinoom en basaalcelcarcinoom (BCC). De oorzaken, klinische presentatie en prognostische factoren van deze aandoeningen verschillen allemaal³. Huidaandoeningen zijn een obstakel geworden in medische diagnose vanwege pixel-niveau overeenkomsten⁴. In 2022 waren er wereldwijd naar schatting 331.722 melanoomgevallen (58.667 sterfgevallen) en 1,2 miljoen NMSC-gevallen (69.416 sterfgevallen). De pieksterftecijfers voor ouderdomsgestandaardiseerde incidentie (ASR) voor melanoom waren in Oceanië (29,78/100.000), Noord-Amerika (16,3) en Europa (10,43). De mortaliteits-incidentieverhouding was echter het hoogst in Afrika (0,35) en Azië (0,30) vergeleken met Noord-Amerika en Oceanië (0,02 in beide), wat mogelijk een slechtere prognose¹ weerspiegelt. In de dermatologie is de diagnose en monitoring van huidlaesies voornamelijk gebaseerd op visueel onderzoek en andere niet-invasieve beoordelingen. Invasieve methoden worden niet toegepast omdat ze de laesies kunnen beschadigen en de uitvoering van een klinische follow-up van de groei kunnen belemmeren⁵. Huidlaesies kunnen verschillende typen zijn: melanoom (MEL), dermatofibroom (DF), actinische keratose en intraepitheliale carcinoom (AKIEC), basaalcelcarcinoom (BCC), goedaardige keratose (BKL), melanocytaire nevus (NV) en vasculaire laesies (VASC), zoals gedefinieerd in de HAM10000 dataset⁵. Grote uitdagingen bij de classificatie van dermatoscopische beelden zijn de aanwezigheid van haar, inkt, liniaalmarkeringen, gekleurde vlekken, glinsteringen, druppels, oliebellen, bloedvaten, hyperpigmenteerde gebieden en/of ontstekingslaesies⁶. Er zijn eerder studies gedaan naar featureselectie en deep learning voor medische beeldvorming en huidlaesieclassificatie ^7,8.

Computervisie-gebaseerde benaderingen voor huidkankerdiagnose en de integratie van handgemaakte en diepe kenmerken zijn ook onderzocht⁹, samen met featurefusiestrategieën voor verbeterde classificatieprestaties¹⁰. Recente ontwikkelingen benadrukken verder de integratie van machine learning in zorgsystemen en veilige medische dataverwerkingskaders^11,12_. AI-zorggebruik, aangedreven door geavanceerde computationele algoritmen, heeft het potentieel om gepersonaliseerde en efficiënte geïntegreerde zorgprogramma's te leveren, vooral gunstig voor patiënten in zowel remote als thuiszorgomgevingen¹³. Door gebruik te maken van uitgebreide datasets van dermatoscopische beelden kunnen deep learning-modellen—met name Convolutionele neurale netwerken (CNN's)—worden getraind om verschillende huidlaesies nauwkeurig te identificeren en te classificeren. Verschillende technieken tonen sterke resultaten in segmentatie van huidlaesies, waaronder volledig convolutionele netwerken (FCN's), CNN's, diepe CNN's (DCNN's), volledig convolutionele residuele netwerken (FCRN's) en U-Net-architecturen. Diepe neurale netwerken (DNN's) zijn niet gemakkelijk te interpreteren vanwege hun zeer complexe architectuur, waardoor hun besluitvormingsproces moeilijk te begrijpen is^14,15. Recente ontwikkelingen in medische beeldanalyse hebben aangetoond dat diepe convolutionele neurale netwerken (CNN's) de efficiëntie bij huidlaesieclassificatietaken significant verbeteren. Verschillende studies naar dermoscopische datasets zoals HAM10000 hebben aangetoond dat op CNN gebaseerde architecturen, waaronder ResNet, DenseNet en EfficientNet, sterke multi-klasse classificatieprestaties bereiken door hiërarchische kenmerkrepresentaties te leren uit laesiebeelden. Hybride feature fusion-benaderingen, waarbij meerdere CNN-backbones worden gecombineerd, hebben de diagnostische nauwkeurigheid verder verbeterd door complementaire diepe representaties te integreren¹⁶. Bovendien hebben huidige studies hybride CNN Transformer-modellen onderzocht in medische beeldanalyse. Modellen met vision transformer en CNN-feature-extractors hebben bewezen betere resultaten te leveren bij huidlaesieclassificatietaken omdat ze beter in staat zijn lokale textuurinhoud en globale contextuele relaties te extraheren¹⁷. Deze hybride ontwerpen worden ook gezien als state-of-the-art in medische beeldvorming omdat ze een evenwichtige representatieleercapaciteit hebben.

In andere medische gebieden zijn feature-fusiestrategieën uitgebreid buiten de dermatologie gebruikt. CNN-gebaseerde hybride systemen zijn ook toegepast bij de analyse van histopathologische beelden om een betere classificatie van long- en darmkanker te bereiken met verbeterde feature-representaties en ruimtelijke leerdynamiek¹⁶. Evenzo heeft in de oogheelkunde het gebruik van deep learning-modellen getraind op fused feature-representaties succesvolle toepassing aangetoond in diabetische retinopathie staging van fundusbeelden, met betere robuustheid en classificatienauwkeurigheid in een multi-class beoordelingstaak¹⁸. Multimodale fusiemethoden in deze vakgebieden suggereren allemaal dat heterogene kenmerkrepresentaties betere generalisatie en classificatie opleveren, vooral in onevenwichtige medische gegevens¹⁹.

Hoewel deze verbeteringen zijn doorgevoerd, zijn de huidige praktijken meestal beperkt tot multimodaal, niet geïntegreerd, onvoldoende om het probleem van klassenonevenwicht aan te pakken en niet behulpzaam bij klinische besluitvorming. Om deze problemen te overwinnen, presenteert dit artikel een verklaarbaar classificatiemodel voor huidlaesies dat privacybewust is en beide modellen interpreteerbare methoden integreert. Dergelijke verklaringsmethoden kunnen worden gebruikt om de voorspellingen van het model te verklaren, waarbij wordt getoond welke kenmerken het belangrijkst zijn en belangrijke gebieden van dermoscopische beelden worden benadrukt, waardoor de helderheid en het vertrouwen in klinische procedures worden vergroot, waardoor de klinische transparantie wordt verbeterd, vertrouwen wordt opgebouwd en de veilige implementatie van AI-systemen in de klinische praktijk wordt ondersteund. Er is een aanzienlijke onbalans in de HAM10000 dataset, waarbij enkele klassen veel minder steekproeven hebben dan andere. Om dit probleem te overwinnen, wordt de synthetische minderheids-oversamplingtechniek (ook wel class balancing genoemd) gebruikt om synthetische steekproeven te genereren voor ondervertegenwoordigde klassen. Klassenbalanstechnieken balanceren de dataset, waardoor het model beter kan leren van minderheidslaesietypes, de gevoeligheid verhoogt en een betrouwbaardere voorspelling van klinisch significante maar minder frequente huidkankerklassen mogelijk maakt.  Diepgaande kenmerken van EfficientNet-B4, DenseNet201 en MobileNetV2 worden gecombineerd met de klinische metadata om een informatievere weergave van elke huidlaesie te vormen. Deze dubbele eigenschap helpt ons om de visuele patronen van dermoscopische beelden en andere patiëntinformatie te extraheren voor een diepgaandere analyse. De kenmerken worden vervolgens getraind op verschillende classifiers, waaronder XGBoost, LightGBM en een Deep Neural Network, om de capaciteit en kracht van het huidlaesieclassificatiemodel te vergroten. Het ensemble van de modellen wordt gebruikt met een stapelensembletechniek om het model te versterken. Dit is een samengesteld model dat de sterke punten van meerdere modellen benut om te leren van en te profiteren van de voorspellingen van alle modellen in het ensemble, terwijl hun beperkingen worden verzacht.

Protocol

Deze studie maakte gebruik van publiek toegankelijke, volledig geanonimiseerde dermoscopische datasets en betrof geen directe menselijke participatie; Daarom was goedkeuring van de ethische commissie niet vereist. De Materiaaltabel bevat details van alle materialen of gereedschappen die in deze studie zijn gebruikt. Tabel 1 bevat details van de hardware- en softwareomgeving, zoals processortype, geheugen, besturingssysteem en softwareframeworks. Tabel 2 bevat details over de klassegewijze precisie, terugroepactie, F1-score en ondersteuning voor elke huidlaesiecategorie.

Algemene workflow van het voorgestelde multimodale classificatiekader voor huidlaesies

Het algemene doel van dit onderzoek is om een nauwkeurig en begrijpelijk schema te creëren voor multiclassificatie van huidlaesies. De workflow begint met gegevensverzameling en preprocessing van de HAM10000 dataset, waarna het extraheren van features wordt gebruikt met deep learning-architecturen en de opname van klinische metadata. Daarna worden verschillende machine learning-classifiers getraind en geoptimaliseerd, en hun resultaten worden geaggregeerd in een ensemblestrategie. Tot slot worden de voorspellingen van het model geïnterpreteerd met behulp van verklaarbaarheidstechnieken, en wordt de effectiviteit van het model geëvalueerd voor gebruik in klinische beslissingsondersteuning in de praktijk.

Om de voorspellende nauwkeurigheid van het voorgestelde systeem te verbeteren, wordt een multimodale machine learning-pijplijn gebruikt, die zowel beeldgebaseerde kenmerken als klinische metadata combineert (zoals weergegeven in Figuur 1. Het model kan de visuele output van dermoscopische beelden samenvatten met de informatie die op de patiënt betrekking heeft, om meer gedetailleerde patronen te identificeren die verband houden met verschillende huidlaesies. Met zo'n combinatie kan het systeem betere voorspellingen doen, wat uiteindelijk zal gebeuren. Verbeter de kwaliteit en bruikbaarheid van huidlaesieclassificatie. Drie vooraf getrainde convolutionele Deep-kenmerken worden geëxtraheerd met behulp van neurale netwerken (EfficientNet-B4, DenseNet201 en MobileNetV2): ze zijn in staat om een verscheidenheid aan complementaire patronen van dermoscopische beelden vast te leggen. Deze architecturen leren op hoog niveau patronen in hoe huidlaesies eruitzien, zoals veranderingen in kleur en textuur, en hoe ze zijn opgebouwd. Vervolgens combineert een feature fusion-module de diepgaande features met de klinische features en demografische data om een rijke multimodale feature te creëren. De samengevoegde data wordt vervolgens onderverdeeld in trainings-, validatie- en testgegevens om passende modeltesten te waarborgen. Vervolgens wordt een feature fusion-module gebruikt om de diepgaande features te combineren met de klinische features en demografie om een rijk multimodaal feature te creëren. Deze gegevens worden vervolgens opgesplitst in trainings-, test- en validatiegegevens om het model te testen. Een ensemblestrategie wordt gebruikt om de voorspellingsnauwkeurigheid verder te verbeteren. Dit gebeurt door de resultaten van verschillende modellen te middelen en de definitieve voorspelling te maken met behulp van die gemiddelde kansen om generalisatie te verbeteren en de variantie te minimaliseren die anders door individuele modellen zou zijn veroorzaakt. Daarnaast worden ook uitlegmethoden, zoals modelinterpreteerbaarheidstechnieken, geïntegreerd om verder te verklaren hoe het model zijn beslissingen neemt. De methode van modelinterpretatie biedt interpretaties op feature-niveau door de bijdrage van inputvariabelen te kwantificeren, terwijl de methode van modelinterpretatie belangrijke gebieden binnen dermoscopische beelden op pixelniveau identificeert die de voorspelling beïnvloeden. Modelinterpreteerbaarheidstechnieken bieden uitleg op feature-niveau door de bijdrage van elke invoervariabele te kwantificeren, terwijl modelinterpreteerbaarheidstechnieken belangrijke gebieden op pixelniveau binnen dermoscopische beelden benadrukken die de voorspelling beïnvloeden. Gezamenlijk maken deze technieken de modellen beter interpreteerbaar en helpen ze clinici om te leren hoe het systeem de beslissingen neemt. Als gevolg hiervan biedt de voorgestelde pipeline een systeem dat begrijpelijk en privacybewust is, waardoor transparantie en vertrouwen toeneemt en een betrouwbaardere diagnose van huidkanker in een echte zorgomgeving mogelijk wordt.

Datasetbeschrijving met voorbereiding

In dit artikel wordt de HAM10000 (Human against Machine with 10.000 training images) dataset gebruikt als primaire dataset voor classificatie van multi-klasse huidlaesies. De dataset bevat meer dan 10.000 dermoscopische figuren verzameld uit diverse medische bronnen. Klinische bronnen en populaties, waardoor het een van de meest gebruikte benchmarkdatasets is in dermatologisch beeldanalyse. Elke afbeelding in de dataset wordt vergezeld door belangrijke klinische metadata, waaronder beeldidentificaties, diagnostische labels, patiëntleeftijd, geslacht en de anatomische locatie van de laesion. De dataset omvat zeven diagnostische categorieën: actinische keratosen (akiec), basaalcelcarcinoom (BCC), goedaardige keratose (BKL), dermatofibroom (DF), melanocytaire nevi (nv), vasculaire laesies (vasc) en melanoom (mel).

Klinische metadata-preprocessing

Aanvullende functies die aan de classificatiepijplijn werden toegevoegd, omvatten klinische metadata, zoals leeftijd, geslacht en de locatie van de laesie bij de patiënt. Er ontbraken of onbekende waarden, die werden behandeld via een deterministische preprocessing-benadering. In het geval van de leeftijdsvariabele (numeriek) werd de mediane leeftijd berekend op de trainingsset gebruikt om de ontbrekende waarden te impluteren. De reden dat mediane imputatie werd gekozen, is dat deze bestand is tegen uitschieters en scheve gegevens, die veel voorkomen in klinische gegevens. Voor geslacht en laesielocatie (categorische variabelen) werden ontbrekende of niet-gespecificeerde waarden niet uitgesloten; Ze werden toegewezen aan een speciale categorie met het label 'onbekend'. De methode onderhoudt alle beschikbare steekproeven, en het model is vrij om te bepalen of ontbreken zelf voorspellend is. Vervolgens werd One-hot encoding toegepast op categorische variabelen om ze compatibel te maken met machine learning-modellen. Alle preprocessing, zoals imputatie, codering, enzovoort, werd alleen uitgevoerd op de trainingsset, en dezelfde transformaties werden uitgevoerd aan de validatie- en experimentensets om dataverlies te voorkomen. Er werden geen steekproeven uitgesloten alleen vanwege ontbrekende klinische metadata, wat ervoor zorgde dat de data maximaal werd benut en er methodologische consistentie was.

Figuur 1: Multimodaal systeem voor classificatie van huidlaesies. De studiemethode combineert dermoscopische beeldkenmerken met patiëntmetadata om huidlaesies te classificeren met behulp van ensemble deep learning-modellen. Het framework omvat preprocessing, feature-extractie, multimodale fusie en classificatie, wat zorgt voor verbeterde diagnostische prestaties en interpreteerbaarheid. Klik hier om een grotere versie van deze figuur te bekijken.

De workflow toont de voorgestelde classificatiepijplijn, gebaseerd op dermoscopische beelden en klinische metadata van de dataset van de HAM10000 huidlaesie. EfficientNet-B4, DenseNet201 en MobileNetV2 worden gebruikt om diepe features in afbeeldingen voor te verwerken en te extraheren. De klinische metadata worden gecodeerd en feature fusion wordt gebruikt om de beeldkenmerken te combineren met de klinische metadata. Om het probleem van klassenongelijkheid aan te pakken, wordt de klasse-balanceringstechniek gebruikt in de gefuseerde multimodale featureruimte in plaats van de ruwe beelden of individuele featurestreams, waarbij synthetische monsters de combinatie van zowel visuele als klinische kenmerken behouden en geen onrealistische samples produceren. De samengevoegde features worden vervolgens getraind op classifiers zoals XGBoost, LightGBM en een deep neural classifier.

Figuur 2: Voorbeelddermoscopische beelden van zeven verschillende diagnostische groepen uit de HAM10000-dataset. Afbeeldingen tonen typische visuele kenmerken die worden gebruikt voor geautomatiseerde classificatie. (A) Actinische keratosen (akiec), die ruwe oppervlakken met onregelmatige pigmentatie aantonen. (B) Basaalcelcarcinoom (bcc), met onregelmatige vormen en bloedvaten. (C) Goedaardige keratose-achtige laesies (bkl), met keratotische kenmerken en lichtbruine oppervlakken. (D) Dermatofibroom (df), met een centraal littekenachtig uiterlijk en pigmentatie. (E) Melanocytische nevi (nv), goedaardige en relatief symmetrische mollen. (F) Vaatlaesies (vasc), met een roodpaarse uitstraling door bloedvaten. (G) Melanoom (mel), dat zich presenteert als een onregelmatig gevormde, asymmetrische en multipigmenteerde laesion. Klik hier om een grotere versie van deze figuur te bekijken.

Deze dermoscopische beelden tonen de visuele heterogeniteit van huidlaesies, die variaties vertonen in pigmentatie, textuur en morfologie van de structuur. Deze variaties vormen een grote uitdaging voor geautomatiseerde classificatiesystemen en benadrukken het belang van deep learning-gebaseerde systemen. Feature-extractietechnieken die gevoelig zijn voor het onthullen van subtiele diagnostische patronen. Na de beschrijving van de dataset illustreert Figuur 2 de zeven categorieën huidlaesies die in de HAM10000-dataset zijn opgenomen, die vaak worden bestudeerd in dermatologisch diagnostisch beeldvormingsonderzoek. Deze klassen omvatten actinische keratosen (akiec), basaalcelcarcinoom (bcc), goedaardige keratose (bkl), dermatofibroom (df), melanocytaire nevi (nv), vasculaire laesies (vasc) en melanoom (mel)²¹. Al deze soorten laesies hebben unieke visuele kenmerken, zoals weergegeven in Figuur 3, waaronder variatie in pigmentatiepatronen, oppervlaktetextuur, kleurverdeling en afwijkingen langs de laesieranden. De visuele kenmerken van al deze laesies verschillen en worden gekenmerkt door variatie in patronen van pigmentatie, oppervlaktetextuur, kleurverdeling en afwijkingen aan de randen van de laesies. Dit zijn belangrijke kenmerken waar dermatologen rekening mee houden bij het uitvoeren van het klinisch onderzoek, en daarom moeten ze goed worden gemodelleerd door machine learning-modellen om de juiste classificatie te bereiken. Hoewel dit de onderscheidende kenmerken zijn, lijken veel van deze laesies vrijwel identiek, wat het moeilijk maakt om ze te onderscheiden bij het bekijken van slechts dermoscopische beelden. Het onderscheid tussen bepaalde soorten laesies is doorgaans zeer subtiel maar klinisch relevant, waardoor het moeilijk is om het automatisch te classificeren. Daarom is het dringend om krachtige AI-modellen te creëren die in staat zijn fijnmazige visuele beelden en subtiele verschillen in laesies tussen laesieklassen te leren. Deze eigenschappen worden niet alleen versterkt door de juiste beschrijving, wat leidt tot verbetering van de onderscheidende vaardigheden van het model met verschillende soorten laesies, maar ook helpt om enkele gevaarlijke aandoeningen, zoals melanoom, eerder te diagnosticeren. Tot slot kan het de diagnostische nauwkeurigheid verbeteren, clinici informeren bij het nemen van beslissingen die leiden tot betere patiëntuitkomsten, en helpen bij het nemen van betere beslissingen.

Figuur 3: Klassegewijze verdeling van huidlaesies in de HAM10000 dataset. De figuur toont de verdeling van de zeven laesiecategorieën die in deze studie zijn beschouwd: actinische keratoses (akiec), basaalcelcarcinoom (bcc), goedaardige keratose-achtige laesies (bkl), dermatofibroom (df), melanocytaire nevi (nv), vasculaire laesies (vasc) en melanoom (mel). Deze grafiek illustreert de klassenonbalans van de laesieklassen. Klik hier om een grotere versie van deze figuur te bekijken.

De analyse van de dataset toont aan dat er een onevenwicht is tussen de klassen van de verschillende soorten laesies. Het meest voorkomende type Melanocytische Nevi (nv), met ongeveer 6.705 monsters, is het meest voorkomende type, gevolgd door melanoom (1.113) en goedaardige keratose (1.099). Daarentegen zijn er enkele vormen van klinische relevantie die significant minder vertegenwoordigd zijn, zoals dermatofibroom (115) en vasculaire laesies (142). Deze disproportie vormt een bedreiging voor machine learning-modellen omdat ze de neiging kunnen hebben om bevooroordeeld te zijn ten gunste van de meerderheidsklassen en niet in staat zijn om ongebruikelijke maar klinisch significante laesies te detecteren. Om dit probleem aan te pakken en de training van het model op de modelprestaties met betrekking tot alle klassen te verbeteren, is geavanceerde voorverwerking vereist. Strategieën zijn nodig. Deze omvatten technieken zoals gerichte data-augmentatie en klassenbalancering. De gegevens kunnen worden gebalanceerd met behulp van de techniek (Klassenbalanstechniek en gewichtsaanpassing van klassen), die het model aanmoedigt om substantiële trends in de ondervertegenwoordigde klassen te ontdekken. De hyperparameters die voor XGBoost en LightGBM werden gebruikt, waren voornamelijk ingesteld op hun standaardconfiguraties, met kleine aanpassingen op basis van voorlopige experimenten. Voor de diepe neurale classifier werden architectuur- en trainingsparameters zoals het aantal lagen, neuronen, leersnelheid, batchgrootte en aantal epochs empirisch geselecteerd met behulp van validatiegegevens. De volledige set hyperparameters wordt weergegeven in Tabel 3. In het algemeen is het aantal dermoscopische beelden dat in de huidige studie wordt gebruikt in totaal 10.015. Dit heeft als voordeel dat er een enorme verzameling data beschikbaar is die getraind en getest kan worden, en het is ook een tijdrovende maar lonende maatstaf. Beoordeel de effectiviteit van het voorgestelde classificatiesysteem voor huidlaesies.

Datavoorverwerking

De preprocessing-pijplijn bereidt de HAM10000 dataset voor multimodaal leren door afbeeldingen te standaardiseren, diepe features te extraheren, klinische metadata te integreren en klassenonevenwicht aan te pakken.

Beeldstandaardisatie: Alle dermoscopische beelden werden verkleind tot 224 × 224 pixels en genormaliseerd met z-score normalisatie.

(1)

Waar ik het ruwe beeld vertegenwoordig, duidt μ het pixelgemiddelde, en σ is de standaarddeviatie.

Deep Feature Extraction: Complementaire deep features werden geëxtraheerd met behulp van drie vooraf getrainde convolutionele neurale netwerken: Efficient-Net B4, DenseNet201, samen met MobileNetV2. Elk netwerk koppelt het genormaliseerde beeld aan een featurevector.

(2)

De geëxtraheerde kenmerken werden samengevoegd tot een uniforme weergave:

F_Fusie=F_EffB4 ||F_Dense ||F_MobV2 (3)

(waarbij || concatenatie betekent)

Klinische metadata-integratie: Klinische kenmerken, waaronder leeftijd, geslacht, samen met laesielokalisatie, zijn opgeschoond, gelabeld en genormaliseerd met min-max scaling:

(4)

De verwerkte metadatavector M_klinisch werd samengevoegd met beeldkenmerken om de uiteindelijke multimodale invoer te construeren:

F_gecombineer=F_fusieM_klinisch (5)

Datasetsplitsing: Er werd een gestratificeerde splitsing toegepast om de klassenverdeling te behouden

_D-trein,_D-test=Split(F_{gecomibelt,0,8}) (6)

Behandeling van klasse-onevenwicht: De HAM10000-dataset heeft een ernstige onevenwichtigheid van de klassen, waarbij "nevus" (NV) steekproeven ondervertegenwoordigd zijn in andere minderheidsgroepen, zoals DF met VASC. Om dit probleem te verminderen werd de "Synthetic Minority Oversampling Technique" (klassenbalanstechniek) toegepast. Met gebruik: Nieuwe synthetische monsters werden geproduceerd als:

x_new=x_i + λ(x_zi - x_i) (7)

Waarbij x_i een minderheidsklasse steekproef is, x_zi een van zijn dichtstbijzijnde buren, en λ een willekeurige waarde is die wordt bemonsterd uit een uniforme verdeling tussen 0 en 1. Het synthetische monster, zoals weergegeven in Figuur 4, wordt gegenereerd langs het lijnsegment dat x sub i verbindt.en xent verbindt x_i en x_zi.

Figuur 4: Klassenverdeling in de HAM10000 dataset voor/na toepassing van de klassebalanstechniek. (A) Voor klassenbalancering, met onbalans tussen laesieklassen. (B) Na klassenbalans in de gecombineerde featureruimte, waarbij de representatie van alle klassen gelijk is om bias in het classifier-trainingsproces te voorkomen. Klik hier om een grotere versie van deze figuur te bekijken.

Om het probleem van klassenonevenwicht in de HAM10000 dataset aan te pakken, wordt de Synthetic Minority Over-Sampling Technique (class balancing technique) toegepast. De klassenbalanstechniek genereert synthetische monsters voor de minderheidsklassen door te interpoleren tussen bestaande datapunten, wat helpt de representatie van ondervertegenwoordigde laesiecategorieën te vergroten. Het eindresultaat van het produceren van meer voorbeelden van deze minderheidsgroepen is een meer gebalanceerde dataset in het algemeen, met betrekking tot alle zeven soorten laesies. Deze gebalanceerde representatie stelt de classificatiemodellen in staat om beter te leren met elke klasse en de bias bij de meerderheidsklassen te minimaliseren. Daardoor is het model eerlijker in classificatie en gevoeliger, vooral voor zeldzame, maar klinisch belangrijke huidlaesies.

Privacy-beschermend leerkader

Het voorgestelde systeem stelt een multimodaal systeem voor voor automatische classificatie van laesies op de huid, dat privacybewust en interpreteerbaar is. Het uiteindelijke doel van het systeem is het verbeteren van de diagnostische prestaties en tegelijkertijd het beschermen van gevoelige patiëntinformatie gedurende het hele trainingsproces. Patiëntprivacy is een essentiële noodzaak in de medische praktijk omdat privacywetten en ethische overwegingen voor gezondheidsgegevens van groot belang zijn in zorgomgevingen. Het voorgestelde model zal dus een gedecentraliseerd leermodel bevatten dat gebaseerd is op de ideeën van gefedereerd leren. In deze gedecentraliseerde omgeving wordt modeltraining uitgevoerd op een groep gedistribueerde cliënten in plaats van alle patiëntgegevens op een gecentraliseerde locatie te verzamelen. Alle deelnemende klanten trainen het model lokaal op hun eigen data, en ruwe patiëntgegevens verlaten de lokale omgeving niet. Als alternatief voor het verplaatsen van gevoelige medische dossiers worden modelupdates of parameters naar een centrale server gestuurd om te worden geaggregeerd. Deze coöperatieve leerbenadering stelt de verschillende instellingen of databronnen in staat bij te dragen aan modeltraining zonder concessies te doen aan de gegevensprivacy.

Laat w_t^(k) de modelparameters zijn van de k-de client bij de t-de iteratie, en laat n_k de steekproefgrootte zijn bij die client. De update van het globale model wordt berekend als:

(8)

Deze aggregatiestrategie zorgt ervoor dat klanten met grotere datasets proportioneel meer bijdragen aan het wereldwijde model, terwijl kleinere klanten toch kunnen deelnemen aan het leerproces. Door samenwerkingstraining mogelijk te maken zonder ruwe patiëntgegevens uit te wisselen, behoudt het voorgestelde raamwerk privacy terwijl het toch profiteert van verspreide kennis over datasets.

Gefedereerde experimentele opstelling

Een gesimuleerd gefedereerd leersysteem met de HAM10000 dataset is ontworpen om de efficiëntie van het aangeboden, privacybewuste framework te bevestigen. De data werd verdeeld in drie clients om een echte multi-institutionele omgeving te simuleren met niet-identiek verspreide (niet-IID) data. Elke cliënt heeft een wisselende mix van laesieklassen, en het vertegenwoordigt een variatie in de wereld tussen klinische centra. De identieke multimodale feature-extractiepijplijn (EfficientNet-B4, DenseNet201, MobileNet V2 en klinische metadata) werd lokaal bij elke klant uitgevoerd. Tijdens hun training werkten clients hun lokale modellen zelfstandig bij, en de geleerde parameters werden alleen uitgewisseld met de centrale server om door het FedAvg-algoritme te worden geaggregeerd. De afweging tussen voorspellende nauwkeurigheid en privacy werd vergeleken tussen het gefedereerde model en de gecentraliseerde trainingsbenadering om de prestaties van elk model te meten. Testresultaten in Figuur 5 tonen aan dat het gefedereerde model competitief kan presteren, met slechts een lichte afname in nauwkeurigheid ten opzichte van gecentraliseerd leren, en een veel verbeterde gegevensprivacy.

Figuur 5: Clientgewijze verdeling van de HAM10000 dataset. Dit toont de toewijzing van huidlaesiegegevens onder cliënten, wat de diversiteit in datadistributie aantoont. Dit toont de heterogeniteit van data tussen cliënten aan, een cruciaal aspect van gefedereerd leren. Klik hier om een grotere versie van deze figuur te bekijken.

Heterogene (niet-IID) verdelingen van cliënten gevormd in HAM10000 werden onderverdeeld in drie groepen om klinische aandoeningen in het echte leven te modelleren. De verdeling van verschillende categorieën laesies binnen elke cliënt is anders, vooral de klasse van nevus (nv), die niet gelijkmatig over de cliënten is verdeeld. Deze regeling is kenmerkend voor de echte moeilijkheden van gefedereerd leren, waarbij gegevens in instellingen niet gelijkmatig verdeeld zijn.

Prestatievergelijking: gecentraliseerd versus gefedereerd leren

Om de effectiviteit van het voorgestelde gefedereerde leerkader te evalueren, werd een vergelijkende analyse uitgevoerd tussen gecentraliseerde en gefedereerde trainingsstrategieën met behulp van de HAM10000 dataset, zoals weergegeven in Figuur 6. In de gecentraliseerde setting werden alle datamonsters samengevoegd tot één trainingspool. Het best presterende gecentraliseerde model, het gestapelde ensemble, behaalde een algehele nauwkeurigheid van 96%. Daarentegen verdeelde de gefedereerde setting de dataset over drie clients met niet-identiek verspreide (niet-IID) data, waarbij elke client het model lokaal trainde en alleen modelparameters deelde met FedAvg. Het gefedereerde model behaalde een algehele nauwkeurigheid van ongeveer 94%, wat overeenkomt met een prestatieverschil van 2% ten opzichte van de gecentraliseerde aanpak, zoals weergegeven in Tabel 4. Deze marginale daling wordt verwacht door gedecentraliseerde optimalisatie en heterogene datadistributie over klanten.

Hoewel deze kleine verandering plaatsvond, deed het federatiemodel het nog steeds goed in het voorspellen. In gecentraliseerde training toont klasse-gewijze gedrag aan dat de meerderheid van de klassen, zoals nevus (nv) (F1-score = 1,00), stabiel blijft, terwijl minderheidsklassen, zoals dermatofibroom (df) (F1-score ≈ 0,65–0,66), gevoeliger zijn voor een distribubiliteit, wat de federatieprestaties nog meer kan beïnvloeden. Opmerkelijk is dat de gefedereerde structuur de kans minimaliseert op het blootstellen van gevoelige patiëntinformatie, omdat het niet vereist dat ruwe medische gegevens tussen cliënten gedeeld worden.

Figuur 6: Vergelijking van gefedereerd leren versus gecentraliseerd leren. Deze figuur vergelijkt leerparadigma's met behulp van prestatie-indicatoren zoals nauwkeurigheid, precisie, geheugen en F1-score. Dit toont het vermogen van gefedereerd leren aan om prestaties te bereiken die vergelijkbaar zijn met die van de traditionele leermethode, terwijl privacy behouden blijft. Klik hier om een grotere versie van deze figuur te bekijken.

De resultaten van Tabel 4 geven aan dat het gefedereerde leermodel competitief kan zijn, en de daling in nauwkeurigheid is slechts met ongeveer 2% vergeleken met het gecentraliseerde model. Deze lichte vermindering kan worden verklaard door de gedecentraliseerde optimalisatie en de niet-IID datadistributie. Het federatiemodel heeft echter een enorm voordeel wat betreft privacybescherming, omdat de gevoelige patiëntinformatie niet onder de cliënten wordt gedeeld. Om een eerlijke vergelijking te bieden tussen het gefedereerde model en het gecentraliseerde gestapelde ensemblemodel, werd het gefedereerde model getest met dezelfde architectuur en hyperparameters. Het privacybehoudende aspect dat in deze studie wordt besproken, is conceptueel en bedoeld om de potentiële integratie van technieken zoals federated learning in toekomstig werk te benadrukken. In de huidige implementatie wordt geen experimentele validatie uitgevoerd van privacybehoudende mechanismen.

Multimodale featurefusie

De diagnose van huidlaesies omvat meestal huidobservatie en klinische voorgeschiedenis. Dermatologen beoordelen in de meeste gevallen dermoscopische beelden niet alleen door deze te plaatsen in relatie tot patiëntinformatie (leeftijd, geslacht en locatie van de laesion) om hun diagnostische oordeel te maken. Het voorgestelde systeem is gebaseerd op de inspiratie van deze klinische workflow en omvat een multimodale benadering van het leren van beeldgebaseerde en klinische data. CNN's worden getraind op bestaande dermoscopische beelddiepe kenmerken. Dergelijke netwerken herkennen ingewikkelde visuele ontwerpen, waaronder kleurveranderingen, laesievormen, structurele anomalieën en textuurkenmerken. Toch zijn de kenmerken van beelden mogelijk niet voldoende om de klinische situatie van een laesie vast te leggen. Klinische metadata die bij elk beeld betrekking heeft, wordt dus ook meegenomen in het leren. Er zal een feature fusion-module worden gemaakt die diepe beeldkenmerken integreert met verwerkte klinische attributen en demografische informatie. Deze samengestelde representatie vormt een geïntegreerde multimodale feature-representatie die zowel visuele als contextuele informatie van elke laesie bevat. Het model kan verschillende databronnen integreren om complementaire patronen te verkrijgen die de algehele classificatiecapaciteit verbeteren. De multimodale representatie stelt het systeem in staat om effectiever onderscheid te maken tussen visueel vergelijkbare laesies en om de klinische indicatoren mee te nemen. Het model is klinisch betekenisvoller en effectiever omdat het een dichtere benadering is van hoe dermatologen laesies in de klinische praktijk bestuderen.

Gestapeld ensemble-leren
Het voorgestelde raamwerk gebruikt een gestapelde ensemble-leerstrategie om het voorspellende vermogen van het systeem verder te verbeteren. Ensemble learning is een samengestelde voorspellingsmethode die twee of meer voorspellende modellen gebruikt om generalisatie te verbeteren en de voorspellingsfouten die bij enkele modellen kunnen optreden te minimaliseren. Meerdere basisleerlingen worden onafhankelijk getraind in de multimodale feature-representatie in plaats van een enkele classifier te gebruiken. Alle basisleerlingen geven een schatting van hoe waarschijnlijk het is dat een bepaalde steekproef tot een bepaalde laesieklasse behoort. Deze kansvoorspellingen worden vervolgens op meta-niveau geaggregeerd. Aan elke basisleerling wordt een gewicht toegekend om het relatieve belang ervan voor de eindvoorspelling aan te geven. Een softmax-activatiefunctie wordt gebruikt om de geaggregeerde output te berekenen en genormaliseerde klassekansen te genereren. De gestapelde ensemblemethode heeft een aantal voordelen. Ten eerste minimaliseert het de voorspellingsvariantie door de combinatie van verschillende modellen en verbetert het zo de prestaties van de generalisatie. Ten tweede verhoogt het de sterkte, omdat verschillende modellen verschillende trends in de data beschrijven. Ten derde verbetert ensemble leren de classificatie van minderheidslaesiekklassen, vooral in medische data, waar bepaalde aandoeningen van klinisch belang minder voorkomen.

Verklaarbare integratie van kunstmatige intelligentie

Medische AI-systemen moeten ook duidelijke uitleg geven over hun keuzes, ook al is een hoge voorspellingsnauwkeurigheid cruciaal. Om vertrouwen te stellen in AI-systemen en effectief te zijn in hun praktijk, moeten clinici kunnen begrijpen hoe een model past bij de diagnose die het oplevert. Om aan deze behoefte te voldoen, bevat het voorgestelde kader verklaarbare kunstmatige intelligentie (XAI)-methoden, zoals weergegeven in Figuur 7.

Figuur 7: Verwarringsmatrices van verschillende classificatiemodellen voor multiklasse huidlaesieclassificatie. (A) XGBoost, (B) LightGBM, (C) Deep Neural Classifier, en (D) Stacked Ensemble model. Elke verwarringsmatrix toont de relatie tussen de ware klasse (rijen) en de voorspelde klasse (kolommen) voor alle zeven typen huidlaesies: akiec, bcc, bkl, df, mel, nv en vasc. De XGBoost- en LightGBM-modellen presteren goed voor de nv- en bkl-klassen, hoewel er enige verwarring is tussen mel en nv. De Deep Neural Classifier verbetert de classificatie van bkl en df en vermindert verwarring met off-diagonale factoren. Het Stacked Ensemble-model vertoont de grootste classificatieconsistentie, waarbij de diagonaal steeds dominanter wordt. Klik hier om een grotere versie van deze figuur te bekijken.

Het systeem bevat twee populaire verklaringsbenaderingen (modelinterpreteerbaarheidstechniek (SHapley Additive Explanations) en modelinterpreteerbaarheidstechniek (Local Interpretable Model-agnostic Explanations)) om inzicht te geven in wat het model voorspelt. De model interpreteerbaarheidsmethode verklaart kenmerken op het niveau van kenmerken door te meten in hoeverre elke invoerfunctie heeft bijgedragen aan de algehele voorspelling. Het helpt bij het bepalen welke klinische variabelen/visuele kwaliteiten de meeste invloed hebben op het resultaat van de classificatie. Dit stelt onderzoekers en clinici in staat om het algemene gedrag van het model over de hele dataset te zien. De modelinterpreteerbaarheidstechniek houdt zich daarentegen bezig met lokale verklaringen van individuele voorspellingen. Het benadrukt de gebieden van het dermoscopische beeld die de grootste impact hebben op de beslissing van het model. Deze pixel-niveau visuele verklaringen stellen clinici in staat om visueel de delen van de laesie te inspecteren die de classificatie hebben gevormd. Het voorgestelde kader biedt globale en lokale interpretatie; Dit wordt bereikt door de modelinterpreteerbaarheidstechniek te integreren. Het dual-explanation-mechanisme vergroot de transparantie en stelt clinici in staat te beoordelen of het model zich richt op medisch significante patronen.

Potentieel voor klinische beslissingsondersteuning

Privacybehoudend leren, multimodale functiefusie, ensemblemodellering en verklaarbare AI zijn belangrijke componenten van een geïntegreerd en robuust systeem voor automatische classificatie van huidlaesies. Idealiter zou het systeem niet alleen een hoge prognosekracht moeten hebben, maar ook transparant en veilig moeten zijn, wat twee belangrijke factoren zijn in medische systemen, zoals te zien is in Figuur 8.

Figuur 8: Receiver operating characteristic (ROC) curves voor het gestapelde ensemblemodel. (A–C) Dit toont de ROC-curves voor de zeven huidlaesietypes, met true positive rate (sensitiviteit) en false positive-rate (1-specificiteit). Het oppervlak onder de curve (AUC) vertegenwoordigt de prestaties van het gestapelde ensemblemodel bij het onderscheiden tussen de klassen. Klik hier om een grotere versie van deze figuur te bekijken.

Dit systeem biedt verklaarbare voorspellingen en privacybescherming. Daardoor is het een nuttig systeem voor andere dermatologisch diagnostische systemen. Dit systeem stelt zorgverleners en dermatologen in staat om de achterdochtigheid van laesies te beoordelen en de diagnostische nauwkeurigheid te verbeteren, en daardoor te helpen bij het stellen van patiënten in een vroeg stadium wanneer zij mogelijk een ernstigere ziekte hebben (bijvoorbeeld melanoom). In wezen, zoals te zien is in Figuur 9, streeft dit systeem ernaar de technologieën van het gebruik van hightech kunstmatige intelligentie (AI)-systemen en het implementeren van toepassingen in de praktijk te brengen, zodat dermatologen patiënten nauwkeuriger en met meer vertrouwen kunnen diagnosticeren, terwijl de privacy en veiligheid van patiënten en hun comfort worden gewaarborgd.

Figuur 9: Verklaarbaarheidsresultaten met behulp van modelinterpreteerbaarheidstechnieken voor classificatie van multiklasse huidlaesies. (A) SHAP-plot toont kenmerken die kenmerken beïnvloeden voorspellingen van goedaardige en kwaadaardige laesies. (B) LIME-verklaring voor de BCC-voorspelling, die de kenmerken illustreert die positief en negatief bijdragen aan de classificatie-uitkomst. (C) LIME-uitleg voor de akiec-voorspelling, waarbij de meest invloedrijke kenmerken worden belicht die betrokken zijn bij het besluitvormingsproces van het model. Deze interpreteerbaarheidsvisualisaties tonen de regio's en geëxtraheerde kenmerken die de voorspellingen van het model aanzienlijk beïnvloeden, waardoor de transparantie en het begrip van het classificatieproces bij huidlaesiebeoordeling verbeteren. Klik hier om een grotere versie van deze figuur te bekijken.

Evaluatiestrategie

Om steekproefbias te voorkomen en de oorspronkelijke klassenverdeling over alle huidlaesiecategorieën te behouden, werd de dataset opgesplitst in een 80:20 trein-test splitsing. De trainingssubset werd vervolgens opgesplitst in de verhouding 90:10 train: validate, om de hyperparameters af te stemmen en het model te optimaliseren. De testset werd op geen enkel moment in het trainingsproces gebruikt en werd alleen aan het einde van het trainingsproces toegepast als laatste test om lekken van data te voorkomen en een onbevooroordeelde prestatiebeoordeling te waarborgen. Alle modellen werden vooraf verwerkt en getraind in gelijke omgevingen, data werd op dezelfde manier gepartitioneerd en aangevuld, en evaluatieprotocollen werden op dezelfde manier toegepast en gevolgd, wat eerlijke en reproduceerbare vergelijkingen mogelijk maakte. De modellen werden grondig geëvalueerd op basis van nauwkeurigheid, precisie, recall, F1-score en AUC, met een gedetailleerde analyse van de klassegewijze resultaten om hun robuustheid voor zowel hoofd- als minderheidsklassen van laesies te bepalen. Dit gestandaardiseerde validatie-instrument zou helpen de betrouwbaarheid, transparantie en generaliseerbaarheid van de voorgestelde aanpak te vergroten en mogelijke inconsistenties in prestatierapportage te overwinnen.

Results

Vier classificatiemethoden (XGBoost, LightGBM, een Deep Neural Classifier en een gestapeld ensemblemodel) werden geëvalueerd voor multiklasse huidlaesieclassificatie. De modellen behaalden respectievelijk totale nauwkeurigheden van 92%, 90%, 94% en 96%, wat aantoont dat c

Klasse-gewijze prestaties

Een gedetailleerde klasse-gewijze evaluatie, inclusief precisie, terugroeping en F1-score voor elke laesiecategorie, wor...

Discussion

Het huidige protocol beschrijft een reproduceerbare pijplijn voor het creëren van een interpreteerbaar, privacygevoelig, multimodaal kader om huidlaesies automatisch te classificeren. Het protocol volgt een systematisch patroon van het verbeteren van de diagnostische prestaties door modeltransparantie, waarbij dermoscopische beeldanalyse wordt gecombineerd met klinische metadata en interpreteerbare machine learning-methoden. De dataset over HAM10000 huidlaesies is openbaar beschikbaar en...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
DenseNet201 CNN-architectuur	IBM	https://arxiv.org/abs/1608.06993	Deep learning-model voor beeldclassificatie
EfficientNet-B4 CNN-architectuur	Google	https://arxiv.org/abs/1905.11946	Deep learning-model voor beeldclassificatie
Google Colaboratory-platform	Google	https://colab.research.google.com	Cloud-gebaseerd computationeel omgeving
HAM10000 Huidlesionalen Dataset	Harvard Dataverse	https://doi.org/10.7910/DVN/DBW86T	Dermoscopisch beelddataset
Keras Deep Learning API	Google	Versie 2.x	Neural network API
LIME Verklaarbaarheidsbibliotheek	LIME-project	Versie 0.x	Modelinterpretabiliteitstechniek
MobileNetV2 CNN-architectuur	Google	https://arxiv.org/abs/1801.04381	Deep learning-model voor beeldclassificatie
Matplotlib Visualisatiebibliotheek	Matplotlib Development Team	Versie 3.x	Wordt gebruikt voor het genereren van grafieken en prestatievisualisatie
NVIDIA GPU	NVIDIA	RTX-serie	Computationele hardware voor modeltraining
NumPy Numerieke computingbibliotheek	NumPy-ontwikkelaars	Versie 1.x	Software voor gegevensanalyse
OpenCV-bibliotheek voor beeldverwerking	OpenCV Foundation	Versie 4.x	Bibliotheek voor beeldverwerking
Pandas-bibliotheek voor gegevensanalyse	Pandas Development Team	Versie 1.x	Software voor gegevensanalyse
Python-programmeeromgeving	Python Software Foundation	Versie 3.9+	Software voor gegevensanalyse
SHAP Verklaarbaarheidsbibliotheek	SHAP-project	Versie 0.x	Modelinterpretabiliteitstechniek
SMOTE Oversampling-techniek	imbalanced-learn-project	Versie 0.x	Klasse-balanceringstechniek voor het omgaan met onevenwichtige datasets
Scikit-learn Machine Learning-bibliotheek	scikit-learn-project	Versie 1.x	Machine learning-bibliotheek
TensorFlow Deep Learning-framework	Google	Versie 2.x	Deep learning-framework