$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
We hebben het verklarende AI-onderdeel van onze hele pijplijn grondig geëvalueerd, waarbij we beoordeelden hoe goed het voorspelde over verschillende soorten zorgdata, waaronder zowel gestructureerde klinische data als medische beelden. De uitkomsten gaven consistente voorspellende prestaties aan over de geëvalueerde datasets. Van de geteste modellen behaalde het gradient boosting-model de hoogste nauwkeurigheid met 97,4%, gevolgd door het random forest-model met 94,2%. Deep learning-methoden toegepast op beeldsets behaalden 91,3% nauwkeurigheid, terwijl meerlagige perceptronmodellen iets lagere resultaten opleverden, namelijk 90,8%. Dit suggereert dat ensemble-gebaseerde machine learning-modellen het beste presteren op gestructureerde gezondheidszorgdata, terwijl deep learning-architecturen uitblinken in beeldvormingstaken. Tabel 6 geeft in detail verschillende prestatiemetrics voor voorspellingsfuncties, waaronder nauwkeurigheid, precisie, herinnering en F1-score, evenals verklaarbaarheidsmetrics zoals trouwheid en stabiliteit. We kwamen tot deze prestatiecijfers door gebruik te maken van vijfvoudige kruisvalidatie en het presenteren van resultaten als gemiddelden (met 95% betrouwbaarheidsintervallen). Betrouwbaarheidsintervallen geven niet alleen de onzekerheid van het model aan, maar maken ook vergelijkingen van voorspellende prestaties betrouwbaarder, waarbij rekening wordt gehouden met datasetgeheugen en verschillen in modelarchitecturen.
| Model | Nauwkeurigheid (%) | Precisie | Terugroeping | F1-score | Trouw | Stabiliteit | 95% BI |
| Willekeurig Bos | 94.2 | 0.93 | 0.92 | 0.92 | 0.85 | 0.82 | 93.1–95.3 |
| XGBoost | 97.4 | 0.96 | 0.95 | 0.95 | 0.92 | 0.89 | 96.5–98.3 |
| MLP | 90.8 | 0.89 | 0.88 | 0.88 | 0.80 | 0.78 | 89.6–92.0 |
| CNN (Beeldvorming) | 91.3 | 0.90 | 0.91 | 0.90 | 0.88 | 0.86 | 90.1–92.5 |
Tabel 6: Vergelijkende prestaties van voorspellende modellen en verklaarbaarheidsmethoden.
Deze tabel presenteert een vergelijkende evaluatie van machine learning- en deep learning-modellen met behulp van voorspellende prestatie-indicatoren, waaronder nauwkeurigheid, precisie, recall, F1-score en ROC-AUC. Daarnaast worden verklaarbaarheidsstatistieken zoals trouw, stabiliteit, begrijpelijkheid en menselijke vertrouwensscores gerapporteerd om een uitgebreide beoordeling te bieden van zowel voorspellende effectiviteit als interpreteerbaarheid.
De resultaten geven aan dat Gradient Boosting de hoogste algehele voorspellende prestatie behaalde (97,4% nauwkeurigheid), waarbij Random Forest met 3,2 procentpunten en de deep learning-modellen met meer dan 6 procentpunten overtroffen. Deze observatie suggereert dat ensemble-gebaseerde leermethoden bijzonder effectief waren voor de gestructureerde gezondheidszorgdatasets die in deze studie zijn opgenomen. Het kleinere prestatieverschil tussen CNN- en MLP-modellen geeft aan dat een verhoogde modelcomplexiteit alleen niet noodzakelijkerwijs leidde tot superieure voorspellende prestaties onder de geëvalueerde experimentele omstandigheden.
Om het nut van ons voorgestelde kader voor diverse zorganalysetaken te tonen, presenteren we de dataset-specifieke voorspellingsresultaten in Tabel 7.
Dataset-specifieke analyse.
De prestaties varieerden per dataset vanwege verschillen in featurecomplexiteit, steekproefgrootte, klassenverdeling en datamodaliteit. De Breast Cancer-dataset behaalde de hoogste voorspellende nauwkeurigheid, waarschijnlijk dankzij de goed gedefinieerde kenmerkscheidbaarheid. Iets lagere prestaties op MIMIC-III en NIH Chest X-ray datasets weerspiegelen de grotere complexiteit van longitudinale klinische dossiers en medische beeldvormingsgegevens. Deze bevindingen tonen aan dat de prestaties van het kader worden beïnvloed door de kenmerken van de dataset en de klinische context.
| Dataset | Nauwkeurigheid (%) | Precisie (%) | Terugroepen (%) | F1-score (%) |
| Borstkanker | 97.4 | 97.2 | 97.6 | 97.1 |
| Diabetes | 94.2 | 93.9 | 94.4 | 94 |
| MIMIC-III | 91.3 | 91 | 91.5 | 91.1 |
| NIH Thoraxfoto | 90.8 | 90.4 | 91.2 | 90.6 |
Tabel 7: Dataset-specifieke voorspellende prestatieresultaten.
Voorspellende prestaties van het voorgestelde verklaarbare AI-kader over vier representatieve gezondheidszorgdatasets. Nauwkeurigheid, precisie, herinnering en F1-score worden als percentages (%) gerapporteerd op de onafhankelijke testsets. Hogere waarden duiden op betere classificatieprestaties.
Om voorspellende prestaties te beoordelen, werden vier machine learning- en deep learning-modellen, namelijk Gradient Boosting, Random Forest, Convolutional Neural Network (CNN) en Multilayer Perceptron (MLP), geëvalueerd over vier representatieve gezondheidszorgdatasets. De modelprestaties werden beoordeeld met behulp van nauwkeurigheid, precisie, recall, F1-score en ROC-AUC-metrieken op onafhankelijke testdatasets na een 70:15:15 train-validatie-test splitsing en vijfvoudige kruisvalidatie. Verbeteringen in voorspellende prestaties werden bepaald door modelspecifieke evaluatiemetrics te vergelijken over identieke preprocessing- en validatiecondities.
Om te laten zien hoe modelprestaties verschillen in verschillende methoden, toont Figuur 4 de voor- en nadelen van ensemble-, neurale netwerk- en deep learning-modellen op een visuele manier.

Figuur 4: Vergelijkende prestaties van machine learning- en deep learning-modellen bij zorgvoorspellingstaken. (A) Nauwkeurigheidsvergelijking van Gradient Boosting, Random Forest, CNN en MLP-modellen op de testdataset. (B) F1-score vergelijking van Gradient Boosting, Random Forest, CNN en MLP modellen op de testdataset. (C) Precisievergelijking van Gradient Boosting, Random Forest, CNN en MLP-modellen op de testdataset. (D) Herinnering aan vergelijking van Gradient Boosting, Random Forest, CNN en MLP-modellen op de testdataset. Hogere waarden duiden op betere voorspellende prestaties. Gradient Boosting behaalde de hoogste algehele prestatie over alle evaluatiemetrics, gevolgd door Random Forest. Klik hier om een grotere versie van deze figuur te bekijken.
Interpretatie van verklaarbaarheidsprestaties.
SHAP behaalde consequent de hoogste nauwkeurigheids- en stabiliteitsscores onder de geëvalueerde verklaarbaarheidsmethoden, wat wijst op een sterkere overeenstemming tussen gegenereerde verklaringen en onderliggende modelvoorspellingen. LIME vertoonde relatief lagere stabiliteit, wat wijst op een grotere gevoeligheid voor lokale verstoringen en variabiliteit in bemonstering. Grad-CAM bood visueel interpreteerbare verklaringen voor beeldgebaseerde modellen, maar leverde iets lagere getrouwheidswaarden dan SHAP. Deze bevindingen geven aan dat de kwaliteit van de uitleg afhangt van zowel de gekozen uitlegtechniek als de onderliggende architectuur van het voorspellende model.
De verklaarbaarheidstechnieken die in de pijplijn zijn geïntegreerd, zijn zowel kwantitatief als kwalitatief beoordeeld op hun prestaties. Specifiek zijn feature-attributiemethoden erin geslaagd de interne logica van het model vrij consistent te onthullen over verschillende datasets heen.
Alle in de studie beschouwde methoden, SHAP, behaalden de hoogste nauwkeurigheid (0,92) en stabiliteit (0,89) onder de geëvalueerde verklaarbaarheidsmethoden. Kort gezegd waren de verklaringen zeer nauwkeurige weergaven van wat het model daadwerkelijk voorspelde. Lokale verklaringsmethoden zijn een soort venster waardoor we een specifieke voorspelling kunnen zien en kunnen begrijpen wat het model als basis voor de beslissing heeft gebruikt.
De interpreteerbaarheid werd geëvalueerd met behulp van betrouwbaarheid, stabiliteit, begrijpelijkheid en de vertrouwensscores van de klinisch verkeer, verkregen uit mensgerichte evaluatie. SHAP-, LIME- en Grad-CAM-verklaringen werden vergeleken met identieke datasets en getrainde modellen. Verbeteringen in verklaarbaarheid werden beoordeeld door het vergelijken van uitlegkwaliteitsindicatoren en de beoordelingen van clinici over de geëvalueerde uitlegmethoden. Visualisatietechnieken voor deep learning-modellen die met beelden werken, produceren in feite heatmaps, die de gebieden van de afbeeldingen identificeren die het meest relevant zijn voor de voorspelling van het model. Feature-importance-verdelingen en vergelijkingen van verklaarbaarheidsprestaties over verschillende methoden worden weergegeven in Figuur 5.

Figuur 5: Uitlegbaarheid Prestatie-evaluatie.De figuur toont de prestaties van verklaarbaarheidsmethoden met behulp van getrouwheids- en stabiliteitsmetrieken. SHAP loopt voorop in trouw (0,92) en stabiliteit (0,89), wat een goede overeenstemming weerspiegelt tussen verklaringen en modelvoorspellingen. LIME blijkt het beste hulpmiddel te zijn voor de interpreteerbaarheid van individuele voorbeelden. Aan de andere kant levert Grad-CAM visuele heatmaps die voornamelijk in beeldvormende modellen worden gebruikt, en toont grofweg de belangrijkste gebieden die verantwoordelijk zijn voor de voorspelling van het model, wat klinisch gezien zeer relevant kan zijn. Klik hier om een grotere versie van deze figuur te bekijken.
Na evaluatie van de voorspellende modellen en technieken voor interpreteerbaarheid bleek dat de correlatie tussen de nauwkeurigheid van een model en de betrouwbaarheid van de verklaringen zeer sterk is. In feite verklaarden dezelfde modellen die voorspellingsverbeteringen lieten zien, hun resultaten met meer stabiliteit en consistentie wanneer de interpreteerbaarheidstechnieken correct werden toegepast. Ensemblemodellen bleken het meest interpreteerbaar wanneer ze werden vergezeld van feature-attributiemethoden, terwijl deep learning-modellen beter werden bediend door visualisatie-gebaseerde verklaarbare methoden. De link die de nauwkeurigheid van voorspelling en de betrouwbaarheid van verklaringen verbindt, is te zien in Figuur 6, die de conceptuele dynamiek tussen model en verklaarbaarheid in groot detail schetst.

Figuur 6: Vergelijkende analyse van modellen en uitleg van vaardigheidsmethoden.De grafiek toont een gedetailleerde vergelijking van de nauwkeurigheid en legt vaardigheidsmaten van verschillende modellen uit. Het bevat een verstrooiingsgrafiek die de correlatie tussen nauwkeurigheid en uitlegstabiliteit weergeeft, een tabelvergelijking van prestaties en een geschiktheidsmatrix die de verschillende verklarbare vaardigheidsmethoden SHAP, LIME en Grad-CAM en hun effectiviteit met verschillende modeltypes weergeeft. De visuele toont duidelijk aan dat ensemblemodellen plus SHAP uitstekende interpreteerbaarheid bieden, terwijl deep learning-modellen verklaarbaar zijn via visualisatietechnieken. Klik hier om een grotere versie van deze figuur te bekijken.
De mensgerichte evaluatie bevestigde het praktische nut van het voorgestelde systeem in ziekenhuizen en andere medische instellingen. Medische professionals beoordeelden modelresultaten met en zonder uitleg. Het tonen van de resultaten met uitleg leidde tot een aanzienlijke toename van het vertrouwen en de interpreteerbaarheid van gebruikers; De gemiddelde trustwaarde steeg van 3,1 naar 4,7 op een schaal van 1 tot 5. De stijging van de trustscore van 3,1 naar 4,7 vertegenwoordigt een relatieve verbetering van 51,6% bij benadering. De aanzienlijke overeenstemming tussen beoordelaars (Fleiss' κ = 0,81) geeft verder een consistente beoordeling van de therapeuten over de bruikbaarheid van verklaringen. Deze bevindingen suggereren dat uitkomsten van verklaarbaarheid het vertrouwen van gebruikers kunnen verbeteren en de interpretatie van door AI ondersteunde klinische beslissingen kunnen vergemakkelijken. Professionals gaven aan een beter begrip van modelresultaten en een hoger vertrouwen in door AI ondersteunde beoordeling van klinische situaties, wat wijst op het belang van interpreteerbaarheid in de daadwerkelijke implementatie van gezondheidszorg.
We hebben de robuustheid van ons kader verder geverifieerd met ablatieanalyse. Het verwijderen van kritieke kenmerken die, via verklaarbaarheidsmethoden, als essentieel werden beschouwd, leidde tot een groot verlies aan voorspellingsprestaties. De bevinding weerspiegelt dus dat kenmerken niet alleen relevant waren, maar ook significant voor de voorspellende taak. Bovendien bleven de verklaringsresultaten slechts verwaarloosbare verschillen tonen wanneer verschillende invoermonsters werden uitgelegd, wat de stabiliteit en betrouwbaarheid van de verklaarbaarheidsmethoden aantoont.
Om de haalbaarheid van de pijpleiding voor praktisch gebruik te controleren, hebben we de rekensnelheid gemeten. De introductie van uitlegbaarheidstechnieken zorgde voor een toename van de rekentijd, vooral bij het toeschrijven van kenmerken en het creëren van visualisaties. Desalniettemin was de totale uitvoeringstijd nog haalbaar en niet al te lang. Figuur 7 toont hoe de rekentijd wordt verdeeld over verschillende fasen van de pijplijn, zoals preprocessing, modeltraining, uitlegbaarheidsgeneratie, evaluatie en visualisatie.

Figuur 7: Uitsplitsing van de uitvoeringstijd van de pijplijn. Deze grafiek laat zien hoe rekentijd is verdeeld over verschillende fasen van de verklaarbare AI-pijplijn, zoals preprocessing, modeltraining, het creëren van vaardigheden uitleggen, evaluatie en visualisatie. De gegevens tonen aan dat het grootste deel van de tijdlijn wordt ingenomen door modeltraining, waarna gevolgd wordt door explain ability processing. Aan de andere kant is de tijd die wordt besteed aan preprocessing en rapportage vrij minimaal. Klik hier om een grotere versie van deze figuur te bekijken.
We hebben ook de sterkte van het voorgestelde kader getest via een ablatie-analyse. Het wegnemen van de essentiële kenmerken die via verklaarbaarheidsmethoden zijn ontdekt, toonde een duidelijke afname in voorspellende prestaties, wat een duidelijk teken is dat deze kenmerken niet alleen relevant zijn, maar ook behoorlijk belangrijk. Daarnaast waren de uitlegresultaten vrij stabiel, zelfs bij een kleine verandering in de invoersamples, wat bewijst van de consistentie en betrouwbaarheid van de uitlegbaarheidstechnieken.
Kortom, door de meting van voorspellende prestaties, verklaarbaarheid en mensgerichte validatie te combineren, bleek dat het voorgestelde kader effectief was. Het systeem deed niet alleen zeer nauwkeurige voorspellingen, maar bleef ook zeer interpreteerbaar en gebruiksvriendelijk. Het inzetten van uitlegbaarheidsmethoden maakte het hele proces transparant zonder de prestaties van het model te verminderen. De verbeteringen die we zagen in voorspellingsnauwkeurigheid en interpreteerbaarheid werden niet alleen onder strakke experimentele controle gerealiseerd, maar waren ook statistisch significant, een feit dat spreekt voor de duurzaamheid en authenticiteit van de voorgestelde manier. Paargewijze vergelijkingen tussen voorspellende modellen werden uitgevoerd met behulp van gepaarde t-tests over kruisvalidatiefolders. Statistisch significante verschillen werden waargenomen tussen Gradient Boosting en concurrerende modellen (p & 0,05), wat de superioriteit van de voorgestelde configuratie bevestigde.
Algemene bevindingen.
Gezamenlijk tonen de resultaten aan dat voorspellende prestaties, uitlegkwaliteit en het vertrouwen van clinici kunnen worden geëvalueerd binnen een uniforme en reproduceerbare workflow. Het raamwerk handhaafde consistente prestaties over meerdere zorgdatasets en ondersteunde transparante interpretatie via SHAP-, LIME- en Grad-CAM-uitleg. De bevindingen moeten echter worden geïnterpreteerd binnen de context van de geselecteerde datasets en validatie-instellingen, en aanvullende externe validatie blijft noodzakelijk voordat de implementatie in de praktijk plaatsvindt.
BESCHIKBAARHEID GEGEVENS:
We hebben de datasets die in het huidige onderzoek worden gebruikt verkregen uit openbare bronnen, en ze zijn te vinden in bekende datarepositories. Zo zijn de gegevens over borstkanker en diabetes te downloaden van de UCI Machine Learning Repository op: https://archive.ics.uci.edu/ml/index.php
Men kan de elektronische patiëntendossier-dataset (MIMIC-III) verkrijgen via Physio Net op:
https://physionet.org/content/mimiciii/1.4/
De röntgengegevens van de borst zijn afkomstig uit de NIH Chest X-ray Dataset en zijn te vinden op: https://www.kaggle.com/datasets/nih-chest-xrays/data
Alle datasets die we in deze studie hebben onderzocht, worden geanonimiseerd en openbaar beschikbaar. De preprocessingstappen, het getrainde model en de uitleggende vaardigheidsuitkomsten die we tijdens het onderzoek hebben geproduceerd, zijn beschikbaar via de corresponderende auteur als er een redelijke vraag wordt gedaan. Broncode, preprocessingscripts, configuratiebestanden en reproduceerbaarheidsbronnen worden bij acceptatie van het manuscript in een openbare repository geplaatst.