Verbetering van hartziektevoorspelling door cluster-gevisualiseerde gedistribueerde machine learning-paradigma's voor veilige gezondheidszorg

Samenvatting

Deze studie ontwikkelt een schaalbaar kader voor hartziektevoorspelling met behulp van Hadoop, MapReduce en K-Means clustering. Het aanpassen van classificatie-cut-offs beïnvloedt de detectiegevoeligheid. CViHDKNN verbetert de detectie van echte positieven terwijl het vals-positieven onder controle houdt, terwijl CViHDDT vals-positieven vermindert maar sommige gevallen van hartziekten kan missen.

Samenvatting

Hartziekten blijft wereldwijd een van de belangrijkste oorzaken van sterfte, wat een dringende behoefte creëert aan nauwkeurige en schaalbare voorspellende systemen die vroege diagnose en tijdige klinische interventie mogelijk maken. Traditionele machine learning-benaderingen hebben vaak moeite om grootschalige medische datasets efficiënt te verwerken en missen interpreteerbaarheid, waardoor hun bruikbaarheid voor het ondersteunen van klinische besluitvorming beperkt wordt. Om deze uitdagingen aan te pakken, stelt deze studie een Cluster Visualized Distributed Machine Learning-framework voor voor hartziektevoorspelling. Het framework bevat twee gedistribueerde algoritmen: Cluster Visualized Hadoop Distributed Decision Tree (CViHDDT) en Cluster Visualized Hadoop Distributed K-Nearest Neighbor (CViHDKNN). De voorgestelde modellen maken gebruik van Hadoop's MapReduce-framework voor gedistribueerde berekening over grote datasets, terwijl ze K-Means-clustering integreren voor verbeterde dataorganisatie en visualisatie. Deze cluster-gebaseerde visualisatie verbetert de interpreteerbaarheid doordat clinici de relaties tussen risicofactoren van patiënten en voorspellingsuitkomsten beter kunnen begrijpen. De experimentele evaluatie werd uitgevoerd met behulp van de UCI Heart Disease dataset in een op Hadoop gebaseerde gedistribueerde omgeving. De resultaten tonen aan dat CViHDKNN superieure voorspellende prestaties behaalde, met 85,25% nauwkeurigheid en 88% terugroepen, waarmee het het CViHDDT-model dat 80,33% nauwkeurigheid behaalde, overtrof. Het aanpassen van classificatie-cutoffwaarden beïnvloedde ook de gevoeligheid en detectiegraden: lagere cut-offs verbeterden de detectie van ware positieven, terwijl acceptabele vals-positieve niveaus behouden bleven. Deze bevindingen tonen aan dat clustering-enhanced distributed learning schaalbaarheid, voorspellende nauwkeurigheid en klinische interpreteerbaarheid voor hartziektevoorspelling verbetert.

Inleiding

Hartziekten zijn een van de belangrijkste doodsoorzaken wereldwijd en vormen een grote uitdaging voor de volksgezondheid. De toenemende prevalentie van hart- en vaatziekten benadrukt de dringende behoefte aan geavanceerde diagnostische modellen die vroege detectie en behandeling ondersteunen. Traditionele diagnostische benaderingen zijn sterk afhankelijk van handmatige evaluatie en klinisch oordeel, die vaak moeite hebben om grote hoeveelheden medische data efficiënt te beheren. Recentelijk hebben kunstmatige intelligentie (AI) en machine learning (ML) technieken een belangrijke rol gespeeld in voorspellende gezondheidszorganalyse, waardoor datagedreven ziektevoorspelling mogelijk wordt en de nauwkeurigheid van risicobeoordeling in medische systemen verbetert ^1,2.

Conventionele diagnostische methoden en op regels gebaseerde beslissingssystemen hebben vaak te maken met beperkte schaalbaarheid en lagere precisie wanneer ze worden toegepast op complexe medische datasets. Hoewel machine learning-technieken de voorspellingsprestaties hebben verbeterd, ondervinden veel modellen nog steeds uitdagingen bij het verwerken van grootschalige medische data en het behouden van interpreteerbaarheid voor klinische besluitvorming. Deep learning-modellen kunnen een hoge voorspellende nauwkeurigheid bereiken, maar functioneren vaak als "black-box"-systemen, waardoor het voor zorgprofessionals moeilijk wordt om de redenering achter voorspellingen ^3,4,5 te begrijpen. Dit gebrek aan transparantie beperkt hun adoptie in klinische omgevingen waar uitlegbaarheid essentieel is^: 6,7,8,9,10.

Om deze uitdagingen te overwinnen, zijn distributed computing-frameworks zoals Hadoop steeds vaker toegepast voor grootschalige gezondheidszorganalyse. De gedistribueerde architectuur van Hadoop maakt parallelle verwerking van grote datasets mogelijk met behulp van het Hadoop Distributed File System (HDFS) en MapReduce, wat de rekenefficiëntie en schaalbaarheid in medische data-analyse verbetert. Toch vereisen gedistribueerde machine learning-modellen nog steeds mechanismen die interpreteerbaarheid en transparantie verbeteren. Het integreren van clustering- en visualisatietechnieken kan helpen verborgen patronen in patiëntgegevens te onthullen en clinici ondersteunen om voorspellende resultaten effectiever te begrijpen 11,12,13,14,15,16.

Verschillende onderzoekers hebben gedistribueerde machine learning-technieken voor hartziektevoorspelling onderzocht met behulp van algoritmen zoals beslissingsbomen en K-Nearest Neighbor (KNN). Distributed Decision Tree (HDDT)-modellen die zijn geïmplementeerd op Hadoop-frameworks hebben verbeterde schaalbaarheid en classificatienauwkeurigheid aangetoond vergeleken met traditionele decision tree-benaderingen 17,18,19,20,21,22,23. Evenzo maken Hadoop Distributed KNN (HDKNN) methoden gebruik van parallelle verwerking om de classificatie-efficiëntie voor grote, hoogdimensionale medische datasets te verbeteren 24,25,26. Deze modellen missen echter vaak sterke interpreteerbaarheid en visualisatiemechanismen, die noodzakelijk zijn voor effectieve klinische besluitvorming en het begrijpen van risicoprofielen van patiënten. Ondanks deze vooruitgang ontbreken bestaande gedistribueerde modellen nog steeds geïntegreerde mechanismen voor interpreteerbaarheid en visueel begrip van patiëntrisicopatronen.

Om deze beperkingen aan te pakken, stelt deze studie een Cluster Visualized Distributed Machine Learning (CVDML) framework voor voor de voorspelling van hartziekten. Het framework introduceert twee gedistribueerde voorspellende modellen: Cluster Visualized Hadoop Distributed Decision Tree (CViHDDT) en Cluster Visualized Hadoop Distributed K-Nearest Neighbor (CViHDKNN). CViHDDT past een gedistribueerde beslissingsboomconstructie toe om de selectie van medische kenmerken te optimaliseren, zoals symptomen en eerdere medische geschiedenis, terwijl CViHDKNN een gedistribueerde, geparallelliseerde KNN-benadering implementeert om patiënten te classificeren op basis van vergelijkbare medische kenmerken. De integratie van clustering- en visualisatietechnieken verbetert de classificatieprestaties en verbetert de interpreteerbaarheid door patiënten met vergelijkbare ziektepatronen te groeperen.

Het hoofddoel van dit onderzoek is het ontwikkelen van een schaalbaar en interpreteerbaar gedistribueerd machine learning-framework voor nauwkeurige voorspelling van hartziekten met behulp van grote medische datasets. De belangrijkste bijdragen van deze studie zijn: (1) Ontwikkeling van een op Hadoop gebaseerd gedistribueerd machine learning-framework dat in staat is grote gezondheidsdatasets efficiënt te verwerken. (2) Integratie van clusteringvisualisatietechnieken met gedistribueerde beslissingsboom- en KNN-modellen om interpreteerbaarheid en transparantie in voorspellende gezondheidszorganalyse te verbeteren²⁷. (3) Demonstratie van verbeterde voorspellingsprestaties door verbeterde nauwkeurigheid, herinnering en afwijkingsdetectie in vergelijking met traditionele machine learning-benaderingen²⁸.

Protocol

Dataset-acquisitie

De UCI Heart Disease dataset is een veelgebruikte dataset in medisch en machine learning-onderzoek voor het voorspellen van hartziekten. Het bevat verschillende klinische en diagnostische kenmerken van patiënten, waardoor zorgprofessionals en onderzoekers datagedreven voorspellingsmodellen kunnen ontwikkelen. De dataset classificeert individuen als waarschijnlijk of onwaarschijnlijk om hartziekte te hebben op basis van verschillende patiëntkenmerken, waaronder leeftijd, geslacht, type borstpijn, bloeddruk, cholesterolwaarden en elektrocardiogramresultaten (https://archive.ics.uci.edu/dataset/45/heart+disease)²⁹. De algemene workflow van het voorgestelde raamwerk voor hartziektevoorspelling, inclusief datapreprocessing, implementatie van gedistribueerde modellen en evaluatiefasen, wordt geïllustreerd in Figuur 1.

Experimentele omgevingsopstellingen

De experimentele omgeving werd op Apache Hadoop 3.x geïmplementeerd als het kernframework voor gedistribueerd rekenen voor alle implementaties. De cluster gebruikte een master-worker-architectuur met één toegewijde masternode en meerdere worker-nodes. De master node beheerde jobplanning, resourceallocatie en clustercoördinatie met behulp van YARN (Yet Another Resource Negotiator), terwijl worker-nodes parallel gedistribueerde rekentaken uitvoerden om grootschalige medische datasets efficiënt te verwerken. Elke node in de cluster was voorzien van Intel Core i7-processors (of gelijkwaardige), 16–32 GB RAM en ongeveer 1 TB opslag.

Data-opname in HDFS

Dataset Storage

De experimentele dataset werd opgeslagen in HDFS in een blokgedistribueerd formaat, waarbij de doelvariabele de aanwezigheid of afwezigheid van hartziekte aangaf, gescheiden van de onafhankelijke featureset, voorafgaand aan opslag over clusterknooppunten. Feature-specifieke preprocessing werd toegepast op alle opgeslagen datablokken met behulp van MapReduce-workflows. Numerieke kenmerken, waaronder leeftijd, bloeddruk, cholesterolwaarden en hartslag, werden genormaliseerd met een robuuste scaler gebaseerd op het interkwartielbereik, waardoor de invloed van uitschieters die vooral voorkomen in medische datasets waar extreme waarden zeldzame of ernstige klinische aandoeningen kunnen vertegenwoordigen, verminderde. Categorische variabelen met meer dan twee categorieën, zoals cp, restecg en thal, werden getransformeerd met behulp van one-hot encoding, waarbij categorische attributen werden omgezet in binaire numerieke representaties die compatibel zijn met machine learning-algoritme-invoer 30,31,32. Alle preprocessing-operaties werden uitgevoerd als gedistribueerde MapReduce-taken over HDFS-datablokken, waardoor een uniforme toepassing van de volledige pijplijn werd gegarandeerd zonder ruwe data op één enkel punt te centraliseren.

Partitioneren over knooppunten

De dataset werd opgedeeld in trainings- en testsets met een 80:20 verdeling, waarbij 80% werd toegewezen aan training en 20% gereserveerd voor evaluatie op onbewerkte data. Deze partitionering werd consistent toegepast op alle gedistribueerde worker-nodes om ervoor te zorgen dat elke node een proportionele en representatieve shard van de volledige dataset verwerkte, waardoor dataskew werd voorkomen en gebalanceerde modelgeneralisatie werd ondersteund. Scaling zorgde ervoor dat alle numerieke variabelen gelijk bijdroegen tijdens gedistribueerde training door te voorkomen dat features met grotere groottes het leerproces over knooppunten heen domineren. Deze gestructureerde partitioneringsstrategie verbeterde de voorspellende betrouwbaarheid en hielp overfitting te voorkomen door een duidelijke scheiding te behouden tussen trainings- en evaluatiegegevens binnen het verspreide cluster.

Datavoorverwerking

Ontbrekende waardebehandeling

Medische datasets bevatten vaak onvolledige dossiers door fouten in gegevensinvoer, storing in het apparaat of het niet reageren van patiënten tijdens klinische gegevensverzameling. Voorafgaand aan modeltraining werden alle datasetattributen onderzocht op ontbrekende of nul waarden. Rijen met ontbrekende waarden in kritieke klinische kenmerken, zoals bloeddruk, cholesterol en hartslag, werden geïdentificeerd en behandeld met gemiddelde imputatie voor numerieke variabelen en modeimputatie voor categorische variabelen. Deze aanpak behield de statistische distributie van de dataset terwijl ervoor werd gezorgd dat geen trainingssteekproef onnodig werd weggegooid, waardoor maximale databeschikbaarheid voor modelleren over gedistribueerde HDFS-knooppunten werd behouden.

Feature-schaal

Numerieke kenmerken, waaronder leeftijd, bloeddruk, cholesterolwaarden en maximale hartslag, vertonen significant verschillende waardebereiken, waardoor kenmerken met grotere omvang de modeltraining onevenredig beïnvloeden. Om dit aan te pakken, werd een robuuste scaler toegepast op basis van het interkwartielbereik op alle continue numerieke attributen. Deze schaalstrategie is vooral geschikt voor medische datasets waar extreme klinische waarden die zeldzame of ernstige aandoeningen vertegenwoordigen, het leerproces anders kunnen verstoren. Scaling zorgde ervoor dat alle numerieke variabelen gelijk bijdroegen tijdens modeltraining en werd consistent toegepast op alle gedistribueerde worker-nodes met behulp van MapReduce-workflows.

Encoding

Categorische variabelen met meer dan twee verschillende categorieën, waaronder cp (type borstpijn), restecg (rustelektrocardiografische resultaten) en thalassemie (type thalassemie), werden getransformeerd met behulp van one-hot encodering. Dit proces zette elk categorisch attribuut om in een set binaire numerieke indicatorkolommen, waardoor representaties ontstonden die machine learning-algoritmen effectief kunnen verwerken zonder kunstmatige ordinaalrelaties tussen categoriewaarden op te leggen. Binaire categorische variabelen werden in hun oorspronkelijke numerieke vorm behouden. Alle coderingsbewerkingen werden uitgevoerd als gedistribueerde MapReduce-taken over HDFS-datablokken, wat een consistente transformatie over alle gepartitioneerde datasetscherven waarborgde.

Trein/testsplitsing

De vooraf bewerkte dataset werd opgedeeld in trainings- en testsubsets met een 80:20-splitsing, waarbij 80% werd toegewezen aan modeltraining en 20% gereserveerd voor prestatie-evaluatie op niet-geziene data. De doelvariabele, die de aanwezigheid of afwezigheid van hartziekte aangeeft, werd vóór de splitsing gescheiden van de onafhankelijke featureset. Deze partitionering werd uniform toegepast op alle gedistribueerde HDFS-nodes om ervoor te zorgen dat elke worker node een proportionele en representatieve shard van de volledige dataset verwerkte, waardoor dataskeving werd voorkomen. De 80:20 splitstrategie verbeterde de voorspellende betrouwbaarheid, verbeterde de generalisatie van het model en hield een duidelijke scheiding tussen trainings- en evaluatiedata in de gedistribueerde clusteromgeving, waardoor overfitting werd voorkomen.

Modelimplementatie

Het Cluster Visualized Hadoop Distributed Decision Tree (CViHDDT) model classificeert patiënten in risicocategorieën met behulp van een gedistribueerde beslissingsboom. Het beslissingsboomalgoritme splitst de dataset recursief op basis van de meest informatieve kenmerken, waardoor de scheiding tussen patiënten met en zonder hartziekte wordt gemaximaliseerd. Binnen het gedistribueerde Hadoop-framework wordt dit proces uitgevoerd over meerdere rekenknopen, waardoor grote datasets efficiënt kunnen worden verwerkt. De gedistribueerde architectuur vermindert de rekentijd en verbetert de schaalbaarheid. Het Cluster Visualized Hadoop Distributed K-Nearest Neighbor (CViHDKNN) algoritme gebruikt dezelfde dataset, maar past een andere classificatiestrategie toe. In plaats van een beslissingsboom te maken, identificeert het model de dichtstbijzijnde naburige patiënten op basis van medische kenmerken zoals bloeddruk, cholesterolwaarden en door inspanning veroorzaakte angina. Met behulp van gedistribueerde berekening clustert het KNN-algoritme efficiënt patiënten met vergelijkbare medische kenmerken terwijl het rekencomplexiteit beheert.

Het classificatieprincipe van het gedistribueerde K-dichtstbijzijnde buurmodel wordt geïllustreerd in Figuur 2, waarbij een nieuwe instantie wordt toegewezen aan een klasse op basis van de meerderheidsklasse onder zijn dichtstbijzijnde buren. Clustervisualisatietechnieken stellen zorgprofessionals in staat groepen patiënten met vergelijkbare klinische kenmerken te identificeren, waardoor de interpreteerbaarheid verbetert en gepersonaliseerde behandelingsaanbevelingen worden ondersteund. Het voorgestelde raamwerk voor hartziektevoorspelling integreert datapreprocessing, gedistribueerde machine learning-algoritmen en clustervisualisatietechnieken. Door gebruik te maken van Hadoop's gedistribueerde rekenmogelijkheden verwerkt het framework efficiënt grote zorgdatasets terwijl het een hoge voorspellingsnauwkeurigheid en interpreteerbaarheid behoudt, waardoor vroege opsporing van hartziekten en verbeterde klinische besluitvorming mogelijk wordt.

Cluster visualized Hadoop Distributed decision tree (CViHDDT):

Gedistribueerde Beslissingsboomtraining

Het voorgestelde Cluster Visualized Hadoop Distributed Decision Tree (CViHDDT)-model verschilt fundamenteel van traditionele beslissingsboomconstructie doordat het boombouwproces over meerdere knooppunten in het Hadoop-ecosysteem wordt verdeeld, in plaats van de hele boom op één machine te bouwen. Individuele worker-nodes bouwen gedeeltelijke beslissingsbomen lokaal op hun toegewezen deelset van de dataset met behulp van MapReduce of Apache Spark voor parallelle verwerking. Deze lokaal geconstrueerde gedeeltelijke bomen worden vervolgens gecombineerd tot een volledige globale beslissingsboom die de volledige verspreide dataset omvat. Deze gedistribueerde trainingsstrategie versnelt de modeltraining aanzienlijk, waardoor het framework efficiënt multi-terabyte medische datasets op grote schaal kan verwerken. De parallelle rekeninfrastructuur die door Hadoop wordt geboden, zorgt ervoor dat het CViHDDT-model van nature schaalbaar is en goed geschikt voor big-datagedreven zorgoplossingen. Na de constructie van gedistribueerde bomen worden clustervisualisatietechnieken toegepast om de interpreteerbaarheid van het model te verbeteren door beslissingsboomknopen te groeperen in clusters van patiënten met vergelijkbare medische aandoeningen met algoritmen zoals k-means en hiërarchische clustering. Dit clusteringsproces levert klinisch betekenisvolle risicocategorieën op—zoals milde, matige en ernstige hartziekten—waardoor zorgprofessionals patronen in patiëntgegevens kunnen identificeren, de ziekteprogressie kunnen begrijpen en gepersonaliseerde behandelplannen kunnen opstellen.

Selectie van functies

Voorafgaand aan de training in de gedistribueerde beslissingsboom past het CViHDDT-model een gestructureerde preprocessing en feature-selectiepijplijn toe op de ruwe medische gegevens die uit HDFS zijn verzameld. Ontbrekende waarden worden aangepakt met imputatie-algoritmen om onvolledige klinische dossiers te beheren en dataverlies te voorkomen zonder patiëntmonsters weg te gooien. Robuuste Scaler-normalisatie wordt toegepast op numerieke kenmerken zoals bloeddruk en cholesterolwaarden om de onevenredige invloed van uitschieters die voorkomen in medische datasets te beperken. Categorische variabelen zoals geslacht en familiegeschiedenis van hartziekten worden getransformeerd met behulp van one-hot of labelcodering om numerieke representaties te produceren die compatibel zijn met machine learning-algoritmen. Na de preprocessing wordt feature-extractie uitgevoerd om de belangrijkste klinische eigenschappen te identificeren die het meest voorspellend zijn voor hartziekten. Deze fase verwijdert irrelevante en redundante functies uit de dataset, vermindert de rekenkosten in latere gedistribueerde trainingsfasen en zorgt ervoor dat alleen de meest diagnostisch informatieve kenmerken — zoals type borstpijn, rustbloeddruk, serumcholesterol, maximale hartslag en ST-depressie — behouden blijven als input voor het proces van het opstellen van de gedistribueerde beslissingsboom. Deze systematische feature-vermindering verbetert de efficiëntie van het model, verkort de trainingstijd tussen verspreide knooppunten en verhoogt de algehele voorspellende betrouwbaarheid van het CViHDDT-framework door het leerproces te richten op attributen met de sterkste klinische discriminatiekracht.

MapReduce-workflow

Het MapReduce-programmeermodel vormt de computationele ruggengraat van de gedistribueerde trainingspijplijn van CViHDDT, waardoor parallelle verwerking van de hartziektedataset over alle worker-nodes in de Hadoop-cluster mogelijk is. In de kaartfase verwerkt elke werkknoop onafhankelijk zijn toegewezen HDFS-datafragment, waarbij gedeeltelijke beslissingsboomstructuren en lokale splitsingsstatistieken — inclusief Information Gain- en Gini-indexwaarden — worden berekend voor elk kandidaatattribuut, zonder toegang te hoeven tot gegevens die op andere knooppunten zijn opgeslagen. In de reduce-fase worden de lokaal berekende partiële bomen en voldoende statistieken over alle knooppunten geaggregeerd om de volledige globale beslissingsboom te construeren, waarbij de verdeelde kennis die bij elke knoop is geleerd wordt samengevoegd in één uniform voorspellend model. Deze map-reduce decompositie van het boombouwproces maakt het mogelijk dat het CViHDDT-model lineair schaalt met het aantal werkknopen, waardoor realtime analyse van grootschalige medische datasets computationeel mogelijk wordt. De MapReduce-workflow ondersteunt ook de gedistribueerde uitvoering van clustervisualisatieprocedures, waarbij clustering-algoritmen parallel worden toegepast over HDFS-datablokken om patiëntdossiers te groeperen in risicocategorieën op basis van hun beslissingsboomknooppunten. De prestatie-evaluatie van het resulterende model maakt gebruik van precisie, recall, F1-score en classificatienauwkeurigheid als primaire metrics, waarbij de gedistribueerde clustervisualisatie vals-negatieven verder vermindert door fijnere beslissingsgrenzen binnen de boom mogelijk te maken — wat direct de gevoeligheid voor het identificeren van risicopatiënten verbetert en de klinische betrouwbaarheid van het CViHDDT-raamwerk voor hartziektevoorspelling versterkt.

Cluster Visualized Hadoop Distributed K-Nearest Neighbor (CViHDKNN)

Clustering

Het CViHDKNN (Cluster Visualized Hadoop Distributed K-Nearest Neighbor) framework begint met het toepassen van clusteringtechnieken op de hartziektedataset vóór de classificatie, waarbij patiënten met vergelijkbare medische kenmerken worden gegroepeerd in coherente clusters voordat de KNN-zoekopdracht wordt uitgevoerd. De hartziektedataset, met klinische kenmerken zoals leeftijd, cholesterolgehalte, bloeddruk, ECG-resultaten en hartslag, wordt vooraf verwerkt en verdeeld over knooppunten in de Hadoop-cluster met behulp van HDFS. Clustering-algoritmen, waaronder K-Means en Hierarchical Clustering, worden vervolgens toegepast op deze verspreide datapartities om de dataset op te delen in groepen patiënten die gerelateerde medische profielen delen. Deze pre-classificatie-clusteringstap dient een cruciaal computationeel doel: door de KNN-zoekruimte te beperken tot alleen de meest relevante cluster in plaats van de gehele dataset, vermindert het algoritme het aantal benodigde afstandsberekeningen per query-instantie drastisch. Het visualiseren van deze clusters biedt extra klinisch voordeel doordat patiëntsubgroepen met nauw verwante medische kenmerken kunnen worden geïdentificeerd en door een zinvollere categorisering van risicoprofielen vóór de dichtstbijzijnde buurclassificatiefase te ondersteunen. De clustering-gebaseerde optimalisatie vermindert niet alleen de rekenlast, maar verbetert ook de classificatienauwkeurigheid door ervoor te zorgen dat elke query-instantie alleen wordt vergeleken met de meest contextueel vergelijkbare patiëntdossiers, waardoor de aanpak bijzonder geschikt is voor grootschalige hartziektedatasets waarbij uitputtende afstandsberekening over de volledige dataset computationeel onbetaalbaar zou zijn.

Gedistribueerde KNN

Het gedistribueerde KNN-component van CViHDKNN pakt de fundamentele schaalbaarheidsbeperking van traditionele KNN aan, die vereist dat de volledige dataset in het geheugen wordt geladen voordat de afstanden tussen de query-instantie en alle opgeslagen datapunten worden berekend. In het CViHDKNN-framework wordt deze afstandsberekening geparalleliseerd over meerdere worker-nodes in de Hadoop-cluster met behulp van HDFS-gedistribueerde datapartities, zodat geen enkele node nodig is om de volledige dataset te verwerken. Elke worker-node berekent onafhankelijk de afstand tussen de query-instantie en de patiëntrecords die zijn opgeslagen in zijn lokaal toegewezen HDFS-datafragment, en identificeert de lokaal dichtstbijzijnde buren binnen zijn partitie. Door gebruik te maken van de parallelle verwerkingsmogelijkheden van Hadoop verbetert CViHDKNN de schaalbaarheid drastisch en maakt het efficiënt beheer mogelijk van enorme hoeveelheden medische patiëntgegevens. Deze gedistribueerde architectuur verbetert ook de gegevensbeveiliging, omdat gevoelige patiëntendossiers binnen de gedistribueerde clusteromgeving blijven in plaats van te worden overgedragen aan externe cloudservers of gecentraliseerde lokale machines. De combinatie van clustering-geleide zoekruimtereductie en Hadoop-gedistribueerde afstandsberekening levert een systeem op dat zowel rekenefficiëntie als voorspellende nauwkeurigheid bereikt, waardoor realtime voorspelling van hartziekten op grootschalige medische datasets mogelijk is. Experimentele resultaten bevestigen dat de gedistribueerde implementatie een classificatienauwkeurigheid van 85,25% bereikt, wat een significante prestatieverbetering betekent ten opzichte van de traditionele niet-gedistribueerde KNN-basislijn, direct toe te schrijven aan de gedistribueerde, clustering-verbeterde verwerkingsstrategie.

Classificatie

De classificatiefase van CViHDKNN wijst elke querypatiëntinstantie toe aan een hartziekteklasse op basis van de meerderheidsstem onder de K dichtstbijzijnde buren die via het gedistribueerde zoekproces zijn geïdentificeerd. De keuze van de K-waarde beïnvloedt direct classificatie-uitkomsten en voorspellende precisie. Wanneer K = 1 wordt de query-instantie toegewezen aan het klasselabel van zijn enkele dichtstbijzijnde buur, wat resulteert in een sterk gelokaliseerde beslissingsgrens die gevoelig kan zijn voor ruis in de trainingsdata. Wanneer K = 3 is, wordt de classificatie bepaald door de meerderheidsklasse onder de drie dichtstbijzijnde buren — bijvoorbeeld, als twee buren tot Klasse 1 (geen hartziekte) behoren en één tot Klasse 2 (aanwezige hartziekte), wordt de query-instantie geclassificeerd als Klasse 1, wat een robuustere en ruistolerantere beslissing oplevert. De MapReduce-reducatiefase verzamelt de lokaal geïdentificeerde dichtstbijzijnde buren van alle werkersknopen in een globaal gerangschikte lijst, waaruit de K dichtstbijzijnde buren worden geselecteerd, en berekent vervolgens de meerderheidsstem om de definitieve klassevoorspelling te maken. De prestaties van het CViHDKNN-classificatiekader worden geëvalueerd met precisie, herinnering, F1-score en algehele classificatienauwkeurigheid als primaire metrics. De integratie van cluster-beperkte zoekopdrachten met distributed majority voting levert fijnere en nauwkeurigere beslissingsgrenzen op dan standaard KNN, waardoor valse negatieven bij het identificeren van risicopatiënten worden verminderd en de gevoeligheid verbetert, beide cruciale vereisten voor klinisch betrouwbare voorspelling van hartziekten in grootschalige gedistribueerde gezondheidszorganalyseomgevingen.

Resultaten

De experimentele evaluatie toont aan dat het CViHDKNN-model een hogere voorspellende prestatie behaalt dan het CViHDDT-model in de classificatie van hartziekten. Het CViHDKNN-model behaalde een testnauwkeurigheid van 85,25%, terwijl het CViHDDT-model 80,33% behaalde, wat wijst op verbeterde voorspellende mogelijkheden voor de gedistribueerde K-dichtstbijzijnde naburenbenadering. Deze vergelijkende prestatieresultaten worden samengevat in Tabel 1<...

Discussie

Een effectieve methode voor het voorspellen van hartziekten op basis van de clusteringstechniek CViHDDT werd ontwikkeld en geëvalueerd met behulp van een Hadoop-gebaseerd gedistribueerd beslissingsboomframework. Het model behaalde een trainingsnauwkeurigheid van ongeveer 75,62% en een testnauwkeurigheid van 80,33%, waarmee het het vermogen aantoonde om te generaliseren naar onzichtbare data. De iets hogere testnauwkeurigheid suggereert dat Hadoop's parallelle verwerking grote datasets ef...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Apache Spark	Apache Software Foundation	3.x	Gedistribueerde gegevensverwerking
HDFS	Apache Software Foundation	Opgenomen in Hadoop 3.x	Gedistribueerde bestandsopslag
YARN	Apache Software Foundation	Opgenomen in Hadoop 3.x	Beheer van bronnen en taakplanning
Matplotlib	Matplotlib Development Team		Gegevensvisualisatie
Seaborn	Seaborn Developers		Statistisch plotten
Ubuntu OS	Canonical Ltd.	20.04 LTS	Besturingssysteem
RobustScaler	Scikit-learn		Functienormalisatie
UCI Heart Disease Dataset	UCI Machine Learning Repository	Dataset ID 45	Experimenteel dataset