Op machine learning gebaseerde multimodale moleculaire biomarkers voor voorspellende gezondheidsanalyse

Summary

Machine learning met multimodale biomarkers verbetert de voorspelling en monitoring van ziekten, wat veelbelovende vooruitgang in de gezondheidszorg op verschillende gebieden biedt en de gezondheidsuitkomsten verbetert door nauwkeurige ziektevoorspelling.

Abstract

Elk jaar worden veel mensen wereldwijd geleidelijk getroffen door de verwoestende gezondheidsproblemen zoals hartziekten, luchtweginfecties, neurologische stoornissen, cognitieve stress, kanker, beroerte, diabetes, enzovoort, wat leidt tot ernstige gezondheidscomplicaties en bijbehorende afwijkingen. Daarom zijn vroege gezondheidsanalyses cruciaal, omdat ze tijdige interventie met gerichte therapieën mogelijk maken, wat mogelijk directe verlichting en blijvende langetermijnvoordelen biedt die de ziekteprogressie kunnen vertragen. Vanwege de complexe pathofysiologische processen en heterogene klinische onderzoeken bij diverse gezondheidsproblemen is er behoefte aan zeer sensitive, multimodale biomarkers en effectieve onderzoeksbenaderingen om de gezondheidsuitkomsten van patiënten nauwkeurig te detecteren en te monitoren. Daarom worden machine learning-algoritmen met verschillende categorieën en technieken overwogen voor het voorspellen van uitkomsten, waaronder prognose, risicobeoordeling, patiëntstratificatie en ziektemonitoring. De stroom van het voorgestelde werk is verdeeld in drie fasen, waarbij de eerste fase het belang van de gezondheidszorg definieert met casestudy's, gevolgd door de traditionele Machine Learning (ML) algoritmen, traditionele Deep Learning (DL) benaderingen en moderne DL-technieken (TabNet en AutoInt) in de tweede fase. Ten slotte worden de experimenten uitgevoerd om de resultaten te rechtvaardigen. Dit werk benadrukt de groepering van modaliteiten door het integreren van moleculaire eiwit-, chemische en genetische biomarkers met opkomende ML-kenmerken. De resultaten geven een significante verbetering aan in het voorspellen van de nauwkeurigheid met behulp van de voorgestelde methodologie.

Introduction

Het zorgsysteem maakt steeds vaker gebruik van voorspellende analyses om patiënten te monitoren en gezondheidsuitkomsten tijdig te diagnosticeren, wat proactieve zorg faciliteert en de patiëntuitkomsten verbetert. Door voorspellende analyses te integreren met biomarkers kunnen clinici de diagnostische nauwkeurigheid verbeteren, effectieve behandelingen identificeren, de voortgang van de therapie monitoren en waardevolle inzichten verkrijgen in ziektemechanismen, wat uiteindelijk leidt tot beter geïnformeerde en effectieve behandelbeslissingen. Biomarkers verwijzen naar de kenmerken van biologische moleculen of indicatoren die in monsters voorkomen, zoals biovloeistoffen, weefsels, cellen, DNA, RNA, bloed en urine, die de aanwezigheid of progressie van een ziekte in het menselijk lichaam meten en zo helpen de effectiviteit van de behandeling^{te beoordelen 1}.

De vooruitgang in de toepassing van moleculaire biomarkers speelt een cruciale rol in gepersonaliseerde geneeskunde door specifieke moleculen nauwkeurig te meten om unieke gezondheidsproblemen bij patiënten te identificeren, waardoor gerichte behandelstrategieën vanaf de^{beginfase mogelijk} zijn. In de toekomst zullen multimodale benaderingen helpen om meerdere modaliteiten van complexe ziektepatronen te integreren, waardoor een nauwkeurigere identificatie van de ziekteprognose bij kanker en neurodegeneratieve ziekten mogelijk wordt gemaakt via geavanceerde voorspellende analytische technieken³. De geavanceerde methodologie maakt gebruik van multi-omics-data, bio-informatica en ML-algoritmen om nieuwe biomarkers te identificeren, waardoor patiëntspecifieke risicoprofilering en subjectieve behandelstrategieën voor hart- en vaatziekten (CVD's) en andere complexe ziekten mogelijk zijn⁴. De combinatie van moleculaire biomarkers en multi-omics benaderingen biedt potentie om de diagnostische nauwkeurigheid en therapeutische stratificatie bij neurologische aandoeningen^te verbeteren.

Met de vooruitgang van ML-technieken kunnen multimodale moleculaire biomarkers diverse datatypen integreren om nieuwe ziektesignaturen in diverse gezondheidsproblemen te identificeren, waardoor nauwkeurigere diagnoses en gepersonaliseerde behandelstrategieën mogelijk worden. Voortbouwend op dit potentieel onderzoekt de auteur verschillende ML-technieken in de gezondheidszorg om risicofactoren voor ziektediagnose te voorspellen en benadrukt hij hun belang in verschillende zorgsectoren⁶. Doordat ML de diagnose en behandeling van ziekten transformeert, maken farmaceutische praktijken steeds vaker gebruik van besluitvormingsalgoritmen om de gezondheidsuitkomsten van patiënten te analyseren en aan hun dagelijkse behoeften te voldoen, waardoor meer geïnformeerde en effectieve zorg mogelijk wordt⁷. Door gebruik te maken van de potentiële noodzaak van multimodale data-integratie, ontwikkelde deze studie biomarkers met behulp van multimodale data (MRI en genetisch) om de ontwikkeling en progressie van de ziekte van Alzheimer te voorspellen, waarbij werd aangetoond dat genetische gegevens de toekomstige progressie van Alzheimer bij normale controlepersonen beter voorspelden, terwijl MRI-data stabiele milde cognitieve stoornissen beter karakteriseerden en beide combineerden, met een betere kwaliteit van classificatieprestatie⁸.

Verder vooruit in de toepassing van multimodale data-analyse maakt multimodaal deep learning gebruik van genexpressiegegevens om geneesmiddelen te identificeren die specifieke cellijnen van nieuwe biologische moleculen aanpakken, waarmee wordt verduidelijkt hoe genomische variaties de behandelingsrespons beïnvloeden⁹. In combinatie met de vooruitgang in multimodale data-analyse komen niet-invasieve biomarkers, geëvalueerd met behulp van AI- en ML-metrics, naar voren als veelbelovende diagnosetools, met verschillende specificiteits- en gevoeligheidsprofielen ten opzichte van invasieve biomarkers, afhankelijk van de specifieke toepassing en datacontext¹⁰. In lijn met het groeiende belang van multimodale data-analyse kunnen Deep Learning (DL) ensemblemodellen complexe data effectief verwerken door nieuwe biomarkers te integreren, waaronder gen-eiwitinteracties, om kankeronderzoek te verbeteren en behandelstrategieën te optimaliseren¹¹. Naarmate DL-ensemblemodellen het kankeronderzoek blijven bevorderen, speelt voorspellende analyse een cruciale rol bij ziektediagnose en behandeling door grote hoeveelheden collectieve data uit meerdere bronnen, waaronder diverse gezondheidsproblemen, te analyseren om een uitgebreid overzicht te geven van de status, zoals risicobeoordeling en diagnose¹².

Het doel van het voorgestelde protocol is het implementeren van ML- en DL-gebaseerde algoritmen die de verschillende biologische markers integreren om de nauwkeurigheid van gezondheidsanalyses te verbeteren. Conventionele voorspellingstechnieken die gebruikmaken van biomarkers zijn doorgaans gebaseerd op single-modality data en lineaire statistische modellen, die mogelijk de ingewikkelde, niet-lineaire relaties die de ziekteontwikkeling en individuele verschillen beïnvloeden, niet voldoende vastleggen. De integratie van enorme hoeveelheden data uit observaties, e-health records, laboratoriummetingen, fysieke metingen en klinische beoordelingen biedt een belangrijke kans om risicobeoordeling in patiëntdiagnose te synthetiseren en te optimaliseren¹³. Biomarkers spelen een cruciale rol in precisiegeneeskunde, doordat ze gerichte behandeling op het juiste moment mogelijk maken. Hoewel biomarkers complex zijn en uitdagingen vormen bij het meten van ziektesubtypes en moleculaire groei, zijn ze van onschatbare waarde bij het beoordelen van toxische reacties onder verschillende abnormale omstandigheden, waardoor verdere analyse mogelijk wordt. Door gebruik te maken van biomarkers tijdens klinische observatie kunnen zorgprofessionals de ziekteprogressie nauwkeuriger voorspellen en de respons op de behandeling monitoren. Uiteindelijk maakt de convergentie van multimodale moleculaire biomarkers in gezondheidszorganalyse met AI effectievere patroonherkenning mogelijk, waarbij bestaande kenmerken worden aangepast om de klinische impact te beperken.

In vergelijking met geavanceerde benaderingen, vooral het werk van Somepalli et ^al.14, waar de auteurs ML-algoritmen voorstelden op genoomgegevens, zoals metabole, epigenetische en proteomische data, en algemene richtlijnen voorstelden voor het selecteren van ML-algoritmen. Er is echter een beperking op de analyse van de data. In het bestaande werk^{werden 15} ongecontroleerde integratiemethoden toegepast op omics-data, met de nadruk op computationele uitdagingen. Daarentegen zijn er beperkingen op de reikwijdte en analyse van de methoden. Bovendien behandelden Huang et ^al.16 de meeste DL-methoden voor het analyseren van diverse toepassingen, met als doel de kracht van big data en computationele kaders te begrijpen. De nadelen waren onder andere data-onevenwichtigheden, overfitting en interpretatieproblemen. Het voorgestelde protocol is cruciaal om een kritieke kloof in integratief biomarkeronderzoek aan te pakken, aangezien de huidige technieken er niet in slagen om hoogdimensionale en diverse biologische data effectief te combineren. Door gebruik te maken van geavanceerde ML en DL die uitblinken in patroonherkenning, featureselectie en multimodale fusie, is de voorgestelde indiening bedoeld om robuuste voorspellende signaturen te identificeren die vroege diagnose, prognose en individuele behandelopties verbeteren. Dit protocol pakt direct de beperking van disjointed biomarker-beoordelingen aan door een uitgebreid, datagedreven model te presenteren dat schaalbare, interpreteerbare en klinisch relevante gezondheidsvoorspellingen mogelijk maakt.

Protocol

1. Experimentele workflow

Figuur 1 illustreert een georganiseerde en modulaire workflowpijplijn die is ontworpen om moleculaire biomarkers te categoriseren in categorieën Risico- of Diagnostische indicaties met behulp van machine learning- en deep learning-technieken. Hier volgt een gedetailleerde stapsgewijze uitleg van het proces:

1. Dataset-acquisitie
   De dataset is verzameld uit MarkerDB 2.0, een zorgvuldig samengestelde database van moleculaire biomarkers.
2. Datavoorverwerking
   Dit zorgt voor datakwaliteit en consistentie door nulwaarden en ontbrekende vermeldingen te verwerken, categorische features te coderen met LabelEncoder en numerieke features (bijv. entrez_gene_id) te schalen met StandardScaler.
3. Feature-engineering
   Het selecteren van relevante kenmerken die de biomarkerclassificatie beïnvloeden, datalekken voorkomen en de modelprestaties verbeteren, wordt aanbevolen.
4. Modelontwikkeling
   De gebruikte benaderingen zijn Logistic Regression, Random Forest, XGBoost, terwijl in DL: MLP, MLP met LR Scheduler, AutoInt, TabNet. De uitgevoerde activiteiten zijn hyperparameterafstemming, kruisvalidatie en optimalisatie voor classificatietaken.
5. Datasplitsing
   Hier wordt de trainingsset (80%) gebruikt om modelparameters te leren, en de testset (20%) wordt gebruikt om het model te evalueren op onzichtbare data. In de laatste fase worden evaluatie-metrics gebruikt om ervoor te zorgen dat prestaties holistisch worden gemeten, vooral in onevenwichtige klassenscenario's.

Figuur 1: Stroomdiagram van het voorgestelde werk. De workflow van het voorgestelde probleem wordt in deze figuur weergegeven. De stappen zijn data-preprocessing, feature engineering, modelontwikkeling, splitsing, modelevaluatie met behulp van metrics en biomarker-analyse. Klik hier om een grotere versie van deze figuur te bekijken.

2. Datasetbeschrijving

De naam van de dataset is all_sequence_variants met de csv-extensie. Er zijn kolommen met namen als 'id', 'variation', 'position', 'external_link', 'gene_symbol', 'entrez_gene_id', 'reference', conditions', 'indication_types', waarbij allemaal objecttype zijn behalve id als int-type en entrez_gene_id als float-type. Het totale aantal rijen is 42818 met 9 kolommen. Bovendien bevat de dataset nulwaarden voor variatie, positie, external_link, entrez_gene_id, referentie, condities en indication_types. De dataset is afkomstig van de link gegeven als: https://markerdb.ca/downloads¹⁷

3. Dataset-preprocessing

In deze fase begint de voorverwerking van data met het verzamelen van dataset-informatie, beschrijvingen, het identificeren van duplicaten en het lokaliseren van ontbrekende/nul waarden. Er is geen impact van het external_link kenmerk wanneer het wordt gemeten met de correlatiecoëfficiënt, en daarom wordt het verwijderd. De nulwaarden van categorische en numerieke kolommen worden respectievelijk gevuld met de mediaan en het gemiddelde. Ten slotte is de vorm van input en output in de dataset (42787, 6)(42787,). De invoerkolommen zijn 'id', 'variatie', 'positie', 'gene_symbol', 'entrez_gene_id', 'voorwaarden', terwijl de doelkolom indication_types is.

4. Biomarkers: Categorieën, data-uitdagingen en de rol van moleculair risico

Een biomarker is een kwantificeerbare eigenschap die ofwel normale of abnormale biologische activiteiten of reacties op verschillende blootstellingen of interventies aangeeft. Biomarkers kunnen moleculair, histologisch, radiografisch of fysiologisch van aard zijn en zijn onderverdeeld in zeven primaire categorieën: (1) Een diagnostische biomarker bepaalt of een individu een specifieke ziekte of aandoening heeft en of deze binnen een subtype valt, (2) Een monitoringbiomarker geeft de progressie van een ziekte en de respons op behandeling aan, (3) Een responsbiomarker geeft aan of een patiënt reageert op een medicijn of therapie, zoals een verandering in hartslag, (4) Een voorspellende biomarker kan vaststellen of iemand risico loopt op het ontwikkelen van een bepaalde ziekte en hoe hij of zij kan reageren op een bepaalde behandeling, (5) Een prognostische biomarker kan inzicht geven in de kans op ziekteprogressie of terugkeer als een patiënt vatbaar is voor een specifieke gezondheidsuitkomst, (6) Een risicobiomarker beoordeelt het potentiële risiconiveau voor een aandoening voordat een patiënt een officiële diagnose krijgt, en (7) Een veiligheidsbiomarker beoordeelt het potentieel voor toxische of bijwerking die kunnen ontstaan door behandeling. Deze studie richt zich voornamelijk op de analyse van moleculaire biomarkers die verband houden met risicobeoordeling en diagnostiek, zoals weergegeven in Figuur 2. Gezien de enorme hoeveelheid klinische data die wereldwijd beschikbaar is, zijn biomarkers essentieel voor het sturen van klinische beslissingen, het bevorderen van onderzoek en het faciliteren van gepersonaliseerde geneeskunde.

Figuur 2: Biomarkercategorie voor klinische besluitvorming. De beslissingen van de biomarker worden in dit diagram weergegeven. Op basis van de analyses die op de biomarkers worden toegepast, worden klinische beslissingen genomen en worden ML-algoritmen geïmplementeerd. Klik hier om een grotere versie van deze figuur te bekijken.

Het vinden en begrijpen van klinisch bruikbare biomarkerinformatie is een uitdaging vanwege het grote scala aan typen, kenmerken en kwaliteit van biomarkers. De snelle groei van biomarkerstudies in de afgelopen twee decennia heeft de toegang tot uitgebreide en actuele gegevens, vooral voor moleculaire biomarkers, verder bemoeilijkt. Dit heeft geleid tot problemen zoals inconsistente bevindingen, het herontdekken van bestaande biomarkers, tegenstrijdige resultaten en over het hoofd geziene kansen om^gevestigde biomarkers te benutten. De opkomst van "omics"-metingen heeft dit probleem verergerd, wat heeft geleid tot een proliferatie van nieuwe moleculaire biomarkers in klinische tests en de literatuur, waardoor het steeds moeilijker wordt om biomarkerkennis effectief te navigeren en toe te passen¹⁹.

MarkerDB 2.0 biedt toegang tot diverse moleculaire biomarkers voor experimentele doeleinden²⁰. Verschillende biomarkers worden gebruikt in klinisch onderzoek en gezondheidszorgtoepassingen om ziekten te diagnosticeren, voorspellen en monitoren. Onder deze eiwitbiomarkers gebruiken biofluiden zoals serum, bloed, cerebrospinaal vocht (CSF), peritoneale vloeistof, vruchtwater, plasma en urine om aandoeningen zoals diabetes mellitus, tuberculose, het syndroom van Down en myopathie-gerelateerde aandoeningen te analyseren. Evenzo gebruiken genetische biomarkers gensymbolen zoals LRP1, LPP, MAPT en SPI1 om aandoeningen te analyseren zoals leeftijdsgebonden maculadegeneratie, allergische ziekten, de ziekte van Alzheimer, kanker en astma. Bovendien helpen multimodale moleculaire biomarkers het patiëntrisico en diagnostische indicatoren te meten²¹. Dit werk benadrukt de noodzaak van gezondheidszorganalyse met ML-benaderingen om ziektediagnose, voorspelling en gepersonaliseerde behandeling te verbeteren.

5. Modellering van statistische ML-benaderingen voor biomarkerontdekking

De toepassing van ML-benaderingen heeft de gezondheidszorg op tal van manieren getransformeerd. Specifiek zijn moleculaire biomarkers geanalyseerd met behulp van diverse ML-technieken, waaronder Principal Component Analysis (PCA), K-means clustering (KMA), Nearest Neighbor Analysis (NNA) en neurale netwerkalgoritmen²². Deze modellen identificeren ingewikkelde patronen uit gekozen kenmerken, beheren onvolledige of inconsistente data en ondersteunen realtime tracking van ziekteverloop. Naast het diagnosticeren van ziekten bieden ML-algoritmen belangrijke inzichten in patiëntkwesties door data-analyse en visualisatie, waardoor snelle en gerichte zorg mogelijk is²³. Hierdoor verbetert dit de gezondheidsuitkomsten van patiënten in bijzondere omstandigheden. Bovendien wordt het vermogen van ML om biomarkerontdekking en therapeutische resultaten over verschillende ziekten, waaronder de analyse van moleculaire biomarkers, te revolutioneren.

ML-algoritmen worden ingedeeld in vijf hoofdtypen, zoals weergegeven in Figuur 3. Supervised learning is het proces van trainen op gelabelde datasets om input-outputrelaties te begrijpen, waardoor het ideaal is voor taken zoals classificatie en regressie, zoals beslissingsbomen en ondersteunende vectormachines. Ongecontroleerd leren identificeert patronen binnen niet-gelabelde data en wordt vaak toegepast voor clustering en dimensionaliteitsreductie, met technieken zoals k-means clustering en principal component analysis. Semi-supervised learning voegt zowel gelabelde als niet-gelabelde data samen om voorspellingen te genereren. Reinforcement learning richt zich op besluitvorming gebaseerd op feedback uit de omgeving, en wordt vaak gebruikt in gaming en robotica, met methoden zoals Q-learning en deep reinforcement learning-netwerken. Deep learning maakt gebruik van kunstmatige neurale netwerken met meerdere lagen om ingewikkelde patronen in data te identificeren. Deze techniek helpt bij het voorspellen van biomarkers voor veelvoorkomende ziekten, waaronder kanker, beroerte, de ziekte van Alzheimer en de ziekte van Parkinson. Talrijke klinisch goedgekeurde toepassingen maken gebruik van deze technologie^24,25. De precieze diagnose van patiënten met kwaadaardige tumoren hangt doorgaans af van de verworven en pathologische analyse van weefselmonsters, die cruciale informatie opleveren over histologische graad, subtype, stadium en diverse andere tumorbiomarkers.

Figuur 3: Categorisering van machine learning-algoritmen voor klinische besluitvorming. De typen ML-algoritmen in het diagram worden geïllustreerd om het toegepaste methodologium beter te begrijpen. Klik hier om een grotere versie van deze figuur te bekijken.

Statistiek en ML zijn twee aparte disciplines die vaak samenkomen. Statistiek omvat het verzamelen, analyseren en interpreteren van data, meestal met kleinere, goed gedefinieerde datasets, en richt zich voornamelijk op het vergelijken en samenvatten van informatie. ML daarentegen is een subset van kunstmatige intelligentie die voorspellende modellen creëert, vaak gericht op grote en complexe datasets. Hoewel statistiek een belangrijke rol speelt bij bevestigend onderzoek en het begrijpen van onderliggende mechanismen, is ML effectiever in verkennend onderzoek, het ontdekken van complexe patronen en het beheren van ontbrekende data. Methoden zoals logistische regressie kunnen worden beschouwd als zowel statistische modellen als supervised ML-modellen, wat de vage verschillen tussen de twee domeinen illustreert. Uiteindelijk moeten onderzoekers hun onderzoeksdoelstellingen en de aard van hun data evalueren om de meest geschikte methode te kiezen.

6. Modellering van MLP en varianten van MLP

MLP, ook bekend als een multilayer perceptron, is een type neurale netwerkarchitectuur met meerdere neuronlagen tussen de invoer- en uitvoerlagen, zoals geïllustreerd in Figuur 4. MLP werd geïntroduceerd in de jaren 1950 en kreeg brede toepassing door de vooruitgang en vooruitgang in backpropagation in de jaren 1980, wat hielp het verlies te minimaliseren. De basisprincipes van MLP zijn neurale netwerken, gewichten en biaswaarden voor het berekenen van de output. Ten slotte om de activatiefunctie en drempelwaarde te kennen om de output in de outputlaag te krijgen. In de voorgestelde methodologie komen de knooppunten in de inputlaag, verborgen laag en outputlaag overeen met klinische en genkenmerken, volledig verbonden lagen met ReLU-activatie, en een enkele neuron met sigmoidactivatie om respectievelijk de binaire uitkomst van indicatietype (Risico, Diagnostisch) te voorspellen. De belangrijkste voordelen zijn dat ze eenvoudig te trainen en te interpreteren zijn. De eenvoudige MLP kan echter geen grote datasets verwerken en is gevoelig voor de leersnelheid^{van 26}. Daarom wordt MLP met Learning Rate Scheduler overwogen om deze nadelen te overwinnen met de architectuur die in Figuur 3B wordt gegeven. MLP met LR is een krachtig dynamisch mechanisme met steile verval, exponentiële verval, inverse tijdsverval, ReduceLROnPlateau en cosinus-annealing. In plaats van een vaste LR-waarde verandert de leersnelheid op basis van de modelprestaties en training.

Figuur 4: Modellering van meerlagige Perceptron en MLP met een LR-scheduler. (A) Multi-Layer Perceptron: De structuur van MLP wordt geïllustreerd met Input Layer, Hidden Layer en Output Layer. De eerste laag ontvangt de input en verwerkt deze in de tweede laag met activaties, en de output wordt ontvangen in de laatste laag. MLP is eenvoudig te implementeren. (B) MLP met LR Scheduler: Dit lijkt op MLP; er wordt echter een Learning Rate Scheduler toegevoegd om de trainingssnelheid te regelen voor een betere convergentiesnelheid. Het leertempo is op een plateau afgenomen. Dit vermindert de minima van overschrijdingen. Klik hier om een grotere versie van deze figuur te bekijken.

Deze aanpak is efficiënter, betrouwbaarder en effectiever voor tabelgegevens. Daarnaast zijn er voordelen zoals stabiele convergentieverbetering op ruisachtige data, verbeterde generalisatie en minder inspanning bij hyperparameterafstemming. Voor sommige voorspellingstaken kunnen er echter moeilijkheden ontstaan, zoals vast komen te zitten in lokale minima. Bovendien worden in de brede en diepe MLP-architectuur zoals gepresenteerd in Figuur 5 brede en diepe componenten geïntroduceerd in de MLP om uit te blinken in correlatiemapping, het onthouden van regels en het leren van nieuwe patronen, terwijl hoge standaarden van generalisatie behouden blijven. Door deze aspecten te combineren tot de uitvoerlaag, wordt de binaire uitvoer^{voorspeld met 27}. Er zijn echter beperkingen aan het generaliseren van onzichtbare kenmerken en overgeneralisatie. Samenvattend wordt MLP met batchnorm en uitval gebruikt om het trainingsproces te normaliseren, waarbij uitval wordt geïntegreerd voor het leren en wordt generaliseerd van onbekende attributen. Deze techniek kan met name worden toegepast op hoogdimensionale data en helpt overfitting te voorkomen. Desalniettemin heeft deze techniek last van beperkingen in batchgrootte, een verhoogd geheugenverbruik (door Batch Normalization-lagen) en is het geen universele oplossing^28,29.

Figuur 5: Modellering van MLP-breed en diep netwerk. Het diagram illustreert het diepe pad van de MLP, dat niet-lineaire relaties kan vastleggen en de output combineert met een sigmoid-eenheid voor classificatie. Deze architectuur legt patroonleer en kennis vast voor heterogene biomarkergegevens. Klik hier om een grotere versie van deze figuur te bekijken.

7. TabNet

De TabNet is een deep learning-model dat bekend staat als Tabular Network, ontwikkeld door het Google Research-team³⁰. De belangrijkste motivatie van het TabNet-model is het overbruggen van verschillen tussen de DL-benaderingen voor beeld-, tekst-, spraak- (CNN, Autoencoder, Transformers) en boomgebaseerde ML-benaderingen (XGBoost, Random Forest, LightGBM). Bovendien hebben de beperkingen van DL-benaderingen een enorme impact op het TabNet-model, waarbij MLP een geparametriseerd model is. Bovenal ontbreekt het aan interpretatie van DL-benaderingen bij echte problemen, zelfbegeleid leren en sequentiële leercapaciteit³¹. De TabNet-modellen zijn beperkt tot toepassingen zoals verzekeringsrisicovoorspelling³², schatting van steenkoolasgehalte³³, voorspelling van chemische toxiciteit³⁴ en detectie van fraude in educatieve tests³⁵. De architectuur van TabNet is weergegeven in Figuur 6.

Figuur 6: Modellering van een tabulair netwerk. Het Tabulaire netwerk neemt invoerfuncties in een tabelformaat en past de transformatortechniek op een sequentiele manier toe in elk blok. Het GU-blok, ook wel het Gated Linear Unit-blok genoemd, regelt de informatiestroom door het netwerk, wat de selectie van functies en stabiel leren vergemakkelijkt. De output wordt in de outputlaag gepresenteerd uit de geaccumuleerde output. Klik hier om een grotere versie van deze figuur te bekijken.

Uit het bovenstaande architectuurdiagram is het systeem verdeeld in vier componenten: Inputblok, Shared Feature Transformer, Sequentiële Beslissingsstappen en de verliesberekening met behulp van optimalisatie. In de categorische kenmerken worden de kenmerken omgezet naar gehele getallen na de inbeddinglaag. Tegelijkertijd worden de continue kenmerken genomen zoals ze zijn. Ten slotte worden de features omgezet in een uniforme featurevector waarbij x ∈ Rd. In de volgende stap worden volledig verbonden lagen met activatiefuncties geïmplementeerd, gevolgd door een transformatie om de data om te zetten in een vector, en wordt een beslissing genomen. In de derde stap worden de aandachtstransformator, maskering, beslissingstransformator en voorspellingsaccumulatie achtereenvolgens gebruikt. De doelstellingen van deze stap zijn selectieve aandacht, sequentiële redenering en beslissingspaden. In de laatste stap worden binaire kruisentropie of vergelijkbare methoden gebruikt om het verlies te vinden en de waarde te optimaliseren. Verder wordt regularisatie uitgevoerd met spaarzame aandacht om overfitting te voorkomen.

8. AutoInt

Automatisch Feature Interaction Learning via Self-Attendentive Neural Networks (AutoInt) is de volledige vorm van AutoInt, geïntroduceerd in Click-through rate (CTR) voorspelling³⁶ en later toegepast op diverse toepassingen, waaronder softwaredefectvoorspelling³⁷, aanbevelingssystemen³⁸ en genoomdetectie³⁹. Er zijn beperkingen in de bestaande ML-benaderingen, waaronder het omgaan met hoogdimensionale, spaarzame data, combinatorische kenmerken van hogere orde, het begrijpen van de voorspellingsmogelijkheden van de eigenschap en de noodzaak van handmatige feature-engineering. Al deze genoemde uitdagingen worden door het AutoInt-model aangepakt met efficiëntie, effectiviteit en uitlegbaarheid. Het doel van AutoInt in de voorgestelde methodologie is te voorspellen of de gegeven variant van een risico- of diagnostisch indicatietype is. Er zijn zeven stappen voorgesteld voor de gegeven dataset, zoals weergegeven in Figuur 6, samen met de broncode. Ten eerste worden het lezen van data en het voorverwerken geïmplementeerd om alle categorische kenmerken als gehele getallen te coderen en de labels te mappen naar 0 en 1 voor respectievelijk Risico en Diagnostisch. In de tweede stap wordt feature-representatie uitgevoerd om de embedding-matrix te creëren; op zijn beurt wordt de matrix omgezet om de numerieke kenmerken te normaliseren. Er zijn interactieve lagen waarbij de neutrale automatische interactie tussen de kenmerken wordt geleerd zonder handmatige interactie met de transformatoren. Bovendien leren meerdere hoofden verschillende soorten interacties, en uiteindelijk worden de kenmerken samengevoegd, wat de representatie versterkt. Residuele verbindingen zijn aanwezig om zowel lagere als hogere orde interacties te leren, zoals 1 kenmerk, 2 kenmerken, 3 kenmerken, enzovoort. Ten slotte worden vanuit het residuele netwerk de uitvoer doorgegeven aan de sigmoidfunctie voor binaire waardeberekeningen, zoals weergegeven in Figuur 7.

Figuur 7: Modellering van het AutoInt-netwerk. Het AutoInt-netwerk leert automatisch features, waarbij de embedding-laag de features neemt en ze in de volgende laag omzet met behulp van een zelf-aandacht mechanisme en residuele verbindingen. De laatste component bevat de MLP-laag en activatiefuncties om de output te produceren. Klik hier om een grotere versie van deze figuur te bekijken.

Results

De experimenten worden uitgevoerd met ML- en DL-benaderingen om hun prestaties te vergelijken. Tegelijkertijd wordt overwogen om ML-modellen te creëren die zowel begeleide als ongecontroleerde leermechanismen gebruiken. De begeleide technieken die in deze methodologie worden gebruikt zijn Logistic Regression, Decision Tree, Random Forest, Gradient Boost, Support Vector Machine en K-Nearest Neighbor algoritmen. Deze algoritmen variëren van eenvoudige statistische modellen tot complexe boo...

Discussion

Het voorgestelde werk bespreekt duidelijk het belang van biomarkers bij de identificatie en monitoring van een ziekte en haar kenmerken. De voorgestelde aanpak voor biomarkermethodologie is gebaseerd op vier essentiële stappen: zorgvuldige gegevensvoorbereiding (schoonmaken, coderen, identificeren elimineren); uniforme doelcodering (Risk=0, Diagnostic=1); normalisatie van features en hoogwaardige deep embedding voor modellen zoals AutoInt³⁷/TabNet; en een solide i...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AutoInt Model	Peking University	https://github.com/shichence/AutoInt	Automatisch leren van functie-interacties via zelf-attentieve neurale netwerken: Efficiënt algoritme om automatisch hogere-orde functie-interacties te leren voor (sparse) categorische en numerieke kenmerken
deepctr_torch.models	Open source	https://github.com/shenweichen/DeepCTR-Torch	Modulair en uitbreidbaar pakket van op deep learning gebaseerde CTR-modellen om eenvoudig een eigen aangepast model te bouwen.
Google Colaboratory	Google	https://colab.research.google.com/	Cloud-gebaseerde  omgeving om Python-code via de browser te schrijven en uit te voeren voor machine learning, gegevensanalyse
Keras 2.6.0	Keras	https://keras.io/	Biedt een Python-interface voor het uitvoeren van neurale netwerken die bovenop Tensorflow draaien
MarkerDB 2.0	MarkerDB	https://markerdb.ca/downloads	Publiek beschikbare database van moleculaire biomarkers
Matplotlib 3.4.3	Matplotlib	https://matplotlib.org/	Visualisatiebibliotheek voor python
Numpy 1.21.4	Numpy	https://numpy.org/	Fundamenteel pakket voor wetenschappelijk rekenen met Python
Pandas 1.3.4	Pandas	https://pandas.pydata.org/	Krachtige, flexibele en eenvoudig te gebruiken open source tool voor gegevensanalyse en -manipulatie gebouwd op de Python-programmeertaal.
Python 3.8.10	Python Software Foundation	https://www.python.org/	Populair programmeertaal die deep learning-systemen effectiever integreert.
pytorch_tabnet.tab_model	Pytorch	https://pypi.org/project/pytorch-tabnet/	Voor het implementeren van binaire/meervoudige classificatie- en regressieproblemen.
Scikit-learn	Scikit-learn	https://scikit-learn.org/stable/	Python-module voor machine learning-algoritmen
Seaborn	Seaborn	https://seaborn.pydata.org/	High-level datavisualisatiebibliotheek voor het tekenen van aantrekkelijke en informatieve statistische grafieken
TabNet Model	Google	https://github.com/dreamquark-ai/tabnet	TabNet is een end-to-end neurale netwerk ontworpen om tabelgegevens direct te verwerken
Tensorflow 2.6.0	Google	https://www.tensorflow.org/	Een end-to-end platform voor machine learning