Dit onderzoek stelt een hybride deep reinforcement learning (HDRL) framework voor dat diepe neurale netwerken (DNN's) integreert voor feature-extractie met reinforcement learning (RL) voor dynamische multimodale signaalfusie. Geëvalueerd op biomedische datasets blinkt het uit in nauwkeurigheid, robuustheid en detectie van zeldzame gebeurtenissen, en biedt het belangrijke toepassingen in gepersonaliseerde geneeskunde en ziekteclassificatie.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Onderzoeksartikel
Hybride diep versterkingsleren voor multimodale biomedische signaalfusie
In dit artikel
Samenvatting
Samenvatting
Het verbeteren van besluitvorming en diagnostische nauwkeurigheid in de gezondheidszorg vereist het combineren van multimodale biomedische signalen zoals elektrocardiogrammen (ECG), elektro-encefalogrammen (EEG) en medische beeldvorming. Traditionele signaalfusietechnieken ondervinden aanzienlijke uitdagingen vanwege signaalvariabiliteit en inherente complexiteit. We stellen een Hybrid Deep Reinforcement Learning (HDRL) model voor dat Deep Neural Networks (DNN's) gebruikt voor feature extraction en Reinforcement Learning (RL) voor dynamische fusie-optimalisatie. Dit hybride model maakt gebruik van realtime feedback om het leren van fusiebeleid te optimaliseren en zich aan te passen aan verschillende datakenmerken. Om de prestaties te evalueren, werd het voorgestelde model vergeleken met conventionele fusietechnieken, zoals Deep Neural Network-gebaseerde methoden en Principal Component Analysis (PCA). Het hybride deep reinforcement learning-model werd getest op verschillende biomedische datasets uit de echte wereld. Het voorgestelde model is toepasbaar op gepersonaliseerde geneeskunde en ziekteclassificatie, aangezien experimenteel bewijs verbeterde prestaties toont op het gebied van robuustheid onder ruisachtige omstandigheden, classificatienauwkeurigheid en detectie van zeldzame gebeurtenissen. De voorgestelde methodologie behandelt, naast het aanpakken van zorgen rond traditionele signaalfusietechnieken, veelbelovende oplossingen die multimodale biomedische signaalverwerking bevorderen. Het model gebruikt een DNN voor feature mining en RL-agenten (DQN, PPO) voor beleidsoptimalisatie.
Inleiding
De moderne gezondheidszorg vertrouwt steeds meer op het integreren van diverse biomedische databronnen om de diagnostische nauwkeurigheid en klinische besluitvorming te verbeteren. Fysiologische signalen zoals elektrocardiogrammen (ECG), elektro-encefalogrammen (EEG) en medische beeldvormingsmodaliteiten zoals magnetische resonantiebeeldvorming (MRI) en computertomografie (CT) bieden complementaire fysiologische informatie die de ziektediagnose en gepersonaliseerde behandeling ondersteunt. Biomedische signalen zijn echter van nature complex en bevatten vaak ruis, ontbrekende waarden en hoogdimensionale structuren, waardoor hun analyse en interpretatie uitdagend zijn. Multimodale biomedische signaalfusie, waarbij informatie uit meerdere fysiologische datastromen worden geïntegreerd, is daarom een belangrijke benadering geworden om de diagnostische prestaties te verbeteren, de robuustheid tegen variaties in datakwaliteit te vergroten en uitgebreide patiëntmonitoring mogelijk te maken in klinische omgevingen zoals intensive care units (ICU's)1.
Traditionele multimodale signaalfusiemethoden hebben grotendeels vertrouwd op statistische en lineaire technieken. Principal Component Analysis (PCA) vermindert de dimensionaliteit van data door signalen om te zetten in orthogonale componenten, terwijl Canonical Correlation Analysis (CCA) lineaire relaties tussen modaliteiten identificeert om multimodale datasets op één lijnte brengen 2. Deze technieken zijn met succes toegepast in biomedische multimodale fusieomgevingen3. Hun afhankelijkheid van lineaire aannames beperkt echter hun vermogen om complexe niet-lineaire relaties vast te leggen die vaak bestaan tussen fysiologische signalen. In de praktijk zijn biomedische gegevens zelden puur lineair. Conventionele multimodale fusiemethoden slagen er vaak niet in betekenisvolle interacties tussen modaliteiten vast te leggen vanwege deze niet-lineaire afhankelijkheden 4,5. Als gevolg hiervan kunnen conventionele fusiemethoden er niet in slagen om betekenisvolle interacties tussen modaliteiten vast te leggen, waardoor hun effectiviteit bij taken zoals ziektediagnose en realtime klinische besluitvorming wordt beperkt.
Recente vooruitgang in deep learning heeft biomedische signaalverwerking aanzienlijk getransformeerd door neurale netwerken in staat te stellen automatisch hiërarchische representaties uit ruwe data te extraheren. Convolutionele Neurale Netwerken (CNN's) hebben sterke prestaties aangetoond bij het analyseren van ruimtelijke patronen in medische beelden 5,6. Multimodale CNN-architecturen zijn gebruikt om beeldvormingsmodaliteiten zoals MRI en CT te integreren om de diagnostische nauwkeurigheidte verbeteren. Evenzo zijn Recurrent Neural Networks (RNNs) en Long Short-Term Memory (LSTM) netwerken toegepast op sequentiële biomedische signalen, waaronder ECG en EEG, voor ziekteclassificatietaken7. Ondanks deze vooruitgang vertrouwen veel deep learning-gebaseerde fusiebenaderingen op vaste fusiestrategieën, zoals feature-concatenatie of gewogen gemiddelde. Deze statische fusiemechanismen passen zich niet effectief aan variaties in signaalkwaliteit. In klinische omgevingen in de echte wereld kunnen signalen verslechteren door bewegingsartefacten, elektrodeverplaatsing, vervorming of omgevingsgeluid. Dergelijke variaties kunnen de betrouwbaarheid van individuele modaliteiten verminderen en het totale fusieproces negatief beïnvloeden. Het aanpakken van deze uitdagingen vereist adaptieve fusiestrategieën die in staat zijn om te reageren op dynamische datacondities in realtime klinische omgevingen8.
Reinforcement Learning (RL) biedt een krachtig kader voor sequentiële besluitvorming in onzekere omgevingen. In RL leert een agent acties te selecteren die de cumulatieve beloning maximaliseren door interacties met zijn omgeving. Dit besluitvormingsproces wordt vaak geformuleerd met behulp van de Bellman-vergelijking, die de waarde van een toestand definieert als de som van de directe beloning en de gediskonteerde waarde van toekomstige beloningen9. Methoden zoals Deep Q-Networks (DQN) breiden reinforcement learning uit naar hoogdimensionale problemen door de actie-waarde functie te benaderen met diepe neurale netwerken10. Evenzo maken beleidsgebaseerde deep reinforcement learning-methoden stabiel en efficiënt beleidsleren mogelijk door iteratieve updates van het beleid van de agent11. Reinforcement learning-technieken zijn al onderzocht in verschillende toepassingen in de gezondheidszorg, waaronder behandelingsoptimalisatie en anomaliedetectie12, maar hun toepassing op adaptieve multimodale signaalfusie blijft relatief beperkt.
Hybrid Deep Reinforcement Learning (HDRL) integreert deep learning met reinforcement learning om feature-extractie en adaptieve besluitvorming te combineren. In dit kader transformeren diepe neurale netwerken multimodale biomedische signalen in hoog-niveau feature-representaties, terwijl reinforcement learning-agenten dynamisch fusiestrategieën selecteren op basis van taakprestaties4. Dit adaptieve mechanisme stelt het systeem in staat te reageren op variaties in signaalkwaliteit en modaliteitsbeschikbaarheid, waardoor robuustere werking mogelijk is in complexe klinische omgevingen zoals IC-monitoring en draagbare diagnostische systemen8.
Naast klassieke reinforcement learning-benaderingen zijn verschillende hybride leertechnieken onderzocht die fuzzy logica, genetische algoritmen en reinforcement learning combineren voor biomedische classificatietaken. Zo is Fuzzy Q-learning gecombineerd met genetische algoritmen toegepast op de classificatie van epileptische aanvallen met behulp van EEG-signalen, wat een verbeterde aanpassingsvermogen aan onzekere temporele patronenaantoont 13. Evenzo zijn fuzzy lattice-gebaseerde evolutionaire leerbenaderingen voorgesteld voor de classificatie van longziekten met behulp van medische beelden14. Andere studies hebben reinforcement learning-gebaseerde benaderingen voor epilepsieherkenningonderzocht 15 en fuzzy Q-learning classifiers aangepast om longontsteking en tuberculose op röntgenfoto's van de borst te detecteren16. Hoewel deze studies het potentieel van hybride leermethoden in biomedische analyse aantonen, richten de meeste bestaande benaderingen zich op single-modality classificatie in plaats van multimodale signaalfusie.
Recente ontwikkelingen in multimodale machine learning hebben ook transformer-gebaseerde architecturen voor crossmodale medische toepassingen onderzocht. Deze modellen hebben veelbelovende prestaties aangetoond bij taken zoals beeldsynthese in de gezondheidszorg en analyse van heterogene biomedische datasets waarin één of meer modaliteiten mogelijk onvolledig zijn of17 missen.Toch blijft de behoefte aan adaptieve fusiemechanismen die dynamisch reageren op variaties in multimodale data een belangrijke onderzoeksuitdaging, zelfs met deze ontwikkelingen.
In dit werk wordt een Hybrid Deep Reinforcement Learning (HDRL) framework voor multimodale biomedische signaalfusie voorgesteld. Modaliteitsspecifieke CNN-modellen worden gebruikt om kenmerken te extraheren uit ECG-, EEG- en MRI-gegevens, die vervolgens worden gecombineerd tot een uniforme multimodale representatie. Een Deep Q-Network (DQN) agent selecteert dynamisch fusiestrategieën, zoals feature-concatenatie of gewogen combinatie, afhankelijk van de huidige feature-status. Een downstream classifier levert een beloningssignaal op basis van classificatieprestaties, waardoor de reinforcement learning-agent het fusiebeleid kan optimaliseren via continue feedback. Dit adaptieve kader stelt het model in staat zich aan te passen aan variaties in signaalkwaliteit en modaliteitsbeschikbaarheid. De voorgestelde benadering wordt geëvalueerd met behulp van de PhysioNet 2016, CHB-MIT EEG en OASIS-3 datasets en wordt vergeleken met conventionele op PCA gebaseerde en deep learning-fusietechnieken.
Figuur 1: Blokdiagram dat de architectuur illustreert van het voorgestelde HDRL-gebaseerde multimodale signaalfusiesysteem. Schematische weergave van het multimodale fusiekader met ECG-, EEG- en medische beeldinvoer verwerkt via deep neural network feature extractors, gevolgd door reinforcement learning-gebaseerde adaptieve fusie en beloningsfeedback. Klik hier om een grotere versie van deze figuur te bekijken.
De architectuur van het voorgestelde multimodale signaalfusie-framework wordt geïllustreerd in Figuur 1. In deze architectuur extraheren modaliteitsspecifieke CNN-modellen onafhankelijk kenmerken uit ECG-, EEG- en MRI-signalen. Deze kenmerken worden vervolgens gecombineerd tot een uniforme representatie, die de reinforcement learning-agent gebruikt om de optimale fusiestrategie te bepalen.
Biomedische signaalverwerking speelt een cruciale rol in de moderne gezondheidszorg door nauwkeurige diagnose, monitoring en behandelplanning mogelijk te maken via de analyse van fysiologische signalen die uit meerdere modaliteiten worden verkregen. Het integreren van signalen zoals ECG-, EEG- en medische beeldvormingsgegevens vereist geavanceerde fusietechnieken die complementaire informatie uit verschillende bronnen vastleggen. Tabel 1 vat veelgebruikte multimodale signaalfusiebenaderingen samen, inclusief hun belangrijkste kenmerken, voordelen en beperkingen, en benadrukt de motivatie voor het voorgestelde HDRL-gebaseerde raamwerk.
| Methode | Belangrijkste kenmerken | Voordelen | Beperkingen |
| PCA | Reductie van lineaire dimensionaliteit | Snel, simpel | Beperkt tot lineaire relaties |
| DNN | Niet-lineair feature-leren | Legt complexe patronen vast | Vaste fusiestrategie |
| DRL | Dynamisch beleidsleren | Past zich aan data aan | Hoge berekening |
| HDRL | DNN + RL hybride | Adaptief, robuust, efficiënt | Vereist zorgvuldige afstelling |
Tabel 1: Vergelijking van multimodale fusiemethoden. Samenvatting van veelgebruikte multimodale signaalfusie-benaderingen, met een uiteenzetting van hun belangrijkste kenmerken, voordelen en beperkingen.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
Dit protocol beschrijft de stapsgewijze implementatie van het Hybrid Deep Reinforcement Learning (HDRL)-model voor multimodale biomedische signaalfusie. Het framework integreert deep learning- en reinforcement learning-technieken om realtime fusie van ECG-, EEG- en medische beeldvormingsdata te optimaliseren. De sectie beschrijft ook de feature-extractie, training en datavoorbereidingsprocedures die in het voorgestelde model worden gebruikt.
Materialen
Alle experimenten werden uitgevoerd op een werkstation met een multi-core CPU, ≥32 GB RAM en een dedicated GPU (≥8 GB VRAM). De implementatieomgeving bestond uit Python (v3.9 of later), TensorFlow (v2.12) en Keras (v2.12). Reinforcement Learning-bibliotheken werden geïnstalleerd met pip install stable-baselines3. Het Stable-Baselines3-pakket18 biedt efficiënte implementaties van Reinforcement Learning-algoritmen, zoals Deep Q-Network (DQN) en Proximal Policy Optimisation (PPO).
Datasets
Het voorgestelde Hybrid Deep Reinforcement Learning (HDRL) framework werd geëvalueerd met behulp van drie publiek beschikbare biomedische datasets die multimodale signaaltypen vertegenwoordigen. (1) PhysioNet Challenge 2016: Een verzameling van 12-geleide ECG-opnames van patiënten met hartziekten, waaronder boezemfibrilleren, ventriculaire aritmie en ischemische hartziekte. De dataset bevat geannoteerde labels voor hartaandoeningen19. (2) CHB-MIT Scalp EEG Database: Een dataset van hoofdhuid-EEG-opnames wordt gebruikt voor het opsporen van epileptische aanvallen, met annotaties die aanvallen en niet-epileptische gebeurtenissen20 markeren. (3) OASIS-3 MRI-database: Een verzameling MRI-hersenbeelden en klinische beoordelingen wordt gebruikt voor de detectie en monitoring van de ziekte van Alzheimer21. Representatieve steekproeven van elke modaliteit tonen de inherente variabiliteit en ruiskenmerken aan die aanwezig zijn in multimodale biomedische data (Figuur 2).
Figuur 2: Voorbeelden van biomedische signalen van ECG, EEG en medische beeldvorming. Representatieve voorbeelden van ECG-golfvorm, EEG-signaal en een medische beeldvorming die de verschillende modaliteiten in de studie illustreren. Klik hier om een grotere versie van deze figuur te bekijken.
Datavoorverwerking
Elke modaliteit onderging modaliteitsspecifieke preprocessingprocedures om gestandaardiseerde inputrepresentatie te waarborgen. EEG- en ECG-signalen werden gefilterd met een Butterworth-banddoorlaatfilter van de vierde orde. Het frequentiebereik werd ingesteld op 0,5–40 Hz voor EEG en 0,5–45 Hz voor ECG. Samples werden opgedeeld in vensters van 5 seconden met 50% overlap. Elk signaal werd genormaliseerd door het te segmenteren om nul gemiddelde en eenheidsvariantie te bereiken. MRI-beelden werden verwerkt met schedelstripping en het FSL Brain Extraction Tool (BET). De beelden werden verkleind tot 224 × 224 pixels. Pixelintensiteiten werden genormaliseerd naar het [0,1]-bereik om de invoerverdelingen te standaardiseren.
Feature-extractie
Feature-extractie werd onafhankelijk uitgevoerd voor elke modaliteit met behulp van DNN's, zodat de unieke kenmerken van elke modaliteit effectief werden vastgelegd.
ECG- en EEG-extractoren:
Voor tijdreeks-signaalverwerking werd een 1D-Convolutioneel Neural Network (1D-CNN) architectuur gebruikt. De architectuur bestond uit (1) een invoerlaag (window_length, 1), (2) Conv1D-lagen met 64 filters en een kernelgrootte van 3, (3) ReLU-activatie, (4) MaxPooling1D met poolgrootte=2, (5) Flatten- en Dense-lagen (128 eenheden, ReLU). De voorlaatste representaties van dichte lagen werden geëxtraheerd als modaliteitsspecifieke featurevectoren.
MRI-feature-extractor
Een vooraf getraind tweedimensionaal CNN-model (bijv. VGG16 of ResNet50) werd fijn afgesteld om ruimtelijke kenmerken uit MRI-beelden te extraheren. De CNN werd getraind op de OASIS-3 dataset, waarbij de laatste lagen van het vooraf getrainde model werden aangepast om zich aan te passen aan de specifieke classificatietaak21. De laatste classificatielagen werden vervangen door taakspecifieke lagen, en hoog-niveau ruimtelijke kenmerken werden geëxtraheerd uit de voorlaatste laag 5,6.
Modelarchitectuur en training
Het voorgestelde Hybrid Deep Reinforcement Learning (HDRL) framework is ontwikkeld en getraind in twee opeenvolgende fasen: modaliteitsspecifieke feature-extractie gevolgd door reinforcement learning-gebaseerde fusie-optimalisatie. In de eerste fase werden afzonderlijke Convolutionele Neurale Netwerken (CNN's) getraind op gelabelde gegevens voor ECG-, EEG- en MRI-modaliteiten. De Adaptive Moment Estimation (Adam) optimizer met een leersnelheid van 0,001 en categorisch kruis-entropieverlies werd gebruikt tijdens begeleide training. Na convergentie werden hoog-niveau representaties geëxtraheerd uit de voorlaatste laag van elk CNN, wat modaliteitsspecifieke featurevectoren opleverde: FECG = CNNECG(XECG), FECG = CNNECG(XECG) en FMRI = CNNMRI(XMRI). Deze vectoren werden samengevoegd tot een uniforme multimodale representatie Fconcat = [FECG, FEEG, FMRI], die dient als input voor de Reinforcement Learning-fase.
Het fusieproces werd geformuleerd als een Markov Decision Process (MDP), waarbij de toestand s overeenkwam met de gekoppelde featurevector Fconcat, de actie de selectie van een fusiestrategie vertegenwoordigde (ofwel gewogen sommatie of directe concatenatie) en de beloning r werd gedefinieerd als de classificatienauwkeurigheid verkregen van een downstream classifier die op de gefuseerde features was getraind. De actie-waarde functie Q(s,a) werd benaderd met behulp van een Deep Q-Network (DQN), dat de verwachte cumulatieve beloning 
schatte. Modelparameters werden iteratief bijgewerkt volgens de regel.
waarbij α = 0,0001 de leersnelheid is, γ = 0,99 de disconteringsfactor is en s' de volgende toestand aanduidt.
Tijdens de optimalisatie van Reinforcement Learning werd het model getraind voor 1.000 afleveringen met een batchgrootte van 32. Er werd een epsilon-hebzuchtige strategie gehanteerd om exploratie en exploitatie in balans te brengen, met 
initialisatie op 1,0 en een afname van 0,995 per aflevering. Met kans werd een willekeurige fusiestrategie gekozen, terwijl bij kans 1 - , de strategie met de hoogste geschatte Q-waarde werd gekozen. Beloningsconvergentie werd gedurende de training gevolgd, met stabiele prestaties (>0,85 cumulatieve beloning) die doorgaans door ongeveer 500 episodes werden waargenomen.
De HDRL-workflow omvat het voorverwerken van multimodale signalen, het extraheren van modaliteitsspecifieke diepe features, het vormen van een uniforme toestandsrepresentatie, het selecteren van fusiestrategieën en het verbeteren van het beleid met behulp van classificatiefeedback van de DQN-agent. De interactie tussen CNN-gebaseerde feature extractors en de reinforcement learning-agent vormt een gesloten-lus adaptief fusiesysteem (Figuur 3), dat beleidsupdates mogelijk maakt op basis van beloningsfeedback.
Figuur 3: Stroomdiagram van de voorgestelde Hybrid Deep Reinforcement Learning (HDRL) workflow. Workflowdiagram dat modaliteitsspecifieke CNN-feature-extractie, feature-concatenatie, reinforcement learning-gebaseerde selectie van een fusionstrategie (DQN/PPO), downstreamclassificatie en beloningsgebaseerde beleidsupdate toont. Klik hier om een grotere versie van deze figuur te bekijken.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
De experimentele resultaten geven aan dat het voorgestelde Hybrid Deep Reinforcement Learning (HDRL)-model verbeterde prestaties behaalt voor multimodale biomedische signaalfusie. Het HDRL-model werd beoordeeld door het te valideren aan verschillende biomedische datasets uit de praktijk. De resultaten, op het gebied van robuustheid, aanpassingsvermogen en classificatienauwkeurigheid, tonen de superioriteit ten opzichte van andere traditionele fusiemethoden, zoals PCA en DNN-gebaseerde fu...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
Fusie-efficiëntie:
Deze sectie presenteert een vergelijkende analyse van fusie-efficiëntie tussen HDRL, PCA en DNN. De multimodale dataset, verkregen door EEG-, ECG- en MRI-gegevens te combineren van de PhysioNet Challenge 201619, CHB-MIT Scalp EEG Database20 en OASIS-3 MRI Database21, werd gebruikt om de fusie-efficiëntie te berekenen. Verwerkingstijd is een cruciale parameter in realtime klinisc...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs verklaren dat er geen belangenconflicten zijn met betrekking tot dit werk.
Dankbetuigingen
Het onderzoek werd gedeeltelijk uitgevoerd in het gebouw van het Paleis van Wetenschap, Miodrag Kostić Endowment - Centrum voor Toegepaste Kunstmatige Intelligentie. Dit onderzoek werd ondersteund door EUROHPC-JU, Subsidie nr. 101191697, EuroCC4SEE.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Butterworth Filter (4de orde, SciPy implementatie) | SciPy Community | N/A | EEG/ECG signaal voorverwerking |
| CHB-MIT Scalp EEG Database | PhysioNet | DOI: 10.13026/C2K01R | EEG dataset |
| FSL Brain Extraction Tool (BET) | FMRIB Software Library (FSL) | N/A | MRI schedel strippen |
| Keras (v2.12) | Google LLC | N/A | High-level neural network API |
| NVIDIA GPU (≥8 GB VRAM) | NVIDIA Corporation | Model-afhankelijk | Vereist voor versnelde deep learning training |
| OASIS-3 MRI Database | Washington University | DOI: 10.1002/alz.047259 | MRI dataset |
| PhysioNet Challenge 2016 Dataset | PhysioNet | DOI: 10.22489/CinC.2016.179-154 | ECG dataset |
| Python (v3.9 of later) | Python Software Foundation | N/A | Programmeeromgeving |
| Stable-Baselines3 | DLR-RM (Open-source) | N/A | Reinforcement learning implementatie (DQN, PPO) |
| TensorFlow (v2.12) | Google LLC | N/A | Deep learning framework |
| Workstation (Multi-core CPU, ≥32 GB RAM, ≥8 GB GPU) | Custom-built / Local Vendor | N/A | Gebruikt voor model training en experimenten |
Referenties
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.