Questa ricerca propone un framework ibrido di deep reinforcement learning (HDRL) che integra reti neurali profonde (DNN) per l'estrazione delle caratteristiche con l'apprendimento per rinforzo (RL) per la fusione dinamica multimodale del segnale. Valutato su dataset biomedici, eccelle per accuratezza, robustezza e rilevamento di eventi rari, offrendo applicazioni importanti nella medicina personalizzata e nella classificazione delle malattie.
Articolo di ricerca
Apprendimento ibrido per rinforzo profondo per la fusione multimodale del segnale biomedico
In questo articolo
Sommario
Abstract
Migliorare il processo decisionale e la precisione diagnostica nell'assistenza sanitaria richiede la combinazione di segnali biomedici multimodali come elettrocardiogrammi (ECG), elettroencefalogrammi (EEG) e imaging medico. Le tecniche tradizionali di fusione del segnale affrontano sfide significative a causa della variabilità del segnale e della complessità intrinseca. Proponiamo un modello ibrido di Deep Reinforcement Learning (HDRL) che impiega Deep Neural Networks (DNN) per l'estrazione delle caratteristiche e il Reinforcement Learning (RL) per l'ottimizzazione della fusione dinamica. Questo modello ibrido utilizza feedback in tempo reale per ottimizzare l'apprendimento delle politiche di fusione e adattarsi alle caratteristiche variabili dei dati. Per valutarne le prestazioni, il modello proposto è stato confrontato con tecniche di fusione convenzionali, come i metodi basati su Reti Neurali Profonde e l'Analisi dei Componenti Principali (PCA). Il modello ibrido di deep reinforcement learning è stato testato su diversi dataset biomedici reali. Il modello proposto è applicabile alla medicina personalizzata e alla classificazione delle malattie, poiché le evidenze sperimentali dimostrano un miglioramento delle prestazioni in termini di robustezza in condizioni rumorose, accuratezza della classificazione e rilevamento di eventi rari. La metodologia proposta, oltre a rispondere alle preoccupazioni relative alle tecniche tradizionali di fusione del segnale, offre soluzioni promettenti che promuovono l'elaborazione multimodale del segnale biomedico. Il modello utilizza un DNN per il feature mining e RL agents (DQN, PPO) per l'ottimizzazione delle policy.
Introduzione
L'assistenza sanitaria moderna si basa sempre più sull'integrazione di diverse fonti di dati biomedici per migliorare l'accuratezza diagnostica e il processo decisionale clinico. Segnali fisiologici come elettrocardiogrammi (ECG), elettroencefalogrammi (EEG) e modalità di imaging medico come risonanza magnetica (MRI) e tomografia computerizzata (TC) forniscono informazioni fisiologiche complementari che supportano la diagnosi della malattia e il trattamento personalizzato. Tuttavia, i segnali biomedici sono intrinsecamente complessi e spesso contengono rumore, valori mancanti e strutture ad alta dimensione, rendendo difficile la loro analisi e interpretazione. La fusione multimodale del segnale biomedico, che integra informazioni provenienti da molteplici flussi di dati fisiologici, è quindi diventata un approccio importante per migliorare le prestazioni diagnostiche, aumentare la robustezza alle variazioni nella qualità dei dati e consentire un monitoraggio completo del paziente in ambienti clinici come le unità di terapia intensiva (ICU)1.
I metodi tradizionali di fusione multimodale del segnale si sono basati in gran parte su tecniche statistiche e lineari. L'Analisi delle Componenti Principali (PCA) riduce la dimensionalità dei dati trasformando i segnali in componenti ortogonali, mentre l'Analisi di Correlazione Canonica (CCA) identifica relazioni lineari tra modalità per allineare datasetmultimodali 2. Queste tecniche sono state applicate con successo in contesti di fusione multimodalebiomedica 3. Tuttavia, la loro dipendenza da assunzioni lineari limita la loro capacità di catturare complesse relazioni non lineari che spesso esistono tra segnali fisiologici. In pratica, i dati biomedici raramente sono puramente lineari. I metodi convenzionali di fusione multimodale spesso non riescono a catturare interazioni significative tra le modalità a causa di queste dipendenze nonlineari 4,5. Di conseguenza, i metodi di fusione convenzionali potrebbero non riuscire a catturare interazioni significative tra le modalità, limitandone l'efficacia in compiti come la diagnosi delle malattie e il processo decisionale clinico in tempo reale.
I recenti progressi nel deep learning hanno trasformato significativamente l'elaborazione dei segnali biomedici permettendo alle reti neurali di estrarre automaticamente rappresentazioni gerarchiche dai dati grezzi. Le Reti Neurali Convoluzionali (CNN) hanno dimostrato forti prestazioni nell'analisi dei pattern spaziali nelle immaginimediche 5,6. Sono state utilizzate architetture CNN multimodali per integrare modalità di imaging come MRI e TC per migliorare la precisionediagnostica 3. Analogamente, le Reti Neurali Ricorrenti (RNN) e le reti di Long Short-Term Memory (LSTM) sono state applicate a segnali biomedici sequenziali, inclusi ECG ed EEG, per compiti di classificazionedelle malattie 7. Nonostante questi progressi, molti approcci di fusione basati sul deep learning si basano su strategie di fusione fisse, come la concatenazione di caratteristiche o la media ponderata. Questi meccanismi di fusione statica non si adattano efficacemente alle variazioni di qualità del segnale. In ambienti clinici reali, i segnali possono degradarsi a causa di artefatti di movimento, spostamento di elettrodi, distorsione o rumore ambientale. Tali variazioni possono ridurre l'affidabilità delle singole modalità e influire negativamente sull'intero processo di fusione. Affrontare queste sfide richiede strategie di fusione adattiva in grado di rispondere a condizioni dinamiche di dati in ambienti cliniciin tempo reale 8.
L'Apprendimento per Rinforzo (RL) fornisce un potente quadro per il processo decisionale sequenziale in ambienti incerti. In RL, un agente impara a selezionare azioni che massimiziano la ricompensa cumulativa attraverso le interazioni con il suo ambiente. Questo processo decisionale è comunemente formulato utilizzando l'equazione di Bellman, che definisce il valore di uno stato come la somma della ricompensa immediata e del valore scontato delle ricompense future9. Metodi come le Deep Q-Networks (DQN) estendono l'apprendimento per rinforzo a problemi ad alta dimensione approssimando la funzione azione-valore con reti neuraliprofonde 10. Analogamente, i metodi di apprendimento profondo per rinforzo basati su policy consentono apprendimento delle policy stabile ed efficiente attraverso aggiornamenti iterativi della policy11 dell'agente. Le tecniche di reinforcement learning sono già state esplorate in diverse applicazioni sanitarie, tra cui l'ottimizzazione del trattamento e la rilevazionedi anomalie 12, ma la loro applicazione alla fusione adattiva multimodale del segnale rimane relativamente limitata.
L'Hybrid Deep Reinforcement Learning (HDRL) integra il deep learning con il reinforcement learning per combinare l'estrazione delle funzionalità e il processo decisionale adattivo. In questo contesto, le reti neurali profonde trasformano segnali biomedici multimodali in rappresentazioni di caratteristiche di alto livello, mentre gli agenti di apprendimento per rinforzo selezionano dinamicamente strategie di fusione in base alle prestazioni delcompito 4. Questo meccanismo adattivo consente al sistema di rispondere alle variazioni nella qualità del segnale e nella disponibilità della modalità, consentendo un funzionamento più robusto in ambienti clinici complessi come il monitoraggio delle ICU e i sistemi diagnosticiindossabili 8.
Oltre agli approcci classici di apprendimento per rinforzo, sono state esplorate diverse tecniche di apprendimento ibrido che combinano logica fuzzy, algoritmi genetici e apprendimento per rinforzo per compiti di classificazione biomedica. Ad esempio, l'apprendimento Fuzzy Q combinato con algoritmi genetici è stato applicato alla classificazione delle crisi epilettiche utilizzando segnali EEG, dimostrando una migliore adattabilità a schemi temporaliincerti 13. Analogamente, approcci evolutivi basati su reticoli fuzzy sono stati proposti per la classificazione delle malattie polmonari utilizzando immaginimediche 14. Altri studi hanno studiato approcci basati sull'apprendimento per il rinforzo per il riconoscimento delle crisiepilettiche 15 e classificatori Q-learning sfocati modificati per rilevare polmonite e tubercolosi dalle immagini a raggi Xtoraciche 16. Sebbene questi studi dimostrino il potenziale dei metodi di apprendimento ibrido nell'analisi biomedica, la maggior parte degli approcci esistenti si concentra sulla classificazione a modalità singola piuttosto che sulla fusione multimodale del segnale.
Gli sviluppi recenti nel machine learning multimodale hanno anche esplorato architetture basate su transformer per applicazioni mediche cross-modali. Questi modelli hanno mostrato prestazioni promettenti in compiti come la sintesi di immagini sanitarie e l'analisi di dataset biomedici eterogenei, in cui una o più modalità possono essere incomplete omancanti di 17. Tuttavia, anche con questi progressi, la necessità di meccanismi di fusione adattivi che rispondano dinamicamente alle variazioni nei dati multimodali rimane una sfida di ricerca importante.
In questo lavoro viene proposto un framework di Hybrid Deep Reinforcement Learning (HDRL) per la fusione multimodale del segnale biomedico. Modelli CNN specifici per modalità vengono utilizzati per estrarre caratteristiche dai dati ECG, EEG e MRI, che vengono poi combinati per formare una rappresentazione multimodale unificata. Un agente Deep Q-Network (DQN) seleziona dinamicamente strategie di fusione, come la concatenazione delle caratteristiche o la combinazione pesata, in base allo stato attuale delle feature. Un classificatore a valle fornisce un segnale di ricompensa basato sulle prestazioni di classificazione, permettendo all'agente di apprendimento per rinforzo di ottimizzare la politica di fusione attraverso un feedback continuo. Questo quadro adattivo permette al modello di adattarsi alle variazioni nella qualità del segnale e nella disponibilità di modalità. L'approccio proposto viene valutato utilizzando i dataset PhysioNet 2016, CHB-MIT EEG e OASIS-3 ed è confrontato con tecniche convenzionali di fusione basate su PCA e deep learning.
Figura 1: Diagramma a blocchi che illustra l'architettura del sistema proposto di fusione multimodale del segnale basato su HDRL. Rappresentazione schematica del framework di fusione multimodale che mostra ECG, EEG e input di immagini mediche processati tramite estrattori di caratteristiche di reti neurali profonde, seguita da fusione adattiva basata sull'apprendimento per rinforzo e feedback di ricompensa. Clicca qui per visualizzare una versione più grande di questa figura.
L'architettura del framework proposto per la fusione multimodale del segnale è illustrata nella Figura 1. In questa architettura, i modelli CNN specifici per modalità estraggono indipendentemente caratteristiche dai segnali ECG, EEG e MRI. Queste caratteristiche vengono poi combinate in una rappresentazione unificata, che l'agente di apprendimento per rinforzo utilizza per determinare la strategia di fusione ottimale.
L'elaborazione del segnale biomedico svolge un ruolo cruciale nell'assistenza sanitaria moderna, consentendo una diagnosi, un monitoraggio e una pianificazione accurata del trattamento attraverso l'analisi dei segnali fisiologici ottenuti da molteplici modalità. L'integrazione di segnali come ECG, EEG e dati di imaging medico richiede tecniche di fusione sofisticate che catturano informazioni complementari da diverse fonti. La Tabella 1 riassume gli approcci di fusione multimodale del segnale comunemente utilizzati, incluse le loro caratteristiche chiave, vantaggi e limitazioni, e evidenzia la motivazione per il framework proposto basato su HDRL.
| Metodo | Caratteristiche principali | Vantaggi | Limitazioni |
| PCA | Riduzione della dimensionalità lineare | Veloce, semplice | Limitato a relazioni lineari |
| DNN | Apprendimento delle caratteristiche non lineare | Cattura schemi complessi | Strategia di fusione fissa |
| DRL | Apprendimento dinamico delle politiche | Si adatta ai dati | Alto calcolo |
| HDRL | DNN + RL ibrido | Adattivo, robusto, efficiente | Richiede una messa a punto attenta |
Tabella 1: Confronto dei metodi di fusione multimodale. Riepilogo degli approcci di fusione multimodale del segnale comunemente utilizzati, illustrandone le caratteristiche chiave, i vantaggi e i limiti.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Protocollo
Questo protocollo descrive l'implementazione passo dopo passo del modello Hybrid Deep Reinforcement Learning (HDRL) per la fusione multimodale del segnale biomedico. Il framework integra tecniche di deep learning e reinforcement learning per ottimizzare la fusione in tempo reale di ECG, EEG e dati di imaging medico. La sezione illustra anche le procedure di estrazione delle caratteristiche, addestramento e preparazione dei dati utilizzate nel modello proposto.
Materiali
Tutti gli esperimenti sono stati condotti su una workstation con CPU multi-core, ≥32 GB di RAM e una GPU dedicata (≥8 GB di VRAM). L'ambiente di implementazione era composto da Python (v3.9 o successiva), TensorFlow (v2.12) e Keras (v2.12). Le librerie di apprendimento per rinforzo venivano installate utilizzando pip install stable-baselines3. Il pacchetto Stable-Baselines318 fornisce implementazioni efficienti di algoritmi di Reinforcement Learning, come Deep Q-Network (DQN) e Proximal Policy Optimization (PPO).
Dataset
Il framework proposto per l'Hybrid Deep Reinforcement Learning (HDRL) è stato valutato utilizzando tre dataset biomedici pubblicamente disponibili che rappresentano tipi di segnali multimodali. (1) PhysioNet Challenge 2016: Una raccolta di registrazioni ECG a 12 derivazioni di pazienti con malattie cardiache, inclusa fibrillazione atriale, aritmia ventricolare e cardiopatia ischemica. Il dataset include etichette annotate per le patologiecardiache 19. (2) Database EEG del cuoio capelluto CHB-MIT: Un dataset di registrazioni EEG del cuoio capelluto viene utilizzato per la rilevazione delle crisi epilettiche, con annotazioni che segnano gli eventi epiletticie non epilettiche 20. (3) Database OASIS-3 MRI: Una raccolta di immagini cerebrali e valutazioni cliniche per la risonanza magnetica è utilizzata per la rilevazione e il monitoraggio della malattiadi Alzheimer 21. Campioni rappresentativi di ciascuna modalità dimostrano la variabilità intrinseca e le caratteristiche di rumore presenti nei dati biomedici multimodali (Figura 2).
Figura 2: Campionare i segnali biomedici da ECG, EEG e imaging medico. Esempi rappresentativi di forma d'onda ECG, segnale EEG e una scansione di imaging medico che illustrano le diverse modalità utilizzate nello studio. Clicca qui per visualizzare una versione più grande di questa figura.
Preprocessing dei dati
Ogni modalità ha subito procedure di pre-elaborazione specifiche per modalità per garantire una rappresentazione standardizzata degli input. I segnali EEG ed ECG venivano filtrati utilizzando un filtro passa-banda Butterworth di quarto ordine. La gamma di frequenze era impostata a 0,5–40 Hz per l'EEG e 0,5–45 Hz per l'ECG. I campioni sono stati suddivisi in finestre di 5 secondi con il 50% di sovrapposizione. Ogni segnale veniva normalizzato segmentandolo per ottenere media zero e varianza unitaria. Le immagini MRI sono state elaborate utilizzando lo scrampiamento del cranio con lo strumento FSL Brain Extraction Tool (BET). Le immagini sono state ridimensionate a 224 × 224 pixel. Le intensità dei pixel sono state normalizzate all'intervallo [0,1] per standardizzare le distribuzioni di input.
Estrazione delle caratteristiche
L'estrazione delle caratteristiche è stata effettuata indipendentemente per ciascuna modalità utilizzando DNN, assicurando che le caratteristiche uniche di ciascuna modalità fossero catturate efficacemente.
Estrattori di caratteristiche ECG e EEG:
Fu impiegata un'architettura 1-D Convolutional Neural Network (1D-CNN) per l'elaborazione del segnale in serie temporale. L'architettura consisteva in (1) un livello di input (window_length, 1), (2) strati Conv1D con 64 filtri e una dimensione del kernel di 3, (3) attivazione ReLU, (4) MaxPooling1D con dimensione pool=2, (5) strati Flatten e Dense (128 unità, ReLU). Le rappresentazioni degli strati penultimi densi sono state estratte come vettori di caratteristiche specifiche per modalità.
Estrattore di caratteristiche per risonanza magnetica
Un modello CNN bidimensionale pre-addestrato (ad esempio VGG16 o ResNet50) è stato finemente calibrato per estrarre caratteristiche spaziali dalle immagini MRI. La CNN è stata addestrata sul dataset OASIS-3, con gli ultimi strati del modello pre-addestrato modificati per adattarsi al compito diclassificazione specifico 21. I livelli finali di classificazione sono stati sostituiti con strati specifici per compito, e le caratteristiche spaziali di alto livello sono state estratte dal penultimo livello 5,6.
Architettura dei modelli e addestramento
Il framework proposto per l'Hybrid Deep Reinforcement Learning (HDRL) è stato sviluppato e addestrato in due fasi sequenziali: estrazione delle caratteristiche specifiche per modalità seguita da ottimizzazione della fusione basata sull'apprendimento per rinforzo. Nella prima fase, sono state addestrate reti neurali convoluzionali (CNN) separate su dati etichettati per le modalità ECG, EEG e MRI. L'ottimizzatore Adaptive Moment Estimation (Adam) con un tasso di apprendimento di 0,001 e perdita categorica di entropia incrociata è stato impiegato durante l'addestramento supervisionato. Dopo la convergenza, rappresentazioni di alto livello sono state estratte dallo strato penultimo di ciascuna CNN, producendo vettori di caratteristiche specifiche per modalità FECG = CNNECG(XECG), FECG = CNNECG(XECG) e FMRI =CNN MRI(XMRI). Questi vettori sono stati concatenati per formare una rappresentazione multimodale unificata Fconcat = [FECG, FEEG,F MRI], che funge da input per la fase di Apprendimento per Rinforzo.
Il processo di fusione è stato formulato come un Processo Decisionale di Markov (MDP), dove lo stato s corrispondeva al concatto del vettore di caratteristiche concatenato F, l'azione rappresentava la selezione di una strategia di fusione (somma ponderata o concatenazione diretta) e la ricompensa r era definita come l'accuratezza della classificazione ottenuta da un classificatore a valle addestrato sulle caratteristiche fuse. La funzione azione-valore Q(s,a) è stata approssimata usando una Deep Q-Network (DQN), che ha stimato la ricompensa 
cumulativa attesa. I parametri del modello venivano aggiornati iterativamente secondo la regola.
dove α = 0,0001 è il tasso di apprendimento, γ = 0,99 è il fattore di sconto e s' indica lo stato successivo.
Durante l'ottimizzazione del Reinforcement Learning, il modello è stato addestrato per 1.000 episodi con una dimensione di lotto di 32. È stata adottata una strategia epsilon avida per bilanciare esplorazione e sfruttamento, 
con un valore iniziale a 1.0 e un decadimento di 0,995 per episodio. Con probabilità , è stata selezionata una strategia di fusione casuale, mentre con probabilità 1 - , è stata scelta la strategia con il valore Q stimato più alto. La convergenza della ricompensa è stata monitorata durante l'addestramento, con prestazioni stabili (>0,85 di ricompensa cumulativa) tipicamente osservate con circa 500 episodi.
Il flusso di lavoro HDRL prevede la pre-elaborazione di segnali multimodali, l'estrazione di caratteristiche profonde specifiche per modalità, la formazione di una rappresentazione di stato unificata, la selezione delle strategie di fusione e il miglioramento della politica utilizzando il feedback di classificazione dell'agente DQN. L'interazione tra estratori di caratteristiche basati su CNN e l'agente di apprendimento per rinforzo forma un sistema di fusione adattiva a ciclo chiuso (Figura 3), che consente aggiornamenti di policy basati sul feedback di ricompensa.
Figura 3: Diagramma di flusso del flusso di lavoro proposto di Hybrid Deep Reinforcement Learning (HDRL). Diagramma del workflow che mostra l'estrazione di caratteristiche CNN specifiche per modalità, la concatenazione di caratteristiche, la selezione basata su apprendimento per rinforzo di una strategia di fusione (DQN/PPO), la classificazione a valle e l'aggiornamento delle politiche basate su ricompense. Clicca qui per visualizzare una versione più grande di questa figura.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Risultati
I risultati sperimentali indicano che il modello proposto di Hybrid Deep Reinforcement Learning (HDRL) raggiunge prestazioni migliorate per la fusione multimodale del segnale biomedico. Il modello HDRL è stato valutato validandolo rispetto a diversi dataset biomedici reali. I risultati, in termini di robustezza, adattabilità e accuratezza nella classificazione, ne dimostrano la superiorità rispetto ad altri metodi tradizionali di fusione, come la fusione basata su PCA e DNN.
Configuraz...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Discussione
Efficienza della fusione:
Questa sezione presenta un'analisi comparativa dell'efficienza della fusione tra HDRL, PCA e DNN. Il dataset multimodale, ottenuto fondendo dati EEG, ECG e MRI dal PhysioNet Challenge2016-19, dal CHB-MIT Scalp EEG Database20 e dal database OASIS-3 MRI21, è stato utilizzato per calcolare l'efficienza della fusione. Il tempo di elaborazione è un parametro critico nelle applicazioni cliniche in tempo reale c...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Dichiarazioni
Gli autori dichiarano che non ci sono conflitti di interesse legati a questo lavoro.
Ringraziamenti
La ricerca è stata condotta in parte nei quartieri del Palazzo delle Scienze, Miodrag Kostić Endowment - Centro per l'Intelligenza Artificiale Applicata. Questa ricerca è stata supportata da EUROHPC-JU, Grant n. 101191697, EuroCC4SEE.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Materiali
| Nome | Azienda | Numero di catalogo | Commenti |
|---|---|---|---|
| Filtro Butterworth (4° ordine, implementazione SciPy) | Comunità SciPy | N/A | Pre-elaborazione del segnale EEG/ECG |
| Database EEG del cuoio capelluto CHB-MIT | PhysioNet | DOI: 10.13026/C2K01R | Dataset EEG |
| Strumento di Estrazione del Cervello FSL (BET) | Libreria Software FMRIB (FSL) | N/A | Risonanza magnetica del cranio |
| Keras (v2.12) | Google LLC | N/A | API di reti neurali di alto livello |
| NVIDIA GPU (≥ 8 GB di VRAM) | NVIDIA Corporation | Dipendente dal modello | Richiesto per l'addestramento accelerato al deep learning |
| OASIS-3 MRI Database | Università di Washington | DOI: 10.1002/alz.047259 | Set di dati MRI |
| PhysioNet Challenge 2016 Dataset | PhysioNet | DOI: 10.22489/CinC.2016.179-154 | Dataset ECG |
| Python (v3.9 o successiva) | Python Software Foundation | N/A | Ambiente di programmazione |
| Stabili-Baselines3 | DLR-RM (Open source) | N/A | Implementazione dell'apprendimento per rinforzo (DQN, PPO) |
| TensorFlow (v2.12) | Google LLC | N/A | Framework per il deep learning |
| Workstation (CPU multi-core, ≥ 32 GB di RAM, ≥ GPU 8 GB) | Fornitore su misura / Locale | N/A | Utilizzato per l'addestramento e la sperimentazione dei modelli |
Riferimenti
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Ristampe e permessi
Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE
Richiedi permesso