Cette recherche propose un cadre hybride d’apprentissage par renforcement profond (HDRL) qui intègre des réseaux de neurones profonds (DNN) pour l’extraction de caractéristiques avec l’apprentissage par renforcement (RL) pour la fusion dynamique multimodale du signal. Évalué sur des ensembles de données biomédicales, il excelle par sa précision, sa robustesse et sa détection d’événements rares, offrant des applications majeures en médecine personnalisée et classification des maladies.
Un abonnement JoVE est requis pour visualiser ce contenu. Connectez-vous ou commencez votre période d'essai gratuite.
Article de recherche
Apprentissage hybride par renforcement profond pour la fusion multimodale du signal biomédical
Dans cet article
Résumé
Résumé
Améliorer la prise de décision et la précision diagnostique en soins de santé nécessite de combiner des signaux biomédicaux multimodaux tels que les électrocardiogrammes (ECG), les électroencéphalogrammes (EEG) et l’imagerie médicale. Les techniques traditionnelles de fusion du signal rencontrent des défis importants en raison de la variabilité du signal et de leur complexité inhérente. Nous proposons un modèle hybride d’apprentissage par renforcement profond (HDRL) qui utilise des réseaux de neurones profonds (DNN) pour l’extraction de caractéristiques et l’apprentissage par renforcement (RL) pour l’optimisation de la fusion dynamique. Ce modèle hybride utilise un retour en temps réel pour optimiser l’apprentissage des politiques de fusion et s’adapter aux différentes caractéristiques des données. Pour évaluer ses performances, le modèle proposé a été comparé aux techniques de fusion conventionnelles, telles que les méthodes basées sur les réseaux de neurones profonds et l’analyse des composantes principales (PCA). Le modèle hybride d’apprentissage par renforcement profond a été testé sur plusieurs ensembles de données biomédicales réels. Le modèle proposé est applicable à la médecine personnalisée et à la classification des maladies, car les preuves expérimentales démontrent une amélioration des performances en termes de robustesse dans des conditions bruitantes, de précision de classification et de détection d’événements rares. La méthodologie proposée, en plus de répondre aux préoccupations liées aux techniques traditionnelles de fusion du signal, propose des solutions prometteuses qui font progresser le traitement multimodal du signal biomédical. Le modèle utilise un DNN pour l’extraction de caractéristiques et des agents RL (DQN, PPO) pour l’optimisation des politiques.
Introduction
La santé moderne repose de plus en plus sur l’intégration de sources de données biomédicales diverses pour améliorer la précision diagnostique et la prise de décision clinique. Des signaux physiologiques tels que les électrocardiogrammes (ECG), les électroencéphalogrammes (EEG) et les modalités d’imagerie médicale telles que l’imagerie par résonance magnétique (IRM) et la tomodensitométrie (CT) fournissent des informations physiologiques complémentaires qui soutiennent le diagnostic de la maladie et le traitement personnalisé. Cependant, les signaux biomédicaux sont intrinsèquement complexes et contiennent souvent du bruit, des valeurs manquantes et des structures de haute dimension, rendant leur analyse et leur interprétation difficiles. La fusion multimodale du signal biomédical, qui intègre des informations provenant de multiples flux de données physiologiques, est donc devenue une approche importante pour améliorer la performance diagnostique, renforcer la robustesse face aux variations de qualité des données et permettre une surveillance complète des patients dans des environnements cliniques tels que les unités de soins intensifs (USI)1.
Les méthodes traditionnelles de fusion multimodale du signal se sont largement appuyées sur des techniques statistiques et linéaires. L’analyse des composantes principales (ACP) réduit la dimensionnalité des données en transformant les signaux en composantes orthogonales, tandis que l’analyse de corrélation canonique (ACC) identifie des relations linéaires entre les modalités pour aligner les ensembles de donnéesmultimodaux 2. Ces techniques ont été appliquées avec succès dans des contextes biomédicaux de fusionmultimodale 3. Cependant, leur dépendance à des hypothèses linéaires limite leur capacité à capturer des relations non linéaires complexes qui existent souvent entre les signaux physiologiques. En pratique, les données biomédicales sont rarement purement linéaires. Les méthodes conventionnelles de fusion multimodale échouent souvent à capturer des interactions significatives entre modalités en raison de ces dépendances nonlinéaires 4,5. En conséquence, les méthodes de fusion conventionnelles peuvent ne pas capturer des interactions significatives entre les modalités, limitant leur efficacité dans des tâches telles que le diagnostic des maladies et la prise de décision clinique en temps réel.
Les avancées récentes en apprentissage profond ont profondément transformé le traitement du signal biomédical en permettant aux réseaux neuronaux d’extraire automatiquement des représentations hiérarchiques à partir de données brutes. Les réseaux neuronaux convolutionnels (CNN) ont démontré de solides performances dans l’analyse des motifs spatiaux dans les imagesmédicales 5,6. Des architectures CNN multimodales ont été utilisées pour intégrer des modalités d’imagerie telles que l’IRM et le scanner afin d’améliorer la précisiondiagnostique 3. De même, les réseaux de neurones récurrents (RNN) et les réseaux de mémoire longue et courte durée (LSTM) ont été appliqués aux signaux biomédicaux séquentiels, y compris l’ECG et l’EEG, pour les tâches de classificationdes maladies 7. Malgré ces avancées, de nombreuses approches de fusion basées sur l’apprentissage profond reposent sur des stratégies de fusion fixes, telles que la concaténation de caractéristiques ou la moyenne pondérée. Ces mécanismes de fusion statique ne s’adaptent pas efficacement aux variations de qualité du signal. Dans des environnements cliniques réels, les signaux peuvent se dégrader en raison d’artefacts de mouvement, de déplacement d’électrodes, de distorsion ou de bruit environnemental. De telles variations peuvent réduire la fiabilité des modalités individuelles et impacter négativement le processus global de fusion. Relever ces défis nécessite des stratégies de fusion adaptative capables de répondre à des conditions dynamiques de données dans des environnements cliniques entemps réel 8.
L’apprentissage par renforcement (RL) offre un cadre puissant pour la prise de décision séquentielle dans des environnements incertains. En RL, un agent apprend à sélectionner des actions qui maximisent la récompense cumulative grâce aux interactions avec son environnement. Ce processus de prise de décision est couramment formulé à l’aide de l’équation de Bellman, qui définit la valeur d’un état comme la somme de la récompense immédiate et de la valeur actualisée des récompensesfutures 9. Des méthodes telles que les Deep Q-Networks (DQN) étendent l’apprentissage par renforcement à des problèmes de haute dimension en approximant la fonction de valeur d’action avec des réseaux de neuronesprofonds 10. De même, les méthodes d’apprentissage par renforcement profond basées sur les politiques permettent un apprentissage des politiques stable et efficace grâce à des mises à jour itératives de la politique11 de l’agent. Les techniques d’apprentissage par renforcement ont déjà été explorées dans plusieurs applications de santé, notamment l’optimisation des traitements et la détectiond’anomalies 12, mais leur application à la fusion multimodale adaptative reste relativement limitée.
L’apprentissage par renforcement profond hybride (HDRL) intègre l’apprentissage profond avec l’apprentissage par renforcement pour combiner l’extraction de fonctionnalités et la prise de décision adaptative. Dans ce cadre, les réseaux de neurones profonds transforment les signaux biomédicaux multimodaux en représentations de caractéristiques de haut niveau, tandis que les agents d’apprentissage par renforcement sélectionnent dynamiquement des stratégies de fusion en fonction de la performance de latâche 4. Ce mécanisme adaptatif permet au système de répondre aux variations de qualité du signal et de disponibilité des modalités, permettant un fonctionnement plus robuste dans des environnements cliniques complexes tels que la surveillance en réanimation et les systèmes de diagnosticportables 8.
En plus des approches classiques d’apprentissage par renforcement, plusieurs techniques d’apprentissage hybride combinant la logique floue, les algorithmes génétiques et l’apprentissage par renforcement ont été explorées pour des tâches de classification biomédicale. Par exemple, l’apprentissage du Q flou combiné aux algorithmes génétiques a été appliqué à la classification des crises épileptiques à l’aide de signaux EEG, démontrant une meilleure adaptabilité aux schémas temporelsincertains 13. De même, des approches d’apprentissage évolutif basées sur le réseau flou ont été proposées pour la classification des maladies pulmonaires à l’aide d’imagesmédicales 14. D’autres études ont étudié des approches basées sur l’apprentissage par renforcement pour la reconnaissance des crises15 et des classificateurs Q-learning flous modifiés pour détecter la pneumonie et la tuberculose à partir d’images radiographiquespulmonaires 16. Bien que ces études démontrent le potentiel des méthodes d’apprentissage hybrides en analyse biomédicale, la plupart des approches existantes se concentrent sur la classification monomodale plutôt que sur la fusion multimodale du signal.
Les développements récents dans l’apprentissage automatique multimodal ont également exploré des architectures basées sur des transformateurs pour des applications médicales intermodales. Ces modèles ont montré des performances prometteuses dans des tâches telles que la synthèse d’images de santé et l’analyse de jeux de données biomédicales hétérogènes dans lesquelles une ou plusieurs modalités peuvent être incomplètes oumanquantes de 17. Cependant, même avec ces avancées, la nécessité de mécanismes de fusion adaptatifs qui répondent dynamiquement aux variations des données multimodales reste un défi de recherche important.
Dans ce travail, un cadre hybride d’apprentissage par renforcement profond (HDRL) pour la fusion multimodale du signal biomédical est proposé. Des modèles CNN spécifiques à chaque modalité sont utilisés pour extraire des caractéristiques des données ECG, EEG et IRM, qui sont ensuite combinées pour former une représentation multimodale unifiée. Un agent Deep Q-Network (DQN) sélectionne dynamiquement les stratégies de fusion, telles que la concaténation des caractéristiques ou la combinaison pondérée, selon l’état actuel des caractéristiques. Un classificateur en aval fournit un signal de récompense basé sur la performance de classification, permettant à l’agent d’apprentissage par renforcement d’optimiser la politique de fusion grâce à une rétroaction continue. Ce cadre adaptatif permet au modèle de s’adapter aux variations de qualité du signal et de disponibilité des modalités. L’approche proposée est évaluée à l’aide des ensembles de données PhysioNet 2016, CHB-MIT EEG et OASIS-3, et est comparée aux techniques conventionnelles de fusion basées sur PCA et apprentissage profond.
Figure 1 : Diagramme en blocs illustrant l’architecture du système de fusion multimodale de signal basé sur le HDRL proposé. Représentation schématique du cadre de fusion multimodale montrant l’ECG, l’EEG et les entrées d’images médicales traitées via des extracteurs de caractéristiques profonds de réseaux neuronaux, suivis d’une fusion adaptative basée sur l’apprentissage par renforcement et du retour de récompense. Veuillez cliquer ici pour voir une version agrandie de cette figurine.
L’architecture du cadre proposé de fusion multimodale du signal est illustrée à la Figure 1. Dans cette architecture, les modèles CNN spécifiques à chaque modalité extraient indépendamment des caractéristiques des signaux ECG, EEG et IRM. Ces caractéristiques sont ensuite combinées en une représentation unifiée, que l’agent d’apprentissage par renforcement utilise pour déterminer la stratégie de fusion optimale.
Le traitement du signal biomédical joue un rôle crucial dans les soins de santé modernes en permettant un diagnostic, une surveillance et une planification de traitement précis grâce à l’analyse des signaux physiologiques obtenus à partir de multiples modalités. L’intégration de signaux tels que l’ECG, l’EEG et les données d’imagerie médicale nécessite des techniques de fusion sophistiquées qui capturent des informations complémentaires provenant de différentes sources. Le tableau 1 résume les approches de fusion multimodale du signal couramment utilisées, y compris leurs caractéristiques clés, avantages et limites, et met en lumière la motivation du cadre proposé basé sur le HDRL.
| Méthode | Caractéristiques clés | Avantages | Limitations |
| PCA | Réduction linéaire de dimensionnalité | Rapide, simple | Limité aux relations linéaires |
| DNN | Apprentissage des caractéristiques non linéaires | Capture des motifs complexes | Stratégie de fusion fixe |
| DRL | Apprentissage dynamique des politiques | Adaptation aux données | Calcul élevé |
| HDRL | DNN + RL hybride | Adaptatif, robuste, efficace | Nécessite un réglage soigneux |
Tableau 1 : Comparaison des méthodes de fusion multimodale. Résumé des approches de fusion multimodale du signal couramment utilisées, en exposant leurs principales caractéristiques, avantages et limites.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Protocole
Ce protocole décrit la mise en œuvre étape par étape du modèle hybride d’apprentissage par renforcement profond (HDRL) pour la fusion multimodale du signal biomédical. Le cadre intègre des techniques d’apprentissage profond et d’apprentissage par renforcement afin d’optimiser la fusion en temps réel des données ECG, EEG et imagerie médicale. La section décrit également les procédures d’extraction de caractéristiques, d’entraînement et de préparation des données utilisées dans le modèle proposé.
Matériaux
Toutes les expériences ont été menées sur une station de travail équipée d’un processeur multi-cœurs, de ≥32 Go de RAM et d’un GPU dédié (≥8 Go de VRAM). L’environnement d’implémentation comprenait Python (v3.9 ou ultérieur), TensorFlow (v2.12) et Keras (v2.12). Les bibliothèques d’apprentissage par renforcement étaient installées en utilisant pip install stable-baselines3. Le packageStable-Baselines3 18 offre des implémentations efficaces d’algorithmes d’apprentissage par renforcement, tels que Deep Q-Network (DQN) et Proximal Policy Optimisation (PPO).
Ensembles de données
Le cadre proposé d’apprentissage par renforcement profond hybride (HDRL) a été évalué à l’aide de trois ensembles de données biomédicales accessibles publiquement représentant des types de signaux multimodaux. (1) PhysioNet Challenge 2016 : Une collection d’enregistrements ECG à 12 dérivations de patients atteints de maladies cardiaques, incluant la fibrillation auriculaire, l’arythmie ventriculaire et la maladie cardiaque ischémique. Le jeu de données inclut des étiquettes annotées pour les maladiescardiaques 19. (2) Base de données EEG du cuir chevelu CHB-MIT : Un ensemble de données d’enregistrements EEG du cuir chevelu est utilisé pour la détection des crises épileptiques, avec des annotations marquant les événements de crise et noncrise 20. (3) Base de données IRM OASIS-3 : Une collection d’images cérébrales IRM et de notes cliniques est utilisée pour la détection et le suivi de la maladied’Alzheimer 21. Des échantillons représentatifs de chaque modalité démontrent la variabilité inhérente et les caractéristiques de bruit présentes dans les données biomédicales multimodales (Figure 2).
Figure 2 : Échantillonner les signaux biomédicaux issus de l’ECG, de l’EEG et de l’imagerie médicale. Exemples représentatifs de forme d’onde ECG, de signal EEG et d’imagerie médicale illustrant les différentes modalités utilisées dans l’étude. Veuillez cliquer ici pour voir une version agrandie de cette figurine.
Prétraitement des données
Chaque modalité a subi des procédures de prétraitement spécifiques à chaque modalité afin d’assurer une représentation standardisée des entrées. Les signaux EEG et ECG étaient filtrés à l’aide d’un filtre Butterworth passe-bande de quatrième ordre. La plage de fréquences était réglée à 0,5–40 Hz pour l’EEG et 0,5–45 Hz pour l’ECG. Les échantillons ont été segmentés en fenêtres de 5 secondes avec un chevauchement de 50 %. Chaque signal était normalisé en le segmentant pour obtenir une moyenne nulle et une variance unitaire. Les images IRM ont été traitées par dénuage du crâne à l’aide de l’outil d’extraction cérébrale FSL (BET). Les images ont été redimensionnées à 224 × 224 pixels. Les intensités des pixels ont été normalisées à la plage [0,1] afin de standardiser les distributions d’entrée.
Extraction des caractéristiques
L’extraction des caractéristiques a été réalisée indépendamment pour chaque modalité à l’aide de DNN, garantissant que les caractéristiques uniques de chaque modalité étaient capturées efficacement.
Extracteurs de caractéristiques ECG et EEG :
Une architecture de réseau de neurones convolutionnel 1D (1D-CNN) était employée pour le traitement des signaux en série temporelle. L’architecture comprenait (1) une couche d’entrée (window_length, 1), (2) des couches Conv1D avec 64 filtres et une taille de noyau de 3, (3) l’activation de ReLU, (4) MaxPooling1D avec taille de pool = 2, (5) les couches Flatten et Dense (128 unités, ReLU). Les représentations des couches denses avant-dernière ont été extraites sous forme de vecteurs de caractéristiques spécifiques à la modalité.
Extracteur de caractéristiques IRM
Un modèle CNN bidimensionnel pré-entraîné (par exemple, VGG16 ou ResNet50) a été affiné pour extraire des caractéristiques spatiales à partir d’images IRM. Le CNN a été entraîné sur le jeu de données OASIS-3, avec les dernières couches du modèle pré-entraîné modifiées pour s’adapter à la tâchede classification spécifique 21. Les dernières couches de classification ont été remplacées par des couches spécifiques à chaque tâche, et les caractéristiques spatiales de haut niveau ont été extraites de l’avant-dernièrecouche 5,6.
Architecture et entraînement du modèle
Le cadre proposé d’apprentissage par renforcement profond hybride (HDRL) a été développé et entraîné en deux étapes séquentielles : extraction de caractéristiques spécifiques à la modalité suivie d’optimisation par fusion basée sur l’apprentissage par renforcement. Lors de la première étape, des réseaux neuronaux convolutionnels (CNN) distincts ont été entraînés sur des données marquées pour les modalités ECG, EEG et IRM. L’optimiseur Adaptive Moment Estimation (Adam) avec un taux d’apprentissage de 0,001 et une perte d’entropie croisée catégorique a été utilisé lors d’un entraînement supervisé. Après convergence, des représentations de haut niveau ont été extraites de l’avant-dernière couche de chaque CNN, donnant des vecteurs de caractéristiques spécifiques à chaque modalité FECG =CNN ECG(XECG), FECG = CNN ECG (X ECG) et FIRM =CNN IRM(XIRM). Ces vecteurs ont été concaténés pour former une représentation multimodale unifiée Fconcat = [FECG,F EEG,F IRM], qui sert d’entrée à l’étape d’apprentissage par renforcement.
Le processus de fusion a été formulé comme un processus de décision de Markov (MDP), où l’état s correspondait au vecteur de caractéristiques concaténé F concat, l’action représentait le choix d’une stratégie de fusion (soit sommation pondérée, soit concaténation directe) et la récompense r était définie comme la précision de classification obtenue grâce à un classificateur en aval entraîné sur les caractéristiques fusionnées. La fonction action-valeur Q(s,a) a été approximée à l’aide d’un Réseau Q profond (DQN), qui a estimé la récompense 
cumulative attendue . Les paramètres du modèle ont été mis à jour de manière itérative selon la règle.
où α = 0,0001 est le taux d’apprentissage, γ = 0,99 est le facteur d’actualisation et s’désigne l’état suivant.
Lors de l’optimisation par renforcement de l’apprentissage, le modèle a été entraîné pour 1 000 épisodes avec une taille de groupe de 32. Une stratégie gourmande d’epsilon a été adoptée pour équilibrer exploration et exploitation, 
initialisée à 1,0 et dégradée de 0,995 par épisode. Avec la probabilité , une stratégie de fusion aléatoire a été sélectionnée, tandis qu’avec la probabilité de 1 - , la stratégie avec la valeur de Q estimée la plus élevée a été choisie. La convergence de la récompense a été surveillée tout au long de l’entraînement, avec une performance stable (>0,85 de récompense cumulative) généralement observée sur environ 500 épisodes.
Le flux de travail HDRL implique le prétraitement des signaux multimodaux, l’extraction de caractéristiques profondes spécifiques à chaque modalité, la formation d’une représentation d’état unifiée, la sélection de stratégies de fusion et l’amélioration de la politique en utilisant le retour de classification de l’agent DQN. L’interaction entre les extracteurs de caractéristiques basés sur CNN et l’agent d’apprentissage par renforcement forme un système de fusion adaptative en boucle fermée (Figure 3), permettant des mises à jour de politiques basées sur la rétroaction de récompense.
Figure 3 : Diagramme de flux du flux de travail proposé par apprentissage par renforcement profond hybride (HDRL). Diagramme de flux de travail montrant l’extraction de caractéristiques CNN spécifique à la modalité, la concaténation de caractéristiques, la sélection d’une stratégie de fusion basée sur l’apprentissage par renforcement (DQN/PPO), la classification en aval et la mise à jour de la politique basée sur la récompense. Veuillez cliquer ici pour voir une version agrandie de cette figurine.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Résultats
Les résultats expérimentaux indiquent que le modèle proposé d’apprentissage par renforcement profond hybride (HDRL) atteint une amélioration des performances pour la fusion multimodale du signal biomédical. Le modèle HDRL a été évalué en le validant par rapport à plusieurs ensembles de données biomédicales réels. Les résultats, en termes de robustesse, d’adaptabilité et de précision de classification, illustrent sa supériorité par rapport à d’autres méthodes de fusion traditionnelles, telles que la fusion basée sur PCA e...
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Discussion
Efficacité de la fusion :
Cette section présente une analyse comparative de l’efficacité de la fusion entre HDRL, PCA et DNN. L’ensemble de données multimodal, obtenu en fusionnant les données EEG, ECG et IRM issues du PhysioNet Challenge 2016-19, de la base de données EEG du cuir cheveluCHB-MIT 20, et de la base de données IRMOASIS-3 21, a été utilisé pour calculer l’efficacité de la fusion. Le temps de traitement est un paramètr...
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Déclarations de divulgation
Les auteurs déclarent qu’il n’y a pas de conflits d’intérêts liés à cette œuvre.
Remerciements
La recherche a été partiellement menée dans les locaux du Palais des Sciences, Fonds de dotation Miodrag Kostić - Centre d’Intelligence Artificielle Appliquée. Cette recherche a été soutenue par EUROHPC-JU, Subvention n° 101191697, EuroCC4SEE.
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.
Matériaux
| Nom | Entreprise | Numéro de catalogue | Commentaires |
|---|---|---|---|
| Filtre Butterworth (4e ordre, implémentation SciPy) | Communauté SciPy | N/A | Prétraitement du signal EEG/ECG |
| Base de données EEG du scalp CHB-MIT | PhysioNet | DOI : 10.13026/C2K01R | Ensemble de données EEG |
| Outil d’extraction cérébrale FSL (BET) | Bibliothèque logicielle FMRIB (FSL) | N/A | Déshabillage du crâne par IRM |
| Keras (v2.12) | Google LLC | N/A | API de réseaux neuronaux de haut niveau |
| NVIDIA GPU (&ge ; 8 Go de VRAM) | NVIDIA Corporation | Dépendant du modèle | Indispensable pour la formation accélérée en apprentissage profond |
| Base de données IRM OASIS-3 | Université Washington | DOI : 10.1002/alz.047259 | Jeu de données IRM |
| Jeu de données PhysioNet Challenge 2016 | PhysioNet | DOI : 10.22489/CinC.2016.179-154 | Jeu de données ECG |
| Python (v3.9 ou ultérieur) | Fondation Python Software | N/A | Environnement de programmation |
| Bases stables3 | DLR-RM (Open source) | N/A | Implémentation de l’apprentissage par renforcement (DQN, PPO) |
| TensorFlow (v2.12) | Google LLC | N/A | Cadre d’apprentissage profond |
| Workstation (CPU multi-cœur, &ge ; 32 Go de RAM, &ge ; GPU 8 Go) | Fournisseur sur mesure / Fournisseur local | N/A | Utilisé pour l’entraînement et l’expérimentation de modèles |
Références
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.