Esta pesquisa propõe um framework híbrido de aprendizado profundo por reforço (HDRL) que integra redes neurais profundas (DNNs) para extração de características com aprendizado por reforço (RL) para fusão dinâmica multimodal de sinais. Avaliado em conjuntos de dados biomédicos, destaca-se em precisão, robustez e detecção de eventos raros, oferecendo grandes aplicações em medicina personalizada e classificação de doenças.
É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de investigação
Aprendizado Híbrido por Reforço Profundo para Fusão Multimodal de Sinais Biomédicos
Neste artigo
Resumo
Resumo
Melhorar a tomada de decisão e a precisão diagnóstica na saúde requer a combinação de sinais biomédicos multimodais, como eletrocardiogramas (ECG), eletroencefalogramas (EEG) e imagens médicas. Técnicas tradicionais de fusão de sinais enfrentam desafios significativos devido à variabilidade do sinal e à complexidade inerente. Propomos um modelo híbrido de Aprendizado por Reforço Profundo (HDRL) que utiliza Redes Neurais Profundas (DNNs) para extração de características e Aprendizado por Reforço (RL) para otimização dinâmica de fusão. Esse modelo híbrido utiliza feedback em tempo real para otimizar o aprendizado de políticas de fusão e se adaptar às diferentes características dos dados. Para avaliar seu desempenho, o modelo proposto foi comparado com técnicas convencionais de fusão, como métodos baseados em Redes Neurais Profundas e Análise de Componentes Principais (PCA). O modelo híbrido de aprendizado profundo por reforço foi testado em vários conjuntos de dados biomédicos do mundo real. O modelo proposto é aplicável à medicina personalizada e à classificação de doenças, já que evidências experimentais demonstram desempenho aprimorado em termos de robustez sob condições ruidosas, precisão da classificação e detecção de eventos raros. A metodologia proposta, além de abordar preocupações com técnicas tradicionais de fusão de sinais, oferece soluções promissoras que avançam o processamento multimodal de sinais biomédicos. O modelo utiliza uma DNN para mineração de características e agentes RL (DQN, PPO) para otimização de políticas.
Introdução
A saúde moderna depende cada vez mais da integração de diversas fontes de dados biomédicos para melhorar a precisão diagnóstica e a tomada de decisões clínicas. Sinais fisiológicos como eletrocardiogramas (ECG), eletroencefalogramas (EEG) e modalidades de imagem médica, incluindo ressonância magnética (RM) e tomografia computorizada (TC), fornecem informações fisiológicas complementares que apoiam o diagnóstico de doenças e o tratamento personalizado. No entanto, os sinais biomédicos são inerentemente complexos e frequentemente contêm ruído, valores ausentes e estruturas de alta dimensão, tornando sua análise e interpretação desafiadoras. A fusão multimodal de sinais biomédicos, que integra informações de múltiplos fluxos de dados fisiológicos, tornou-se, portanto, uma abordagem importante para melhorar o desempenho diagnóstico, aumentar a robustez a variações na qualidade dos dados e possibilitar o monitoramento abrangente do paciente em ambientes clínicos como unidades de terapia intensiva (UTIs)1.
Os métodos tradicionais de fusão multimodal de sinais baseiam-se em grande parte em técnicas estatísticas e lineares. A Análise de Componentes Principais (PCA) reduz a dimensionalidade dos dados ao transformar sinais em componentes ortogonais, enquanto a Análise de Correlação Canônica (CCA) identifica relações lineares entre modalidades para alinhar conjuntos de dadosmultimodais 2. Essas técnicas foram aplicadas com sucesso em ambientes biomédicos de fusãomultimodal 3. No entanto, sua dependência de suposições lineares limita sua capacidade de capturar relações complexas não lineares que frequentemente existem entre sinais fisiológicos. Na prática, os dados biomédicos raramente são puramente lineares. Métodos convencionais de fusão multimodal frequentemente falham em capturar interações significativas entre modalidades devido a essas dependências nãolineares 4,5. Como resultado, métodos convencionais de fusão podem falhar em capturar interações significativas entre modalidades, limitando sua eficácia em tarefas como diagnóstico de doenças e tomada de decisão clínica em tempo real.
Avanços recentes em aprendizado profundo transformaram significativamente o processamento biomédico de sinais ao permitir que redes neurais extraiam automaticamente representações hierárquicas a partir de dados brutos. Redes Neurais Convolucionais (CNNs) demonstraram forte desempenho na análise de padrões espaciais em imagensmédicas 5,6. Arquiteturas CNN multimodais têm sido usadas para integrar modalidades de imagem, como ressonância magnética e tomografia computadorizada, para melhorar a precisãodiagnóstica 3. De forma semelhante, Redes Neurais Recorrentes (RNNs) e redes de Memória de Curto Prazo Longa (LSTM) foram aplicadas a sinais biomédicos sequenciais, incluindo ECG e EEG, para tarefas de classificaçãode doenças 7. Apesar desses avanços, muitas abordagens de fusão baseadas em aprendizado profundo dependem de estratégias de fusão fixas, como concatenação de características ou média ponderada. Esses mecanismos de fusão estática não se adaptam efetivamente às variações na qualidade do sinal. Em ambientes clínicos reais, os sinais podem se degradar devido a artefatos de movimento, deslocamento de eletrodos, distorção ou ruído ambiental. Tais variações podem reduzir a confiabilidade de modalidades individuais e impactar negativamente o processo geral de fusão. Enfrentar esses desafios requer estratégias de fusão adaptativa capazes de responder a condições dinâmicas de dados em ambientes clínicosem tempo real 8.
Aprendizagem por Reforço (RL) oferece uma estrutura poderosa para tomada de decisões sequenciais em ambientes incertos. Em RL, um agente aprende a selecionar ações que maximizam a recompensa cumulativa por meio das interações com seu ambiente. Esse processo de tomada de decisão é comumente formulado usando a equação de Bellman, que define o valor de um estado como a soma da recompensa imediata e do valor descontado das recompensasfuturas 9. Métodos como Redes Profundas Q-Networks (DQN) estendem o aprendizado por reforço a problemas de alta dimensão aproximando a função de valor ação com redes neuraisprofundas 10. De forma semelhante, métodos de aprendizado profundo por reforço baseados em políticas permitem aprendizado de políticas estável e eficiente por meio de atualizações iterativas da política11 do agente. Técnicas de aprendizado por reforço já foram exploradas em várias aplicações de saúde, incluindo otimização de tratamentos e detecçãode anomalias 12, mas sua aplicação à fusão multimodal adaptativa de sinais permanece relativamente limitada.
O Aprendizado Híbrido por Reforço Profundo (HDRL) integra aprendizado profundo com aprendizado por reforço para combinar extração de recursos e tomada de decisão adaptativa. Nesse framework, redes neurais profundas transformam sinais biomédicos multimodais em representações de características de alto nível, enquanto agentes de aprendizado por reforço selecionam dinamicamente estratégias de fusão com base no desempenho datarefa 4. Esse mecanismo adaptativo permite que o sistema responda a variações na qualidade do sinal e na disponibilidade de modalidades, possibilitando uma operação mais robusta em ambientes clínicos complexos, como monitoramento de UTI e sistemas de diagnósticovestíveis 8.
Além das abordagens clássicas de aprendizado por reforço, várias técnicas híbridas de aprendizado combinando lógica difusa, algoritmos genéticos e aprendizado por reforço foram exploradas para tarefas de classificação biomédica. Por exemplo, o aprendizado Q difuso combinado com Algoritmos Genéticos tem sido aplicado à classificação de crises epilépticas usando sinais EEG, demonstrando melhor adaptabilidade a padrões temporaisincertos 13. De forma semelhante, abordagens de aprendizagem evolutiva baseadas em rede difusa foram propostas para classificação de doenças pulmonares usando imagensmédicas 14. Outros estudos investigaram abordagens baseadas em aprendizado por reforço para reconhecimento deconvulsões 15 e classificadores de Q-learning difuso modificados para detectar pneumonia e tuberculose a partir de imagens de raio-X detórax 16. Embora esses estudos demonstrem o potencial dos métodos de aprendizagem híbrida em análise biomédica, a maioria das abordagens existentes foca na classificação monomodal em vez da fusão multimodal de sinais.
Desenvolvimentos recentes em aprendizado de máquina multimodal também exploraram arquiteturas baseadas em transformadores para aplicações médicas multimodais. Esses modelos têm demonstrado desempenho promissor em tarefas como síntese de imagens em saúde e análise de conjuntos de dados biomédicos heterogêneos, nos quais uma ou mais modalidades podem estar incompletas oufaltando 17. No entanto, mesmo com esses avanços, a necessidade de mecanismos de fusão adaptativos que respondam dinamicamente a variações em dados multimodais continua sendo um desafio importante de pesquisa.
Neste trabalho, é proposto um framework de Aprendizagem Híbrida por Reforço Profundo (HDRL) para fusão multimodal de sinais biomédicos. Modelos CNN específicos por modalidade são usados para extrair características de dados de ECG, EEG e ressonância magnética, que são então combinadas para formar uma representação multimodal unificada. Um agente Deep Q-Network (DQN) seleciona dinamicamente estratégias de fusão, como concatenação de características ou combinação ponderada, de acordo com o estado atual das características. Um classificador a jusante fornece um sinal de recompensa baseado no desempenho da classificação, permitindo que o agente de aprendizado por reforço otimize a política de fusão por meio de feedback contínuo. Essa estrutura adaptativa permite que o modelo se ajuste a variações na qualidade do sinal e na disponibilidade da modalidade. A abordagem proposta é avaliada usando os conjuntos de dados PhysioNet 2016, CHB-MIT EEG e OASIS-3, sendo comparada com técnicas convencionais de fusão baseadas em PCA e deep learning.
Figura 1: Diagrama em blocos ilustrando a arquitetura do sistema proposto de fusão de sinais multimodal baseado em HDRL. Representação esquemática do framework multimodal de fusão mostrando ECG, EEG e entradas de imagens médicas processadas por extratores profundos de características de rede neural, seguidas por fusão adaptativa baseada em aprendizado por reforço e feedback de recompensa. Por favor, clique aqui para ver uma versão ampliada desta figura.
A arquitetura do framework proposto para fusão de sinais multimodal é ilustrada na Figura 1. Nessa arquitetura, modelos CNN específicos por modalidade extraem independentemente características dos sinais de ECG, EEG e ressonância magnética. Essas características são então combinadas em uma representação unificada, que o agente de aprendizado por reforço usa para determinar a estratégia de fusão ideal.
O processamento biomédico de sinais desempenha um papel crucial na saúde moderna, permitindo diagnóstico, monitoramento e planejamento de tratamento precisos por meio da análise de sinais fisiológicos obtidos de múltiplas modalidades. Integrar sinais como ECG, EEG e dados de imagem médica requer técnicas sofisticadas de fusão que capturam informações complementares de diferentes fontes. A Tabela 1 resume as abordagens de fusão multimodal de sinais comumente usadas, incluindo suas características-chave, vantagens e limitações, e destaca a motivação para a proposta de estrutura baseada em HDRL.
| Método | Principais Recursos | Vantagens | Limitações |
| PCA | Redução linear de dimensionalidade | Rápido, simples | Limitado a relações lineares |
| DNN | Aprendizado de características não linear | Captura padrões complexos | Estratégia de fusão fixa |
| DRL | Aprendizado dinâmico de políticas | Adapta-se aos dados | Alta computação |
| HDRL | DNN + RL híbrido | Adaptativo, robusto, eficiente | Requer uma afinação cuidadosa |
Tabela 1: Comparação dos métodos de fusão multimodais. Resumo das abordagens de fusão multimodal de sinais comumente utilizadas, destacando suas principais características, vantagens e limitações.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Protocolo
Este protocolo descreve a implementação passo a passo do modelo Hybrid Deep Reinforcement Learning (HDRL) para fusão multimodal de sinais biomédicos. A estrutura integra técnicas de aprendizado profundo e aprendizado por reforço para otimizar a fusão em tempo real de dados de ECG, EEG e imagens médicas. A seção também descreve os procedimentos de extração de características, treinamento e preparação de dados usados no modelo proposto.
Materiais
Todos os experimentos foram realizados em uma estação de trabalho com CPU multi-core, ≥32 GB de RAM e uma GPU dedicada (≥8 GB de VRAM). O ambiente de implementação consistia em Python (v3.9 ou posterior), TensorFlow (v2.12) e Keras (v2.12). Bibliotecas de Aprendizagem por Reforço foram instaladas usando pip install stable-baselines3. O pacote18 do Stable-Baselines3 oferece implementações eficientes de algoritmos de Aprendizagem por Reforço, como Deep Q-Network (DQN) e Proximal Policy Optimization (PPO).
Conjuntos de dados
A proposta de framework de Aprendizagem Híbrida por Reforço Profundo (HDRL) foi avaliada utilizando três conjuntos de dados biomédicos públicos que representam tipos de sinais multimodais. (1) PhysioNet Challenge 2016: Uma coleção de registros de ECG com 12 derivações de pacientes com doenças cardíacas, incluindo fibrilação auricular, arritmia ventricular e doença cardíaca isquêmica. O conjunto de dados inclui etiquetas anotadas para condiçõescardíacas 19. (2) Banco de Dados de EEG do Couro Cabeludo CHB-MIT: Um conjunto de dados de registros de EEG do couro cabeludo é usado para a detecção de crises epilépticas, com anotações marcando eventos de convulsão e nãoconvulsão 20. (3) Banco de Dados de Ressonância Magnética OASIS-3: Uma coleção de imagens cerebrais de ressonância magnética e avaliações clínicas é utilizada para a detecção e monitoramento da doença deAlzheimer 21. Amostras representativas de cada modalidade demonstram a variabilidade inerente e as características de ruído presentes em dados biomédicos multimodais (Figura 2).
Figura 2: Amostre sinais biomédicos de ECG, EEG e imagens médicas. Exemplos representativos de forma de onda de ECG, sinal de EEG e uma ultrassonografia de imagem médica ilustrando as diferentes modalidades utilizadas no estudo. Por favor, clique aqui para ver uma versão ampliada desta figura.
Pré-processamento de dados
Cada modalidade passou por procedimentos de pré-processamento específicos para garantir uma representação padronizada da entrada. Os sinais de EEG e ECG eram filtrados usando um filtro passa-banda Butterworth de quarta ordem. A faixa de frequência foi ajustada para 0,5–40 Hz para EEG e 0,5–45 Hz para ECG. As amostras foram segmentadas em janelas de 5 segundos com 50% de sobreposição. Cada sinal era normalizado segmentando-o para alcançar média zero e variância unitária. Imagens de ressonância magnética foram processadas usando decapagem do crânio usando a Ferramenta de Extração Cerebral (BET) da FSL. As imagens foram redimensionadas para 224 × 224 pixels. As intensidades dos pixels foram normalizadas para a faixa [0,1] para padronizar as distribuições de entrada.
Extração de características
A extração de características foi realizada de forma independente para cada modalidade usando DNNs, garantindo que as características únicas de cada modalidade fossem capturadas de forma eficaz.
Extratores de características de ECG e EEG:
Uma arquitetura de Rede Neural Convolucional 1D (1D-CNN) foi empregada para processamento de sinais em séries temporais. A arquitetura consistia em (1) uma camada de entrada (window_length, 1), (2) camadas Conv1D com 64 filtros e tamanho de kernel de 3, (3) ativação do ReLU, (4) MaxPooling1D com tamanho do pool = 2, (5) camadas Flatten e Dense (128 unidades, ReLU). As representações penúltimas das camadas densas foram extraídas como vetores de características específicas de modalidade.
Extrator de características de ressonância magnética
Um modelo CNN bidimensional pré-treinado (por exemplo, VGG16 ou ResNet50) foi ajustado para extrair características espaciais de imagens de ressonância magnética. A CNN foi treinada com o conjunto de dados OASIS-3, com as últimas camadas do modelo pré-treinado modificadas para se adaptar à tarefa de classificaçãoespecífica 21. As camadas finais de classificação foram substituídas por camadas específicas para tarefas, e características espaciais de alto nível foram extraídas da penúltima camada 5,6.
Arquitetura de modelos e treinamento
A proposta estrutura de Aprendizagem Híbrida por Reforço Profundo (HDRL) foi desenvolvida e treinada em dois estágios sequenciais: extração de características específicas por modalidade seguida de otimização baseada em fusão baseada em aprendizado por reforço. No primeiro estágio, Redes Neurais Convolucionais (CNNs) separadas foram treinadas com dados marcados para as modalidades de ECG, EEG e ressonância magnética. O otimizador Adaptive Moment Estimation (Adam), com taxa de aprendizado de 0,001 e perda categórica de entropia cruzada, foi empregado durante o treinamento supervisionado. Após a convergência, representações de alto nível foram extraídas da penúltima camada de cada CNN, resultando em vetores de características específicos da modalidade FECG = CNCN ECG(XECG), F ECG = CNNECG(X ECG) e FMRI =CNN MRI(XMRI). Esses vetores foram concatenados para formar uma representação multimodal unificada Fconcat = [FECG, FEEG,F MRI], que serve como entrada para o estágio de Aprendizagem por Reforço.
O processo de fusão foi formulado como um Processo de Decisão de Markov (MDP), onde o estado s correspondia ao concatado do vetor de características concatenado F, a ação representava a seleção de uma estratégia de fusão (seja soma ponderada ou concatenação direta) e a recompensa r era definida como a precisão da classificação obtida a partir de um classificador a jusante treinado nas características fundidas. A função ação-valor Q(s,a) foi aproximada usando uma Rede Profunda Q-Network (DQN), que estimou a recompensa 
acumulada esperada. Os parâmetros do modelo foram atualizados iterativamente de acordo com a regra.
onde α = 0,0001 é a taxa de aprendizado, γ = 0,99 é o fator de desconto e s' denota o próximo estado.
Durante a otimização do Aprendizado por Reforço, o modelo foi treinado para 1.000 episódios com um tamanho de lote de 32. Uma estratégia gananciosa de épsilon foi adotada para equilibrar exploração e exploração, 
com inicialização em 1,0 e decadência em 0,995 por episódio. Com probabilidade , uma estratégia de fusão aleatória foi selecionada, enquanto com probabilidade 1 - , a estratégia com o maior valor estimado de Q foi escolhida. A convergência de recompensa foi monitorada durante todo o treinamento, com desempenho estável (>0,85 de recompensa acumulada) tipicamente observado por aproximadamente 500 episódios.
O fluxo de trabalho HDRL envolve pré-processamento de sinais multimodais, extração de características profundas específicas de cada modalidade, formação de uma representação unificada de estados, seleção de estratégias de fusão e aprimoramento da política usando feedback de classificação do agente DQN. A interação entre extratores de características baseados em CNN e o agente de aprendizado por reforço forma um sistema de fusão adaptativa em circuito fechado (Figura 3), permitindo atualizações de políticas baseadas no feedback de recompensa.
Figura 3: Diagrama de fluxo do fluxo de trabalho proposto de Aprendizado Híbrido por Reforço Profundo (HDRL). Diagrama de fluxo de trabalho mostrando extração de características CNN específicas por modalidade, concatenação de características, seleção baseada em aprendizado por reforço de uma estratégia de fusão (DQN/PPO), classificação a jusante e atualização de políticas baseada em recompensas. Por favor, clique aqui para ver uma versão ampliada desta figura.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Resultados
Os resultados experimentais indicam que o modelo proposto de Aprendizagem Híbrida por Reforço Profundo (HDRL) alcança desempenho aprimorado para fusão multimodal de sinais biomédicos. O modelo HDRL foi avaliado validando-o em relação a vários conjuntos de dados biomédicos do mundo real. Os resultados, em termos de robustez, adaptabilidade e precisão na classificação, demonstram sua superioridade sobre outros métodos tradicionais de fusão, como PCA e fusão baseada em DNN.
Configuração E...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Discussão
Eficiência da fusão:
Esta seção apresenta uma análise comparativa da eficiência da fusão entre HDRL, PCA e DNN. O conjunto de dados multimodal, obtido pela fusão de dados de EEG, ECG e ressonância magnética do PhysioNet Challenge2016-19, Banco de Dados de EEG do Couro Cabeludo CHB-MIT20 e Banco de Dados de Ressonância Magnética OASIS-321, foi utilizado para calcular a eficiência da fusão. O tempo de processamento é um parâmetro cr...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Divulgações
Os autores declaram que não há conflitos de interesse relacionados a esta obra.
Agradecimentos
A pesquisa foi parcialmente realizada nas dependências do Palácio da Ciência, Fundo de Dotação Miodrag Kostić - Centro de Inteligência Artificial Aplicada. Esta pesquisa foi apoiada pela EUROHPC-JU, Bolsa nº 101191697, EuroCC4SEE.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Materiais
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| Filtro Butterworth (4ª ordem, implementação SciPy) | Comunidade SciPy | N/A | Pré-processamento de sinais EEG/ECG |
| Banco de Dados de EEG de Couro Cabeludo CHB-MIT | PhysioNet | DOI: 10.13026/C2K01R | Conjunto de dados EEG |
| Ferramenta de Extração Cerebral de FSL (BET) | Biblioteca de Software FMRIB (FSL) | N/A | Retirada do crânio por ressonância magnética |
| Keras (v2.12) | Google LLC | N/A | API de rede neural de alto nível |
| NVIDIA GPU (≥ 8 GB de VRAM) | NVIDIA Corporation | Dependente do modelo | Exigido para treinamento acelerado de deep learning |
| Banco de Dados de Ressonância Magnética OASIS-3 | Universidade Washington | DOI: 10.1002/alz.047259 | Conjunto de dados de ressonância magnética |
| Conjunto de Dados do PhysioNet Challenge 2016 | PhysioNet | DOI: 10.22489/CinC.2016.179-154 | Conjunto de dados de ECG |
| Python (v3.9 ou posterior) | Fundação de Software Python | N/A | Ambiente de programação |
| Baselines3 | DLR-RM (Código aberto) | N/A | Implementação de aprendizado por reforço (DQN, PPO) |
| TensorFlow (v2.12) | Google LLC | N/A | Estrutura de aprendizado profundo |
| Estação de trabalho (CPU multi-core, ≥ 32 GB de RAM, ≥ GPU de 8 GB) | Vendedor Personalizado / Local | N/A | Usado para treinamento e experimentação de modelos |
Referências
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.