Forschungsartikel

Hybrides Deep Reinforcement Learning für multimodale biomedizinische Signalfusion

224 Ansichten

⸱

DOI:

10.3791/69929

⸱

10. April 2026

 ,  ,  ,  ,  , 
1Ageno School of Business, Golden Gate University, 2Department of Electrical and Electronics Engineering, Anna University, 3Lead Data Engineer, FedEx Dataworks, 4School of Electrical Engineering, University of Belgrade, 5Innovation Centre, School of Electrical Engineering, University of Belgrade, 6Faculty of Informatics and Computing, Singidunum University, 7Department of Mathematics, Saveetha School of Engineering, SIMATS

In diesem Artikel

Zusammenfassung

Diese Forschung schlägt ein hybrides Deep Reinforcement Learning (HDRL)-Framework vor, das tiefe neuronale Netzwerke (DNNs) für die Feature-Extraktion mit Reinforcement Learning (RL) für dynamische multimodale Signalfusion integriert. Bewertet auf biomedizinischen Datensätzen, zeichnet es sich durch Genauigkeit, Robustheit und Erkennung seltener Ereignisse aus und bietet bedeutende Anwendungen in der personalisierten Medizin und Krankheitsklassifikation.

Zusammenfassung

Die Verbesserung der Entscheidungsfindung und diagnostischen Genauigkeit im Gesundheitswesen erfordert die Kombination multimodaler biomedizinischer Signale wie Elektrokardiogramme (EKG), Elektroenzephalogramme (EEG) und medizinische Bildgebung. Traditionelle Signalfusionstechniken stehen vor erheblichen Herausforderungen aufgrund der Signalvariabilität und der inhärenten Komplexität. Wir schlagen ein Hybrid Deep Reinforcement Learning (HDRL)-Modell vor, das Deep Neural Networks (DNNs) für die Feature-Extraktion und Reinforcement Learning (RL) für die dynamische Fusionsoptimierung verwendet. Dieses hybride Modell nutzt Echtzeit-Feedback, um das Lernen von Fusionsrichtlinien zu optimieren und sich an unterschiedliche Datenmerkmale anzupassen. Um seine Leistung zu bewerten, wurde das vorgeschlagene Modell mit konventionellen Fusionstechniken wie Deep Neural Network-basierten Methoden und Principal Component Analysis (PCA) verglichen. Das hybride Deep-Reinforcement-Learning-Modell wurde an mehreren realen biomedizinischen Datensätzen getestet. Das vorgeschlagene Modell ist auf personalisierte Medizin und Krankheitsklassifikation anwendbar, da experimentelle Belege eine verbesserte Leistung hinsichtlich Robustheit unter rauschen Bedingungen, Klassifikationsgenauigkeit und Erkennung seltener Ereignisse zeigen. Die vorgeschlagene Methodik adressiert neben Anliegen traditioneller Signalfusionstechniken auch vielversprechende Lösungen, die die multimodale biomedizinische Signalverarbeitung voranbringen. Das Modell verwendet ein DNN für Feature Mining und RL-Agenten (DQN, PPO) für die Policy-Optimierung.

Einleitung

Das moderne Gesundheitswesen setzt zunehmend auf die Integration vielfältiger biomedizinischer Datenquellen, um die diagnostische Genauigkeit und die klinische Entscheidungsfindung zu verbessern. Physiologische Signale wie Elektrokardiogramme (EKG), Elektroenzephalogramme (EEG) und medizinische Bildgebende Verfahren wie Magnetresonanztomographie (MRT) und Computertomographie (CT) liefern ergänzende physiologische Informationen, die die Krankheitsdiagnose und eine personalisierte Behandlung unterstützen. Biomedizinische Signale sind jedoch von Natur aus komplex und enthalten oft Rauschen, fehlende Werte und hochdimensionale Strukturen, was ihre Analyse und Interpretation erschwert. Die multimodale biomedizinische Signalfusion, die Informationen aus mehreren physiologischen Datenströmen integriert, ist daher zu einem wichtigen Ansatz geworden, um die diagnostische Leistung zu verbessern, die Robustheit gegenüber Datenqualitätsschwankungen zu erhöhen und eine umfassende Patientenüberwachung in klinischen Umgebungen wie Intensivstationen (ICUs) zu ermöglichen.

Traditionelle multimodale Signalfusionsmethoden stützten sich weitgehend auf statistische und lineare Techniken. Die Hauptkomponentenanalyse (PCA) reduziert die Dimensionalität von Daten, indem Signale in orthogonale Komponenten umgewandelt werden, während die kanonische Korrelationsanalyse (CCA) lineare Beziehungen zwischen Modalitäten identifiziert, um multimodale Datensätzeauszugleichen 2. Diese Techniken wurden erfolgreich in biomedizinischen multimodalen Fusionssettingsangewandt 3. Ihre Abhängigkeit von linearen Annahmen schränkt jedoch ihre Fähigkeit ein, komplexe nichtlineare Beziehungen zu erfassen, die häufig zwischen physiologischen Signalen bestehen. In der Praxis sind biomedizinische Daten selten rein linear. Konventionelle multimodale Fusionsmethoden können oft keine sinnvollen Wechselwirkungen zwischen Modalitäten erfassen, da diese nichtlinearen Abhängigkeiten 4,5 sind. Infolgedessen können herkömmliche Fusionsmethoden keine sinnvollen Interaktionen zwischen den Modalitäten erfassen, was ihre Wirksamkeit bei Aufgaben wie Krankheitsdiagnose und Echtzeit-klinischer Entscheidungsfindung einschränkt.

Jüngste Fortschritte im Deep Learning haben die biomedizinische Signalverarbeitung grundlegend verändert, indem sie neuronalen Netzen ermöglichen, hierarchische Darstellungen automatisch aus Rohdaten zu extrahieren. Convolutional Neural Networks (CNNs) haben eine starke Leistung bei der Analyse räumlicher Muster in medizinischen Bilderngezeigt 5,6. Multimodale CNN-Architekturen wurden verwendet, um bildgebende Modalitäten wie MRT und CT zu integrieren, um die diagnostische Genauigkeitzu verbessern. Ähnlich wurden Rekurrente Neurale Netzwerke (RNNs) und Long Short-Term Memory (LSTM) Netzwerke auf sequentielle biomedizinische Signale, einschließlich EKG und EEG, für Krankheitsklassifikationsaufgaben7 angewendet. Trotz dieser Fortschritte basieren viele Deep-Learning-basierte Fusionsansätze auf festen Fusionsstrategien, wie der Merkmalsverkettung oder gewichtetem Durchschnitt. Diese statischen Fusionsmechanismen passen sich nicht effektiv an Schwankungen in der Signalqualität an. In realen klinischen Umgebungen können Signale durch Bewegungsartefakte, Elektrodenverschiebung, Verzerrungen oder Umgebungsrauschen verschlechtern. Solche Variationen können die Zuverlässigkeit einzelner Modalitäten verringern und den gesamten Fusionsprozess negativ beeinflussen. Die Bewältigung dieser Herausforderungen erfordert adaptive Fusionsstrategien, die in der Lage sind, auf dynamische Datenbedingungen in Echtzeit-klinischen Umgebungen zu reagieren8.

Reinforcement Learning (RL) bietet einen leistungsstarken Rahmen für sequentielle Entscheidungsfindung in unsicheren Umgebungen. Im RL lernt ein Agent, Aktionen auszuwählen, die die kumulative Belohnung durch Interaktionen mit seiner Umgebung maximieren. Dieser Entscheidungsprozess wird üblicherweise mit der Bellman-Gleichung formuliert, die den Wert eines Zustands als Summe aus der unmittelbaren Belohnung und dem abgezinsten Wert zukünftiger Belohnungen9 definiert. Methoden wie Deep Q-Networks (DQN) erweitern Reinforcement Learning auf hochdimensionale Probleme, indem sie die Aktions-Wert-Funktion mit tiefen neuronalen Netzen10 approximieren. Ähnlich ermöglichen politikbasierte Deep-Reinforcement-Learning-Methoden stabiles und effizientes Policy Learning durch iterative Aktualisierungen der Policy11 des Agenten. Reinforcement-Learning-Techniken wurden bereits in mehreren Anwendungen im Gesundheitswesen erforscht, darunter Behandlungsoptimierung und Anomalieerkennung12, aber ihre Anwendung auf adaptive multimodale Signalfusion bleibt relativ begrenzt.

Hybrid Deep Reinforcement Learning (HDRL) integriert Deep Learning mit Reinforcement Learning, um Feature-Extraktion und adaptive Entscheidungsfindung zu verbinden. In diesem Rahmen verwandeln tiefe neuronale Netze multimodale biomedizinische Signale in hochstufige Merkmalsrepräsentationen, während Reinforcement Learning Agents dynamisch Fusionsstrategien basierend auf der Aufgabenleistungauswählen 4. Dieser adaptive Mechanismus ermöglicht es dem System, auf Schwankungen in der Signalqualität und der Verfügbarkeit von Modalitäten zu reagieren, was einen robusteren Betrieb in komplexen klinischen Umgebungen wie der Überwachung der Intensivstation und tragbarenDiagnosesystemen ermöglicht.

Neben klassischen Reinforcement-Learning-Ansätzen wurden mehrere hybride Lerntechniken, die Fuzzy Logic, genetische Algorithmen und Reinforcement Learning kombinieren, für biomedizinische Klassifikationsaufgaben erforscht. Beispielsweise wurde Fuzzy Q-Learning in Kombination mit genetischen Algorithmen zur Klassifikation epileptischer Anfälle mittels EEG-Signalen angewandt und zeigt eine verbesserte Anpassungsfähigkeit an unsichere temporale Muster13. Ähnlich wurden Fuzzy-Lattice-basierte evolutionäre Lernansätze für die Klassifikation von Lungenerkrankungen mit medizinischen Bildern vorgeschlagen14. Weitere Studien untersuchten auf Reinforcement Learning basierende Ansätze zur Anfallserkennung15 und modifizierte Fuzzy Q-Learning-Klassifikatoren zur Erkennung von Pneumonie und Tuberkulose anhand von Röntgenbildern des Brustkorbs16. Obwohl diese Studien das Potenzial hybrider Lernmethoden in der biomedizinischen Analyse aufzeigen, konzentrieren sich die meisten bestehenden Ansätze auf die Klassifikation einer Einzelmodalität statt auf multimodale Signalfusion.

Jüngste Entwicklungen im multimodalen maschinellen Lernen haben auch transformatorbasierte Architekturen für intermodale medizinische Anwendungen erforscht. Diese Modelle haben vielversprechende Leistungen bei Aufgaben wie der Bildsynthese im Gesundheitswesen und der Analyse heterogener biomedizinischer Datensätze gezeigt, in denen eine oder mehrere Modalitäten möglicherweiseunvollständig sind oder 17 fehlen. Dennoch bleibt trotz dieser Fortschritte der Bedarf an adaptiven Fusionsmechanismen, die dynamisch auf Variationen in multimodalen Daten reagieren, eine wichtige Forschungsherausforderung.

In dieser Arbeit wird ein Hybrid Deep Reinforcement Learning (HDRL)-Framework für multimodale biomedizinische Signalfusion vorgeschlagen. Modalitätsspezifische CNN-Modelle werden verwendet, um Merkmale aus EKG-, EEG- und MRT-Daten zu extrahieren, die dann zu einer einheitlichen multimodalen Darstellung kombiniert werden. Ein Deep Q-Network (DQN)-Agent wählt dynamisch Fusionsstrategien wie Merkmalsverkettung oder gewichtete Kombination entsprechend dem aktuellen Merkmalszustand aus. Ein nachgelagerter Klassifikator liefert ein Belohnungssignal basierend auf der Klassifikationsleistung, sodass der Reinforcement Learning Agent die Fusionspolitik durch kontinuierliches Feedback optimieren kann. Dieses adaptive Framework ermöglicht es dem Modell, sich an Variationen in der Signalqualität und der Modalitätsverfügbarkeit anzupassen. Der vorgeschlagene Ansatz wird anhand der Datensätze PhysioNet 2016, CHB-MIT EEG und OASIS-3 bewertet und mit konventionellen PCA- und Deep-Learning-basierten Fusionstechniken verglichen.

Abbildung 1
Abbildung 1: Blockdiagramm, das die Architektur des vorgeschlagenen HDRL-basierten multimodalen Signalfusionssystems veranschaulicht. Schematische Darstellung des multimodalen Fusionsrahmens, der EKG, EEG und medizinische Bildeingaben zeigt, die durch Extraktoren tiefer neuronaler Netze verarbeitet werden, gefolgt von adaptiver Fusion und Belohnungsfeedback auf Basis von Reinforcement Learning. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Die Architektur des vorgeschlagenen multimodalen Signalfusionsrahmens ist in Abbildung 1 dargestellt. In dieser Architektur extrahieren modalitätsspezifische CNN-Modelle unabhängig Merkmale aus EKG-, EEG- und MRT-Signalen. Diese Merkmale werden dann zu einer einheitlichen Darstellung kombiniert, die der Reinforcement Learning Agent verwendet, um die optimale Fusionsstrategie zu bestimmen.

Die biomedizinische Signalverarbeitung spielt eine entscheidende Rolle in der modernen Gesundheitsversorgung, indem sie eine genaue Diagnose, Überwachung und Behandlungsplanung durch die Analyse physiologischer Signale aus mehreren Modalitäten ermöglicht. Die Integration von Signalen wie EKG, EEG und medizinischen Bildgebungsdaten erfordert ausgefeilte Fusionstechniken, die komplementäre Informationen aus verschiedenen Quellen erfassen. Tabelle 1 fasst häufig verwendete multimodale Signalfusionsansätze zusammen, einschließlich ihrer wichtigsten Merkmale, Vorteile und Einschränkungen, und hebt die Motivation für das vorgeschlagene HDRL-basierte Framework hervor.

MethodeHauptmerkmaleVorteileEinschränkungen
PCALineardimensionalitätsreduktionSchnell, einfachBeschränkt auf lineare Beziehungen
DNNNichtlineares MerkmalslernenErfasst komplexe MusterFeste Fusionsstrategie
DRLDynamisches Policy LearningPasst sich an Daten anHohe Berechnung
HDRLDNN + RL HybridAdaptiv, robust, effizientErfordert sorgfältiges Tuning

Tabelle 1: Vergleich multimodaler Fusionsmethoden. Zusammenfassung der häufig verwendeten multimodalen Signalfusionsansätze, in der ihre wichtigsten Merkmale, Vorteile und Einschränkungen dargestellt werden.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Dieses Protokoll beschreibt die Schritt-für-Schritt-Implementierung des Hybrid Deep Reinforcement Learning (HDRL)-Modells für multimodale biomedizinische Signalfusion. Das Framework integriert Deep-Learning- und Reinforcement-Learning-Techniken, um die Echtzeitfusion von EKG-, EEG- und medizinischen Bilddaten zu optimieren. Der Abschnitt beschreibt außerdem die im vorgeschlagenen Modell verwendeten Verfahren zur Extraktion von Merkmalen, Schulungen und Datenvorbereitung.

Materialien
Alle Experimente wurden auf einer Workstation mit einer Multi-Core-CPU, ≥32 GB RAM und einer dedizierten GPU (≥8 GB VRAM) durchgeführt. Die Implementierungsumgebung bestand aus Python (v3.9 oder später), TensorFlow (v2.12) und Keras (v2.12). Reinforcement Learning-Bibliotheken wurden mit pip install stable-baselines3 installiert. Das Stable-Baselines3-Paket18 bietet effiziente Implementierungen von Reinforcement Learning-Algorithmen wie Deep Q-Network (DQN) und Proximal Policy Optimisation (PPO).

Datensätze
Das vorgeschlagene Hybrid Deep Reinforcement Learning (HDRL)-Framework wurde mit drei öffentlich verfügbaren biomedizinischen Datensätzen bewertet, die multimodale Signaltypen repräsentieren. (1) PhysioNet Challenge 2016: Eine Sammlung von 12-fachen EKG-Aufzeichnungen von Patienten mit Herzerkrankungen, darunter Vorhofflimmern, ventrikuläre Arrhythmie und ischämische Herzerkrankung. Der Datensatz enthält annotierte Etiketten für Herzerkrankungen19. (2) CHB-MIT Scalp EEG Database: Ein Datensatz mit EEG-Aufzeichnungen der Kopfhaut wird zur Erkennung epileptischer Anfälle verwendet, mit Anmerkungen, die Anfälle und Nicht-Anfälle20 markieren. (3) OASIS-3 MRT-Datenbank: Eine Sammlung von MRT-Hirnbildern und klinischen Bewertungen wird zur Erkennung und Überwachung der Alzheimer-Krankheitverwendet 21. Repräsentative Stichproben aus jeder Modalität zeigen die inhärente Variabilität und Rauscheigenschaften, die in multimodalen biomedizinischen Daten vorhanden sind (Abbildung 2).

Abbildung 2
Abbildung 2: Beispiele biomedizinischer Signale aus EKG, EEG und medizinischer Bildgebung. Repräsentative Beispiele für EKG-Wellenform, EEG-Signal und eine medizinische Bildgebung, die die verschiedenen in der Studie verwendeten Modalitäten veranschaulichen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datenvorverarbeitung
Jede Modalität durchlief modalitätsspezifische Vorverarbeitungsverfahren, um eine standardisierte Eingabedarstellung sicherzustellen. EEG- und EKG-Signale wurden mit einem Butterworth-Bandpassfilter vierter Ordnung gefiltert. Der Frequenzbereich wurde für EEG auf 0,5–40 Hz und für EKG 0,5–45 Hz eingestellt. Die Proben wurden in 5-Sekunden-Fenster mit 50 % Überschneidung unterteilt. Jedes Signal wurde durch Segmentierung normalisiert, um null Mittelwert und Einheitsvarianz zu erreichen. MRT-Bilder wurden mittels Schädelstripping mit dem FSL Brain Extraction Tool (BET) verarbeitet. Die Bilder wurden auf 224 × 224 Pixel verkleinert. Die Pixelintensitäten wurden auf den [0,1]-Bereich normalisiert, um die Eingangsverteilungen zu standardisieren.

Merkmalsextraktion
Die Merkmalsextraktion wurde unabhängig für jede Modalität mit DNNs durchgeführt, um sicherzustellen, dass die einzigartigen Eigenschaften jeder Modalität effektiv erfasst wurden.

EKG- und EEG-Extraktoren:
Für die Zeitreihen-Signalverarbeitung wurde eine 1D-Architektur des Convolutional Neural Network (1D-CNN) verwendet. Die Architektur bestand aus (1) einer Eingabeschicht (window_length, 1), (2) Conv1D-Schichten mit 64 Filtern und einer Kernelgröße von 3, (3) ReLU-Aktivierung, (4) MaxPooling1D mit Poolgröße=2, (5) Flatten- und Dense-Schichten (128 Einheiten, ReLU). Die vorletzten dichten Schicht-Darstellungen wurden als modalitätsspezifische Merkmalsvektoren extrahiert.

MRT-Feature-Extraktor
Ein vortrainiertes zweidimensionales CNN-Modell (z. B. VGG16 oder ResNet50) wurde fein abgestimmt, um räumliche Merkmale aus MRT-Bildern zu extrahieren. Das CNN wurde auf dem OASIS-3-Datensatz trainiert, wobei die letzten Schichten des vortrainierten Modells angepasst wurden, um sich an die spezifische Klassifikationsaufgabe21 anzupassen. Die finalen Klassifikationsschichten wurden durch aufgabenspezifische Schichten ersetzt, und aus der vorletzten Schicht 5,6 wurden hochstufige räumliche Merkmale extrahiert.

Modellarchitektur und Training
Das vorgeschlagene Hybrid Deep Reinforcement Learning (HDRL)-Framework wurde in zwei aufeinanderfolgenden Stufen entwickelt und trainiert: modalitätsspezifische Merkmalsextraktion, gefolgt von Fusionsoptimierung auf Basis von Reinforcement Learning. In der ersten Phase wurden separate Convolutional Neural Networks (CNNs) mit markierten Daten für EKG-, EEG- und MRT-Modalitäten trainiert. Der Adaptive Moment Estimation (Adam) Optimierer mit einer Lernrate von 0,001 und einem kategorischen Kreuzentropieverlust wurde während des überwachten Trainings eingesetzt. Nach der Konvergenz wurden hochrangige Darstellungen aus der vorletzten Schicht jedes CNN extrahiert, was modalitätsspezifische Merkmalsvektoren FECG = CNNECG (XEKG), FECG = CNNEKG(XEKG) und FMRI = CNNMRI(XMRI) ergab. Diese Vektoren wurden zu einer einheitlichen multimodalen Darstellung Fconcat = [FECG, FEEG, FMRI) verkettet, die als Eingabe für die Reinforcement Learning-Stufe dient.

Der Fusionsprozess wurde als Markov-Entscheidungsprozess (MDP) formuliert, bei dem der Zustand s dem konkatenierten Merkmalsvektor Fkonkatat entsprach, die Aktion die Auswahl einer Fusionsstrategie darstellte (entweder gewichtete Summation oder direkte Verkettung) und die Belohnung r als Klassifikationsgenauigkeit definiert wurde, die aus einem nachgelagerten Klassifikator erzielt wurde, der auf den verschmolzenen Merkmalen trainiert wurde. Die Aktionswertfunktion Q(s,a) wurde mit einem Deep Q-Netzwerk (DQN) angenähert, das die erwartete kumulative Belohnung Gleichung 1schätzte. Die Modellparameter wurden iterativ gemäß der Regel aktualisiert.

Gleichung 2

wobei α = 0,0001 die Lernrate ist, γ = 0,99 der Diskontfaktor und s' den nächsten Zustand bezeichnet.

Während der Optimierung des Reinforcement Learning wurde das Modell für 1.000 Episoden mit einer Batch-Größe von 32 trainiert. Eine Epsilon-gierige Strategie wurde verfolgt, um Exploration und Ausbeutung auszubalancieren, mit Gleichung 3 initialisierter Stufe 1,0 und Abschwächung um 0,995 pro Episode. Mit Wahrscheinlichkeit Gleichung 3wurde eine zufällige Fusionsstrategie gewählt, während bei Wahrscheinlichkeit 1 - Gleichung 3die Strategie mit dem höchsten geschätzten Q-Wert gewählt wurde. Die Belohnungskonvergenz wurde während des gesamten Trainings überwacht, wobei eine stabile Leistung (>0,85 kumulierte Belohnung) typischerweise von etwa 500 Episoden beobachtet wurde.

Der HDRL-Workflow umfasst die Vorverarbeitung multimodaler Signale, das Extrahieren modalitätsspezifischer tiefer Features, die Erstellung einer einheitlichen Zustandsrepräsentation, die Auswahl von Fusionsstrategien und die Verbesserung der Richtlinie mithilfe von Klassifikationsfeedback des DQN-Agenten. Die Interaktion zwischen CNN-basierten Feature-Extractoren und dem Reinforcement Learning Agent bildet ein geschlossenes adaptives Fusionssystem (Abbildung 3), das Richtlinienupdates auf Basis von Belohnungsfeedback ermöglicht.

Abbildung 3
Abbildung 3: Flussdiagramm des vorgeschlagenen Hybrid Deep Reinforcement Learning (HDRL)-Workflows. Workflow-Diagramm, das modalitätsspezifische CNN-Feature-Extraktion, Feature-Konkatenation, Reinforcement Learning-basierte Auswahl einer Fusionsstrategie (DQN/PPO), Downstream-Klassifikation und belohnungsbasierte Policy Update zeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Hybrid Deep Reinforcement Learning (HDRL)-Modell eine verbesserte Leistung für multimodale biomedizinische Signalfusion erzielt. Das HDRL-Modell wurde durch Validierung anhand mehrerer realer biomedizinischer Datensätze bewertet. Die Ergebnisse zeigen hinsichtlich Robustheit, Anpassungsfähigkeit und Klassifikationsgenauigkeit seine Überlegenheit gegenüber anderen traditionellen Fusionsmethoden wie PCA und DNN-basierter Fusion.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Fusionseffizienz:
Dieser Abschnitt präsentiert eine vergleichende Analyse der Fusionseffizienz zwischen HDRL, PCA und DNN. Der multimodale Datensatz, der durch die Kombination von EEG-, EKG- und MRT-Daten aus der PhysioNet Challenge 201619, der CHB-MIT Scalp EEG Database20 und der OASIS-3 MRI Database21 gewonnen wurde, wurde zur Berechnung der Fusionseffizienz verwendet. Die Bearbeitungszeit ist ein entscheidender Parameter in Ech...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Die Autoren erklären, dass es keine Interessenkonflikte im Zusammenhang mit diesem Werk gibt.

Danksagungen

Die Forschung wurde teilweise in den Räumlichkeiten des Wissenschaftspalastes, Miodrag Kostić Stiftung – Zentrum für Angewandte Künstliche Intelligenz – durchgeführt. Diese Forschung wurde von EUROHPC-JU, Grant Nr. 101191697, EuroCC4SEE unterstützt.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
Butterworth-Filter (4. Ordnung, SciPy-Implementierung)SciPy-GemeinschaftN/AEEG/EKG-Signalvorverarbeitung
CHB-MIT Kopfhaut-EEG-DatenbankPhysioNetDOI: 10.13026/C2K01REEG-Datensatz
FSL Gehirnextraktionswerkzeug (BET)FMRIB Softwarebibliothek (FSL)N/AMRT-Schädelabziehung
Keras (V2.12)Google LLCN/AAPI für hochrangige neuronale Netzwerke
NVIDIA GPU (≥ 8 GB VRAM)NVIDIA CorporationModellabhängigErforderlich für beschleunigtes Deep-Learning-Training
OASIS-3 MRT-DatenbankWashington UniversitätDOI: 10.1002/alz.047259MRT-Datensatz
PhysioNet Challenge 2016 DatensatzPhysioNetDOI: 10.22489/CinC.2016.179-154EKG-Datensatz
Python (v3.9 oder neuer)Python Software FoundationN/AProgrammierumgebung
Stabil-Baselines3DLR-RM (Open Source)N/AImplementierung von Reinforcement Learning (DQN, PPO)
TensorFlow (v2.12)Google LLCN/ADeep-Learning-Framework
Arbeitsstation (Mehrkern-CPU, ≥ 32 GB RAM, ≥ 8 GB GPU)Maßgefertigter / lokaler AnbieterN/AVerwendet für Modelltraining und Experimente

Referenzen

  1. Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
  2. Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
  3. Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
  4. Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
  5. Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
  6. He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
  7. Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
  8. Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
  9. Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
  10. Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
  11. Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
  12. Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
  13. Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
  14. Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
  15. Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
  16. Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
  17. Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
  18. Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
  19. Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
  20. Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
  21. Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
  22. Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Hybrides Deep Learningmultimodale Signaletiefe neuronale NetzeMerkmalsextraktionRichtlinienoptimierungmedizinische BildgebungKrankheitsklassifizierungHauptkomponentenanalyse

Verwandte Artikel