本研究は、特徴抽出のための深層ニューラルネットワーク(DNN)と動的マルチモーダル信号融合のための強化学習(RL)を統合したハイブリッド型深層強化学習(HDRL)フレームワークを提案します。生物医学データセットで評価され、精度、堅牢性、稀事象検出において優れており、個別化医療や疾患分類に大きな応用を提供します。
このコンテンツを表示するには、JoVEへの購読が必要です。 または、無料トライアルをお申し込みください。
この記事について
サマリー
要約
医療における意思決定と診断の精度を向上させるには、心電図(ECG)、脳波計(EEG)、医療画像診断などの多様性生物医学信号を組み合わせる必要があります。従来の信号融合技術は、信号の変動性や固有の複雑さという大きな課題に直面しています。特徴抽出にはディープニューラルネットワーク(DNN)、動的融合最適化には強化学習(RL)を用いたハイブリッド深層強化学習(HDRL)モデルを提案します。このハイブリッドモデルはリアルタイムフィードバックを活用し、融合ポリシー学習を最適化し、異なるデータ特性に適応します。その性能を評価するために、提案されたモデルはディープニューラルネットワークベースの手法や主成分解析(PCA)などの従来の融合技術と比較されました。ハイブリッド深層強化学習モデルは、複数の実世界の生物医学データセットで検証されました。提案されたモデルは、個別化医療および疾患分類にも適用可能であり、実験的証拠によりノイズのある条件下での堅牢性、分類精度、稀事象検出の面で性能が向上していることが示されています。提案された手法は、従来の信号融合技術に関する懸念に対処するだけでなく、マルチモーダルの生物医学信号処理を前進させる有望な解決策を提供します。モデルは特徴マイニングにDNNを使用し、ポリシー最適化にはRLエージェント(DQN、PPO)を使用します。
概要
現代の医療は、診断の精度と臨床意思決定を向上させるために、多様な生物医学データソースの統合にますます依存しています。心電図(ECG)、脳波(EEG)、磁気共鳴画像(MRI)やコンピュータ断層撮影(CT)などの医療画像検査などの生理的信号は、疾患診断や個別化治療を支援する補完的な生理学的情報を提供します。しかし、生物医学信号は本質的に複雑であり、ノイズや欠損、高次元構造を含むことが多く、解析や解釈が困難です。複数の生理学的データストリームからの情報を統合するマルチモーダル生体医学信号融合は、診断性能の向上、データ品質の変動に対する堅牢性の強化、集中治療室(ICU)などの臨床環境での包括的な患者モニタリングを可能にする重要なアプローチとなっています1。
従来の多モーダル信号融合法は主に統計的および線形手法に依存してきました。主成分分析(PCA)は信号を直交成分に変換することでデータの次元性を低減し、標準相関解析(CCA)はモダリティ間の線形関係を特定してマルチモーダルデータセットを整合させます。これらの技術は、生物医学的マルチモーダル融合の場で成功裏に応用されています。3.しかし、線形仮定に依存しているため、生理信号間にしばしば存在する複雑な非線形関係を捉える能力が制限されています。実際には、生物医学データはほとんど完全に線形ではありません。従来の多モーダル融合手法は、これらの非線形依存関係のためにモダリティ間の意味のある相互作用を捉えきれないことが多い4,5。その結果、従来の融合法ではモダリティ間の意味のある相互作用を捉えられず、疾患診断やリアルタイムの臨床意思決定などのタスクでの効果が制限される可能性があります。
最近のディープラーニングの進展により、ニューラルネットワークが生データから階層的表現を自動的に抽出できるようになり、生体医療信号処理は大きく変革されました。畳み込みニューラルネットワーク(CNN)は、医療画像の空間パターン解析において強い性能を示しています5,6。マルチモーダルCNNアーキテクチャは、MRIやCTなどの画像手法を統合し診断精度を向上させるために用いられています。同様に、再帰神経ネットワーク(RNN)や長短期記憶(LSTM)ネットワークは、疾患分類タスクのために心電図(ECG)や脳波(EEG)を含む連続的な生体医学信号に適用されています。これらの進歩にもかかわらず、多くのディープラーニングベースの融合手法は、特徴の連結や加重平均などの固定融合戦略に依存しています。これらの静的融合機構は信号品質の変動に効果的に適応しません。実際の臨床環境では、運動アーティファクト、電極の変位、歪み、環境ノイズなどにより信号が劣化することがあります。このような変化は個々のモダリティの信頼性を低下させ、融合プロセス全体に悪影響を及ぼす可能性があります。これらの課題に対処するには、リアルタイムの臨床環境における動的なデータ条件に対応できる適応型融合戦略が必要です。
強化学習(RL)は、不確実な環境下での連続的な意思決定のための強力な枠組みを提供します。強化学習では、エージェントは環境との相互作用を通じて累積報酬を最大化する行動を選択することを学びます。この意思決定過程は一般的にベルマン方程式を用いて定式化され、状態の価値を即時報酬と将来の報酬の割引価値の合計と定義します。Deep Q-Networks(DQN)などの手法は、深層ニューラルネットワークを用いたアクションバリュー関数を近似することで高次元問題への強化学習を拡張します。同様に、ポリシーベースの深層強化学習手法は、エージェントのポリシーの反復更新を通じて安定的かつ効率的なポリシー学習を可能にします。強化学習技術はすでに治療最適化や異常検出12など複数の医療応用で探求されていますが、適応型マルチモーダル信号融合への応用は比較的限定的です。
ハイブリッド深層強化学習(HDRL)は、深層学習と強化学習を統合し、特徴抽出と適応的意思決定を組み合わせます。この枠組みでは、ディープニューラルネットワークがマルチモーダルの生物医学信号を高水準の特徴表現に変換し、強化学習エージェントはタスクパフォーマンスに基づいて動的に融合戦略を選択します。この適応メカニズムにより、信号品質やモダリティの変動に対応でき、ICUモニタリングやウェアラブル診断システムなどの複雑な臨床環境でのより堅牢な運用を可能にします8。
古典的な強化学習手法に加え、ファジィ論理、遺伝的アルゴリズム、強化学習を組み合わせた複数のハイブリッド学習手法が生物医学的分類課題のために探求されています。例えば、ファジーQ学習と遺伝的アルゴリズムの組み合わせは、EEG信号を用いたてんかん性の分類に応用されており、不確かな時間パターンへの適応性が向上していることを示しています13。同様に、医療画像を用いた肺疾患分類には、ファジィ格子ベースの進化学習アプローチが提案されています14。他の研究では、発作認識のための強化学習ベースのアプローチ15 や、胸部X線画像から肺炎や結核を検出するための修正されたファジーQ学習分類器が調査されています16。これらの研究は生物医学解析におけるハイブリッド学習法の可能性を示していますが、既存の多くのアプローチはマルチモーダルシグナルフュージョンよりも単一モダリティ分類に焦点を当てています。
マルチモーダル機械学習の最近の進展では、トランスモーダーベースのアーキテクチャを用いたクロスモーダル医療応用も探求されています。これらのモデルは、医療画像合成や異種生物医学データセットの分析など、1つ以上のモダリティが不完全または欠落している場合など、有望な性能を示しています。 しかし、これらの進歩にもかかわらず、マルチモーダルデータの変動に動的に応答する適応型融合機構の必要性は依然として重要な研究課題です。
本研究では、マルチモーダルの生物医学信号融合のためのハイブリッド深層強化学習(HDRL)フレームワークを提案しています。モダリティ特化型CNNモデルは、ECG、EEG、MRIデータから特徴を抽出し、それらを組み合わせて統一されたマルチモーダル表現を形成します。ディープQネットワーク(DQN)エージェントは、現在の特徴状態に応じて、特徴の連結や重み付けの組み合わせなどの融合戦略を動的に選択します。下流分類器は分類性能に基づく報酬信号を提供し、強化学習エージェントが連続的フィードバックを通じて融合ポリシーを最適化できるようにします。この適応型フレームワークにより、信号品質やモダリティの利用可能性の変化にモデルが調整できます。提案されたアプローチは、PhysioNet 2016、CHB-MITのEEG、OASIS-3データセットを用いて評価され、従来のPCAベースおよびディープラーニングベースの融合技術と比較されています。
図1:提案されたHDRLベースのマルチモーダル信号融合システムのアーキテクチャを示すブロック図。 マルチモーダル融合フレームワークの回路図的表現で、ECG、EEG、医療画像入力をディープニューラルネットワークの特徴抽出器で処理し、その後強化学習に基づく適応融合および報酬フィードバックを用いる。 この図の拡大版はこちらをクリックしてご覧ください。
提案されたマルチモーダル信号融合フレームワークのアーキテクチャは 図1に示されています。このアーキテクチャでは、モダリティ特異のCNNモデルがECG、EEG、MRI信号から独立して特徴を抽出します。これらの特徴は統合された表現として組み合わされ、強化学習エージェントはそれを使って最適な融合戦略を決定します。
生物医学的信号処理は、複数のモダリティから得られる生理学的信号の解析を通じて、正確な診断、モニタリング、治療計画を可能にすることで、現代医療において重要な役割を果たしています。心電図、脳波、医療画像データなどの信号を統合するには、異なる情報源から補完的な情報を捉える高度な融合技術が必要です。 表1は 、一般的に使われているマルチモーダル信号融合手法をまとめ、その主な特徴、利点、限界を含み、提案されたHDRLベースのフレームワークの動機を示しています。
| 方法 | 主な特徴 | 利点 | 制限 |
| PCA | 線形次元削減 | 速くてシンプル | 線形関係に限定される |
| DNN | 非線形特徴学習 | 複雑なパターンを捉える | 固定核融合戦略 |
| DRL | 動的政策学習 | データに適応する | 高計算 |
| HDRL | DNN + RLハイブリッド | 適応的で堅牢、効率的 | 慎重なチューニングが必要です |
表1:マルチモーダル融合法の比較。 一般的に使われているマルチモーダル信号融合手法の概要と、その主な特徴、利点、制限を概説します。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
プロトコル
このプロトコルは、マルチモーダルの生物医学信号融合のためのハイブリッド深層強化学習(HDRL)モデルの段階的な実装を説明しています。このフレームワークは、ディープラーニングと強化学習技術を統合し、心電図、脳波、医療画像データのリアルタイム融合を最適化します。このセクションでは、提案モデルで使用される特徴抽出、訓練、データ準備手順も概説しています。
材料
すべての実験はマルチコアCPU、≥32 GB RAM、専用GPU(≥8 GB VRAM)を搭載したワークステーション上で行われました。実装環境はPython(v3.9以降)、TensorFlow(バージョン2.12)、Keras(バージョン2.12)で構成されていました。強化学習ライブラリはpip install stable-baselines3を使用してインストールされました。Stable-Baselines3パッケージ18 は、Deep Q-Network(DQN)や近接ポリシー最適化(PPO)などの強化学習アルゴリズムの効率的な実装を提供します。
データセット
提案されたハイブリッド深層強化学習(HDRL)フレームワークは、マルチモーダル信号タイプを表す3つの公開されている生物医学データセットを用いて評価されました。(1) PhysioNet Challenge 2016:心房細動、心室不整脈、虚血性心疾患を含む心臓病患者の12誘導心電図記録のコレクション。データセットには心臓疾患の注釈付きラベルが含まれています。(2) CHB-MIT頭皮EEGデータベース:てんかん発作検出に頭皮EEG記録のデータセットを使用し、発作および非発作事象を示す注釈付き20。(3) OASIS-3 MRIデータベース:MRI脳画像と臨床評価のコレクションがアルツハイマー病の検出とモニタリングに使用されます。各モダリティからの代表的なサンプルは、マルチモーダル生体医学データに存在する固有の変動性とノイズ特性を示しています(図2)。
図2:心電図、脳波、医療画像からの生体医学信号のサンプル。 研究で用いられた異なるモダリティを示す、心電図波形、EEG信号、医療画像スキャンの代表例。 この図の拡大版はこちらをクリックしてご覧ください。
データ前処理
各モダリティは、標準化された入力表現を確保するためにモダリティ固有の前処理手順を経ました。EEGおよびECG信号は4次バターワースバンドパスフィルターを用いてフィルタリングされました。周波数範囲はEEGで0.5〜40Hz、ECGが0.5〜45Hzに設定されていました。サンプルは5秒間のウィンドウに分割され、50%が重複しました。各信号はセグメント化して平均および単位分散をゼロにして正規化されました。MRI画像はFSL脳摘出ツール(BET)を用いた頭蓋骨剥離処理で処理されました。画像は224ピクセル×224ピクセルにリサイズされました。入力分布を標準化するために、ピクセル強度は[0,1]の範囲に正規化されました。
特徴抽出
各モダリティごとにDNNを用いて独立して特徴抽出が行われ、各モダリティの独自の特性が効果的に捉えられるようにしました。
心電図および脳波の特徴抽出器:
時系列信号処理には1次元畳み込みニューラルネットワーク(1D-CNN)アーキテクチャが採用されました。アーキテクチャは、(1) 入力層(window_length, 1)、(2) 64フィルターを持つConv1Dレイヤー(カーネルサイズ3)、(3) ReLUの活性化、(4) プールサイズ=2のMaxPooling1D、(5) フラット層および高密度レイヤー(128ユニット、ReLU)で構成されていました。最後から二番目の高密度層表現はモダリティ特異的特徴ベクトルとして抽出されました。
MRIフィーチャーエクストラクター
事前学習済みの二次元CNNモデル(例:VGG16やResNet50)がMRI画像から空間的特徴を抽出するために微調整されました。CNNはOASIS-3データセット上で訓練され、事前学習済みモデルの最後の数層は特定の分類タスク21に適応するように修正されました。最終的な分類層はタスク固有の層に置き換えられ、高レベルの空間特徴は最後から2番目の層5,6から抽出されました。
モデルアーキテクチャとトレーニング
提案されたハイブリッド深層強化学習(HDRL)フレームワークは、モダリティ固有の特徴抽出と強化学習に基づく融合最適化の2段階で開発・訓練されました。第1段階では、ECG、EEG、MRIモダリティのラベル付きデータ上で個別の畳み込みニューラルネットワーク(CNN)を訓練しました。学習率0.001、カテゴリカルクロスエントロピー損失を持つ適応モーメント推定(Adam)最適化器が監督付きトレーニング中に用いられました。収束後、各CNNの最後から2番目の層から高水準表現を抽出し、モダリティ特異の特徴ベクターF ECG = CNNECG(XECG)、FECG = CNNECG(XECG)、FMRI = CNNMRI(XMRI)を得ました。これらのベクトルは連結され、統一されたマルチモーダル表現F concat = [FECG, FEEG, FMRI]を形成し、強化学習段階への入力として機能します。
融合過程はマルコフ決定過程(MDP)として定式化され、状態 sは連結された特徴ベクトル Fコンカトに対応し、作用は融合戦略の選択(重み付き総和または直接連結)を表し、報酬 r は融合特徴を学習した下流分類器から得られる分類精度として定義されました。アクションバリュー関数 Q(s,a)は、期待される累積報酬 
を推定したディープQネットワーク(DQN)を用いて近似されました。モデルのパラメータは規則に従って反復的に更新されました。
ここで α = 0.0001は学習率、γ = 0.99は割引係数、 s' は次の状態を表します。
強化学習の最適化期間中、モデルは1,000エピソード、バッチサイズ32で訓練されました。探索と搾取のバランスを取るためにイプシロン貪欲な戦略が採用され、 
は1.0で初期化され、1話ごとに0.995減衰しました。確率 ではランダムな融合戦略が選ばれ、確率1から では推定Q値が最も高い戦略が選ばれました。報酬収束は訓練全体を通じて監視され、約500回のエピソードで安定したパフォーマンス(>0.85の累積報酬)が観察されました。
HDRLのワークフローは、マルチモーダル信号の前処理、モダリティ特有の深層特徴の抽出、統一状態表現の形成、融合戦略の選択、そしてDQNエージェントからの分類フィードバックを用いたポリシーの改善を含みます。CNNベースの特徴抽出器と強化学習エージェントの相互作用により、クローズドループの適応融合システム(図3)が形成され、報酬フィードバックに基づくポリシー更新が可能になります。
図3:提案されたハイブリッド深層強化学習(HDRL)ワークフローのフロー図。 モダリティ特有のCNN特徴抽出、特徴連結、強化学習に基づく融合戦略選択(DQN/PPO)、下流分類、報酬ベースのポリシー更新を示すワークフロー図。 この図の拡大版はこちらをクリックしてご覧ください。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
結果
実験結果は、提案されたハイブリッド深層強化学習(HDRL)モデルがマルチモーダルの生物医学信号融合において性能を向上させていることを示しています。HDRLモデルは複数の実世界の生物医学データセットと照合して検証されました。結果は、堅牢性、適応性、分類精度の観点から、PCAやDNNベースの核融合など他の従来の融合法に対する優位性を示しています。
実験装置
提案されたHDRLモデルの性能を評価するために、公開されている3つの生物医学データセットが用いられました。ディープニューラルネットワークを用いた特徴抽出の前には、前節で説明したようにデータは前処理されていました。Deep Qネットワーク(DQN)技術を用いて、モデルの分類精度に基づく報酬関数を用いて提案モデルを訓練しました。比較のために、従来の方法を評価しました。モデル評価に用いられたパフォーマンス指標は以下の通りです:1) 分類精度:正しく分類されたインスタンスの割合。2) 精度、再現率、F1スコア:これらの指標は、特に不均...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
ディスカッション
融合効率:
本節では、HDRL、PCA、DNN間の融合効率の比較分析を提示します。PhysioNet Challenge2016 19、CHB-MIT Scalp EEG Database20、OASIS-3 MRI Database21のEEG、ECG、MRIデータを融合して得られたマルチモーダルデータセットは、融合効率の計算に用いられました。処理時間は、集中治療室(ICU)モニタリングやウェアラブル診断のようなリアルタイム臨床応用において重要なパラメータであり、タイムリーな判断が患者の転帰に直接影響します。
再現性のための重要なプロトコルステップ:この研究を再現するために不可欠な重要なステップは、適切な信号前処理(前述のフィルタリングと正規化)、強化学習のハイパーパラメータの慎重な選択(例:確立されたDQNガイドライ...
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
開示事項
著者らは、本研究に関連する利益相反はないと宣言しています。
謝辞
研究の一部は、ミオドラグ・コスティッチ科学基金-応用人工知能センターの科学宮殿の敷地内で行われました。この研究はEUROHPC-JUの助成金番号101191697、EuroCC4SEEの支援を受けました。
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| バターワースフィルター(4次、サイピー実装) | サイピー・コミュニティ | 該当なし | EEG/ECG信号の前処理 |
| CHB-MIT頭皮EEGデータベース | フィジオネット | DOI: 10.13026/C2K01R | EEGデータセット |
| FSL脳抽出ツール(BET) | FMRIBソフトウェアライブラリ(FSL) | 該当なし | MRI頭蓋骨剥離 |
| ケラス(v2.12) | Google LLC | 該当なし | 高レベルニューラルネットワークAPI |
| NVIDIA GPU(≥8GB VRAM) | NVIDIAコーポレーション | モデル依存 | 加速されたディープラーニングトレーニングに必須 |
| OASIS-3 MRIデータベース | ワシントン大学 | DOI: 10.1002/alz.047259 | MRIデータセット |
| PhysioNetチャレンジ2016データセット | フィジオネット | DOI: 10.22489/CinC.2016.179-154 | 心電図データセット |
| Python(バージョン3.9以降) | Pythonソフトウェア財団 | 該当なし | プログラミング環境 |
| 安定ベースライン3 | DLR-RM(オープンソース) | 該当なし | 強化学習実装(DQN、PPO) |
| TensorFlow (v2.12) | Google LLC | 該当なし | ディープラーニングフレームワーク |
| ワークステーション(マルチコアCPU、および32GB RAM、そして8GB GPU) | カスタムビルド/地元ベンダー | 該当なし | モデルトレーニングと実験に使用 |
参考文献
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
アクセスが制限されています。このコンテンツを表示するにはログインするか、トライアルを開始してください。