Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Araştırma makalesi

Multimodal Biyomedikal Sinyal Füzyonu için Hibrit Derin Pekiştirme Öğrenme

293 görüntülenme

⸱

DOI:

10.3791/69929

⸱

10 Nisan 2026

 ,  ,  ,  ,  , 

Bu makalede

Özet

Bu araştırma, özellik çıkarımı için derin sinir ağlarını (DNN) dinamik multimodal sinyal füzyonu için güçlendirme öğrenme (RL) ile entegre eden hibrit derin pekiştirme öğrenme (HDRL) çerçevesi önermektedir. Biyomedikal veri setleri üzerinde değerlendirilen bu cihaz, doğruluk, sağlamlık ve nadir olay tespiti açısından öne çıkar ve kişiselleştirilmiş tıp ile hastalık sınıflandırmasında önemli uygulamalar sunar.

Özet

Sağlık hizmetlerinde karar alma ve tanı doğruluğunu artırmak, elektrokardiyogram (EKG), elektroensefalogram (EEG) ve tıbbi görüntüleme gibi çoklu modal biyomedikal sinyallerin birleştirilmesini gerektirir. Geleneksel sinyal füzyon teknikleri, sinyal değişkenliği ve doğasında bulunan karmaşıklık nedeniyle önemli zorluklarla karşı karşıyadır. Özellik çıkarımı için Derin Sinir Ağları (DNN) ve dinamik füzyon optimizasyonu için Pekiştirme Öğrenme (RL) kullanan Hibrit Derin Pekiştirme Öğrenme (HDRL) modeli öneriyoruz. Bu hibrit model, füzyon politika öğrenimini optimize etmek ve değişken veri özelliklerine uyum sağlamak için gerçek zamanlı geri bildirim kullanır. Performansını değerlendirmek için önerilen model, Derin Sinir Ağı tabanlı yöntemler ve Ana Bileşen Analizi (PCA) gibi geleneksel füzyon teknikleriyle karşılaştırıldı. Hibrit derin pekiştirme öğrenme modeli, birkaç gerçek dünya biyomedikal veri setinde test edilmiştir. Önerilen model, kişiselleştirilmiş tıp ve hastalık sınıflandırması için geçerlidir; deneysel kanıtlar, gürültülü koşullarda dayanıklılık, sınıflandırma doğruluğu ve nadir olay tespiti açısından performansın arttığını göstermektedir. Önerilen metodoloji, geleneksel sinyal füzyon teknikleriyle ilgili endişeleri ele almanın yanı sıra, çoklu modal biyomedikal sinyal işlemeyi ilerleten umut vaat eden çözümler sunmaktadır. Model, özellik madenciliği için DNN ve politika optimizasyonu için RL ajanları (DQN, PPO) kullanır.

Giriş

Modern sağlık hizmetleri, tanı doğruluğunu ve klinik karar alma süreçlerini artırmak için çeşitli biyomedikal veri kaynaklarının entegrasyonuna giderek daha fazla dayanmaktadır. Elektrokardiyogram (EKG), elektroensefalogram (EEG) gibi fizyolojik sinyaller ve manyetik rezonans görüntüleme (MR) ile bilgisayarlı tomografi (BT) gibi tıbbi görüntüleme yöntemleri, hastalık teşhisi ve kişiselleştirilmiş tedaviyi destekleyen tamamlayıcı fizyolojik bilgiler sağlar. Ancak, biyomedikal sinyaller doğası gereği karmaşıktır ve genellikle gürültü, eksik değerler ve yüksek boyutlu yapılar içerir, bu da analiz ve yorumlamalarını zorlaştırır. Çoklu fizyolojik veri akışından gelen bilgi....

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Bu protokol, multimodal biyomedikal sinyal füzyonu için Hibrit Derin Pekiştirme Öğrenme (HDRL) modelinin adım adım uygulamasını tanımlar. Çerçeve, EKG, EEG ve tıbbi görüntüleme verilerinin gerçek zamanlı birleşimini optimize etmek için derin öğrenme ve pekiştirme öğrenme tekniklerini entegre eder. Bölüm ayrıca önerilen modelde kullanılan özellik çıkarma, eğitim ve veri hazırlama prosedürlerini de özetlemektedir.

Malzemeler
Tüm deneyler, çok çekirdekli CPU, ≥32 GB RAM ve özel GPU (≥8 GB VRAM) olan bir iş istasyonunda gerçekleştirildi. Uygulama ortamı Python (v3.9 veya sonrası), TensorFlow (v2.12) ve Keras (v2.12) sürümler....

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Deneysel sonuçlar, önerilen Hibrit Derin Pekiştirme Öğrenme (HDRL) modelinin çok modlu biyomedikal sinyal füzyonu için daha iyi performans sağladığını göstermektedir. HDRL modeli, birkaç gerçek dünya biyomedikal veri setiyle doğrulanarak değerlendirildi. Sağlamlık, uyum sağlamlığı ve sınıflandırma doğruluğu açısından elde edilen sonuçlar, PCA ve DNN tabanlı füzyon gibi diğer geleneksel füzyon yöntemlerine karşı üstünlüğünü ortaya koymaktadır.

Deneysel Kurulum
Önerilen HDRL .......

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

Füzyon verimliliği:
Bu bölüm, HDRL, PCA ve DNN arasında füzyon verimliliğinin karşılaştırmalı bir analizini sunmaktadır. PhysioNet Challenge 201619, CHB-MIT Scalp EEG Database20 ve OASIS-3 MRI Database21'den alınan EEG, EKG ve MRI verilerinin birleştirilmesiyle elde edilen multimodal veri seti, füzyon verimliliğini hesaplamak için kullanıldı. İşlem süresi, Yoğun Bakım Ünitesi (ICU) izleme ve giyilebilir tanı gibi gerçek zamanlı kl.......

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarlar, bu çalışmayla ilgili çıkar çatışması olmadığını belirtmektedir.

Teşekkürler

Araştırmanın kısmen Miodrag Kostić Endowment - Uygulamalı Yapay Zeka Merkezi Bilim Sarayı'nın binasında yürütülmüştür. Bu araştırma, EUROHPC-JU, 101191697 numaralı hibe EuroCC4SEE tarafından desteklenmiştir.

....

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Butterworth Filtresi (4. derece, SciPy uygulaması)SciPy TopluluğuYokEEG/EKG sinyal ön işleme
CHB-MIT Saç Derisi EEG VeritabanıPhysioNetDOI: 10.13026/C2K01REEG veri seti
FSL Beyin Çıkarma Aracı (BET)FMRIB Yazılım Kütüphanesi (FSL)YokMRI kafatası soyulması
Keras (v2.12)Google LLCYokYüksek seviyeli sinir ağı API'si
NVIDIA GPU (≥ 8 GB VRAM)NVIDIA CorporationModele bağlıHızlandırılmış derin öğrenme eğitimi için gerekli
OASIS-3 MRI VeritabanıWashington ÜniversitesiDOI: 10.1002/alz.047259MRI veri seti
PhysioNet Challenge 2016 Veri SetiPhysioNetDOI: 10.22489/CinC.2016.179-154EKG veri seti
Python (v3.9 veya daha sonrası)Python Yazılım VakfıYokProgramlama ortamı
Stabil-Baseline3DLR-RM (Açık kaynak)YokPekiştirme öğrenme uygulaması (DQN, PPO)
TensorFlow (v2.12)Google LLCYokDerin öğrenme çerçevesi
İş istasyonu (Çok çekirdekli CPU, ≥ 32 GB RAM, ≥ 8 GB GPU)Özel Yapım / Yerel SatıcıYokModel eğitimi ve deney için kullanılır

Kaynaklar

  1. Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
  2. Er, A. G., et al. Multimodal data fusion using sparse canonical co....

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Daha fazla makale keşfet

Hibrit Derin ÖğrenmeÇok Modlu SinyallerDerin Sinir AğlarıÖznitelik ÇıkarımıPolitika OptimizasyonuTıbbi GörüntülemeHastalık SınıflandırmasıTemel Bileşen Analizi