Bu araştırma, özellik çıkarımı için derin sinir ağlarını (DNN) dinamik multimodal sinyal füzyonu için güçlendirme öğrenme (RL) ile entegre eden hibrit derin pekiştirme öğrenme (HDRL) çerçevesi önermektedir. Biyomedikal veri setleri üzerinde değerlendirilen bu cihaz, doğruluk, sağlamlık ve nadir olay tespiti açısından öne çıkar ve kişiselleştirilmiş tıp ile hastalık sınıflandırmasında önemli uygulamalar sunar.
Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.
Araştırma makalesi
Multimodal Biyomedikal Sinyal Füzyonu için Hibrit Derin Pekiştirme Öğrenme
Bu makalede
Özet
Özet
Sağlık hizmetlerinde karar alma ve tanı doğruluğunu artırmak, elektrokardiyogram (EKG), elektroensefalogram (EEG) ve tıbbi görüntüleme gibi çoklu modal biyomedikal sinyallerin birleştirilmesini gerektirir. Geleneksel sinyal füzyon teknikleri, sinyal değişkenliği ve doğasında bulunan karmaşıklık nedeniyle önemli zorluklarla karşı karşıyadır. Özellik çıkarımı için Derin Sinir Ağları (DNN) ve dinamik füzyon optimizasyonu için Pekiştirme Öğrenme (RL) kullanan Hibrit Derin Pekiştirme Öğrenme (HDRL) modeli öneriyoruz. Bu hibrit model, füzyon politika öğrenimini optimize etmek ve değişken veri özelliklerine uyum sağlamak için gerçek zamanlı geri bildirim kullanır. Performansını değerlendirmek için önerilen model, Derin Sinir Ağı tabanlı yöntemler ve Ana Bileşen Analizi (PCA) gibi geleneksel füzyon teknikleriyle karşılaştırıldı. Hibrit derin pekiştirme öğrenme modeli, birkaç gerçek dünya biyomedikal veri setinde test edilmiştir. Önerilen model, kişiselleştirilmiş tıp ve hastalık sınıflandırması için geçerlidir; deneysel kanıtlar, gürültülü koşullarda dayanıklılık, sınıflandırma doğruluğu ve nadir olay tespiti açısından performansın arttığını göstermektedir. Önerilen metodoloji, geleneksel sinyal füzyon teknikleriyle ilgili endişeleri ele almanın yanı sıra, çoklu modal biyomedikal sinyal işlemeyi ilerleten umut vaat eden çözümler sunmaktadır. Model, özellik madenciliği için DNN ve politika optimizasyonu için RL ajanları (DQN, PPO) kullanır.
Giriş
Modern sağlık hizmetleri, tanı doğruluğunu ve klinik karar alma süreçlerini artırmak için çeşitli biyomedikal veri kaynaklarının entegrasyonuna giderek daha fazla dayanmaktadır. Elektrokardiyogram (EKG), elektroensefalogram (EEG) gibi fizyolojik sinyaller ve manyetik rezonans görüntüleme (MR) ile bilgisayarlı tomografi (BT) gibi tıbbi görüntüleme yöntemleri, hastalık teşhisi ve kişiselleştirilmiş tedaviyi destekleyen tamamlayıcı fizyolojik bilgiler sağlar. Ancak, biyomedikal sinyaller doğası gereği karmaşıktır ve genellikle gürültü, eksik değerler ve yüksek boyutlu yapılar içerir, bu da analiz ve yorumlamalarını zorlaştırır. Çoklu fizyolojik veri akışından gelen bilgileri entegre eden multimodal biyomedikal sinyal füzyonu, tanı performansını artırmak, veri kalitesindeki değişikliklere karşı dayanıklılığı artırmak ve yoğun bakım üniteleri (ICU) gibi klinik ortamlarda kapsamlı hasta izlemesini mümkün kılmak için önemli bir yaklaşım haline gelmiştir1.
Geleneksel çok modlu sinyal füzyon yöntemleri büyük ölçüde istatistiksel ve doğrusal tekniklere dayanmıştır. Ana Bileşen Analizi (PCA), sinyalleri ortogonal bileşenlere dönüştürerek verinin boyutsallığını azaltırken, Kanonik Korelasyon Analizi (CCA) modaliteler arasındaki doğrusal ilişkileri tespit ederek çoklu modal verisetlerini hizalar. 2. Bu teknikler biyomedikal multimodal füzyon ortamlarında başarıylauygulanmıştır 3. Ancak, doğrusal varsayımlara olan bağımlılıkları, fizyolojik sinyaller arasında sıkça var olan karmaşık doğrusal olmayan ilişkileri yakalama yeteneklerini sınırlar. Pratikte, biyomedikal veriler nadiren tamamen doğrusal olur. Geleneksel multimodal füzyon yöntemleri, bu doğrusal olmayan bağımlılıklar nedeniyle modaliteler arasındaki anlamlı etkileşimleri yakalamakta genellikle başarısızolur 4,5. Sonuç olarak, geleneksel füzyon yöntemleri modaliteler arasındaki anlamlı etkileşimleri yakalayamayabilir ve hastalık teşhisi ve gerçek zamanlı klinik karar alma gibi görevlerdeki etkinliklerini sınırlayabilir.
Derin öğrenmedeki son gelişmeler, sinir ağlarının ham veriden hiyerarşik temsilleri otomatik olarak çıkarmasını sağlayarak biyomedikal sinyal işlemeyi önemli ölçüde dönüştürdü. Konvolüsyon Sinir Ağları (CNN'ler), tıbbi görüntülerdeki mekansal desenleri analiz etmede güçlü performansgöstermiştir 5,6. Multimodal CNN mimarileri, MRI ve BT gibi görüntüleme modalitelerini entegre etmek için kullanılmıştır ve böylece tanı doğruluğunuartırmıştır 3. Benzer şekilde, Tekrarlayan Sinir Ağları (RNN) ve Uzun Kısa Süreli Hafıza (LSTM) ağları, hastalık sınıflandırma görevleri için EKG ve EEG dahil olmak üzere ardışık biyomedikal sinyallereuygulanmıştır 7. Bu gelişmelere rağmen, birçok derin öğrenme tabanlı füzyon yaklaşımı, özellik birleştirme veya ağırlıklı ortalamalama gibi sabit füzyon stratejilerine dayanır. Bu statik füzyon mekanizmaları, sinyal kalitesindeki değişikliklere etkili şekilde uyum sağlamaz. Gerçek dünya klinik ortamlarında, sinyaller hareket artefaktları, elektrot yer değiştirme, bozulma veya çevresel gürültü nedeniyle bozulabilir. Bu tür varyasyonlar, bireysel modalitelerin güvenilirliğini azaltabilir ve genel füzyon sürecini olumsuz etkileyebilir. Bu zorlukların üstesinden gelmek, gerçek zamanlı klinik ortamlarda dinamik veri koşullarına yanıt verebilen uyarlanabilir füzyonstratejileri gerektirir 8.
Pekiştirme Öğrenme (RL), belirsiz ortamlarda ardışık karar alma için güçlü bir çerçeve sunar. RL'de, bir ajan çevresiyle etkileşimler yoluyla kümülatif ödülü maksimize eden eylemleri seçmeyi öğrenir. Bu karar alma süreci genellikle Bellman denklemi kullanılarak formüle edilir; bu denklemi, bir durumun değerini, anlık ödül ile gelecekteki ödüllerin indirgenmiş değerinin toplamıolarak tanımlar. 9. Derin Q-Ağları (DQN) gibi yöntemler, pekiştirme öğrenmesini yüksek boyutlu problemlere genişleterek aksiyon-değer fonksiyonunu derin sinirağları 10 ile yaklaştırır. Benzer şekilde, politika tabanlı derin pekiştirme öğrenme yöntemleri, ajanın politika11'in yinelemeli güncellemeleri yoluyla kararlı ve verimli politika öğrenimini mümkün kılar. Güçlendirme öğrenme teknikleri, tedavi optimizasyonu ve anomlitespiti 12 dahil olmak üzere çeşitli sağlık uygulamalarında zaten araştırılmıştır, ancak uyarlanabilir çok modlu sinyal füzyona uygulamaları nispeten sınırlı kalır.
Hibrit Derin Pekiştirme Öğrenme (HDRL), derin öğrenmeyi güçlendirme öğrenmeyle birleştirerek özellik çıkarımı ve uyarlanabilir karar vermeyi birleştirir. Bu çerçevede, derin sinir ağları çok modlu biyomedikal sinyalleri yüksek seviyeli özellik temsillerine dönüştürürken, pekiştirme öğrenme ajanları görev performansına göre füzyon stratejilerini dinamik olarakseçer 4. Bu adaptif mekanizma, sistemin sinyal kalitesi ve modalitedeki farklılıklara yanıt vermesini sağlar ve yoğun bakım ünitesi izleme ve giyilebilir tanı sistemleri gibi karmaşık klinik ortamlarda daha sağlam çalışma sağlar8.
Klasik pekiştirme öğrenme yaklaşımlarına ek olarak, bulanık mantık, genetik algoritmalar ve pekiştirme öğrenmesini birleştiren birkaç hibrit öğrenme tekniği biyomedikal sınıflandırma görevleri için araştırılmıştır. Örneğin, Fuzzy Q-öğrenme ve Genetik Algoritmaların birleşmesi, EEG sinyalleri kullanılarak epileptik nöbet sınıflandırmasında uygulanmış ve belirsiz zaman kalıplarına daha iyi uyum sağlamıştır13. Benzer şekilde, bulanık kafes tabanlı evrimsel öğrenme yaklaşımları akciğer hastalıkları sınıflandırması için tıbbi görüntüler kullanılarakönerilmiştir 14. Diğer çalışmalar, nöbet tanıma için güçlendirme tabanlıyaklaşımları 15 ve göğüs röntgeninden pnömonie ve tüberkülozu tespit etmek için modifiye edilmiş bulanık Q-öğrenme sınıflandırıcılarınıincelemiştir 16. Bu çalışmalar biyomedikal analizde hibrit öğrenme yöntemlerinin potansiyelini gösterse de, mevcut yaklaşımların çoğu çoklu modal sinyal füzyonundan ziyade tek mod sınıflandırmaya odaklanmaktadır.
Multimodal makine öğrenimindeki son gelişmeler, çapraz modal tıbbi uygulamalar için transformator tabanlı mimarileri de keşfetmiştir. Bu modeller, sağlık görüntü sentezi ve bir veya daha fazla modalitenin eksik veya eksik olabileceği heterojen biyomedikal veri setlerinin analizi gibi görevlerde umut verici performansgöstermiştir 17. Ancak, bu gelişmelere rağmen, çoklu modal verilerdeki varyasyonlara dinamik olarak yanıt veren uyarlanabilir füzyon mekanizmalarına ihtiyaç önemli bir araştırma meydan okuması olmaya devam etmektedir.
Bu çalışmada, çoklu modal biyomedikal sinyal füzyonu için Hibrit Derin Pekiştirme Öğrenme (HDRL) çerçevesi önerilmiştir. Modaliteye özgü CNN modelleri, EKG, EEG ve MRI verilerinden özellikler çıkarmak için kullanılır ve bu veriler birleşik bir multimodal temsil oluşturmak için birleştirilir. Bir Derin Q-Ağı (DQN) ajanı, mevcut özellik durumuna göre özellik birleştirme veya ağırlıklı kombinasyon gibi füzyon stratejilerini dinamik olarak seçer. Bir aşağı akış sınıflandırıcısı, sınıflandırma performansına dayalı bir ödül sinyali sağlar ve pekiştirici öğrenme ajanının sürekli geri bildirim yoluyla füzyon politikasını optimize etmesini sağlar. Bu uyarlanabilir çerçeve, modelin sinyal kalitesi ve modalite kullanılabilirliğindeki farklılıklara uyum sağlamasına olanak tanır. Önerilen yaklaşım, PhysioNet 2016, CHB-MIT EEG ve OASIS-3 veri setleri kullanılarak değerlendirilmiş ve geleneksel PCA tabanlı ve derin öğrenme tabanlı füzyon teknikleriyle karşılaştırılmıştır.
Şekil 1: Önerilen HDRL tabanlı çok modlu sinyal-füzyon sisteminin mimarisini gösteren blok diyagram. Çok modlu füzyon çerçevesinin şematik temsili, derin sinir ağı özellik çıkarıcıları aracılığıyla EKG, EEG ve tıbbi görüntü girdilerinin işlendiğini, ardından pekiştirme öğrenme tabanlı adaptif füzyon ve ödül geri bildirimi takip ediliyor. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Önerilen çok modlu sinyal füzyon çerçevesinin mimarisi Şekil 1'de gösterilmiştir. Bu mimaride, modaliteye özgü CNN modelleri EKG, EEG ve MRI sinyallerinden bağımsız olarak özellikleri çıkarır. Bu özellikler birleşik bir temsil içinde birleştirilir ve pekiştirme öğrenme ajanı bunu kullanarak optimal füzyon stratejisini belirler.
Biyomedikal sinyal işleme, çoklu modalitelerden elde edilen fizyolojik sinyallerin analizi yoluyla doğru tanı, izleme ve tedavi planlamasını mümkün kılarak modern sağlık hizmetlerinde kritik bir rol oynar. EKG, EEG ve tıbbi görüntüleme verileri gibi sinyallerin entegrasyonu, farklı kaynaklardan tamamlayıcı bilgileri yakalayan gelişmiş füzyon teknikleri gerektirir. Tablo 1, yaygın olarak kullanılan çok modlu sinyal füzyon yaklaşımlarını, temel özelliklerini, avantajlarını ve sınırlamalarını özetlemekte ve önerilen HDRL tabanlı çerçevenin motivasyonunu vurgulamaktadır.
| Yöntem | Temel Özellikler | Avantajlar | Sınırlamalar |
| PCA | Doğrusal boyutluluk indirgemi | Hızlı, basit | Doğrusal ilişkilerle sınırlı |
| DNN | Doğrusal olmayan özellik öğrenimi | Karmaşık desenleri yakalar | Sabit füzyon stratejisi |
| DRL | Dinamik politika öğrenimi | Verilere uyum sağlar | Yüksek hesaplama |
| HDRL | DNN + RL hibriti | Uyum sağlam, verimli | Dikkatli ayar gerektirir |
Tablo 1: Multimodal füzyon yöntemlerinin karşılaştırılması. Yaygın kullanılan çok modlu sinyal füzyon yaklaşımlarının özeti, temel özellikleri, avantajları ve sınırlamaları özetlenir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Protokol
Bu protokol, multimodal biyomedikal sinyal füzyonu için Hibrit Derin Pekiştirme Öğrenme (HDRL) modelinin adım adım uygulamasını tanımlar. Çerçeve, EKG, EEG ve tıbbi görüntüleme verilerinin gerçek zamanlı birleşimini optimize etmek için derin öğrenme ve pekiştirme öğrenme tekniklerini entegre eder. Bölüm ayrıca önerilen modelde kullanılan özellik çıkarma, eğitim ve veri hazırlama prosedürlerini de özetlemektedir.
Malzemeler
Tüm deneyler, çok çekirdekli CPU, ≥32 GB RAM ve özel GPU (≥8 GB VRAM) olan bir iş istasyonunda gerçekleştirildi. Uygulama ortamı Python (v3.9 veya sonrası), TensorFlow (v2.12) ve Keras (v2.12) sürümlerinden oluşuyordu. Güçlendirme Öğrenme kütüphaneleri, pip install stable-baselines3 kullanılarak kuruldu. Stable-Baselines3paketi 18 , Derin Q-Ağı (DQN) ve Yakın Politika Optimizasyonu (PPO) gibi Pekiştirme Öğrenme algoritmalarının verimli uygulamalarını sağlar.
Veri setleri
Önerilen Hibrit Derin Pekiştirme Öğrenme (HDRL) çerçevesi, çoklu modal sinyal türlerini temsil eden üç halka açık biyomedikal veri seti kullanılarak değerlendirildi. (1) PhysioNet Challenge 2016: Kalp hastalığı olan hastalardan alınan 12 kurşunlu EKG kayıtlarının bir koleksiyonu; bunlar arasında atriyal fibrilasyon, ventriküler aritmi ve iskemik kalp hastalığı yer alıyor. Veri seti, kalp hastalıkları için notlu etiketleriiçerir 19. (2) CHB-MIT Saç Derisi EEG Veritabanı: Epileptik nöbet tespiti için saç derisi EEG kayıtlarından oluşan bir veri seti kullanılır; nöbet ve nöbet dışı olayları belirtenaçıklamalar 20. (3) OASIS-3 MRI Veritabanı: Alzheimer hastalığının tespiti ve izlenmesi için MRI beyin görüntüleri ve klinik derecelendirmelerkoleksiyonu kullanılır 21. Her modaliteden temsil eden örnekler, çoklu modal biyomedikal verilerde bulunan doğadaki değişkenlik ve gürültü özelliklerini göstermektedir (Şekil 2).
Şekil 2: EKG, EEG ve tıbbi görüntülemeden biyomedikal sinyallerin örneklenmesi. EKG dalga formu, EEG sinyali ve çalışmada kullanılan farklı yöntemleri gösteren tıbbi görüntüleme taramasının temsilci örnekleri. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Veri ön işleme
Her modalite, standart girdi temsili için modaliteye özgü ön işleme prosedürlerinden geçti. EEG ve EKG sinyalleri, dördüncü dereceden Butterworth bant geçişli filtre kullanılarak filtrelendi. Frekans aralığı EEG için 0,5–40 Hz, EKG için ise 0,5–45 Hz olarak ayarlandı. Örnekler, %50 örtüşme ile 5 saniyelik pencerelere bölündü. Her sinyal, sıfır ortalama ve birim varyansı elde etmek için segmentlere ayrılarak normalleştirildi. MRI görüntüleri, FSL Beyin Çıkarma Aracı (BET) kullanılarak kafatası soyulması kullanılarak işlendi. Görüntüler 224 × 224 piksel boyutlarına yenildi. Piksel yoğunlukları, giriş dağılımlarını standartlaştırmak için [0,1] aralığına normalleştirildi.
Özellik çıkarımı
Özellik çıkarımı, her modalite için bağımsız olarak DNN'ler kullanılarak gerçekleştirildi ve her modalitenin benzersiz özelliklerinin etkili şekilde yakalanmasını sağladı.
EKG ve EEG özellik çıkarıcıları:
Zaman serisi sinyal işleme için 1-D Konvolüsyon Sinir Ağı (1D-CNN) mimarisi kullanıldı. Mimari (1) bir giriş katmanı (window_length, 1), (2) 64 filtre ve 3 çekirdek boyutu olan Conv1D katmanları, (3) ReLU aktivasyonu, (4) havuz boyutu=2 olan MaxPooling1D, (5) Flatten ve Dense katmanları (128 birim, ReLU) içeriyordu. Sondan önceki yoğun katman temsilleri, modaliteye özgü özellik vektörleri olarak çıkarılmıştır.
MRI özellik çıkarıcısı
Önceden eğitilmiş iki boyutlu bir CNN modeli (örneğin, VGG16 veya ResNet50), MRI görüntülerinden mekânsal özellikler çıkarmak için ince ayarlandı. CNN, OASIS-3 veri seti üzerinde eğitilmiş, önceden eğitilmiş modelin son birkaç katmanı ise özel sınıflandırmagörevine uyarlanacak şekilde değiştirilmiştir 21. Son sınıflandırma katmanları göreve özgü katmanlarla değiştirildi ve yüksek seviyeli mekansal özellikler sondan önceki 5,6 katmanından çıkarıldı.
Model mimarisi ve eğitim
Önerilen Hibrit Derin Pekiştirme Öğrenme (HDRL) çerçevesi, iki ardışık aşamada geliştirildi ve eğitildi: modalite-spesifik özellik çıkarımı ve ardından pekiştirme öğrenme tabanlı füzyon optimizasyonu. İlk aşamada, ayrı Konvolüsyon Sinir Ağları (CNN) EKG, EEG ve MRI modaliteleri için etiketlenmiş veriler üzerinde eğitildi. Denetimli eğitim sırasında 0.001 öğrenme oranı ve kategorik çapraz entropi kaybı ile Adaptif Moment Tahmini (Adam) optimizatoru kullanıldı. Yakınsamadan sonra, her CNN'in sondan bir önceki katmanından yüksek seviyeli temsiller çıkarıldı ve modalite-spesifik özellik vektörleri FEKG = CNNEKG(XEKG), FEKG = CNNEKG(XEKG) ve FMRI = CNNMRI (XMRI) ortaya çıktı. Bu vektörler, birleştirilerek birleşik bir multimodal temsil oluşturdu Fconcat = [FEKG, FEEG, FMRI], ve bu temsil Pekiştirme Öğrenme aşamasına giriş olarak hizmet eder.
Füzyon süreci, Markov Karar Süreci (MDP) olarak formüle edildi; burada durum s, birleştirilmiş özellik vektörü Fconcat'a karşılık gelir, eylem bir füzyon stratejisinin seçimini (ağırlıklı toplam veya doğrudan birleştirme) temsil eder ve ödül r , birleşmiş özellikler üzerinde eğitilen bir aşağı akış sınıflandırıcısından elde edilen sınıflandırma doğruluğu olarak tanımlanırdı. Eylem-değer fonksiyonu Q(s,a), beklenen kümülatif ödülü 
tahmin eden Derin Q-Ağı (DQN) kullanılarak yaklaşık olarak hesaplandı. Model parametreleri kurala göre yinelemeli olarak güncellendi.
burada α = 0.0001 öğrenme oranı, γ = 0.99 indirim faktörüdür ve s' bir sonraki durumu gösterir.
Güçlendirme Öğrenme optimizasyonu sırasında, model 32 toplu toplu olarak 1.000 bölüm için eğitildi. Keşif ve sömürü dengelemek için epsilon-açgözlü bir strateji benimsendi; 
1.0'da başlatıldı ve bölüm başına 0.995 azaldı. Olasılıkla , rastgele bir füzyon stratejisi seçilirken, olasılık 1 - ile en yüksek tahmini Q-değerine sahip strateji seçilir. Ödül yakınsaması eğitim boyunca izlendi ve yaklaşık 500 bölümde genellikle sabit performans (>0.85 kümülatif ödül) gözlemlendi.
HDRL iş akışı, çoklu modal sinyallerin ön işlemesini, modaliteye özgü derin özelliklerin çıkarılmasını, birleşik durum temsili oluşturmayı, füzyon stratejilerinin seçilmesini ve DQN ajanından gelen sınıflandırma geri bildirimiyle politikanın iyileştirilmesini içerir. CNN tabanlı özellik çıkarıcıları ile pekiştirici öğrenme ajanı arasındaki etkileşim, ödül geri bildirimine dayalı politika güncellemelerini mümkün kılan kapalı döngülü uyarlanabilir bir füzyon sistemi oluşturur (Şekil 3).
Şekil 3: Önerilen Hibrit Derin Pekiştirme Öğrenme (HDRL) iş akışının akış diyagramı. Modalite-spesifik CNN özellik çıkarımı, özellik birleştirme, güçlendirme tabanlı bir füzyon stratejisi (DQN/PPO) seçimi, aşağı akış sınıflandırması ve ödül temelli politika güncellemesini gösteren iş akışı diyagramı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Sonuçlar
Deneysel sonuçlar, önerilen Hibrit Derin Pekiştirme Öğrenme (HDRL) modelinin çok modlu biyomedikal sinyal füzyonu için daha iyi performans sağladığını göstermektedir. HDRL modeli, birkaç gerçek dünya biyomedikal veri setiyle doğrulanarak değerlendirildi. Sağlamlık, uyum sağlamlığı ve sınıflandırma doğruluğu açısından elde edilen sonuçlar, PCA ve DNN tabanlı füzyon gibi diğer geleneksel füzyon yöntemlerine karşı üstünlüğünü ortaya koymaktadır.
Deneysel Kurulum
Önerilen HDRL ...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Tartışma
Füzyon verimliliği:
Bu bölüm, HDRL, PCA ve DNN arasında füzyon verimliliğinin karşılaştırmalı bir analizini sunmaktadır. PhysioNet Challenge 201619, CHB-MIT Scalp EEG Database20 ve OASIS-3 MRI Database21'den alınan EEG, EKG ve MRI verilerinin birleştirilmesiyle elde edilen multimodal veri seti, füzyon verimliliğini hesaplamak için kullanıldı. İşlem süresi, Yoğun Bakım Ünitesi (ICU) izleme ve giyilebilir tanı gibi gerçek zamanlı kl...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Açıklamalar
Yazarlar, bu çalışmayla ilgili çıkar çatışması olmadığını belirtmektedir.
Teşekkürler
Araştırmanın kısmen Miodrag Kostić Endowment - Uygulamalı Yapay Zeka Merkezi Bilim Sarayı'nın binasında yürütülmüştür. Bu araştırma, EUROHPC-JU, 101191697 numaralı hibe EuroCC4SEE tarafından desteklenmiştir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| Butterworth Filtresi (4. derece, SciPy uygulaması) | SciPy Topluluğu | Yok | EEG/EKG sinyal ön işleme |
| CHB-MIT Saç Derisi EEG Veritabanı | PhysioNet | DOI: 10.13026/C2K01R | EEG veri seti |
| FSL Beyin Çıkarma Aracı (BET) | FMRIB Yazılım Kütüphanesi (FSL) | Yok | MRI kafatası soyulması |
| Keras (v2.12) | Google LLC | Yok | Yüksek seviyeli sinir ağı API'si |
| NVIDIA GPU (≥ 8 GB VRAM) | NVIDIA Corporation | Modele bağlı | Hızlandırılmış derin öğrenme eğitimi için gerekli |
| OASIS-3 MRI Veritabanı | Washington Üniversitesi | DOI: 10.1002/alz.047259 | MRI veri seti |
| PhysioNet Challenge 2016 Veri Seti | PhysioNet | DOI: 10.22489/CinC.2016.179-154 | EKG veri seti |
| Python (v3.9 veya daha sonrası) | Python Yazılım Vakfı | Yok | Programlama ortamı |
| Stabil-Baseline3 | DLR-RM (Açık kaynak) | Yok | Pekiştirme öğrenme uygulaması (DQN, PPO) |
| TensorFlow (v2.12) | Google LLC | Yok | Derin öğrenme çerçevesi |
| İş istasyonu (Çok çekirdekli CPU, ≥ 32 GB RAM, ≥ 8 GB GPU) | Özel Yapım / Yerel Satıcı | Yok | Model eğitimi ve deney için kullanılır |
Kaynaklar
- Stahlschmidt, S. R., Ulfenborg, B., Synnergren, J. Multimodal deep learning for biomedical data fusion: a review. Brief. Bioinform. 23 (2), bbab569(2022).
- Er, A. G., et al. Multimodal data fusion using sparse canonical correlation analysis and cooperative learning: a COVID-19 cohort study. NPJ Digit. Med. 7 (1), 45(2024).
- Deng, X., Dragotti, P. L. Deep convolutional neural network for multi-modal image restoration and fusion. IEEE Trans. Pattern Anal. Mach. Intell. 43 (10), 3333-3348 (2021).
- Duan, J., Xiong, J., Li, Y., Ding, W. Deep learning based multimodal biomedical data fusion: overview and comparative review. Inf. Fusion. 105, 102536(2024).
- Simonyan, K., Zisserman, A. Very deep convolutional networks for large-scale image recognition. Proc. Int. Conf. Learn. Represent. , (2015).
- He, K., Zhang, X., Ren, S., Sun, J. Deep residual learning for image recognition. Proc. IEEE Conf. Comput. Vis. Pattern Recognit. , 770-778 (2016).
- Boda, S., Mahadevappa, M., Dutta, P. K. Automated patient-specific ECG beat classification using LSTM-based recurrent neural networks. Biomed. Signal Process. Control. 84, 104756(2023).
- Mulani, J., et al. Deep reinforcement learning based personalized health recommendations. Adv. Healthcare Syst. , 231-255 (2020).
- Sutton, R. S., Barto, A. G. Reinforcement Learning: An Introduction. , 2nd ed, MIT Press. (2018).
- Mnih, V., et al. Human-level control through deep reinforcement learning. Nature. 518 (7540), 529-533 (2015).
- Mnih, V., et al. Asynchronous methods for deep reinforcement learning. arXiv. , (2016).
- Yu, C., Liu, J., Nemati, S., Yin, G. Reinforcement learning in healthcare: a survey. ACM Comput. Surv. 55 (1), 1-36 (2023).
- Gupta, A., et al. Genetic algorithm assisted fuzzy Q-learning epileptic seizure classifier. IEEE Trans. Neural Syst. Rehabil. Eng. 30, 112-123 (2022).
- Sharma, R., et al. Fuzzy lattices assisted EJAYA Q-learning for pulmonary disease classification. Comput. Biol. Med. 145, 105432(2022).
- Kumar, P., et al. Epileptic seizure classification using fuzzy lattices and neural reinforcement learning. J. Biomed. Inform. 135, 104210(2023).
- Singh, V., et al. Modified fuzzy Q-learning classifier for pneumonia and tuberculosis. Med. Image Anal. 85, 102756(2023).
- Zhu, X., Li, Y. Latent multi-scale residual transformer for cross-modal medical image synthesis. IEEE Access. 13, 58745-58758 (2025).
- Raffin, A., et al. Stable-baselines3: reliable reinforcement learning implementations. J. Mach. Learn. Res. 22 (268), 1-8 (2021).
- Clifford, G. D., et al. Classification of normal/abnormal heart sound recordings: PhysioNet/Computing in Cardiology Challenge 2016. Comput. Cardiol. 43, 609-612 (2016).
- Goldberger, A., et al. CHB-MIT Scalp EEG Database. PhysioNet. , (2021).
- Marcus, D., et al. OASIS-3 MRI database for Alzheimer’s disease detection. Alzheimers Dement. 16 (S10), e047259(2020).
- Jain, A., Mehrotra, A., Rewariya, A., Kumar, S. A systematic study of deep Q-networks and their variations. 2nd Int. Conf. Adv. Comput. Innov. Technol. Eng, , 2157-2162 (2022).
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.