Yöntem makalesi

Sanal gerçeklik özellikli bir beyin-bilgisayar arayüzü ortamında somutlaştırılmış dijital ikizler aracılığıyla motor görüntü performansı

DOI:

10.3791/66859

⸱

10 Mayıs 2024

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Sanal gerçeklik ortamındaki motor görüntüleri, beyin-bilgisayar arayüz sistemlerinde geniş uygulamalara sahiptir. Bu el yazması, daldırmayı ve vücut sahipliği duygusunu geliştirmek için sanal gerçeklik ortamında katılımcı tarafından hayal edilen hareketleri gerçekleştiren katılımcılara benzeyen kişiselleştirilmiş dijital avatarların kullanımını özetlemektedir.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, beyin-bilgisayar arayüzleri (BCI) ve sanal gerçeklik (VR) teknolojilerini üç boyutlu (3D) avatarların özelleştirilmesiyle entegre ederek nörolojik rehabilitasyon için yenilikçi bir çerçeve sunmaktadır. Rehabilitasyona yönelik geleneksel yaklaşımlar, öncelikle derinden sürükleyici ve etkileşimli bir deneyim sağlayamamaları nedeniyle, genellikle hastaları tam olarak meşgul etmekte başarısız olur. Bu araştırma, katılımcıların fiziksel hareketleri gerçek bir uygulama olmadan görselleştirdikleri motor görüntüleme (MI) tekniklerini kullanarak bu boşluğu doldurmaya çalışmaktadır. Bu yöntem, beynin sinirsel mekanizmalarından yararlanır, hareketleri hayal ederken hareketin yürütülmesinde yer alan alanları aktive eder ve böylece iyileşme sürecini kolaylaştırır. Hayal edilen hareketlerle ilişkili beyin aktivitesini yakalamak ve yorumlamak için VR'nin sürükleyici yeteneklerinin elektroensefalografi (EEG) hassasiyetiyle entegrasyonu, bu sistemin çekirdeğini oluşturur. Kişiselleştirilmiş 3D avatarlar biçimindeki Dijital İkizler, sanal ortama dalma hissini önemli ölçüde artırmak için kullanılır. Bu yüksek somutlaşma duygusu, hasta ile sanal muadili arasındaki bağlantıyı güçlendirmeyi amaçlayan etkili rehabilitasyon için çok önemlidir. Bunu yaparak, sistem sadece motor görüntü performansını iyileştirmeyi değil, aynı zamanda daha ilgi çekici ve etkili bir rehabilitasyon deneyimi sağlamayı da amaçlamaktadır. BCI'nin gerçek zamanlı uygulaması sayesinde sistem, hayal edilen hareketlerin 3D avatar tarafından gerçekleştirilen sanal eylemlere doğrudan çevrilmesine olanak tanıyarak kullanıcıya anında geri bildirim sunar. Bu geri besleme döngüsü, motor kontrol ve iyileşmede yer alan nöral yolları güçlendirmek için gereklidir. Geliştirilen sistemin nihai amacı, motor görüntüleme egzersizlerini daha etkileşimli ve kullanıcının bilişsel süreçlerine duyarlı hale getirerek etkinliğini önemli ölçüde artırmak ve böylece nörolojik rehabilitasyon alanında yeni bir yol açmaktır.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Nörolojik bozukluğu olan hastalar için rehabilitasyon paradigmaları, beyin-bilgisayar arayüzleri (BCI) ve sürükleyici sanal gerçeklik (VR) gibi ileri teknolojilerin entegrasyonu ile dönüştürücü bir değişim geçiriyor ve iyileşmeyi teşvik etmek için daha incelikli ve etkili bir yöntem sunuyor. BCI tabanlı rehabilitasyonun merkezinde yer alan teknik olan motor imgeleme (MI), gerçek motor yürütme olmadan fiziksel hareketlerin zihinsel provasını içerir1. MI, bir hareketi hayal etmenin, fiziksel eylemin kendisini gerçekleştirme şeklini yakından yansıtan bir beyin aktivitesi modelini tetiklediği sinirsel bir mekanizmadan yararlanır 2,3,4. Spesifik olarak, MI'ya girmek, beynin elektriksel aktivitesinin alfa (8-13 Hz) ve beta (13-25 Hz) frekans bantlarındaolayla ilgili senkronizasyon bozukluğu (ERD) olarak bilinen bir fenomene yol açar 5,6,7. ERD, gerçek hareket sırasında da gözlenen bir model olan temel beyin ritimlerinin baskılanmasının bir göstergesidir, böylece BCI destekli rehabilitasyon çerçeveleri7 içinde MI kullanımı için nöral bir substrat sağlar. MI ve fiziksel hareket arasındaki kortikal aktivasyondaki böyle bir benzerlik, MI'nın motor kontrolde yer alan sinir ağlarını etkili bir şekilde uyarabileceğini ve bu da onu motor eksikliği olan hastalar için değerli bir araç haline getirdiğini göstermektedir8. Ayrıca, MI uygulaması, eylem gözlem stratejilerini içerecek şekilde sadece zihinsel provanın ötesine genişletilmiştir9. Görevle ilgili vücut bölümlerinin veya başkalarındaki eylemlerin hareketini gözlemlemek, hem eylem gözlemine hem de yürütmeye yanıt veren bir grup nöron olan ayna nöron ağını (MNN) aktive edebilir9. Fonksiyonel MRI10, pozitron emisyon tomografisi11 ve transkraniyal manyetik stimülasyon12 dahil olmak üzere çeşitli nörogörüntüleme modaliteleri ile kanıtlandığı gibi, MNN'nin gözlem yoluyla aktivasyonunun kortikal plastisiteyi indüklediği gösterilmiştir. Kanıtlar, eylem gözlemi ile geliştirilen MI eğitiminin, etkilenen bireylerde önemli nöral adaptasyon ve iyileşmeye yol açabileceği fikrini desteklemektedir.

Sanal gerçeklik teknolojisi, beden sahipliği duygusunu artıran ve gerçek ve sanal dünyalar arasındaki ayrımları bulanıklaştıran sürükleyici bir ortam sunarak MI tabanlı rehabilitasyon alanında devrim yarattı 13,14,15. VR'nin sürükleyici kalitesi, katılımcıların sanal ortamı gerçek olarak algılamasına olanak tanıdığı için onu eylem gözlemi ve motor görüntü pratiği için etkili bir araç haline getirir15. Araştırmalar, VR cihazlarının geleneksel 2D monitör ekranlarına kıyasla MI eğitimi üzerinde daha belirgin bir etkiye sahip olduğunu göstermiştir15,16. Bu tür bulgular, sensorimotor kortekste artan ERD genlik oranları gibi gelişmiş nöral aktivite ile kanıtlanır ve görsel rehberli MI egzersizleri sırasında beyin aktivitesini uyarmada daha yüksek daldırma seviyelerinin faydalarını vurgular16. Sistem, doğrudan geri bildirim sağlayarak kol veya uzuv hareketlerini içeren görevler için MI performansının iyileştirilmesine yardımcı olur ve böylece rehabilitasyon sürecini iyileştirir16,17. MI ve VR arasındaki sinerji, duyusal, algısal, bilişsel ve motor aktivitelerin entegrasyonunu vurgular18,19. Çalışmalar, VR'nin MI tabanlı rehabilitasyon protokollerine entegre edilmesinin rehabilitasyon süresini önemli ölçüde azaltabileceğini ve iyileşme sonuçlarını iyileştirebileceğini gösterdiğinden, kombinasyon özellikle inme mağdurları20,21 ve savaş gazileri22 için faydalı olmuştur. Rehabilitasyonda VR'nin benzersiz özelliği, özel olarak tasarlanmış bir sanal ortamda bir mevcudiyet duygusu yaratma yeteneğinde yatmaktadır ve bu, motor rehabilitasyon çalışmalarında giderek daha fazla kullanılan, kullanıcının vücudunu temsil eden sanal avatarların dahil edilmesiyle daha da artırılan rehabilitasyon deneyimini geliştirmektedir23. Bu avatarlar, uzuv hareketlerinin gerçekçi bir üç boyutlu temsilini sunar, MI'ya yardımcı olur ve motor korteks aktivasyonunu önemli ölçüde etkiler. VR, katılımcıların belirli görevleri yerine getirirken sanal benliklerini görselleştirmelerine izin vererek, yalnızca MI deneyimini zenginleştirmekle kalmaz, aynı zamanda daha hızlı ve etkili bir sinirsel yeniden düzenleme ve kurtarma sürecini de teşvik eder24. MI eğitiminde sanal avatarların ve simüle edilmiş ortamların uygulanması, sanal bedenlerin sürükleyici sanal dünyalarda doğal ve entegre kullanımını vurgular.

Rehabilitasyon için MI'da 3D avatarların BCI tabanlı kontrolünün dikkate değer avantajlarına rağmen, çevrimdışı metodolojilerin baskın kullanımında önemli bir sınırlama devam etmektedir. Şu anda, çoğu BCI uygulaması, daha sonra bir avatarı manipüle etmek için kullanılan önceden kaydedilmiş elektroensefalografi (EEG) verilerinin yakalanmasını içerir24,25. Gerçek zamanlı avatar kontrolünün sağlandığı senaryolarda bile, bu avatarlar genellikle geneldir ve temsil ettikleri katılımcılarabenzemez 23. Bu genel yaklaşım, etkili rehabilitasyon için çok önemli olan bedene dalmayı ve bedene sahip olma duygusunu derinleştirmek için kritik bir fırsatı kaçırmaktadır24. Konunun tam benzerliğini yansıtan bir 3D avatarın oluşturulması, deneyimin sürükleyici deneyimini önemli ölçüde artırabilir16. Katılımcılar kendilerini sanal dünyada görselleştirerek, hayal ettikleri ve gerçek hareketleri arasında daha güçlü bir bağlantı kurabilirler, bu da potansiyel olarak daha belirgin ERD modellerine ve dolayısıyla daha etkili sinirsel adaptasyon ve iyileşmeye yol açabilir16. BCI ve VR alanı, kişiselleştirilmiş 3D avatarların gerçek zamanlı kontrolüne doğru ilerleyerek, rehabilitasyon paradigmalarını önemli ölçüde iyileştirebilir ve hastanın iyileşmesi için daha incelikli, ilgi çekici ve etkili bir yöntem sunabilir.

Mevcut el yazması, 3D avatarların VR tabanlı gerçek zamanlı BCI kontrolünün hem donanım hem de yazılımının oluşturulmasını, tasarımını ve teknolojik yönlerini sunarak, motor rehabilitasyon ortamlarına entegrasyonunu destekleyen yenilikçi sonuçlarını vurgulamaktadır. Önerilen sistem, denek tarafından üretilen motor görüntü sinyallerini yakalamak için elektroensefalografi (EEG) kullanacak ve daha sonra avatarın hareketlerini ve eylemlerini gerçek zamanlı olarak kontrol etmek için kullanılacaktır. Mevcut yaklaşım, VR teknolojisinin gelişmiş yeteneklerini, hayal edilen hareketlerle ilgili beyin aktivitesini tanıma ve yorumlamada EEG'nin hassasiyetiyle birleştirecek ve kullanıcıların düşüncelerinin gücüyle dijital ortamlarla etkileşime girmeleri için daha ilgi çekici ve etkili bir arayüz oluşturmayı amaçlayacaktır.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu çalışma, EEG ile kaydedilen MI sinyallerini kullanarak bir VR ortamında gerçek zamanlı olarak bir 3D avatarı kontrol etmenin fizibilitesini araştırmayı amaçlamaktadır. Çalışma, avatarı konuya yakından benzeyecek şekilde kişiselleştirerek sürükleyiciliği ve beden sahipliği duygusunu geliştirmeye odaklanmaktadır. Protokol, Vellore Teknoloji Enstitüsü İnceleme Kurulu'ndan onay aldı. Katılımcılar, çalışmanın amacını, prosedürlerini ve potansiyel risklerini gözden geçirdikten sonra yazılı bilgilendirilmiş onam verdiler.

1. Deney düzeneği

NOT: Sistemin, Şekil 1'deki deney düzeneğinin şemasında gösterildiği gibi tüm bileşenleri içerdiğinden emin olun (kullanılan ekipman için Malzeme Tablosuna bakın).

  1. 3D avatar geliştirme
    1. Avatarı modelleme
      1. Veri toplamadan bir gün önce, çeşitli açılardan birden fazla yüz fotoğrafı ve her katılımcıdan hassas vücut ölçümleri toplayın.
      2. Açmak için Modelleme Yazılımı'na tıklayın. Açtıktan hemen sonra Cinsiyet kaydırıcısını bulun. Bu kaydırıcıyı, oluşturmayı hedefleyen modelin cinsiyetiyle eşleşecek şekilde ayarlayın.
      3. Ekranın üst kısmındaki Modelleme Sekmesine gidin ve gövde özelleştirme seçeneklerine erişmek için sekmeye tıklayın.
      4. Vücudu modellemek için Gövde, Kollar, Bacaklar vb. gibi çeşitli bölümlerin altındaki kaydırıcıları kullanın. Aşağıdaki temel ölçümlere odaklanın: Yükseklik, Göğüs/Göğüs, Bel, Kalçalar, Bacak Uzunluğu ve Kol Uzunluğu.
      5. Poz/Canlandır sekmesine tıklayın ve temel animasyonlar için varsayılan iskeleti seçin. Üst kısımdaki Dosyalar menüsüne gidin, Dışa Aktar'ı seçin ve ardından öğesini seçin. Animasyon yazılımıyla uyumluluk için MHX2 formatı. İskeleti dahil etmek için Rig ile Dışa Aktar seçeneğini belirlediğinizden emin olun. Bir hedef klasör seçin, dosyayı adlandırın ve Dışa Aktar'ı tıklatın.
      6. Animasyon yazılımını açın. Dosya > İçe Aktar'a gidin ve .mhx2 veya beklediğiniz biçimi seçin. Kaydedilen dosyaya gidin, seçin ve yazılıma aktarın.
      7. Düzenle menüsüne gidin, Tercihler > Eklentiler'i seçin ve yüzler oluşturmak için uygun eklentinin etkinleştirildiğinden emin olun.
      8. 3D görünüm alanında, eklenti tarafından sağlanan düzen ön ayarına geçin veya genellikle sol taraftaki araç rafında bulunan eklenti paneline gidin.
      9. Kafa modelini başlatmak için eklenti panelinde Yeni Bir Kafa Oluştur'a tıklayın. Katılımcının fotoğraflarını içe aktarmak için Fotoğraf ekle düğmesini kullanın. Doğru modelleme için ön ve yan profilleri kullanın.
      10. Fotoğraflardaki noktaları 3D modeldeki karşılık gelen noktalarla hizalamak için istemleri izleyin. Eklenti daha sonra kafa modelini katılımcının özelliklerine uyacak şekilde ayarlayacaktır. Benzerlikten memnun kaldığınızda, kafa modelini sonlandırın.
      11. Baş modelini, vücut modelinin boynuyla hizalanacak şekilde manuel olarak konumlandırın. Kusursuz bir uyum için kafanın ölçeğini ve dönüşünü ayarlayın.
      12. Başın boynun köşelerini vücudun üst kısımlarıyla tam olarak hizalamak için Tutturma aracını (Shift+Tab) kullanın.
      13. Hizalandıktan sonra, her iki kafesi de seçip tek bir nesnede birleştirmek için Ctrl+J tuşlarına basarak baş ve gövdeyi birleştirin.
      14. Bir çift bongo içe aktarın veya modelleyin ve bunları modelin önüne uygun bir yükseklikte yerleştirin.
    2. Avatarı canlandırma
      1. Hileli model için Poz Modu'na geçin. Kare 1'de, tüm kemikleri seçin ve LocRotScale'in başlangıç konumlarını kaydetmesi için bir anahtar kare ekleyin (I tuşunu kullanın).
      2. Bongoya vurmak için sol elinizi yerleştirmek için zaman çizelgesini 30. kareye ileri hareket ettirin.
      3. Bongoya vurmayı simüle etmek için sol elin armatürünü hareket ettirin ve döndürün. Bu kemikler için bir anahtar kare ekleyin. Elinizi 60. karedeki başlangıç konumuna geri döndürmek için bu işlemi tekrarlayın ve eylemi tamamlamak için başka bir anahtar kare ekleyin.
      4. Zaman çizelgesini, sağ elin eylemini başlattığı 90. kareye taşıyın. Sol ele benzer şekilde, diğer bongoya çarpmayı simüle etmek için sağ elin konumunu ve dönüşünü ayarlayın ve bir anahtar kare ekleyin.
      5. Elinizi başlangıç konumuna getirin ve hareketi 150. karede sonlandırmak için bir animasyon karesi ekleyin.
      6. Animasyonu gözden geçirmek için zaman çizelgesinde gezinin. Bongo vuruşları arasında daha yumuşak hareket veya daha iyi zamanlama için gerektiği gibi ayarlayın. Dosyayı kaydedin.
  2. Ekipman kurulumu
    1. 16 EEG kanallı Daisy modülünü 8 EEG kanallı kartın üstüne 8 EEG kanalına takarak monte edin.
    2. Referans elektrodunu bir Y-Splitter kablosu aracılığıyla Papatya Kartındaki alt referans pimine ve alttaki kartın alt referans pimine bağlayın, her ikisi de SRB olarak etiketlenmiştir.
    3. Toprak elektrodunu alt paneldeki BIAS pinine bağlayın.
    4. 16 EEG elektrotunu N1P-N8P etiketli alt panel pimlerine ve N1P-N8P etiketli papatya alt pimlerine bağlayın.
    5. FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, F4, T3 ve T4 olarak etiketlenmiş elektrotlarla elektrot yerleştirme için uluslararası 10-20 sistemine bağlı kalan etiketli yerlere elektrotları jel içermeyen kapağa yerleştirin.
    6. EEG elektrotları için sağlanan 18 süngeri, 200 mL musluk suyunda 15 dakika boyunca karıştırılmış 5 g sodyum klorür içeren bir tuzlu su çözeltisine batırın.
    7. Saç derisi ile elektrot arasında temas sağlamak için ıslatılmış süngerleri her elektrotun alt tarafına yerleştirin.
    8. Katılımcıların sessiz bir odada rahatça oturmalarını sağlayın. Jelsiz EEG kapağını katılımcının kafa derisine yerleştirin ve kapağın katılımcının kulaklarına uyacak şekilde doğru şekilde hizalandığından emin olun.
    9. USB dongle'ı dizüstü bilgisayara bağlayın. EEG GUI'yi açın, EEG sistemine tıklayın, Veri Kaynağı seçeneği altında Seri (Dongle'dan), 16 kanal ve OTOMATİK BAĞLAN'ı seçin.
    10. Veri Toplama ekranının içinde, her elektrot bölgesinde <10 kΩ'luk optimum empedans seviyesini doğrulayarak bağlı elektrotların sinyal kalitesini kontrol etmek için sinyal widget'ını seçin26.
    11. Empedans 10 kΩ'dan yüksekse, elektrotun altındaki süngere birkaç damla tuzlu su çözeltisi ekleyin. Empedans kontrolünden sonra GUI'yi kapatın.
    12. Edinme Sunucusu yazılımını açın, Sürücü altında uygun EEG kartını seçin ve EEG sistemiyle bağlantı kurmak için Bağlan > Oynat'a tıklayın.
    13. EEG verilerini yakalarken sürükleyici bir etkileşimi kolaylaştırmak için VR başlığını mendillerle sterilize ederek ve EEG başlığının üzerinde katılımcının kafasına yerleştirerek hazırlayın.
  3. Oyun kurulumu
    NOT: Aşağıdaki talimatlar, Açık Ses Kontrolü (OSC) kullanılarak iki oyun motoru senaryosunun kurulumunu özetlemektedir: biri motor görüntüsü eğitimi (ileri besleme) ve diğeri motor görüntülerini test etmek (geri bildirim) için. İleri besleme senaryosu, OSC mesajları tarafından tetiklenen gözlemlenen animasyonlar aracılığıyla kullanıcıları motor görüntüleri konusunda eğitir. Geri bildirim senaryosu, OSC girişlerine dayalı olarak kullanıcı tarafından hayal edilen hareketleri canlandırarak motor görüntülerin etkinliğini test eder.
    1. Oyun motoru yazılımını açın ve Motor Görüntüleri Eğitim Projesi'ni seçin. VR Desteğini Etkinleştir: Oyuncu > XR Ayarları > Proje Ayarlarını Düzenle > gidin, Desteklenen Sanal Gerçeklik'i işaretleyin ve VR gözlüğünün sanal gerçeklik SDK'ları altında listelendiğinden emin olun.
    2. Varsayılan kamerayı silin ve VR kamerasını VR entegrasyon paketinden sahneye sürükleyin.
    3. İçe aktarılan animasyon dosyasını sahneye yerleştirin. Ölçeği ve yönü gerektiği gibi ayarlayın. Önceden yazılmış komut dosyalarına sahip OSCListener GameObject'in, OSC mesajlarına dayalı olarak sol ve sağ el hareketleri için model animasyonlarını tetikleyecek şekilde ayarlandığından emin olun ve motor görüntü eğitimi için bongo vuruş eylemini simüle edin.
    4. Oyun motoru yazılımında Dosya > Yapı Ayarları'nı açın. PC, Mac ve Linux Tek Başına'yı seçin, Windows'u hedefleyin ve ardından Oluştur ve Çalıştır'a tıklayın.
    5. Motor görüntü testi projesi için, motor görüntü eğitim projesi ile benzer adımları gerçekleştirin. Katılımcının hayal ettiği el hareketlerini gösteren OSC sinyallerini almak üzere tasarlanmış komut dosyalarıyla yapılandırılmış OSCListener GameObject'i kullanın ve test projesi için ilgili animasyonları tetikleyin.

figure-protocol-1
Şekil 1: VR-BCI kurulumu. Tüm VR-BCI kurulumu, katılımcının VR kulaklığını ve EEG başlığını taktığını gösterir. Katılımcılar, kişiselleştirilmiş 3D avatarı sanal ortamda görüntülediler ve kablosuz olarak bilgisayara iletilen beyin sinyallerini kullanarak hareketini kontrol ettiler. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

2. Deneysel tasarım

  1. Sinyal doğrulama aşaması
    1. Motor görüntü senaryolarını tasarlamak ve çalıştırmak için yazılım aracını açın, Dosya'ya gidin ve Sinyal Doğrulama, Alım, CSP Eğitimi, Sınıflandırıcı Eğitimi, Test ve Karışıklık Matrisi etiketli altı Motor-Imagery-BCI senaryosunu yükleyin.
    2. Sinyal doğrulama senaryosuna gidin. Optimize edilmiş sinyal işleme için tasarımcı kutularını kullanarak ham sinyallere 1 ila 40 Hz arasında bir filtre sırası ile 4 ila 4 Hz arasında bir bant geçiren filtre uygulayın.
  2. Eğitim aşaması
    1. Katılımcılara, görsel ipuçlarına yanıt olarak el hareketlerini hayal ederek motor görüntüleme görevlerinden geçmeleri için rehberlik edin ve talimat verin.
    2. Motor görüntüleri eğitimi için dosyayı açın ve hazırlanan 3D avatarı VR kulaklığı aracılığıyla bir dizi bongo üzerinde dururken görüntüleyin.
    3. Edinme senaryosuna gidin ve kutuyu yapılandırmak için Graz Motor Görüntü Stimülatörüne çift tıklayın.
    4. Hem sol hem de sağ el hareketleri için 50, 5 sn denemeleri (cue-1.25 s ve MI-3.75 s) yapılandırın, zihinsel yorgunluğu önlemek için 20 s'lik bir başlangıç periyodu ve ardından her 10 denemeden sonra 10 s'lik aralıklarla ekleyin.
    5. Sol ve sağ el denemelerini randomize olacak şekilde yapılandırın ve denemeden önce hayal edilecek eli gösteren bir ipucuna sahip olun.
    6. Hayal edilecek elin işaretini motor görüntü eğitimi oyun motoru programına iletmek için IP adresi ve bağlantı noktası ile bir OSC kutusu bağlayın.
    7. Katılımcıları, hangi elin hayal edileceğini gösteren bir metin ipucunu takip ederek, ilgili el ile bongoya çarparken avatarla aynı hızı takip eden 3D avatar ile birlikte ellerinin hareketini gerçekleştirdiklerini hayal etmeye yönlendirin.
  3. CSP ve LDA eğitimi
    1. Alımın ardından, alım aşamasından itibaren EEG verilerini analiz etmek ve Ortak Uzamsal Desenleri (CSP) hesaplamak için CSP Eğitim senaryosunu çalıştırın ve sol ve sağ el görüntülerini ayırt etmek için filtreler oluşturun.
    2. CSP Eğitiminden sonra, sınıflandırıcı eğitim senaryosuna gidin ve sistemi gerçek zamanlı avatar kontrolü için hazırlayarak verimli görev sınıflandırması için CSP filtrelerini kullanarak Doğrusal Diskriminant Analizi'ni (LDA) kullanmak üzere çalıştırın.
  4. Test aşaması
    1. Katılımcıların beyin-bilgisayar arayüzü (BCI) teknolojisini kullanarak 3D avatarlarını gerçek zamanlı olarak kontrol etmeleri için test senaryosuna gidin.
    2. Katılımcılar bu hayal edilen eylemleri gerçek zamanlı olarak yorumlamak için el hareketlerini hayal ederken yakalanan EEG verileri üzerinde önceki senaryo sırasında eğitilen sınıflandırıcıları uygun kutulara yükleyin.
    3. EEG sisteminin ve VR kurulumunun çalışır durumda olduğundan ve eğitim aşaması ayarlarına göre doğru şekilde yapılandırıldığından emin olun.
    4. Katılımcılara test prosedürü hakkında bilgi verin ve metin ipuçlarının yönlendirdiği şekilde el hareketlerini (sol veya sağ el kullanarak bongo vuruşu) net bir şekilde hayal etme ihtiyacını vurgulayın.
    5. Eğitim aşamasına benzer şekilde, her katılımcı için sol ve sağ elin hayal hareketleri arasında eşit olarak bölünmüş ve randomize edilmiş 20 deneme yapın.
    6. Oyun motoru programında hangi elin görüntüleneceğini belirten metin olarak görüntülenecek işaret bilgilerini iletmek için bir OSC kutusu bağlayın ve yapılandırın.
    7. Oyun motoru programının, katılımcı tarafından hayal edilen ele dayalı olarak ilgili animasyonu oynatması için sol ve sağ el hareketlerinin tahmini değerini iletmek üzere başka bir OSC kutusuna bağlanın.
    8. Test senaryosunu çalıştırın. Motor Imagery Testing oyun motoru programını çalıştırın.

3. Veri toplama ve analizi

  1. Deneyin elde etme ve test etme aşamaları sırasında EEG verilerini ve sınıflandırıcı çıkışlarını, 125 Hz'de örneklenen verilerle sürekli olarak kaydedin.
  2. Karışıklık Matrisi senaryosuna gidin ve alınan EEG dosyasını her katılımcı için ve hem edinme hem de eğitim aşamaları için Genel akış okuyucu etiketli kutuya yükleyin.
  3. BCI sisteminin motor görüntü sinyallerini ne kadar doğru yorumladığını değerlendirmek için Karışıklık matrisini elde etmek için senaryoyu çalıştırın.
  4. EEG başlığını ve VR kulaklığını takarken avatarın kullanım kolaylığı, kontrol yetenekleri, daldırma seviyesi ve rahatlığı ile ilgili deneyimleri hakkında katılımcılardan geri bildirim toplayın.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gösterilen sonuçlar, yukarıda açıklanan protokolü takip eden 5 kişiden alınmıştır. Çalışmaya yaşları 21 ile 38 arasında değişen toplam 5 sağlıklı yetişkin (3 kadın) katılmıştır.

Hem motor görüntüleme eğitimi hem de test koşulları altında her katılımcı için bireysel sınıflandırma performansı Şekil 2'de gösterilmektedir. Hem eğitim hem de test oturumları sırasında sınıflandırıcının sol ve sağ MI sinyallerini ayırt etmedeki doğruluğunu değerlendirmek için tüm denekler için ortalama bir karışıklık matrisi hesaplanmıştır (bkz. Şekil 3).

Eğitim oturumu sırasında sol ve sağ motor görüntüler için hesaplanan CSP ağırlıkları, Şekil 4A'da temsili bir katılımcı için topografik bir model olarak yansıtılmıştır. Ayrıca, aynı katılımcı için, sol ele karşılık gelen kontralateral sağ sensorimotor alan üzerine yerleştirilen C4 elektrodundan ve sağ el için sol sensorimotor alan üzerine yerleştirilen C3 elektrodundan toplanan EEG verileri üzerinde bir zaman-frekans analizi yapılmıştır. 8 ila 30 Hz arasında değişen frekansların genliğinin bir dönem boyunca zaman içinde dinamik olarak nasıl değiştiğini ortaya koyan, olayla ilgili spektral bozulmaları (ERSP) tanımlamak için zaman-frekans grafikleri, motor görüntüleme eğitimi oturumu altında Şekil 4B'de gösterilmektedir. Alfa (8-12 Hz) ve beta (13-30 Hz) bantlarına odaklanarak, her dönem için ERSP'ler, temel spektrumlarına bölünerek normalleştirildi ve bu normalleştirilmiş değerlerden ortalama bir ERSP hesaplandı.

Ayrıca, katılımcılardan gelen geri bildirimler, EEG başlığının ve VR kulaklığının rahatlığı ve kullanım kolaylığı konusunda büyük ölçüde olumluydu. Katılımcılar özellikle 3D avatarlarının gerçek zamanlı kontrolü konusunda hevesliydiler. Bununla birlikte, katılımcılar bongo vuruş hareketine daha iyi daldırma için sesli geri bildirimin eşlik edebileceğini hissettiler.

figure-results-1
Şekil 2: Motor görüntü eğitimi ve test oturumları sırasında her katılımcı için doğruluk yüzdeleri. Gerçek pozitif (TP) oranı, sınıflandırıcı modelin MI sinyalleri olarak doğru bir şekilde tanımladığı motor görüntü (MI) sinyallerinin oranını gösterir. Yanlış pozitif (FP) oranı, sol MI sinyallerinin ne sıklıkla yanlışlıkla sağ MI sinyalleri olarak sınıflandırıldığını gösterir. Yanlış negatif (FN) oranı, modelin tespit edemediği gerçek sol MI sinyallerinin oranını ortaya çıkarır. Son olarak, gerçek negatif (TN) oran, modelin bu şekilde doğru bir şekilde tanıdığı doğru MI sinyallerinin oranını gösterir. S1, S2, S3, S4 ve S5 beş katılımcıyı belirtir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-2
Şekil 3: Motor görüntü eğitimi ve test oturumları sırasında sınıflandırma performansının ortalama karışıklık matrisleri. Genel ortalama doğruluk, modelin hem sol hem de sağ MI sinyallerini doğru bir şekilde sınıflandırma yeteneğini yansıtır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

figure-results-3
Şekil 4: Temsili bir katılımcı için motor görüntü eğitimi oturumu sırasında her iki el için CSP filtresi, desen ve zaman-frekans grafikleri. (A) Şekil, varyansa dayalı olarak iki sınıf (sol ve sağ) arasında maksimum ayrım yapan S1 için CSP filtrelerini göstermektedir. (B) S1 için zaman-frekans grafiği. Mavi bölgeler olayla ilgili senkronizasyonun kaldırılmasını gösterir. 0 ms'de, sol veya sağ eli hayal etmek için işaret 1250 ms'lik bir süre boyunca görüntülendi. İşareti takiben, katılımcı bongo'nun karşılık gelen el ile vurma hareketini hayal etti. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

MI'nın VR teknolojisi ile birlikte uygulanması, beynin motor planlama ve yürütme için doğal mekanizmalarından yararlanarak rehabilitasyon için umut verici bir yol sunmaktadır. MI'nın belirli beyin frekans bantlarında olayla ilgili senkronizasyon bozukluğunu indükleme yeteneği, fiziksel hareketin nöral aktivitesini yansıtır 2,3,4, motor kontrolde yer alan sinir ağlarını devreye sokmak ve güçlendirmek için sağlam bir çerçeve sağlar8. Bu süreç, yalnızca mevcudiyet ve beden sahipliği duygusunu güçlendirmekle kalmayıp aynı zamanda hareketlerin görselleştirilmesini kolaylaştıran ve böylece MI deneyimini zenginleştiren VR'nin sürükleyici kalitesiyle daha da geliştirilmiştir16.

Temsil ettikleri konulara çok benzeyen kişiselleştirilmiş 3D avatarların geliştirilmesi bu alanda dikkate değer bir yeniliğe işaret ediyor 13,14,15. Yaklaşım, kavramsal olarak Skola ve ark.27'nin bir VR ortamında oyunlaştırılmış görevleri kullanarak birlikte uyarlanabilir MI-BCI eğitimi üzerindeki çalışmasıyla uyumludur. Bununla birlikte, bu protokol, Skola ve arkadaşları tarafından kullanılan ellere odaklanan bakış açısı perspektifinin aksine, katılımcının görünümünü yakından yansıtan tam bir 3D avatar kullanarak önemli bir farklılaşma sunar. Bu avatarlar, kullanıcının hayal ettiği hareketlerin gerçek zamanlı olarak görsel bir temsilini sağlayarak, sürükleyiciliği derinleştirir ve hayal edilen ve gerçek hareketler arasındaki bağlantıyı güçlendirir18. Bu makalede ayrıntılı olarak açıklanan yaklaşımın, daha belirgin ERD modellerini teşvik etmesi ve daha etkili nöral adaptasyon ve iyileşmeye yol açması beklenmektedir.

Bununla birlikte, çevrimdışı BCI metodolojilerinden avatarların gerçek zamanlı kontrolüne geçiş, özellikle sistemin kullanıcının hayal ettiği hareketlere doğruluğunu ve yanıt verebilirliğini sağlamada zorluklar ortaya çıkarmaktadır. Sistem, bir dizüstü bilgisayara bağlı EEG veri toplama sistemini içeren ve daha sonra bir Oculus Rift-S VR kulaklığı ile arayüz oluşturan bir kurulum aracılığıyla gerçek zamanlı bilgi işlem sağlar. Bu kurulum, özel olarak geliştirilmiş bir 3D avatar aracılığıyla görsel geri bildirim ve etkileşim için Edinme Sunucusu ve Oyun Motoru tarafından kolaylaştırılan, EEG veri yakalamanın VR daldırma ile sorunsuz entegrasyonuna olanak tanır.

Sistemin genel gecikmesi, üst düzey bir grafik kartıyla donatılmış bir oyun dizüstü bilgisayarından yararlanarak ve ipuçları ve el tahmin değerleri için OSC üzerinden hafif mesajlar kullanarak bir BCI-VR entegrasyon senaryosunda verimli bir şekilde en aza indirilebilir. Bir oyun dizüstü bilgisayarının kullanılması, EEG kartı aracılığıyla elde edilen EEG verilerinin hızlı bir şekilde işlenmesini sağlar ve ilk sayısallaştırma ve iletim gecikmesi 5 ms'nin çok altında tutulur. Sonraki sinyal işleme ve sınıflandırmanın, hem sinyal filtrelemeyi hem de özellik çıkarma için CSP gibi algoritmaların yürütülmesini hesaba katarak yaklaşık 20-40 ms'lik ek bir gecikmeye katkıda bulunması beklenebilir. Senaryo tasarımcısı ile oyun motoru arasındaki iletişim, sol ve sağ el hareketleri için basit sayısal ipuçları ileten OSC tarafından kolaylaştırılan, muhtemelen 5-10 ms'den fazla gecikme ekleyen minimum ek yük için tasarlanmıştır. Oyun motorunun bu komutları işlemesi, grafik kartının hesaplama verimliliği sayesinde hızlı olacak ve gecikmeyi 20 ms'nin altında tutmayı amaçlayan VR kulaklığı tarafından sağlanan VR ortamında görsel geri bildirimi oluşturmadan önce 10 ms'nin altında bir gecikmeye daha katkıda bulunacaktır. Toplu olarak, bu bileşenler, sistemin toplam gecikme süresini 45-75 ms'lik arzu edilen bir aralıkta tutmak için sinerji oluşturarak, sürükleyici VR deneyimleri ve etkili BCI uygulamaları için çok önemli olan gerçek zamanlı yanıt verme hızını sağlar.

Ayrıca, katılımcılara, eğitim aşamasında avatarın VR kurulumu ve hızı hakkında bilgi sahibi olmaları ve test aşamasında 3D avatarı kontrol etmek için düşüncelerini kullanmaları için bir tür eğitim modülü olarak yeterli uygulama denemesi verildi. Sinyal kalitesi doğrulamasına yapılan vurgu, görev sınıflandırması için CSP ve LDA'nın kullanılması ve ayrıntılı test aşaması, gerçek zamanlı avatar kontrolünün başarısı için kritik öneme sahiptir.

Bu çalışmanın sonuçlarının, rehabilitasyon için kişiselleştirilmiş 3D avatarların gerçek zamanlı BCI kontrolünün kullanılmasının fizibilitesini ve etkinliğini göstererek alana katkı sağlaması beklenmektedir. Çalışma, motor görüntü eğitimi aşaması ile gerçek zamanlı test arasındaki motor niyet algılama doğruluğunu karşılaştırarak, bu teknolojinin rehabilitasyon sonuçlarını iyileştirme potansiyeli hakkında değerli bilgiler sağlayacaktır. Ayrıca, kontrol kolaylığı ve deneyimlenen daldırma düzeyi hakkındaki katılımcı geri bildirimleri, daha ilgi çekici ve etkili rehabilitasyon arayüzleri oluşturmayı amaçlayan BCI ve VR teknolojilerindeki gelecekteki gelişmeleri bilgilendirecektir.

BCI ve VR teknolojilerindeki gelişmeler, daha kişiselleştirilmiş, ilgi çekici ve etkili rehabilitasyon protokolleri için yeni olanaklar sunuyor. Gelecekteki araştırmalar, avatarların gerçek zamanlı kontrolü için teknolojiyi geliştirmeye, sinyal sınıflandırması için daha karmaşık makine öğrenimi algoritmalarının kullanımını keşfetmeye ve bu yaklaşımın uygulamasını daha geniş bir nörolojik durum yelpazesine genişletmeye odaklanmalıdır. Ek olarak, bu rehabilitasyon yönteminin nörolojik bozukluğu olan bireyler için fonksiyonel iyileşme ve yaşam kalitesi üzerindeki uzun vadeli etkisini değerlendirmek için uzunlamasına çalışmalara ihtiyaç vardır.

MI'nın rehabilitasyonda VR teknolojisi ile entegrasyonu önemli bir umut vaat etse de, çeşitli sınırlamalar dikkat gerektirmektedir. Bireylerin net MI sinyalleri üretme yeteneklerinde ve MI ve VR müdahalelerine karşı sinirsel tepkilerinde önemli bir aralık vardır. Bu değişkenlik, rehabilitasyon sürecinin etkinliğinin hastalar arasında büyük farklılıklar gösterebileceği anlamına gelir ve bu da tedavinin bireysel farklılıklara uyacak şekilde kişiselleştirilmesini önemli bir zorluk haline getirir. Ayrıca, avatarların gerçek zamanlı kontrolünde yüksek doğruluk ve yanıt verebilirlik elde etmek karmaşık bir çabadır. MI sinyallerinin yorumlanmasındaki gecikmeler veya hatalar, sürükleyici deneyimi kesintiye uğratabilir ve potansiyel olarak rehabilitasyon sürecinin etkinliğini azaltabilir. VR teknolojisi, daldırmayı ve katılımı artırabilirken, bazı kullanıcılar için rahatsızlığa veya hareket hastalığına yol açarak uzun seanslara katılma kapasitelerini ve sonuç olarak terapinin genel başarısını etkileyebilir.

Sonuç olarak, MI sinyallerini kullanarak kişiselleştirilmiş 3D avatarların gerçek zamanlı kontrolü ile örneklenen BCI ve VR entegrasyonu, nörolojik rehabilitasyona son teknoloji bir yaklaşımı temsil eder. Mevcut protokol sadece böyle bir entegrasyonun teknik fizibilitesinin altını çizmekle kalmıyor, aynı zamanda insan beyninin iyileşme ve adaptasyon kapasitesinin tam potansiyelini ortaya çıkarmak için teknoloji ve sinirbilimin birleştiği yeni bir rehabilitasyon çağı için zemin hazırlıyor.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarların açıklanacak herhangi bir çıkar çatışması yoktur.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, tüm katılımcılara zaman ayırdıkları ve katılımları için teşekkür eder.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Alienware Dizüstü BilgisayarDellGTX1070 Grafik Kartına sahip üst düzey dizüstü oyun bilgisayarı
Oculus Rift-S VR kulaklığıMetaVR gözlüğü
OpenBCI Cyton PapatyaOpenBCIEEG sistemi
OpenBCI Jelsiz kapakOpenBCIEEG elektrotlarını katılımcının kafa derisine yerleştirmek için jel içermeyen kapak

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

EEG Edinimi3D AvatarlarMotor Becerilerin RehabilitasyonuCSP E itimiGer ek Zamanl Avatar KontrolOlayla li kili Spektral Pert rbasyonlar

İlgili makaleler