Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Engineering
Click here for the English version

Engineering

İnsansı Robotlar ile Beyin Robot Etkileşimi Deneysel Prosedür SSVEP tabanlı

Published: November 24, 2015 doi: 10.3791/53558
Automatic Translation
1, 1,2, 1, 1
1School of Electrical Engineering and Automation, Tianjin University, 2Department of Computer & Electrical Engineering and Computer Science, California State University

Introduction

Beyin-Robot Etkileşimi insan ve beyin sinyalleri yoluyla robotik cihaz arasında bir yenilikçi iletişim yolu sağlar (BRI), günlük yaşamlarında 1,2 engelli yardımcı prospektif olduğunu. Çeşitli yöntemler oluşturmak için vb elektrokortikografi (ECOG), elektroansefalografi (EEG), fonksiyonel manyetik rezonans görüntüleme (fMRI) gibi, ya invaziv veya non-invaziv en sık kullanılan non-invaziv bir yöntem beyin sinyallerini elde edebiliyoruz BRI sistem kafa derisi üzerine yerleştirilen elektrotlar EEG sinyallerini elde etmektir. Bu yöntem, pahalı olmayan bir kullanımı kolaydır, ve kabul edilebilir bir zamansal çözünürlüğü 3 içerir. Onlar insanların günlük geçmesi aynı fiziksel ve zihinsel görevlerin bazıları taklit oluşturulan olarak robotik cihazlar çeşitli arasında, insansı robotlar ileri seviyededir. Insansı robot ile BRI hasta ve yaşlı yardımcı, hem de sağlıksız ve tehlikeli görevlerini yerine getirirken önemli bir rol oynayacaktır. Ama kontroltam vücut hareketi ile insansı robot gibi kişisel yardım 4, 5 gibi karmaşık görevleri yerine getirmek için geliştirilmiştir olarak BRI sistemi aracılığıyla bir insansı robot, son derece zordur.

Kararlı Hal Görsel Uyarılmış Potansiyel (SSVEP) Belli bir frekansta 6 görsel uyaranın modülasyonu ile uyarılmış beyin sinyalinin bir türüdür. Bu titreşen uyaran temel ve harmonik frekanslarda sinüzoidlerde içerir ve belirgin kafa derisi 7 oksipital bölgede görsel korteks boyunca görünür. SSVEP sinyallerini seçilmesinin sebebi SSVEP merkezli BRI sistem nispeten yüksek bilgi aktarım hızı verir ve daha az eğitim 8 gerektirir. Bu tür olaya ilişkin potansiyeller (OİP) 9 veya motor görüntüleri (MI) 10 potansiyelleri olarak beyin dalgalarını diğer türleri, aynı zamanda bu deneysel prosedür içine gömülü olabilir.

İnsansı beyin-robot etkileşimini Bizim prosedürrobotlar Cerebot dayanmaktadır - bir zihin kontrollü insansı robot platformu - EEG veri toplama sistemi ve bir insansı robot 11 oluşmaktadır. EEG sistemi, ön işlem ve elektrotların çeşitli edindiği ekran biyo-potansiyel sinyallerini kayıt yapabiliyor. Birden fazla analog I / O ve dijital I / Os sağlar ve 16-bit çözünürlük ile 30 kHz örnekleme hızında anda 128 sinyal kanala kadar kayıt yeteneğine sahiptir. C ++ ve MATLAB Onun yazılım geliştirme kitleri kullanıcıların deneysel prosedürler tasarlamak için kolaydır. Insansı robot serbestlik 25 derece vardır ve 2 kameralar, mikrofonlar 4, 2 sonar rangefinders, 2 IR vericiler ve alıcılar, 1 eylemsizlik kurulu, 9 dokunsal sensörleri ve 8 basınç sensörleri de dahil olmak üzere çoklu sensör ile donatılmıştır. Bu oluşturma ve düzenleme hareketleri ve interaktif robot davranışları Choregraphe ve C ++ SDK sağlar.

Bu yöntemin genel amacı bir SSVEP tabanlı deneysel proce kurmakdure insansı robotlar 11 ile beyin robot etkileşim çalışması sağlamak için, örneğin OpenViBE, Choregraph, Merkezi yazılımı gibi birden fazla yazılım programlarının yanı sıra C ++ ve MATLAB yazılı kullanıcı geliştirdiği programlar entegre ederek. 1 sistem yapısını göstermektedir. Özel uyaran sunum bilgisayar (SPC) görsel uyaranlara, talimatlar ve çevre yorumlarından konuyu sunmak için Kullanıcı Arayüzü görüntüler. Özel bilgi işlem bilgisayar (DPC) çevrimdışı eğitim sürecinde Veri Kaydedici ve Offline Veri Analyzer çalışır ve Online Sinyal İşlemci ve insansı robot online kontrolü için Robot Kontrol çalışır. Diğer SSVEP tabanlı kontrol sistemleri ile karşılaştırıldığında, bizim sistem yeniden ve böyle OpenViBE, Choregraph, Merkezi yazılımı gibi standartlaştırılmış yazılım paketleri, bir dizi entegre tarafından geliştirilen olarak yükseltilmiş ve olması daha esnek, daha güvenilir ve özellikle daha uygundur Modüller C ++ ile yazılmışve MATLAB.

Aşağıdaki prosedür gözden ve Tianjin tıbbi üniversite genel hastane etik kurulu tarafından onaylandı ve tüm denekler yazılı onayını vermiş oldu.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. EEG Sinyallerini Edinme

  1. Konuya deneysel prosedür açıklayın ve deneyler katılmaya yazılı bilgilendirilmiş onam edinin.
  2. Bir mezura kullanarak konu kafa çevresini ölçün ve ölçüm yakın EEG kap boyutunu seçin. Elektrotlar düzenleme "Uluslararası 10-20 Sistemi" 12 dayanmaktadır.
  3. Nasion ve inion arasındaki mesafeyi ölçün. Kapağı hizalanması için referans olarak mesafe% 10 işaretlemek için bir cilt işaretleyici kalem kullanın ve öznenin kafa derisi üzerinde tepe olarak mesafenin orta noktası işaretleyin.
  4. FP1 ve FP2 elektrotlar orta noktası% 10 işaretini hizalayarak konuyla ilgili EEG kapağını yerleştirin. Verteksteki kapağın Taşlı pozisyonu elektrot.
  5. Fz, Cz, Pz ve Oz başın orta hat üzerinde olduğundan emin olun ve orta hat her iki tarafında bulunan elektrot her çifti bir yatay çizgi olduğunu.
  6. Iletken jel ile REF1 ve REF2 elektrotları sürün. Tıbbi bant kullanarak sağ ve sol mastoide referans elektrotlar yerleştirin. Chinstrap sıkın.
  7. Elektrot tutucu bir künt uçlu şırınga yerleştirin ve aşağıdaki sırayla her bir elektrodun içine iletken jel enjekte: Birincisi, alnına ve "toprak" elektrot ikinci, O2, O1, Oz, Pz deneyde kullanılan beş elektrotlar ve Taşlı.
  8. Bir uyarıcı monitörün önünde rahat bir sandalye 60 cm konuyu Seat. Monitörün merkezi ile aynı yatay seviyede onun / onun gözlerini tutmak için konuyu söyleyin.
  9. EEG veri toplama sistemine elektrot kablolarını bağlayın. 1 kHz örnekleme hızı yapılandırın.
  10. Özel DPC EEG sinyal kalitesini inceleyin. Belirli bir elektrot ile ilgili bir sorun varsa, yeniden enjekte jel kanalının empedansını ayarlamak için.
  11. 4,615, 12, 15 ve 20 frekanslarda dört robot görüntüleri titreşmeye adanmış SPC kullanınKullanıcı Arabirimi görsel uyaranlar olarak Hz Şekil 2'de görüldüğü gibi.

2. Çevrimdışı Analiz SSVEP Özellikleri

  1. Her konu için çevrimdışı eğitim deneyleri 32 denemeler yapmak ve bu süreç boyunca EEG sisteminden alınan beyin sinyallerini kaydeder.
    NOT: Bu işlem sadece kendi SSVEP özelliği vektörleri kurmak ve sınıflandırıcı eğitmek için deney ilk kez bireyler tarafından yapılır.
  2. Deneme başladığında, rastgele hedef olarak tek uyaran seçin ve üstündeki sarı ok görüntüler.
  3. 1 sn sonra 5 saniye boyunca Kullanıcı Arabirimi üzerinde farklı frekanslarda dört görsel uyaranlara titreme.
  4. Minimumda onun / onun vücut hareketini tutarken seçilen uyaran hedefe odaklanmak konuyu isteyin.
  5. Her deneme sonra, dinlenmek konu 3 saniye ver, sonra bir sonraki deneme başlatın.
  6. Tüm çalışmalar bittiğinde, kaydedilen veri okumak. 3 sn veri çığır olmak Özü ara 2 sn ve her denemede hedef olarak bir uyarıcı seçer tetik sonra 5 sn.
  7. MATLAB komut Offline Veri Analyzer kullanarak veri dönemini güç spektrumu yoğunluğu (PSD) hesaplayın. Aşağıda ayrıntılı olarak tarif işleme algoritması kullanın:
    1. Referans veri ile çok kanallı EEG verilerinin kanonik korelasyon analizi (CCA) katsayıları hesaplayın. CCA altta yatan korelasyon 13 bulmak için iki veri seti için kullanılan bir çok değişkenli istatistiksel bir yöntemdir. Çok kanallı EEG verileri X ve referans verileri aynı uzunlukta Y 3s segmenti göz önüne alındığında, X = X T W x ve y = Y T arasındaki ρ korelasyon katsayısının üst düzeye çıkarmak için, ağırlık vektörleri, W x ve y W bulmak için kullanımı CCA y W. Belirli uyaran frekanslarda periyodik sinyalleri referans verileri ayarlayın.
      /ftp_upload/53558/53558eq1.jpg "/>
      burada f 1, f 2, 3 f, 4 dört görsel uyaranın özelliği frekansları f.
    2. Mekansal referans veri doğrusal kombinasyonu ile en belirgin ilişki vardır bir tek boyutu süzülmüş veri x, elde etmek için hesaplanan CCA katsayıları W x kullanarak çok kanallı EEG verisi X filtre.
    3. Hızlı Fourier Dönüşümü (FFT) kullanan uzamsal biçimde filtre edilmiş veriler x PSD hesaplayın.
      Denklem 2
      N FFT örnek veri x boyutu ve FFT burada (x, N FFT) N FFT -Point ayrık Fourier dönüşümü x döndürür.
    4. 3 ve 30 Hz arasındaki ortalama değer bakımından PSD Normale.
      Denklem 3
      nerede60; Denklem 3 Payda 3 ve 30Hz arasındaki güç spektrumunun ortalamasını gösterir.
  8. Dört uyaran frekanslar için sınıflandırma parametrelerini ayarlayın. İlk olarak, uyarıcı hedefine karşılık normalize PSD spektrumu gözlemlemek ve el özellik sıklığı gibi güçlü PSD genlikli frekans yapılandırın. İlgili uyaran hedef olarak seçildiğinde tek elde edilir, ve hedef olmayan uyaranlara seçildiğinde diğer elde edilir: özellik frekansına dayanarak, iki takım halinde normalize PSD verileri bölün. Sırasıyla kurulan her ortalama değerini hesaplayın. Hedef ve hedef olmayan 14 setleri sınıflandırmak için iki ortalama değerlerin ortanca tarafından eşiğini belirler.

3. Online İşlem Beyin Sinyalleri

  1. B geliştirilmiştir, Şekil 3 de gösterildiği gibi online Sinyal İşlemcisi açonline işlem beyin sinyalleri için DPC üzerinde OpenViBE ortamı ve MATLAB komut, üzerinde ased.
  2. Çift OpenViBE ayarı penceresini açmak için, Şekil 3'te kırmızı döngüsü ile işaretlenmiş Edinme ve Süreç Sinyal kutusunu tıklatın. Konu için sınıflandırma parametrelerini yapılandırın. Çevrimdışı analiz sonuçlarına göre 1 kHz olarak örnekleme oranını ayarlamak, 3 saniye olarak FFT zaman uzunluğunu ayarlayın ve özellik frekanslarını ayarlamak, örneğin 4,667, 24, 15 ve 20 Hz .
  3. Üç adımda aşağıdaki algoritmayı kullanarak gerçek zamanlı verileri işler Çevrimiçi Sinyal İşlemci, çalıştırmak için başlatır düğmesini tıklatın.
  4. İlk olarak, algoritma kanalları Oz, O1, O2, Pz ve EEG sisteminin her 0.5s arasında CPZ gelen EEG verilerini satın aldı ve çevrimiçi işlem için son 3s veri kesimini ayıklar.
  5. İkincisi, algoritma aşama 2.7'de açıklanan algoritmalar kullanarak 3-sn veri segmenti işler ve sınıfla için gerçek zamanlı PSD hesaplaryon.
  6. Üçüncü olarak, algoritma dört özellik frekanslarda PSD genliklerine göre beyin desenleri sınıflandırır. Tek özellik frekans genlik verilen eşiğin üstünde olduğunda, SSVEP hedef olarak karşılık gelen frekansta titreşen uyaran sınıflandırır.

4. İnsansı Robot Bağlanması

  1. İnsansı robot Göğüs düğmesine basın ve başlatmak için bekleyin.
    NOT: Bu işlem yaklaşık 1 dakika sürer ve Göğüs düğmesi beyaz olurken robot "OGNAK GNOUK" diyor tamamlandı.
  2. DPC 15 olan Wireless Fidelity (WiFi) bağlantısı kurun.
  3. Robot Denetleyicisi DPC Visual C ++ komut programlanmış a açın. Kumanda robot komutları içine çevirir, Virtual Reality-Periferik Ağı (VRPN) arabirimi üzerinden online Sinyal İşlemcisi sınıflandırma sonuçlarını alır ve humanoi karşılık gelen davranışları kontrolkablosuz bağlantı üzerinden d robotu.
  4. Olabilir robot davranışlarının üç set tanımlayan kendi WiFi bağlantı göre robotun IP adresini girerek Robot Kontrolörü yapılandırma kolaylıkla üç farklı görevleri gerçekleştirmek için açık ve (bu davranışların icra parametreleri ayarlayarak, örneğin., Yürüme hızı veya mesafe) görev gereksinim uyacak şekilde.
    NOT: Bu davranışların daha fazla detay adımlarla 5.2.1, 5.3.1, 5.4.1 ve tarif edilmektedir.
  5. Robot Denetleyicisi çalıştırmak için Visual Studio platformunun Oluştur düğmesini tıklatın.
  6. SPC üzerinde Choregraphe programını açın. Düğmesini tıklatın Bağlantı Widget açılır "bağlan". IP adresine göre kontrol edilecek robot seçin ve çift ona bağlanmak için simgesini tıklatın.
  7. Choregraphe Menü çubuğundaki görünüm menüsünden video monitörü açın ve robotun kameradan canlı video geribildirim görüntülemek için kullanıcı arabirimi önüne monitörü taşıyın.
<p class = "jove_title"> 5. Kapalı çevrim kontrol Deneyleri yapılması

  1. Beyin-robot etkileşimi performansını değerlendirmek için farklı ortamlar içinde üç özel kapalı çevrim kontrol görevleri gerçekleştirmek için konuyu isteyin.
    NOT: günlük hayatlarında engelli ve yaşlı yardımcı yararlı çünkü robotik uygulamalarda önemli olan bu görevler, farklı robot davranışları etkinleştirmeniz gerekir.
  2. Şekil 4'te gösterildiği gibi, engellerin üzerinden yürümek ve ışığı açmak için bir ışık anahtarı itmek için beyin sinyalleri aracılığıyla insansı robot kontrolü TelePresence ilk kapalı çevrim kontrol görevi yürütün.
    1. İlk görevi başarmak üzere dört SSVEP uyaranlarla kodlanmış robot davranışlarını kontrol etmek için: 0.15 m sabit mesafe ile ileri adım 0.3 rad sabit radyan ile sola dönülerek, sağ 0.3 rad sabit radyan ile dönerek, ve onun sağ elini kullanarak anahtarı iterek.
      NOT: ayarlayation işlem aşamasında 4,4 tarif edilmektedir.
    2. Görev hedefi konusunu ve dört davranışları bilgilendirin kontrol edilecek.
    3. Adımlar 4,5-4,7 olarak Robot denetleyicisi çalıştırın ve deney başlar. Çevreyi algılama ve canlı video yorumlarına dayanarak kararlar ve ilgili uyaranlara bakarak robot davranışları etkinleştirmek için konuyu özgürlük verin.
      . NOT: Acil durumlarda, örn, robot bir engel ile çarpışmak üzere olmadıkça hiçbir talimat veya yardım konusuna önem verilmelidir.
  3. Yoldan geçenleri Ne zaman karşı karşıya Şekil 5'te gösterildiği gibi, çıkış işareti aşağıdaki merdiven doğru yürümeye beyin sinyalleri aracılığıyla insansı robot kontrolü TelePresence ikinci görevi yürütün., Say "pardon" ve beklemek robotu kontrol etmek konuyu sormak geçenler yol vermek için.
    1. Continuousl ileri yürüyüş: dört SSVEP uyaranlara tarafından kodlanan robot davranışlarını kontrol0,05 m / s bir hızda y 0.1 rad / sn bir hızda hemen sürekli dönerek ve yürüyüş davranışları durdurma 0.1 rad / sn bir hızda sürekli sola dönerek.
    2. Duruş bağlı kontrol fonksiyonu 16 Robot Kontrol Anahtarı.
      NOT: robot yürürken bu fonksiyon yürüyüş davranışları durdurma emri olarak dördüncü uyaran kullanır; Robot yürürken değilken, bu "pardon" demek robotu kontrol etmek dördüncü uyarıcı kullanır. Fonksiyon robotun yürüme durumunu tespit ederek C ++ komut uygulanmaktadır.
    3. Görev hedefi konusunu ve beş davranışları bilgilendirin kontrol edilecek.
    4. Aşama 5.2.3 de açıklandığı gibi, Robot Kontrolörü çalıştırın ve deney başlar.
  4. Şekil 6'da gösterildiği gibi, onu almaya ve deneğin elinin teslim etmek, bir balon hedefe doğru yürümeye insansı robot kontrolü TelePresence için üçüncü görevi Davranış.
    1. Dört SSVEP uyaranlara tarafından kodlanan robot davranışlarını kontrol: 0,15 m sabit mesafe ile öne çıkarak, 0.3 rad sabit radyan sol 0,3 rad sabit radyan ile doğru dönerek, ve nesneleri toplayıp dönülerek.
    2. Zaten kaldırdı edildiğinde nesneyi koyarak emri olarak dördüncü uyaran yeniden Robot denetleyicisi duruş bağlı kontrol fonksiyonunu etkinleştirin.
    3. Görev hedefi konusunu ve beş davranışları bilgilendirin kontrol edilecek.
    4. Aşama 5.2.3 de açıklandığı gibi, Robot Kontrolörü çalıştırın ve deney başlar.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Burada sunulan sonuçlar, erkek konusu düzeltilmiş-to normal olan elde edilen bir versiyonu. Şekil 7, uzamsal olarak CCA katsayıları kullanılarak verilerin filtre edilmesi, çok kanallı bir veri Epoch (Şekil 7A) ekstre dahil olmak üzere işleme EEG veri prosedürü gösterir (Şekil 7B) ve normalize PSD (Şekil 7C) hesaplanması.

Şekil 8 normalize PSD konu farklı frekanslarda titreşen hedeflere baktı ki tek denemeler kullanılarak elde gösterir. Belirgin tepe titrek uyaran temel veya harmonik frekans belirir. BRI sistemi farklı robot davranışlarının kontrolü için komutlar içine SSVEP yanıtları bu kalıpları eşler.

4-6 üç kapalı döngü devam uyarıcısı gösteriyor Rakamlarrol görevleri beyin robot etkileşimi performansını değerlendirmek için seslendirdi. Bu görevler robotik araştırmalarda popüler ve günlük hayatlarında engelli ve yaşlı yardımcı yardımcı olur. 4 engellerin üzerinden yürüyüş ve beyin dalgalarını aracılığıyla ışığı açmak için bir anahtar itme telepresence kontrol deneyini göstermektedir. Şekil 5 telepresence kontrolünü gösterir çıkış işareti aşağıdaki merdiven durumda doğru yürüyen deney. Şekil 6 bir balon alıp deneğin elinin onu teslim telepresence kontrol deneyini gösterir.

figür 1
Şekil bir İnsansı Robot ile Beyin Robot Etkileşimi 1. Sistem Yapısı. Beyin sinyalleri EEG veri toplama sistemi ile ölçülür. Kullanıcı arayüzü SSVEP yanıtları ve görüntüler video görüşlerinizi canlı ortaya çıkarır kapalı döngü kontrol deneyleri. İlk kez denekler için, Veri Kaydedici ve Çevrimdışı Data Analyzer kendi SSVEP çevrimdışı özellikleri analiz etmek ve her konu için sınıflandırıcı eğitmek için çevrimdışı eğitim sürecinde kullanılmaktadır. Sonra Çevrimiçi Sinyal İşlemci ve Robot Kontrol insansı robot online kontrolü için yapılandırılır. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 2,
SSVEP merkezli BRI Sistemi Şekil 2. Kullanıcı Arayüzü. Kullanıcı Arabirimi görüntüler orta penceresinde video geribildirim yaşamak ve dört frekanslarda insansı robot davranışları temsil eden çevre üzerinde dört görüntü titriyor. Sağ panelde 3D gösterimi insansı robot mevcut duruş gösterir. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "target =" _ blank "> bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 3,
Şekil 3. Çevrimiçi Sinyal İşlemci OpenViBE programlama ortamında uyguladı. Kırmızı döngüsü ile işaretlenmiş Edinme ve Proses Sinyalleri kutu MATLAB komut yazılı işleme algoritması çağırır. Menü panelindeki başlar düğmesi programı başlar. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 4,
Engeller sayesinde yürüyüş ve Işık Anahtarı Pushing 4. Telepresence Kontrol Experiment Şekil.es / ftp_upload / 53558 / 53558fig4large.jpg "target =" _ blank "> bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 5,
Şekil Çık Sign ardından Merdiven Doğru Yürüyüş 5. Telepresence Kontrol Deneyi. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 6,
Şekil 6. Konu ile Balona teslim ve Telepresence Kontrol Deneyi. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 7, İşleme Kanallı EEG Verilerinin Şekil 7. Prosedür (A) Konu 4,615 Hz uyarıcı bakıyordu olduğu deneme çıkarılan Kanallı veri çağı.; (B) CCA katsayıları kullanılarak Mekansal süzülmüş veri; (C) uzamsal filtrelenmiş verilerin normalize PSD. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Şekil 8
Konu Farklı Frekanslarda Uyaranlar Titreşen bakıyorum mı hangisi Tek Denemeler Elde Şekil 8. Normalize PSD. Bu rakamın büyük halini görmek için lütfen buraya tıklayınız.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Bu yazıda birden fazla yazılım programlarını entegre ederek insansı robotlar beyin-robot etkileşimi sistemi kurmak için bir SSVEP tabanlı deneysel prosedür sunar. İnsan niyet gerçek zamanlı EEG sinyallerini yorumlayarak algılanan olduğundan, deney yapmadan önce elektrot bağlantıları ve EEG sinyal kalitesini doğrulamak için kritik öneme sahiptir. Tüm elektrotlar elde edilen sinyaller kötü nitelikleri ise, ilk zemin ve referans elektrotlar bağlantısını kontrol etmek gereklidir. Elektrotların parçaları ile ilgili sorunlar varsa, bu kanalların empedansı ayarlamak için iletken jel yeniden enjekte edilir.

EEG sinyalleri elde edilirken bir başka ortak sorunu eserler girişim ve 17 gürültüsü. EEG sinyal gürültü oranı (SNR), parazit ve gürültü SSVEP yanıtları PSD kolayca belirsiz değişiklikler küçük bir sinyal olduğu gibi. Bu pow uzak EEG sisteminin sinyal amplifikatörü tutmak önemlidirer temini ve diğer gürültü kaynakları. Deney sırasında, göz kırpma ve vücut hareketleri giren fazladan unsurların düşürüleceği minimumda tutulmalıdır. Ayrıca bu tür girişimlere karşı sağlamlığını artırmak için, bizim yöntem çok kanallı EEG verileri yorumlamak için bir CCA tabanlı tekniği kullanır. Sonuçlar, bu tekniğin sesler ve eserler içeren EEG sinyallerinden özellikleri ayıklanması etkili olduğunu göstermektedir.

Insansı robotlar kapalı döngü kontrolü yeni bir görev başlamak için, elle yeni görev gereksinim uyacak şekilde her robot davranışlarının tanımı ve parametre yapılandırmanız gerekir. Bu akım, BRI sisteminde mevcut kontrol komutlarının sınırlı sayıda kaynaklanmaktadır ve bu nedenle beyin kalıpların daha fazla türde harekete geçirilmesi ile geliştirilebilir. Hwang ve ark. 18 daha fazla görsel uyaranlar üretilmesi için bir çift frekanslı uyarım yöntemi önerilmiştir. Wang ve arkadaşları. 19, Allison ve ark., 20, Pan ve ark., 21, ve Li <em> ve ark., 22 ERP ve MI dahil olmak üzere diğer beyin desenleri ile SSVEP tabanlı bir model birleştirmek için çeşitli yöntemler hibrit önerdi. Aynı zamanda makine öğrenmesi veya sınırlı beyin kalıplarını 23 kullanılarak insansı robot tam vücut hareketini kontrol etmek için hiyerarşik mimarisine dayanan anahtarlama teknikleri benimsemeye mümkündür.

LCD monitör 24 ve SSVEPs 25 harmonik bileşenleri arasındaki etkisi mevcut yanıp sönen frekansları göz önüne alındığında, biz 1'den 60 Hz ve dört frekansları kullanarak bulundu yani., 4,615, 12, 15 ve 20 tüm olası yanıp sönen frekansları taranmış onlar bizim konularda en yüksek ortalama doğruluk oranı elde olarak Hz iyi seçimdir muhtemeldir. Bu nedenle, biz mümkün en nesneleri, sola dönülerek, ileri yürürken sağa dönerek ve yürüyüş durdurma / anahtarını iterek / toplayıp dahil insansı robot davranışlarını, kontrol arayüzünde dört uyaranlara kullanılırBu yazıda sunulan görevleri yerine getirmek için bir insansı robot kontrol etmek ough.

Böyle OpenViBE, Choregraph, Merkezi yazılım ve C kullanıcı geliştirilen programların ++ ve MATLAB gibi çoklu yazılım programları, entegre tarafından geliştirilen olarak BRI sisteminin avantajları güvenilirlik ve esneklik vardır. Bu standart yazılımı kullanarak farklı deneysel prosedürler tasarımı için verimli ve güvenilir olduğunu. Sistemimiz insansı robot ile beyin-robot etkileşimi için yeni algoritmalar ve teknikler araştırmak için güçlü bir araçtır. Kolayca hasta ve yaşlı, ve sahne sağlıksız ve tehlikeli işler yardımcı BRI uygulamaları keşfetmek için yükseltilebilir.

Subscription Required. Please recommend JoVE to your librarian.

Acknowledgments

Yazarlar bu yazıda bildirilen deneyler yaptığı yardım için Bay Hong Hu şükranlarını ifade etmek istiyorum. Bu çalışma Çin Ulusal Doğa Bilim Vakfı (No 61473207) tarafından kısmen desteklenmiştir.

Materials

Name Company Catalog Number Comments
Cerebus EEG Data Acquisition System Blackrock Microsystems 4176-9967
NAO humanoid robot Aldebaran Robotics H25
EEG cap Neuroscan 8732
Ten20 Conductive gel Weaver and company 10-20-8

DOWNLOAD MATERIALS LIST

References

  1. McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
  2. Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
  3. Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
  4. Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
  5. Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
  6. Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
  7. Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
  8. Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
  9. Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
  10. Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
  11. Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
  12. Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
  13. Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
  14. Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
  15. Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
  16. Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
  17. Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
  18. Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
  19. Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
  20. Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
  21. Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
  22. Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
  23. Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
  24. Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
  25. Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).

Tags

Mühendislik Sayı 105 Nörobilim beyin-robot etkileşimi (BRI) insansı robot Cerebot elektroensefalografi (EEG) kararlı durum görsel uyarılmış (SSVEP) birden fazla yazılım entegrasyonu kanonik korelasyon analizi (CCA) potansiyel kapalı-çevrim kontrol telepresence kontrolü
İnsansı Robotlar ile Beyin Robot Etkileşimi Deneysel Prosedür SSVEP tabanlı
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhao, J., Li, W., Mao, X., Li, M.… More

Zhao, J., Li, W., Mao, X., Li, M. SSVEP-based Experimental Procedure for Brain-Robot Interaction with Humanoid Robots. J. Vis. Exp. (105), e53558, doi:10.3791/53558 (2015).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter