İnsansı Robotlar ile Beyin Robot Etkileşimi Deneysel Prosedür SSVEP tabanlı

Bu yöntemin genel amacı, insansı robotlarla beyin-robot etkileşiminin incelenmesine olanak sağlamak için birden fazla yazılım programını entegre ederek S-S-V-E-P tabanlı bir deneysel prosedür oluşturmaktır. Bu, öncelikle beyin tepkilerini bir EEG veri toplama sistemi aracılığıyla ölçmek için insan denek üzerine EEG elektrotları yerleştirilerek gerçekleştirilir. S-S-V-E-P tepkilerini uyarmak ve kapalı döngü kontrol deneylerinde video geri bildirimi görüntülemek için bir kullanıcı arayüzü kullanılır.

İkinci adım, S-S-V-E-P özelliğinizi çevrimdışı olarak analiz etmek ve her denek için sınıflandırıcıyı eğitmek amacıyla deneklerin ilk EEG sinyallerini kaydetmektir. Ardından, insansı bir robotun çevrimiçi kontrolü için çevrimiçi sinyal işlemcisi ve robot kontrolcüsü yapılandırılır. Son adım olarak denek, farklı ortamlar içerisinde üç spesifik kapalı döngü kontrol deneyi gerçekleştirir.

Beyin-Robert etkileşim performansını değerlendirmek amacıyla, sonuçlar farklı frekanslarda yanıp sönen uyarıcılara bakarken üretilen beyin sinyallerinin normalize edilmiş güç spektral yoğunluğunu göstermektedir. Sistemimiz, bu beyin dalgası modellerini Robert'ın davranışlarını kontrol etmek için komutlara dönüştürür. Bu yaklaşımı kullanan denek, humanoid Robert Bio'ya beyin sinyalleri ile etkileşim kurabilmektedir.

Bu durum, insansı robot Robert'in robotik araştırmalarda yaygın olan ve engellilere yardımcı olma konusunda faydalı olan tipik görevleri yerine getirmesine olanak tanır. Bu yaklaşımın avantajı, open wide graph ve central software gibi birden fazla yazılım programının yanı sıra C++ ve MATLAB ile geliştirilen kullanıcı programlarının entegre edilmesiyle geliştirilmiş olması sayesinde sunduğu güvenilirlik ve esnekliktir. Bu yöntem, insansı robot ile beyin-robot etkileşiminin eylem sırasında incelenmesine imkan sağlar.

Bu çalışma, hastaların ve yaşlıların yanıltılmasının yanı sıra hijyenik olmayan veya tehlikeli işlerin yürütülmesine yardımcı olmayı hedefleyen prospektif bir çalışmadır. Ekip arkadaşlarım Lim ve Han, şimdi sırasıyla EEG sensörlerinin yerleşimini ve insan-robot bağlantı yöntemini gösterecekler. Deney prosedürünü deneğe açıklayın.

Deneylere katılmak için onam alın. Deneğin baş çevresini ölçün ve bu ölçüme en yakın E EEG başlığı boyutunu seçin. Başlığı hizalamak için referans olarak NAS işareti arasındaki mesafenin %10'unu ölçün.

Denek kulak pozisyonundaki tepe noktasındaki mesafenin orta noktasını işaretleyin. Tepe noktasındaki EEG başlığının cz elektrodunu, FP1 ve FP2 elektrotlarının orta noktasıyla %10 işaretini hizalayın. fz, cz, PZ ve OZ elektrotlarının başın orta hattı üzerinde olduğundan emin olun.

Referans elektrotlara iletken jel sürün. Referans elektrotları tıbbi bant kullanarak sol ve sağ OID'lerin üzerine yerleştirin. Zincir kayışı sıkılaştırın.

Küt uçlu şırıngayı elektrot tutuculara yerleştirin ve iletken jelleri her bir elektrota sırasıyla enjekte edin. Önce toprak elektrodu, ardından O 2 0 1 OZ.PZ ve cz deneylerinde kullanılan beş elektrot. Denekle stimulus monitörü arasında 60 cm mesafe olacak şekilde deneği rahat bir sandalyeye oturtun.

Elektrot kablolarını EEG veri toplama sistemine bağlayın. Örnekleme hızını bir kilohertz olarak ayarlayın. EEG sinyal kalitesini, tahsis edilmiş veri işleme bilgisayarı üzerinden inceleyin.

Belirli bir elektrotla ilgili sorun oluşursa, kanalın empedansını ayarlamak için jelleri yeniden enjekte edin. Kullanıcı arayüzünde görsel uyaran olarak farklı frekanslardaki dört robot görüntüsünü kırpıştırın.

İlk denek için, S-S-V-E-P özellik vektörlerini oluşturmak ve sınıflandırıcıyı eğitmek amacıyla çevrimdışı eğitim deneyini gerçekleştirin. Her denek için 32 deneme yapın ve bu süreç boyunca beyin sinyallerini kaydedin. Bir deneme başladığında, rastgele bir uyaranı hedef olarak seçin ve üzerinde sarı bir ok görüntüleyin.

Bir saniye bekleyin. Daha sonra, kullanıcı arayüzündeki dört görsel uyaranı beş saniye boyunca farklı frekanslarda titreştirin ve denekten, vücut hareketlerini minimumda tutarak seçili uyaran hedefine odaklanmasını isteyin. Her denemeden sonra, deneğe rahatlaması için üç saniye süre verin ve ardından bir sonraki denemeye başlayın.

Tüm denemeler tamamlandığında, kaydedilen verileri okuyun. Dikey turuncu çubuklar, uyaranların beş saniyelik süre boyunca yanıp söndüğü süreçte, bir uyaranın hedef olarak seçilmesi için gereken tetikleyicileri belirtir. Her denemede, tetikleyiciden iki saniye ile beş saniye sonrası arasındaki üç saniyelik bir veri bölümünü ayıklayın.

Referans sinyali y olarak belirli frekanslardaki periyodik stimülasyon sinyali belirlenerek, çok kanallı EEG verilerinin CCA katsayısını hesaplayın. CCA yöntemi, kombine edilen sinyaller arasındaki korelasyon katsayısını maksimize edecek doğrusal kombinasyon vektörlerini bulur. Hesaplanan CCA katsayılarını kullanarak çok kanallı EEG verilerini uzaysal olarak filtreleyin.

Hızlı Fourier dönüşümü kullanarak filtre verilerinin güç spektral yoğunluğunu hesaplayın. Güç spektral yoğunluğunu 3 Hz ile 40 Hz arasındaki ortalama değerine göre normalize edin. Ardından, her bir stimülasyon frekansı için sınıflandırma parametrelerini kalibre edin.

Açık bir ayar penceresi üzerinden denek için sınıflandırma parametrelerini yapılandırın. Veri işleme bilgisayarında çevrimiçi sinyal işlemciyi başlatın. EEG sisteminin O 2 0 1 OZ PZ ve CZ kanallarından her 0.5 saniyede bir EEG verisi edinin ve çevrimiçi işleme için son üç saniyelik veri segmentini çıkarın.

Veri segmentini, çevrimdışı işlemde tanımlanan algoritmaları kullanarak işleyin. Sınıflandırma için gerçek zamanlı güç spektral yoğunluğunu hesaplayın. Bir özellik frekansının genliği belirli bir eşiğin üzerine çıktığında, karşılık gelen frekanstaki uyaran titremesi sınıflandırılır.

SSV EEP hedefi olarak, insan Noro robotunu başlatın ve veri işleme bilgisayarı ile wifi bağlantısını kurun. Çevrimiçi sinyal işlemciden sınıflandırma sonuçlarını alan ve insansı Robert'ın ilgili davranışlarını kablosuz bağlantı üzerinden kontrol eden robot kontrolcüsünü yapılandırın ve çalıştırın. Robert'ın kamerasından gelen canlı video geri bildirimini kullanıcı arayüzünde görüntülemek için özel uyaran sunum bilgisayarında koreografi programını çalıştırın.

Beyin-robot etkileşim performansını değerlendirmek amacıyla, denekten farklı ortamlar içerisinde üç spesifik kapalı döngü kontrol testi gerçekleştirmesini isteyin. Bu testler robotik araştırmalarda yaygındır ve engelli bireyler ile yaşlıların günlük yaşamlarına destek olunmasında faydalıdır. Her yeni görevden önce, deneğe görevin amacını ve kontrol için mevcut olan davranışları bildirin.

Bu sonuçlar; çok kanallı veri dönemlerinin çıkarılması, verilerin CCA katsayıları kullanılarak uzamsal olarak filtrelenmesi ve normalize edilmiş güç spektral yoğunluğunun hesaplanması dahil olmak üzere EEG verilerinin işleme prosedürünü göstermektedir. Deneğin farklı titreyen hedeflere baktığı tekil denemelerde elde edilen normalize edilmiş güç spektral yoğunluğu burada sunulmuştur. İlk kapalı döngü kontrol deneylerinde, insan Noah Robert, engeller arasında yürümek ve duvardaki bir ışık anahtarına basmak için beyin sinyalleriyle kontrol edilmiştir.

Beyin sinyalleri gerçek zamanlı olarak işlendi. Deneklerin kontrol niyetini sınıflandırmak için, denekler canlı video geri bildirimini izledi ve ilgili uyarana bakarak Robert'ın davranışını kontrol etti. Anahtara ulaştıktan sonra, denek ışığı açmak için Robert'ı kontrol etti.

İkinci deneyde, insansı robot, video geri bildirimine dayanarak çıkış işaretini takip ederek merdivenlere doğru sürekli olarak yönlendirilmiştir. Yoldan geçen birine rastlandığında, denek, robotun "affedersiniz" demesini sağlamış ve karşıdaki kişinin yol vermesini beklemiştir. Ardından robot, merdivenlere doğru yürümek üzere kontrol edilmiştir.

Üçüncü deneyde, insansı robot Robert, canlı video geri bildirimine dayanarak balon hedefe ulaşmak, onu almak ve deneğin eline teslim etmek için tüm vücut hareketleriyle kontrol edilmiştir. İnsan niyeti, LU zamanlı EEG sinyalleri yorumlanarak algılandığından, deneyleri gerçekleştirmeden önce elektrik bağlantılarını ve EEG sinyal kalitelerini doğrulamak kritik önem taşır. EEG sinyalleri alırken karşılaşılan diğer yaygın bir sorun ise girişimler veya artefaktlar ve gürültülerdir.

Bu tür girişimler, deneklerin vücut hareketleri azaltılarak ve CCA tabanlı çok kanallı teknikler kullanılarak iyileştirilmiştir. Yöntemimiz, çeşitli deneysel prosedürler tasarlamak için etkilidir ve beyin-robot etkileşimi için algoritmaları ve teknikleri araştırmak konusunda esnektir; özellikle, yeni BRI uygulamalarını keşfetmek için kolayca kullanılabilir.