İnsansı Robotlar ile Beyin Robot Etkileşimi Deneysel Prosedür SSVEP tabanlı
24 Kasım 2015
Bu yöntemin genel amacı, insansı robotlarla beyin-robot etkileşiminin incelenmesini sağlamak için birden fazla yazılım programını entegre ederek SSVEP tabanlı bir deneysel prosedür oluşturmaktır, bu da hasta ve yaşlılara yardım etmenin yanı sıra sağlıksız veya tehlikeli işleri gerçekleştirmede de ileriye dönüktür.
Bu yöntemin genel amacı, insansı robotlarla beyin robot etkileşiminin incelenmesini sağlamak için birden fazla yazılım programını entegre ederek S-S-V-E-P tabanlı bir deneysel prosedür oluşturmaktır. Bu, bir EEG veri toplama sistemi aracılığıyla beyin tepkilerini ölçmek için insan denek üzerindeki EEG elektrotlarında ilk sırada yer alarak elde edilir. S-S-V-E-P yanıtlarını ortaya çıkarmak ve kapalı döngü kontrol deneylerinde video geri bildirimini görüntülemek için bir kullanıcı arayüzü kullanılır.
İkinci adım, S-S-V-E-P özelliğinizi çevrimdışı olarak analiz etmek ve sınıflandırıcıyı her konu için eğitmek için ilk kez deneklerin EEG sinyallerini kaydetmektir. Daha sonra, çevrimiçi sinyal işlemcisi ve robot kontrolörü, insansı bir Robert'ın çevrimiçi kontrolü için yapılandırılır. Son adım olarak, denek farklı ortamlarda üç özel kapalı döngü kontrol deneyini tamamlar.
Beyin Robert etkileşim performansını değerlendirmek için sonuçlar, farklı frekanslarda titreyen uyaranlara bakarken üretilen beyin sinyallerinin normalleştirilmiş güç spektral yoğunluğunu göstermektedir. Sistemimiz bu beyin dalgası kalıplarını Robert'ın davranışlarını kontrol etmek için komutlara çevirir. Bu yaklaşımı kullanarak, denek insansı Robert Bio beyin sinyalleri ile etkileşime girebilir.
Bu, insansı Robert'ın robotik araştırmalarda popüler olan ve engellilere yardım etmede yardımcı olan tipik görevleri yerine getirmesine olanak tanır. Bu yaklaşımın avantajı, open wide graph ve merkezi yazılım gibi birden fazla yazılım programının yanı sıra c plus plus ve match lab ile ilgili kullanıcı tarafından geliştirilen programların entegre edilmesiyle geliştirildiği için güvenilirliği ve esnekliğidir. Bu yöntem, insansı robotla hareket halindeki beyin robotunu incelemeyi sağlar.
Bu çalışma, hasta ve yaşlılara yardım etmenin yanı sıra sağlıksız veya tehlikeli işlerin yapılmasında ileriye dönüktür. Takım arkadaşlarım Lim ve Han, şimdi sırasıyla EEG sensörlerinin yerleşimini gösterecek ve insana robot olmadan bağlanma yöntemini gösterecekler. Deneğe deneyden prosedüre kadar olan süreci açıklayın.
Deneylere katılmak için onay alın. Nesnenin çevresini ölçün, ölçüme yakın olan E EEG başlık boyutunu seçin. Kapağı astarlamak için referans olarak NAS işareti arasındaki mesafenin %10'unu ölçün.
Konunun cul pozisyonundaki tepe noktasındaki mesafenin orta noktasını işaretleyin. Tepe noktasındaki E EEG kapağının cz elektrodu, %10 işaretini FP bir ve FP iki elektrotun orta noktası ile hizalar. fz, cz, PZ ve OZ elektrotlarının başın orta hattında olduğundan emin olun.
Elektrotlara referans referansını iletken jel ile sürün. Referans elektrotlarını tıbbi bant kullanarak sol ve sağ OID'lere yerleştirin. Zincir kayışını sıkın.
Künt uçlu şırıngayı elektrot bezlerine yerleştirin ve her elektroda aşağıdaki sırayla iletken jeller enjekte edin. Birincisi, toprak elektrodu ve ikincisi, O 2 0 1 OZ deneyinde kullanılan beş elektrot. PZ ve cz. Nesneyi bir uyaran monitörünün 60 santimetre önünde rahat bir sandalyeye oturtun.
Elektrot kablolarını EEG veri toplama sistemine bağlayın. Örnekleme hızını bir kilohertz olarak yapılandırın. Özel veri işleme bilgisayarında EEG sinyal kalitesini inceleyin.
Belirli bir elektrotla ilgili bir sorun varsa. Kanalın empedansını ayarlamak için jelleri yeniden enjekte edin. Kullanıcı arayüzünde görsel uyaran olarak farklı frekanslara sahip dört robot görüntüsünü kırpın.
İlk kez, S-S-V-E-P özellik vektörlerini oluşturmak ve sınıflandırıcıyı eğitmek için çevrimdışı eğitim deneyini gerçekleştirin. Her denek için 32 deneme yapın ve bu süreç boyunca beyin sinyalinizi kaydedin. Bir deneme başladığında, hedef olarak rastgele bir uyaran seçin ve üzerinde sarı bir ok görüntüleyin.
Bir saniye. Daha sonra, kullanıcı arayüzünde farklı frekanslardaki dört görsel uyaranı beş saniye boyunca titreştirin, vücut hareketini minimumda tutarken denekten seçilen uyaran hedefine odaklanmasını isteyin. Her denemeden sonra, deneğe rahatlaması için üç saniye verin ve ardından bir sonraki denemeye başlayın.
Tüm denemeler bittiğinde, kaydedilen verileri okuyun. Dikey turuncu çubuklar, hedef olarak bir uyaranı seçmek için tetikleyicileri gösterir, uyaranlar beş saniyelik süre boyunca titreşir. Her denemede, tetikleyiciden iki saniye ile beş saniye sonra üç saniyelik bir veri apo çıkarın.
Çok kanallı EEG verilerinin CCA katsayısını, belirli frekanslarda periyodik uyarı sinyali olarak ayarlanmış bir referans sinyali y ile hesaplayın. CCA yöntemi, birleşik sinyaller arasındaki korelasyon katsayısını en üst düzeye çıkarmak için doğrusal kombinasyon vektörlerini bulur. Hesaplanan CCA katsayılarını kullanarak çok kanallı EEG verilerini uzamsal olarak filtreleyin.
Hızlı fuaye dönüşümünü kullanarak filtre verilerinin güç spektral yoğunluğunu hesaplayın. Güç spektral yoğunluğunu, üç hutz ile 40 hutz arasındaki ortalama değerine göre normalleştirin. Ardından her bir uyaran frekansı için sınıflandırma parametrelerini kalibre edin.
Açık bir silme ayarı penceresi aracılığıyla konu için sınıflandırma parametrelerini yapılandırın. Veri işleme bilgisayarında çevrimiçi sinyal işlemcisini başlatın. EEG sisteminin O, 0, 1, OZ, PZ ve CZ kanallarından her 0,5 saniyede bir EEG verilerini alın ve çevrimiçi işleme için son üç saniyenin veri segmentini çıkarın.
Çevrimdışı işlemde açıklanan algoritmaları kullanarak veri segmentini işleyin. Sınıflandırma için gerçek zamanlı güç spektral yoğunluğunu hesaplayın. Bir özellik frekansının genliği belirli bir eşiğin üzerinde olduğunda, karşılık gelen frekansta titreyen uyaran sınıflandırılır.
SSV EEP hedefi olarak, insan Noro robotunu başlatın ve veri işleme bilgisayarına wifi bağlantısını kurun. Sınıflandırma sonuçlarını çevrimiçi sinyal işlemcisinden alan ve insansı Robert'ın ilgili davranışlarını kablosuz bağlantı üzerinden kontrol eden robot kontrolörünü yapılandırın ve çalıştırın. Roberts kamerasından gelen canlı video geri bildirimlerini kullanıcı arayüzünde görüntülemek için koreograf programını özel uyaran sunum bilgisayarında çalıştırın.
Beyin Robert etkileşim performansını değerlendirmek için denekten farklı ortamlarda üç özel kapalı döngü kontrol testi yapmasını isteyin. Bu testler robotik araştırmalarda popülerdir ve engellilere ve yaşlılara günlük yaşamlarında yardımcı olmada yardımcı olur. Yeni bir görevden önce, konuyu görevin amacı ve kontrol için mevcut davranışlar hakkında bilgilendirin.
Bu sonuçlar, çok kanallı veri döneminin çıkarılması, CCA katsayılarını kullanarak verilerin uzamsal olarak filtrelenmesi ve normalleştirilmiş güç spektral yoğunluğunun hesaplanması dahil olmak üzere EEG verilerinin işlenme prosedürünü göstermektedir. Deneğin farklı titreyen hedeflere baktığı tekli denemelerde elde edilen normalleştirilmiş güç spektral yoğunluğu burada gösterilmektedir. İlk kapalı döngü kontrol deneylerinde, insan Noah Robert, engellerin üzerinden geçmek ve duvardaki bir ışık düğmesine basmak için beyin sinyalleri tarafından kontrol edildi.
Beyin sinyalleri gerçek zamanlı olarak ele geçirildi. Deneğin kontrol niyetini sınıflandırmak için, denek canlı video geri bildirimini izledi ve ilgili uyaranlara bakarak Robert davranışını kontrol etti. Anahtara ulaştıktan sonra, denek Robert'ı ışığı açması için kontrol etti.
İkinci deneyde, insan robot, video geri bildirimine dayalı olarak çıkış işaretini takip ederek sürekli olarak merdivene doğru yönlendirildi. Yoldan geçen casusla yüzleşirken, denek Robert'a "Affedersiniz" demesini ve yoldan geçen casusun yol vermesini beklemesini kontrol etti. Robert daha sonra merdivenlere doğru yürümek için kontrol edildi.
Üçüncü deneyde, insansı Robert, balon hedefine ulaşmak ve almak ve canlı video geri bildirimine dayanarak deneğin eline teslim etmek için tüm vücut hareketiyle kontrol edildi. İnsan niyeti, LU zamanlı EEG sinyallerini yorumlayarak algılandığından, deney yapmadan önce elektrik bağlantılarını ve EEG sinyal kalitelerini doğrulamak çok önemlidir. EEG sinyallerini alırken sık karşılaşılan bir diğer sorun da parazit veya artefaktlar ve gürültülerdir.
Beller, benim gibi girişimlerimiz, vücut hareketi konusunun azaltılması ve CCA tabanlı çok kanallı tekniğin kullanılması ile iyileştirilmiştir. Yöntemimiz, çeşitli deneysel prosedürler tasarlamak için etkilidir ve beyin, robot etkileşimi için algoritma ve teknikleri araştırmak için esnektir, özellikle yeni BRI uygulamalarını keşfetmek için kolayca kullanılabilir.
Tam transkripti görüntüleyin ve binlerce bilimsel videoya erişin
Genel Bakış
Bu çalışma, beyin-robot etkileşimini incelemek için insansı robotlar kullanarak bir SSVEP tabanlı deney prosedürü oluşturur. Yöntem, hasta ve yaşlı kişilere yardımcı olmak ve tehlikeli görevler gerçekleştirmek için birden fazla yazılım programını entegre eder.
Çalışmanın Temel Bileşenleri
Bilim Alanı
- Nörobilim
- Robotik
- İnsan-robot etkileşimi
Arka Plan
- SSVEP (Sabit Durum Görsel Uyarılmış Potansiyel) beyin-bilgisayar arayüzlerinde kullanılan bir beyin yanıtıdır.
- İnsansı robotlar, bakım verme ve tehlikeli işler de dahil olmak üzere çeşitli görevlerde yardımcı olabilir.
- EEG (elektroensefalografi) beyin aktivitesini ölçmek için kullanılır.
- Yazılım programlarının entegrasyonu, robotik sistemlerin kontrolünü artırır.
Çalışmanın Amacı
- Beyin-robot etkileşimini incelemek için bir yöntem geliştirmek.
- İnsansı robotların beyin sinyalleriyle kontrol edilmesini sağlamak.
- Robotik teknoloji aracılığıyla ihtiyaç sahibi kişilere yardımcı olmak.
Kullanılan Yöntemler
- Beyin yanıtlarını ölçmek için insan deneklerin kafasına EEG elektrotlarının yerleştirilmesi.
- SSVEP yanıtlarını uyarmak için bir kullanıcı arayüzünün kullanılması.
- Çevrimdışı analiz ve sınıflandırıcı eğitimi için EEG sinyallerinin kaydedilmesi.
- Çevrimiçi sinyal işleme ve robot kontrol sistemlerinin yapılandırılması.
Ana Sonuçlar
- Deneklerden SSVEP yanıtlarının başarılı bir şekilde uyarılması.
- İnsansı robotların gerçek zamanlı kontrolü için sınıflandırıcıların etkili bir şekilde eğitilmesi.
- Çeşitli ortamlarda kapalı döngü kontrol deneylerinin tamamlanması.
- Yaşlılara yardım etme ve tehlikeli görevler gerçekleştirme konusunda potansiyel uygulamaların gösterilmesi.
Sonuçlar
- SSVEP tabanlı yöntem, beyin-robot etkileşimi çalışmaları için uygundur.
- Yazılım programlarının entegrasyonu, robotik kontrol yeteneklerini artırır.
- Bu yaklaşım, sağlık ve güvenlik konularında gelecekteki uygulamalar için umut vaat ediyor.
Sıkça Sorulan Sorular
Executive Industry Relevance
This SSVEP-based brain-robot interaction method enables non-invasive neural control of humanoid robots, offering a pathway for assistive technologies in neurorehabilitation and disability support. By translating steady-state visual evoked potentials into robotic commands, the approach supports early-stage validation of neural interface paradigms for translational neurotechnology development. The integration of OpenViBE, MATLAB, and custom C++ software provides a flexible framework for de-risking brain-computer interface (BCI) applications in preclinical assistive device research.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of sensorimotor integration pathways through real-time decoding of visual-evoked brain signals during closed-loop robotic control.
- Operational Value: Supports subject-specific classifier training using offline CCA analysis to personalize neural decoding models for inter-subject variability.
Screening & Assay Development
- Scientific Value: Provides a standardized SSVEP elicitation protocol using flickering visual stimuli at defined frequencies to generate reproducible neural responses across trials.
- Operational Value: Enables quantitative power spectral density normalization and CCA-based spatial filtering to extract reliable feature vectors for signal classification.
Translational & Preclinical Research
- Scientific Value: Demonstrates feasibility of using EEG-derived SSVEP signals to trigger complex robotic behaviors such as navigation, object manipulation, and environmental interaction.
- Operational Value: Supports iterative testing across environments to evaluate real-world robustness of brain-robot interaction systems for assistive technology development.
Pipeline & Workflow Integration
This method fits within the early discovery phase of neurotechnology development, where neural signal fidelity and decoding accuracy are evaluated before advancing to chronic implantable systems or clinical trials.
- Discovery Biology: Enables hypothesis testing of neural correlates of intent by linking visual attention to measurable EEG changes during goal-directed robotic tasks.
- Screening: Delivers assay-ready SSVEP responses through standardized visual stimulation and offline feature extraction for classifier optimization.
- Analytics: Generates normalized power spectral density and CCA coefficients as quantitative readouts to compare neural engagement across stimuli and conditions.
- Translational Research: Supports continuity from acute neural signal detection to functional robotic output, informing design of hybrid BCI-assistive systems.
- Enterprise Reuse: The modular software integration (OpenViBE, MATLAB, Choregraph) allows adaptation to different robotic platforms and stimulus paradigms for platform-wide reuse.
Operational & Enterprise Impact
- Scientific Value: Reduces mechanistic ambiguity in neural decoding by providing time-locked, frequency-specific SSVEP responses tied to visual stimuli.
- Operational Value: Ensures reproducibility through standardized electrode placement (Oz, Pz, Cz, O2, O1), gel application, and impedance checking via reinjection protocols.
- Strategic Value: Informs go/no-go decisions in BCI development by validating real-time classification accuracy and subject controllability across multiple task environments.
- Portfolio Impact: Enables risk-adjusted prioritization of neural interface strategies by demonstrating closed-loop controllability in ecologically valid scenarios.
Implementation Considerations
- Requires expertise in EEG signal processing, CCA analysis, and real-time spectral feature extraction for online classification.
- Dependent on EEG acquisition systems capable of 1 kHz sampling and multi-channel recording from occipital and central sites.
- Necessitates cross-team standardization between neuroscience, robotics, and software engineering teams for synchronized signal processing and behavioral output.
- Adaptation to different model systems may require recalibration of visual stimulus frequencies and classifier thresholds based on subject-specific SSVEP profiles.
- Practical limitations include susceptibility to motion artifacts and environmental EEG noise, mitigated by minimizing subject movement and using spatial filtering techniques.
