Humanoid रोबोट के साथ ब्रेन रोबोट इंटरेक्शन के लिए प्रायोगिक प्रक्रिया SSVEP आधारित
Summary
The overall goal of this method is to establish an SSVEP-based experimental procedure by integrating multiple software programs to enable the study of brain-robot interaction with humanoid robots, which is prospective in assisting the sick and elderly as well as performing unsanitary or dangerous jobs.
Abstract
Brain-Robot Interaction (BRI), which provides an innovative communication pathway between human and a robotic device via brain signals, is prospective in helping the disabled in their daily lives. The overall goal of our method is to establish an SSVEP-based experimental procedure by integrating multiple software programs, such as OpenViBE, Choregraph, and Central software as well as user developed programs written in C++ and MATLAB, to enable the study of brain-robot interaction with humanoid robots.
This is achieved by first placing EEG electrodes on a human subject to measure the brain responses through an EEG data acquisition system. A user interface is used to elicit SSVEP responses and to display video feedback in the closed-loop control experiments. The second step is to record the EEG signals of first-time subjects, to analyze their SSVEP features offline, and to train the classifier for each subject. Next, the Online Signal Processor and the Robot Controller are configured for the online control of a humanoid robot. As the final step, the subject completes three specific closed-loop control experiments within different environments to evaluate the brain-robot interaction performance.
The advantage of this approach is its reliability and flexibility because it is developed by integrating multiple software programs. The results show that using this approach, the subject is capable of interacting with the humanoid robot via brain signals. This allows the mind-controlled humanoid robot to perform typical tasks that are popular in robotic research and are helpful in assisting the disabled.
Introduction
ब्रेन-रोबोट इंटरेक्शन मानव और मस्तिष्क के संकेतों के माध्यम से एक रोबोट डिवाइस के बीच एक अभिनव संचार मार्ग प्रदान करता है जो (बीआरआई), अपने दैनिक जीवन, 1,2 में विकलांग की मदद करने में संभावित है। तरीकों की एक किस्म के निर्माण के लिए इस तरह के आदि electrocorticography (ECoG), Electroencephalograph (ईईजी), कार्यात्मक चुंबकीय अनुनाद इमेजिंग (fMRI), के रूप में, या तो invasively या गैर invasively सबसे अधिक इस्तेमाल गैर इनवेसिव विधि मस्तिष्क के संकेतों को हासिल करने में सक्षम हैं बीआरआई सिस्टम सिर पर रखा इलेक्ट्रोड से ईईजी संकेतों प्राप्त करने के लिए है। इस विधि, सस्ती प्रयोग करने में आसान है, और एक स्वीकार्य अस्थायी समाधान 3 प्रदान करता है। वे मनुष्यों दैनिक गुजरना है कि एक ही शारीरिक और मानसिक कार्यों में से कुछ की नकल करने के लिए बनाई गई हैं जैसे रोबोट उपकरणों की एक किस्म के बीच, humanoid रोबोट उन्नत कर रहे हैं। एक humanoid रोबोट के साथ बीआरआई बीमार और बुजुर्गों की मदद के लिए, साथ ही गंदा या खतरनाक नौकरियों प्रदर्शन करने में एक महत्वपूर्ण भूमिका निभानी होगी। लेकिन नियंत्रणपूरा शरीर आंदोलन के साथ humanoid रोबोट इस तरह के व्यक्तिगत सहायता 4, 5 के रूप में जटिल कार्य करने के लिए विकसित की है के रूप में बीआरआई प्रणाली के माध्यम से एक humanoid रोबोट की, अत्यधिक चुनौतीपूर्ण है।
स्थिर राज्य दृश्य पैदा संभावित (SSVEP) एक दिया आवृत्ति 6 दृश्य उत्तेजना के मॉडुलन द्वारा पैदा मस्तिष्क संकेत का एक प्रकार है। यह चंचल प्रोत्साहन के मौलिक और हार्मोनिक आवृत्तियों पर sinusoids होता है, और प्रमुखता से खोपड़ी 7 की पश्चकपाल क्षेत्र में दृश्य कोर्टेक्स भर में दिखाई देता है। SSVEP संकेतों को चुनने के लिए कारण SSVEP आधारित बीआरआई प्रणाली अपेक्षाकृत उच्च जानकारी अंतरण दर पैदावार और कम प्रशिक्षण 8 की आवश्यकता है। ऐसी घटना से संबंधित क्षमता (ERPs) 9 या मोटर-कल्पना (एमआई) 10 क्षमता के रूप में brainwaves के अन्य प्रकार, भी इस प्रयोगात्मक प्रक्रिया में एम्बेड किया जा सकता है।
इंसान की शक्ल के साथ मस्तिष्क रोबोट बातचीत के लिए हमारी प्रक्रियारोबोट Cerebot पर आधारित है – एक मन नियंत्रित humanoid रोबोट मंच – एक ईईजी डाटा अधिग्रहण प्रणाली और एक humanoid रोबोट 11 से मिलकर। ईईजी सिस्टम, पूर्व प्रक्रिया और इलेक्ट्रोड के विभिन्न प्रकार के द्वारा अधिग्रहीत प्रदर्शन जैव संभावित संकेतों को रिकॉर्ड करने में सक्षम है। यह कई अनुरूप मैं / ओएस और डिजिटल मैं / ओएस प्रदान करता है और 16-बिट संकल्प के साथ 30 किलो हर्ट्ज का एक नमूना दर पर एक साथ 128 संकेत चैनलों के लिए रिकॉर्डिंग में सक्षम है। सी ++ और MATLAB में अपने सॉफ्टवेयर विकास किट उपयोगकर्ताओं के प्रयोगात्मक प्रक्रियाओं को डिजाइन करने के लिए आसान कर रहे हैं। humanoid रोबोट आजादी के 25 डिग्री है और 2 कैमरे, 4 माइक्रोफोन, 2 सोनार Rangefinders, 2 आईआर emitters और रिसीवर, 1 जड़त्वीय बोर्ड, 9 स्पर्श सेंसर, और 8 दबाव सेंसर सहित कई सेंसर, के साथ सुसज्जित है। यह बनाने और संपादित आंदोलनों और इंटरैक्टिव रोबोट व्यवहार के लिए Choregraphe और सी ++ एसडीके प्रदान करता है।
इस विधि के समग्र लक्ष्य के लिए एक SSVEP आधारित प्रायोगिक प्रक्रिया स्थापित करने के लिए हैDure humanoid रोबोट 11 के साथ मस्तिष्क रोबोट बातचीत का अध्ययन सक्षम करने के लिए, इस तरह के OpenViBE, Choregraph, केन्द्रीय सॉफ्टवेयर के रूप में कई सॉफ्टवेयर प्रोग्राम, साथ ही सी ++ और MATLAB में लिखा उपयोगकर्ता विकसित कार्यक्रमों को एकीकृत करके। एक प्रणाली की संरचना का पता चलता है। समर्पित उत्तेजना प्रस्तुति कंप्यूटर (एसपीसी) दृश्य उत्तेजनाओं, निर्देश और पर्यावरण फीडबैक के साथ इस विषय प्रदान करने के लिए यूजर इंटरफेस को प्रदर्शित करता है। समर्पित डाटा प्रोसेसिंग कंप्यूटर (डीपीसी) ऑफ़लाइन प्रशिक्षण की प्रक्रिया में डाटा रिकॉर्डर और ऑफलाइन डेटा विश्लेषक चलाता है, और ऑनलाइन सिग्नल प्रोसेसर और humanoid रोबोट की ऑनलाइन नियंत्रण के लिए रोबोट नियंत्रक चलाता है। अन्य SSVEP आधारित नियंत्रण प्रणाली के साथ तुलना में, हमारे सिस्टम पुन: उपयोग किया और यह इस तरह OpenViBE, Choregraph, केन्द्रीय सॉफ्टवेयर के रूप में मानकीकृत सॉफ्टवेयर संकुल के एक नंबर को एकीकृत द्वारा विकसित की है के रूप में उन्नत किया जाना चाहिए, और अधिक लचीला है, और अधिक विश्वसनीय है, और विशेष रूप से और अधिक सुविधाजनक है मॉड्यूल सी में लिखा ++और MATLAB।
निम्नलिखित प्रक्रिया की समीक्षा की और तियानजिन चिकित्सा विश्वविद्यालय सामान्य अस्पताल आचार समिति ने मंजूरी दे दी है, और सभी विषयों में लिखित सहमति दे दी।
Protocol
Representative Results
Discussion
इस पत्र कई सॉफ्टवेयर प्रोग्राम को एकीकृत करके humanoid रोबोट के साथ मस्तिष्क रोबोट बातचीत प्रणाली स्थापित करने के लिए एक SSVEP आधारित प्रयोगात्मक प्रक्रिया प्रस्तुत करता है। मानव मंशा वास्तविक समय ईईजी संक?…
Disclosures
The authors have nothing to disclose.
Acknowledgements
लेखकों के लिए इस पेपर में सूचना प्रयोगों प्रदर्शन करने में उसकी सहायता के लिए श्री हांग हू के प्रति अपनी कृतज्ञता व्यक्त करना चाहते हैं। इस काम में चीन के राष्ट्रीय प्राकृतिक विज्ञान फाउंडेशन (संख्या 61,473,207) द्वारा समर्थित किया गया था।
Materials
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
