Introduction
ब्रेन-रोबोट इंटरेक्शन मानव और मस्तिष्क के संकेतों के माध्यम से एक रोबोट डिवाइस के बीच एक अभिनव संचार मार्ग प्रदान करता है जो (बीआरआई), अपने दैनिक जीवन, 1,2 में विकलांग की मदद करने में संभावित है। तरीकों की एक किस्म के निर्माण के लिए इस तरह के आदि electrocorticography (ECoG), Electroencephalograph (ईईजी), कार्यात्मक चुंबकीय अनुनाद इमेजिंग (fMRI), के रूप में, या तो invasively या गैर invasively सबसे अधिक इस्तेमाल गैर इनवेसिव विधि मस्तिष्क के संकेतों को हासिल करने में सक्षम हैं बीआरआई सिस्टम सिर पर रखा इलेक्ट्रोड से ईईजी संकेतों प्राप्त करने के लिए है। इस विधि, सस्ती प्रयोग करने में आसान है, और एक स्वीकार्य अस्थायी समाधान 3 प्रदान करता है। वे मनुष्यों दैनिक गुजरना है कि एक ही शारीरिक और मानसिक कार्यों में से कुछ की नकल करने के लिए बनाई गई हैं जैसे रोबोट उपकरणों की एक किस्म के बीच, humanoid रोबोट उन्नत कर रहे हैं। एक humanoid रोबोट के साथ बीआरआई बीमार और बुजुर्गों की मदद के लिए, साथ ही गंदा या खतरनाक नौकरियों प्रदर्शन करने में एक महत्वपूर्ण भूमिका निभानी होगी। लेकिन नियंत्रणपूरा शरीर आंदोलन के साथ humanoid रोबोट इस तरह के व्यक्तिगत सहायता 4, 5 के रूप में जटिल कार्य करने के लिए विकसित की है के रूप में बीआरआई प्रणाली के माध्यम से एक humanoid रोबोट की, अत्यधिक चुनौतीपूर्ण है।
स्थिर राज्य दृश्य पैदा संभावित (SSVEP) एक दिया आवृत्ति 6 दृश्य उत्तेजना के मॉडुलन द्वारा पैदा मस्तिष्क संकेत का एक प्रकार है। यह चंचल प्रोत्साहन के मौलिक और हार्मोनिक आवृत्तियों पर sinusoids होता है, और प्रमुखता से खोपड़ी 7 की पश्चकपाल क्षेत्र में दृश्य कोर्टेक्स भर में दिखाई देता है। SSVEP संकेतों को चुनने के लिए कारण SSVEP आधारित बीआरआई प्रणाली अपेक्षाकृत उच्च जानकारी अंतरण दर पैदावार और कम प्रशिक्षण 8 की आवश्यकता है। ऐसी घटना से संबंधित क्षमता (ERPs) 9 या मोटर-कल्पना (एमआई) 10 क्षमता के रूप में brainwaves के अन्य प्रकार, भी इस प्रयोगात्मक प्रक्रिया में एम्बेड किया जा सकता है।
इंसान की शक्ल के साथ मस्तिष्क रोबोट बातचीत के लिए हमारी प्रक्रियारोबोट Cerebot पर आधारित है - एक मन नियंत्रित humanoid रोबोट मंच - एक ईईजी डाटा अधिग्रहण प्रणाली और एक humanoid रोबोट 11 से मिलकर। ईईजी सिस्टम, पूर्व प्रक्रिया और इलेक्ट्रोड के विभिन्न प्रकार के द्वारा अधिग्रहीत प्रदर्शन जैव संभावित संकेतों को रिकॉर्ड करने में सक्षम है। यह कई अनुरूप मैं / ओएस और डिजिटल मैं / ओएस प्रदान करता है और 16-बिट संकल्प के साथ 30 किलो हर्ट्ज का एक नमूना दर पर एक साथ 128 संकेत चैनलों के लिए रिकॉर्डिंग में सक्षम है। सी ++ और MATLAB में अपने सॉफ्टवेयर विकास किट उपयोगकर्ताओं के प्रयोगात्मक प्रक्रियाओं को डिजाइन करने के लिए आसान कर रहे हैं। humanoid रोबोट आजादी के 25 डिग्री है और 2 कैमरे, 4 माइक्रोफोन, 2 सोनार Rangefinders, 2 आईआर emitters और रिसीवर, 1 जड़त्वीय बोर्ड, 9 स्पर्श सेंसर, और 8 दबाव सेंसर सहित कई सेंसर, के साथ सुसज्जित है। यह बनाने और संपादित आंदोलनों और इंटरैक्टिव रोबोट व्यवहार के लिए Choregraphe और सी ++ एसडीके प्रदान करता है।
इस विधि के समग्र लक्ष्य के लिए एक SSVEP आधारित प्रायोगिक प्रक्रिया स्थापित करने के लिए हैDure humanoid रोबोट 11 के साथ मस्तिष्क रोबोट बातचीत का अध्ययन सक्षम करने के लिए, इस तरह के OpenViBE, Choregraph, केन्द्रीय सॉफ्टवेयर के रूप में कई सॉफ्टवेयर प्रोग्राम, साथ ही सी ++ और MATLAB में लिखा उपयोगकर्ता विकसित कार्यक्रमों को एकीकृत करके। एक प्रणाली की संरचना का पता चलता है। समर्पित उत्तेजना प्रस्तुति कंप्यूटर (एसपीसी) दृश्य उत्तेजनाओं, निर्देश और पर्यावरण फीडबैक के साथ इस विषय प्रदान करने के लिए यूजर इंटरफेस को प्रदर्शित करता है। समर्पित डाटा प्रोसेसिंग कंप्यूटर (डीपीसी) ऑफ़लाइन प्रशिक्षण की प्रक्रिया में डाटा रिकॉर्डर और ऑफलाइन डेटा विश्लेषक चलाता है, और ऑनलाइन सिग्नल प्रोसेसर और humanoid रोबोट की ऑनलाइन नियंत्रण के लिए रोबोट नियंत्रक चलाता है। अन्य SSVEP आधारित नियंत्रण प्रणाली के साथ तुलना में, हमारे सिस्टम पुन: उपयोग किया और यह इस तरह OpenViBE, Choregraph, केन्द्रीय सॉफ्टवेयर के रूप में मानकीकृत सॉफ्टवेयर संकुल के एक नंबर को एकीकृत द्वारा विकसित की है के रूप में उन्नत किया जाना चाहिए, और अधिक लचीला है, और अधिक विश्वसनीय है, और विशेष रूप से और अधिक सुविधाजनक है मॉड्यूल सी में लिखा ++और MATLAB।
निम्नलिखित प्रक्रिया की समीक्षा की और तियानजिन चिकित्सा विश्वविद्यालय सामान्य अस्पताल आचार समिति ने मंजूरी दे दी है, और सभी विषयों में लिखित सहमति दे दी।
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. ईईजी संकेत प्राप्त
- विषय से प्रायोगिक प्रक्रिया समझाने और प्रयोगों में भाग लेने के लिए लिखित सूचित सहमति प्राप्त करते हैं।
- एक टेप उपाय का उपयोग करते हुए विषय के सिर की परिधि को मापने और माप के करीब है कि ईईजी टोपी आकार का चयन करें। इलेक्ट्रोड व्यवस्था "अंतर्राष्ट्रीय 10-20 सिस्टम" 12 पर आधारित है।
- Nasion और INION के बीच की दूरी को मापने। टोपी aligning के लिए एक संदर्भ के रूप में दूरी का 10% चिह्नित करने के लिए एक त्वचा मार्कर पेंसिल का प्रयोग करें, और इस विषय की खोपड़ी पर शिखर के रूप में दूरी के मध्य के निशान।
- FP1 और FP2 इलेक्ट्रोड का मध्यबिंदु के साथ 10% अंक aligning से इस विषय पर ईईजी टोपी रखें। शिखर पर टोपी की Cz स्थिति इलेक्ट्रोड।
- Fz, cz, PZ और आस्ट्रेलिया सिर के midline पर कर रहे हैं, सुनिश्चित करें कि और midline के दोनों तरफ स्थित इलेक्ट्रोड के प्रत्येक जोड़ी एक क्षैतिज रेखा में हैं।
- प्रवाहकीय जेल के साथ REF1 और REF2 इलेक्ट्रोड धब्बा। चिकित्सा टेप का उपयोग बाएँ और दाएँ mastoids पर संदर्भ इलेक्ट्रोड रखें। Chinstrap मजबूत करनी होगी।
- इलेक्ट्रोड धारकों में एक कुंद इत्तला दे दी सिरिंज रखें और निम्न क्रम में प्रत्येक इलेक्ट्रोड में प्रवाहकीय जेल इंजेक्षन: पहला, माथे पर और "जमीन" इलेक्ट्रोड दूसरा, O2, O1, आस्ट्रेलिया, PZ प्रयोग में इस्तेमाल पाँच इलेक्ट्रोड , और जेड।
- एक प्रोत्साहन मॉनिटर के सामने एक आरामदायक कुर्सी 60 सेमी में विषय सीट। निगरानी के केंद्र के साथ एक ही क्षैतिज स्तर में उसका / उसकी आँखें रखने के अधीन निर्देश दें।
- ईईजी डाटा अधिग्रहण प्रणाली के लिए इलेक्ट्रोड तारों कनेक्ट। 1 किलोहर्ट्ज़ के लिए नमूना दर विन्यस्त करें।
- समर्पित डीपीसी पर ईईजी संकेत गुणवत्ता की जांच करना। एक विशेष इलेक्ट्रोड के साथ एक समस्या नहीं है, तो फिर से इंजेक्षन जेल चैनल का मुक़ाबला समायोजित करने के लिए।
- 4,615, 12, 15 और 20 की आवृत्तियों पर चार रोबोट छवियों झिलमिलाहट के लिए समर्पित छठे वेतन आयोग का प्रयोग करेंयूजर इंटरफेस पर दृश्य उत्तेजनाओं के रूप हर्ट्ज चित्रा 2 में दिखाया गया है।
2. ऑफलाइन विश्लेषण SSVEP विशेषताएं
- प्रत्येक विषय के लिए ऑफ़लाइन प्रशिक्षण प्रयोगों के 32 परीक्षण संचालित है और इस प्रक्रिया के दौरान ईईजी सिस्टम से हासिल कर ली है उनके मस्तिष्क के संकेतों रिकॉर्ड है।
नोट: इस प्रक्रिया में केवल उनकी SSVEP सुविधा वैक्टर स्थापित करने के लिए और वर्गीकारक प्रशिक्षित करने के लिए प्रयोग की पहली बार विषयों द्वारा आयोजित किया जाता है। - एक परीक्षण शुरू होता है, बेतरतीब ढंग से लक्ष्य के रूप में एक उत्तेजना का चयन और यह ऊपर एक पीले तीर प्रदर्शित करते हैं।
- 1 सेकंड बाद में, 5 सेकंड के लिए यूजर इंटरफेस पर विभिन्न आवृत्तियों पर चार दृश्य उत्तेजनाओं झिलमिलाहट।
- एक न्यूनतम करने के लिए उसकी / उसके शरीर आंदोलन रखते हुए चयनित प्रोत्साहन लक्ष्य पर ध्यान केंद्रित करने के लिए विषय का अनुरोध करें।
- प्रत्येक परीक्षण के बाद आराम करने के लिए विषय 3 सेकंड दे, और फिर अगले परीक्षण शुरू करते हैं।
- सभी परीक्षणों खत्म हो रहे हैं, सहेजे गए डेटा को पढ़ा। एक 3 सेकंड डेटा विजिट किया निकालें बीच 2 सेकंड और प्रत्येक परीक्षण में लक्ष्य के रूप में एक प्रेरणा का चयन करता है जो ट्रिगर के बाद 5 सेकंड।
- MATLAB स्क्रिप्ट में ऑफलाइन डेटा विश्लेषक का उपयोग कर डेटा युगों की शक्ति स्पेक्ट्रम घनत्व (PSD) की गणना। नीचे दिए गए विवरण में वर्णित प्रसंस्करण एल्गोरिथ्म का उपयोग करें:
- एक संदर्भ डेटा के साथ मल्टीचैनल ईईजी डेटा का विहित सहसंबंध विश्लेषण (सीसीए) गुणांक की गणना। सीसीए अपनी अंतर्निहित सहसंबंध 13 खोजने के लिए डेटा के दो सेट के लिए इस्तेमाल एक multivariable सांख्यिकीय विधि है। मल्टीचैनल ईईजी डेटा एक्स और संदर्भ डेटा एक ही लंबाई के वाई के 3s सेगमेंट को ध्यान में रखते, एक्स = एक्स टी डब्ल्यू एक्स और वाई = वाई टी के बीच ρ सहसंबंध गुणांक अधिकतम करने के लिए, वजन वैक्टर, डब्ल्यू एक्स और डब्ल्यू Y लगाने के लिए सीसीए का उपयोग Y डब्ल्यू। कुछ प्रोत्साहन आवृत्तियों पर आवधिक संकेतों होने का संदर्भ डेटा सेट।
/ftp_upload/53558/53558eq1.jpg "/>
जहां एफ 1, एफ 2, 3 एफ, 4 चार दृश्य उत्तेजनाओं की सुविधा आवृत्तियों रहे हैं एफ। - स्थानिक संदर्भ डेटा के रैखिक संयोजन के साथ सबसे प्रमुख संबंध है जो एक एक आयाम फ़िल्टर डेटा एक्स, प्राप्त करने के लिए गणना की सीसीए गुणांकों डब्ल्यू एक्स का उपयोग कर मल्टीचैनल ईईजी डेटा एक्स फिल्टर।
- फास्ट फूरियर (FFT) बदलने का प्रयोग कर स्थानिक फ़िल्टर डेटा एक्स की PSD की गणना।
एन FFT नमूना डेटा एक्स के आकार, और FFT है जहां (एक्स, एन FFT) एन FFT सूत्रीय असतत फूरियर एक्स के बदलने रिटर्न। - 3 और 30 हर्ट्ज के बीच अपने मतलब मूल्य के लिए सम्मान के साथ PSD मानक के अनुसार।
जहाँ60;
3 और 30Hz के बीच सत्ता स्पेक्ट्रम की औसत अर्थ।
- एक संदर्भ डेटा के साथ मल्टीचैनल ईईजी डेटा का विहित सहसंबंध विश्लेषण (सीसीए) गुणांक की गणना। सीसीए अपनी अंतर्निहित सहसंबंध 13 खोजने के लिए डेटा के दो सेट के लिए इस्तेमाल एक multivariable सांख्यिकीय विधि है। मल्टीचैनल ईईजी डेटा एक्स और संदर्भ डेटा एक ही लंबाई के वाई के 3s सेगमेंट को ध्यान में रखते, एक्स = एक्स टी डब्ल्यू एक्स और वाई = वाई टी के बीच ρ सहसंबंध गुणांक अधिकतम करने के लिए, वजन वैक्टर, डब्ल्यू एक्स और डब्ल्यू Y लगाने के लिए सीसीए का उपयोग Y डब्ल्यू। कुछ प्रोत्साहन आवृत्तियों पर आवधिक संकेतों होने का संदर्भ डेटा सेट।
- चार प्रोत्साहन आवृत्तियों के लिए वर्गीकरण मानकों को जांचना। पहला, इसके प्रोत्साहन लक्ष्य से मेल खाती है कि सामान्यीकृत PSD के स्पेक्ट्रम का निरीक्षण, और मैन्युअल सुविधा आवृत्ति के रूप में सबसे मजबूत है PSD आयाम के साथ आवृत्ति विन्यस्त करें। इसी प्रोत्साहन लक्ष्य के रूप में चुना जाता है जब एक अधिग्रहण कर लिया है, और गैर लक्ष्य उत्तेजनाओं का चयन किया जाता है, जब अन्य अधिग्रहण कर लिया है: सुविधा आवृत्ति के आधार पर, दो सेट में सामान्यीकृत PSD के डेटा विभाजित। क्रमशः सेट प्रत्येक का मतलब मूल्य की गणना। लक्ष्य और गैर लक्ष्य 14 सेट वर्गीकृत करने के लिए दो मतलब मूल्यों की औसत से सीमा का निर्धारण करते हैं।
3 और 30Hz के बीच सत्ता स्पेक्ट्रम की औसत अर्थ। 3. ऑनलाइन प्रसंस्करण मस्तिष्क संकेत
- ख विकसित की है, जो 3 चित्र में दिखाया गया है के रूप में ऑनलाइन सिग्नल प्रोसेसर खोलेंऑनलाइन प्रसंस्करण मस्तिष्क के संकेतों के लिए डीपीसी पर OpenViBE पर्यावरण और MATLAB स्क्रिप्ट, पर ased।
- डबल OpenViBE की स्थापना खिड़की खोलने के लिए, चित्रा 3 में एक लाल चक्र के साथ चिह्नित है जो अधिग्रहण और प्रक्रिया संकेत बॉक्स, क्लिक करें। विषय के लिए वर्गीकरण पैरामीटर विन्यस्त:। ऑफ़लाइन विश्लेषण के परिणाम के अनुसार 1 किलोहर्ट्ज़ के रूप में नमूना दर सेट, 3 सेकंड के रूप में FFT के लिए समय की लंबाई निर्धारित करते हैं, और फीचर आवृत्तियों सेट जैसे, 4.667, 24, 15 और 20 हर्ट्ज ।
- तीन चरणों में निम्नलिखित कलन विधि का उपयोग वास्तविक समय डाटा संसाधित करता है जो ऑनलाइन सिग्नल प्रोसेसर, चलाने के प्रारंभ बटन पर क्लिक करें।
- सबसे पहले, एल्गोरिथ्म चैनलों आस्ट्रेलिया, O1, O2, PZ और ईईजी प्रणाली हर 0.5s की CPZ से ईईजी डेटा प्राप्त कर लेता है, और ऑनलाइन प्रसंस्करण के लिए पिछले 3s के डेटा खंड निकालता है।
- दूसरा, एल्गोरिथ्म कदम 2.7 में वर्णित एल्गोरिदम का उपयोग 3-सेक डेटा खंड प्रक्रियाओं, और classifica के लिए वास्तविक समय में PSD की गणना करता हैtion।
- तीसरा, एल्गोरिथ्म चार फीचर आवृत्तियों पर PSD के आयाम के अनुसार brainwave पैटर्न का वर्गीकरण। एक विशेषता यह आवृत्ति के आयाम एक दिया सीमा से ऊपर हो गया है, SSVEP लक्ष्य के रूप में इसी आवृत्ति पर चंचल प्रोत्साहन वर्गीकृत करते हैं।
4. Humanoid रोबोट कनेक्ट
- Humanoid रोबोट की छाती बटन दबाएं और इसे शुरू करने के लिए प्रतीक्षा करें।
नोट: इस प्रक्रिया लगभग 1 मिनट लगते हैं और अपनी छाती बटन सफेद हो जाता है, जबकि रोबोट "OGNAK GNOUK कहते हैं," जब पूरा हो गया है। - डीपीसी 15 करने के लिए अपने वायरलेस फिडेलिटी (वाईफाई) कनेक्शन स्थापित करना।
- रोबोट नियंत्रक डीपीसी पर दृश्य C ++ लिपियों में प्रोग्राम खोलें। नियंत्रक रोबोट आदेशों में उन्हें तब्दील, आभासी वास्तविकता परिधीय नेटवर्क (VRPN) इंटरफेस के माध्यम से ऑनलाइन सिग्नल प्रोसेसर से वर्गीकरण परिणाम प्राप्त करता है, और humanoi के इसी व्यवहार को नियंत्रित करता हैवायरलेस कनेक्शन के माध्यम डी रोबोट।
- हो सकता है जो रोबोट व्यवहार के तीन सेट को परिभाषित करने, अपने वाईफाई कनेक्शन के अनुसार रोबोट के आईपी पते inputting द्वारा रोबोट नियंत्रक कॉन्फ़िगर आसानी से तीन अलग अलग कार्य के लिए बंद है, और (इन कार्यों के निष्पादन मानकों की स्थापना जैसे।, गति घूमना या दूरी) कार्य आवश्यकता फिट करने के लिए।
नोट: इन कार्यों की अधिक जानकारी कदम 5.2.1, 5.3.1, और 5.4.1 में वर्णित हैं। - रोबोट नियंत्रक को चलाने के लिए विजुअल स्टूडियो मंच का गठन बटन पर क्लिक करें।
- छठे वेतन आयोग पर Choregraphe प्रोग्राम खोलें। क्लिक करें बटन एक कनेक्शन विजेट पॉप अप करने के लिए "से कनेक्ट करें"। अपने आईपी पते के अनुसार नियंत्रित किया जा करने के लिए रोबोट का चयन करें, और इसे डबल करने के लिए कनेक्ट करने के लिए अपनी आइकन पर क्लिक करें।
- Choregraphe मेनू पट्टी में दृश्य मेनू से वीडियो मॉनीटर खोलें, और रोबोट के कैमरे से लाइव वीडियो प्रतिक्रिया प्रदर्शित करने के लिए यूजर इंटरफेस के सामने से नजर रखने के लिए कदम।
- मस्तिष्क रोबोट बातचीत के प्रदर्शन का मूल्यांकन करने के लिए अलग अलग वातावरण के भीतर तीन विशिष्ट बंद लूप नियंत्रण कार्य करने के लिए विषय का अनुरोध करें।
नोट: वे अपने दैनिक जीवन में विकलांग और बुजुर्ग की सहायता करने में सहायक होते हैं क्योंकि रोबोट अनुप्रयोगों में महत्वपूर्ण हैं जो इन कार्यों, अलग अलग रोबोट व्यवहार को सक्रिय करने की जरूरत है। - चित्रा 4 में दिखाया गया है, बाधाओं के माध्यम से चलने के लिए और प्रकाश पर बारी करने के लिए एक प्रकाश स्विच पुश करने के लिए मस्तिष्क के संकेतों के माध्यम से humanoid रोबोट को नियंत्रित टेलीप्रेजेंस के लिए पहले बंद लूप नियंत्रण कार्य का संचालन।
- , पहला कार्य को पूरा के रूप में चार SSVEP उत्तेजनाओं से इनकोड किया गया है, जो रोबोट व्यवहार को नियंत्रित करने के लिए: 0.15 मीटर की एक निश्चित दूरी के साथ आगे कदम 0.3 रेड की एक निश्चित कांति के साथ छोड़ दिया मोड़, सही 0.3 रेड की एक निश्चित कांति के साथ बदल रहे हैं, और उसके दाहिने हाथ का उपयोग स्विच धक्का।
नोट: configuration के प्रक्रिया कदम 4.4 में वर्णित है। - कार्य उद्देश्य का विषय है और चार व्यवहार को सूचित नियंत्रित किया जाना है।
- कदम 4.5-4.7 में के रूप में रोबोट नियंत्रक चलाने के लिए, और प्रयोग शुरू करते हैं। पर्यावरण में देखती है और लाइव वीडियो प्रतिक्रिया के आधार पर निर्णय करते हैं, और इसी उत्तेजनाओं घूर द्वारा रोबोट व्यवहार को सक्रिय करने के लिए विषय स्वतंत्रता दे।
। नोट: आपात स्थितियों, जैसे, रोबोट एक बाधा के साथ टकराने के बारे में है, जब तक कोई निर्देश या मदद विषय को दी जानी चाहिए।
- , पहला कार्य को पूरा के रूप में चार SSVEP उत्तेजनाओं से इनकोड किया गया है, जो रोबोट व्यवहार को नियंत्रित करने के लिए: 0.15 मीटर की एक निश्चित दूरी के साथ आगे कदम 0.3 रेड की एक निश्चित कांति के साथ छोड़ दिया मोड़, सही 0.3 रेड की एक निश्चित कांति के साथ बदल रहे हैं, और उसके दाहिने हाथ का उपयोग स्विच धक्का।
- राहगीरों से भिड़ने जब चित्रा 5 में दिखाया गया है, बाहर निकलने के संकेत के बाद सीढ़ी की ओर चलने के लिए मस्तिष्क के संकेतों के माध्यम से humanoid रोबोट को नियंत्रित टेलीप्रेजेंस के लिए दूसरे काम का संचालन। कहते हैं, "मुझे माफ" और के लिए प्रतीक्षा करने के लिए रोबोट को नियंत्रित करने के लिए विषय पूछना राहगीरों रास्ता देने के लिए।
- Continuousl आगे चलने: के रूप में चार SSVEP उत्तेजनाओं द्वारा इनकोडिंग रोबोट व्यवहार पर नियंत्रण0.05 मीटर / सेकंड की गति वाई, 0.1 रेड / सेकंड की गति सही लगातार बदल रहे हैं, और सभी चलने व्यवहार को रोकने, 0.1 रेड / सेकंड की गति लगातार मोड़ छोड़ दिया।
- आसन पर निर्भर नियंत्रण समारोह 16 को रोबोट नियंत्रक स्विच।
नोट: रोबोट चल रहा है, जब इस समारोह चलने के व्यवहार को रोकने के आदेश के रूप में चौथे प्रोत्साहन उपयोग करता है; रोबोट नहीं चल रहा है, यह "मुझे माफ" कहने के लिए रोबोट को नियंत्रित करने के लिए चौथे प्रोत्साहन का उपयोग करता है। समारोह रोबोट के चलने स्थिति पता लगाने के द्वारा सी ++ लिपियों में कार्यान्वित किया जाता है। - कार्य उद्देश्य का विषय है और पाँच व्यवहार को सूचित नियंत्रित किया जाना है।
- कदम 5.2.3 में वर्णित है, रोबोट नियंत्रक चलाने के लिए और प्रयोग शुरू करते हैं।
- चित्रा 6 में दिखाया गया है, इसे लेने के लिए, और इस विषय के हाथ करने के लिए इसे वितरित करने के लिए, एक गुब्बारा लक्ष्य की ओर चलने के लिए humanoid रोबोट को नियंत्रित टेलीप्रेजेंस के लिए तीसरे कार्य का संचालन।
- के रूप में चार SSVEP उत्तेजनाओं द्वारा इनकोडिंग रोबोट व्यवहार पर नियंत्रण: 0.15 मीटर की एक निश्चित दूरी के साथ आगे कदम, 0.3 रेड की एक निश्चित कांति साथ छोड़ 0.3 रेड की एक निश्चित कांति के साथ सही रही, और वस्तुओं उठा बदल रहे हैं।
- यह पहले से ही उठाया गया है जब वस्तु नीचे डालने का कमांड के रूप में चौथा प्रोत्साहन का पुन: उपयोग करने के लिए रोबोट नियंत्रक में आसन पर निर्भर नियंत्रण समारोह को सक्रिय करें।
- कार्य उद्देश्य का विषय है और पाँच व्यवहार को सूचित नियंत्रित किया जाना है।
- कदम 5.2.3 में वर्णित है, रोबोट नियंत्रक चलाने के लिए और प्रयोग शुरू करते हैं।
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
यहाँ प्रस्तुत परिणाम एक पुरुष विषय को सही करने वाली सामान्य होने से प्राप्त किया गया संस्करण। चित्रा 7 स्थानिक सीसीए गुणांकों का उपयोग कर डेटा छान, एक multichannel डेटा युग (चित्रा 7A) निकालने सहित प्रसंस्करण ईईजी डेटा की प्रक्रिया को दिखाती है (चित्रा 7B) और सामान्यीकृत PSD (चित्रा 7C) की गणना।
8 चित्रा सामान्यीकृत PSD के अधीन विभिन्न आवृत्तियों पर चंचल ठिकानों पर देखें जिसमें एकल परीक्षणों का उपयोग कर प्राप्त पता चलता है। प्रमुख शिखर चंचल प्रोत्साहन के मौलिक या हार्मोनिक आवृत्ति पर दिखाई देता है। बीआरआई प्रणाली अलग रोबोट व्यवहार के नियंत्रण के लिए आदेश में SSVEP प्रतिक्रियाओं के इन नमूनों नक्शे।
4-6 तीन बंद लूप शेष भाग दिखाने के आंकड़ेROL कार्यों मस्तिष्क रोबोट बातचीत के प्रदर्शन का मूल्यांकन करने के लिए प्रदर्शन किया। इन कार्यों रोबोट अनुसंधान के क्षेत्र में लोकप्रिय हैं और अपने दैनिक जीवन में विकलांग और बुजुर्ग की सहायता करने में सहायक होते हैं। 4 बाधाओं के माध्यम से चल रहा है और brainwaves के माध्यम से प्रकाश पर बारी करने के लिए एक स्विच को आगे बढ़ाने की telepresence नियंत्रण प्रयोग से पता चलता है। 5 चित्रा telepresence के नियंत्रण से पता चलता है बाहर निकलने के संकेत के बाद सीढ़ी मामले की ओर चलने का प्रयोग। चित्रा 6 एक गुब्बारा उठा और विषय के हाथ करने के लिए इसे पहुंचाने की telepresence नियंत्रण प्रयोग से पता चलता है।
चित्रा एक humanoid रोबोट के साथ ब्रेन रोबोट इंटरेक्शन के लिए 1. सिस्टम संरचना। मस्तिष्क के संकेतों ईईजी डाटा अधिग्रहण प्रणाली के माध्यम से मापा जाता है। यूजर इंटरफेस SSVEP प्रतिक्रियाओं और दिखाता में वीडियो प्रतिक्रिया रहते elicits बंद लूप नियंत्रण प्रयोगों। पहली बार विषयों के लिए, डाटा रिकॉर्डर और ऑफलाइन डेटा विश्लेषक उनकी SSVEP ऑफ़लाइन सुविधाओं का विश्लेषण करने के लिए और प्रत्येक विषय के लिए क्लासिफायरफ़ाइल प्रशिक्षित करने के लिए ऑफ़लाइन प्रशिक्षण की प्रक्रिया में उपयोग किया जाता है। तब ऑनलाइन सिग्नल प्रोसेसर और रोबोट नियंत्रक एक humanoid रोबोट की ऑनलाइन नियंत्रण के लिए विन्यस्त किया गया है। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
SSVEP आधारित बीआरआई प्रणाली के लिए चित्रा 2. यूजर इंटरफेस। यूजर इंटरफेस को प्रदर्शित करता है बीच विंडो में वीडियो प्रतिक्रिया रहते हैं और चार आवृत्तियों पर humanoid रोबोट व्यवहार का प्रतिनिधित्व करने परिधि पर चार छवियों flickers। सही पैनल पर 3 डी प्रतिनिधित्व humanoid रोबोट की वर्तमान आसन इंगित करता है। /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "लक्ष्य =" _blank "> यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
चित्रा 3. ऑनलाइन सिग्नल प्रोसेसर OpenViBE प्रोग्रामिंग वातावरण में लागू किया है। लाल चक्र के साथ चिह्नित अधिग्रहण और प्रक्रिया सिग्नल बॉक्स MATLAB स्क्रिप्ट में लिखा प्रसंस्करण एल्गोरिथ्म invokes। मेनू पैनल पर शुरू होता है बटन कार्यक्रम शुरू होता है। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
बाधाओं के माध्यम से चलना और एक प्रकाश स्विच धक्का 4. टेलीप्रेजेंस नियंत्रण प्रयोग चित्रा।तों / ftp_upload / 53558 / 53558fig4large.jpg "लक्ष्य =" _blank "> यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
चित्रा बाहर निकलें साइन बाद सीढ़ी की ओर चल 5. टेलीप्रेजेंस नियंत्रण प्रयोग। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
चित्रा 6 विषय के लिए एक गुब्बारा पहुंचाने का टेलीप्रेजेंस नियंत्रण प्रयोग। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
प्रसंस्करण मल्टीचैनल ईईजी डेटा के 7 चित्रा प्रक्रिया (ए) के अधीन 4,615 हर्ट्ज पर प्रोत्साहन घूर रहा है, जिसमें परीक्षण से निकाला मल्टीचैनल डेटा युग। (बी) सीसीए गुणांकों का उपयोग कर स्पैटियली फ़िल्टर डेटा; (सी) स्थानिक फ़िल्टर डेटा की सामान्यीकृत PSD। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
विषय विभिन्न आवृत्तियों पर उत्तेजनाओं चंचल घूर रहा है, जिसमें एकल परीक्षण में यह आंकड़ा प्राप्त 8. सामान्यीकृत PSD। यह आंकड़ा का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
Subscription Required. Please recommend JoVE to your librarian.
Discussion
इस पत्र कई सॉफ्टवेयर प्रोग्राम को एकीकृत करके humanoid रोबोट के साथ मस्तिष्क रोबोट बातचीत प्रणाली स्थापित करने के लिए एक SSVEP आधारित प्रयोगात्मक प्रक्रिया प्रस्तुत करता है। मानव मंशा वास्तविक समय ईईजी संकेतों की व्याख्या द्वारा माना जाता है, क्योंकि यह प्रयोग का आयोजन पहले इलेक्ट्रोड कनेक्शन और ईईजी संकेत गुणों को सत्यापित करने के लिए महत्वपूर्ण है। सभी इलेक्ट्रोड से अर्जित संकेतों गरीब गुणों के होते हैं, यह पहली बार जमीन और संदर्भ इलेक्ट्रोड के कनेक्शन की जांच करने के लिए आवश्यक है। इलेक्ट्रोड के कुछ हिस्सों के साथ समस्याओं कर रहे हैं, तो उन चैनलों का मुक़ाबला समायोजित करने के लिए प्रवाहकीय जेल फिर से इंजेक्षन।
ईईजी संकेतों प्राप्त है, जबकि एक अन्य आम मुद्दा कलाकृतियों का हस्तक्षेप है और 17 शोर। ईईजी संकेत शोर अनुपात (SNR), विरूपण साक्ष्य और शोर SSVEP प्रतिक्रियाओं की PSD में आसानी से कर सकते अस्पष्ट परिवर्तन करने के लिए छोटे संकेत के रूप में। यह पाउ से दूर ईईजी सिस्टम का संकेत एम्पलीफायर रखने के लिए महत्वपूर्ण हैएर आपूर्ति और अन्य शोर स्रोतों। प्रयोग के दौरान, आंख झपकी और शरीर आंदोलन कलाकृतियों को कम करने के लिए एक न्यूनतम करने के लिए रखा जाना चाहिए। आगे इस तरह के हस्तक्षेप के खिलाफ मजबूती में सुधार करने के लिए, हमारे विधि मल्टीचैनल ईईजी डेटा की व्याख्या करने के लिए एक सीसीए आधारित तकनीक का इस्तेमाल करता है। परिणाम इस तकनीक का शोर और कलाकृतियों युक्त ईईजी संकेतों से सुविधाओं निकालने में कारगर है कि दिखा।
Humanoid रोबोट के बंद लूप नियंत्रण का एक नया कार्य शुरू करने के लिए, हम स्वयं नया कार्य आवश्यकता फिट करने के लिए प्रत्येक रोबोट व्यवहार की परिभाषा और पैरामीटर विन्यस्त करने की जरूरत। यह वर्तमान बीआरआई प्रणाली में उपलब्ध नियंत्रण आदेश की सीमित संख्या के कारण है, और इस तरह brainwave पैटर्न के अधिक प्रकार के evoking द्वारा सुधार किया जा सकता है। ह्वांग एट अल। 18 और अधिक दृश्य उत्तेजनाओं के उत्पादन के लिए एक दोहरे आवृत्ति उत्तेजना विधि का प्रस्ताव रखा। वैंग एट अल। 19, एलीसन एट अल। 20, पान एट अल।, 21 और ली <उन्हें> एट अल। 22 ERPs और एमआई सहित अन्य brainwave पैटर्न, साथ SSVEP आधारित मॉडल गठबंधन करने के लिए कई संकर तरीकों का प्रस्ताव रखा। यह भी मशीन सीखने या सीमित brainwave पैटर्न में 23 का उपयोग कर humanoid रोबोट का पूरा शरीर आंदोलन को नियंत्रित करने के लिए श्रेणीबद्ध वास्तुकला पर आधारित स्विचिंग तकनीक को अपनाने के लिए संभव है।
एलसीडी मॉनिटर 24 और SSVEPs 25 के हार्मोनिक घटकों के बीच प्रभाव से उपलब्ध चमकती आवृत्तियों ध्यान में रखते हुए, हम 1 से 60 हर्ट्ज और चार आवृत्तियों का उपयोग कर पाया अर्थात्।, 4,615, 12, 15, और 20 के लिए सभी संभव चमकती आवृत्तियों स्कैन वे हमारे विषयों के लिए उच्चतम औसत सटीकता दर हासिल रूप हर्ट्ज, सबसे अच्छा विकल्प की संभावना है। इसलिए, हम संभव एन रहे हैं वस्तुओं, जो छोड़ दिया मोड़, आगे चलने सही रही, और चलने रोक / स्विच धक्का / उठा सहित humanoid रोबोट व्यवहार को नियंत्रित करने के इंटरफेस पर चार उत्तेजनाओं का इस्तेमाल कियाइस पांडुलिपि में प्रस्तुत कार्यों को पूरा करने के लिए एक humanoid रोबोट को नियंत्रित करने के लिए Ough।
यह इस तरह के OpenViBE, Choregraph, सेंट्रल सॉफ्टवेयर और सी में उपयोगकर्ता विकसित कार्यक्रमों ++ और MATLAB के रूप में कई सॉफ्टवेयर प्रोग्राम, एकीकरण द्वारा विकसित की है के रूप में बीआरआई प्रणाली के लाभ में अपनी विश्वसनीयता और लचीलापन हैं। यह मानकीकृत सॉफ्टवेयर का उपयोग कर विभिन्न प्रयोगात्मक प्रक्रियाओं को डिजाइन करने के लिए कुशल और विश्वसनीय है। हमारी प्रणाली एक humanoid रोबोट के साथ मस्तिष्क रोबोट बातचीत के लिए नए एल्गोरिदम और तकनीक की जांच करने के लिए एक शक्तिशाली उपकरण है। यह आसानी से बीमार और बुजुर्ग, और प्रदर्शन गंदा या खतरनाक नौकरियों की सहायता में बीआरआई अनुप्रयोगों का पता लगाने के लिए उन्नत बनाया जा सकता है।
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
लेखकों के लिए इस पेपर में सूचना प्रयोगों प्रदर्शन करने में उसकी सहायता के लिए श्री हांग हू के प्रति अपनी कृतज्ञता व्यक्त करना चाहते हैं। इस काम में चीन के राष्ट्रीय प्राकृतिक विज्ञान फाउंडेशन (संख्या 61,473,207) द्वारा समर्थित किया गया था।
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
