Introduction
الدماغ الروبوت التفاعل (BRI)، الذي يوفر مسارا الاتصالات المبتكرة بين الإنسان والجهاز الآلي عبر إشارات الدماغ، هو المحتملين في مساعدة المعاقين في حياتهم اليومية 1،2. مجموعة متنوعة من الأساليب هي قادرة على التقاط إشارات الدماغ إما جراحية أو غير جراحية، مثل تخطيط كهربية قشر الدماغ (ECoG)، التخطيط الكهربائي للدماغ، والتصوير بالرنين المغناطيسي الوظيفي (fMRI)، وما إلى ذلك طريقة غير الغازية الأكثر استخداما لبناء نظام BRI هو الحصول على إشارات EEG من أقطاب توضع على فروة الرأس. هذه الطريقة غير مكلفة وسهلة الاستخدام، ويوفر القرار الزماني مقبول 3. بين مجموعة متنوعة من الأجهزة الروبوتية، والروبوتات الروبوت متقدمة كما أنها يتم إنشاؤها لتقليد بعض من نفس المهام البدنية والعقلية أن البشر يخضع يوميا. سوف BRI مع الروبوت الروبوت لعب دورا هاما في مساعدة المرضى وكبار السن، فضلا عن أداء وظائف غير صحية أو خطرة. لكن السيطرةمن الروبوت الروبوت من خلال نظام BRI يشكل تحديا للغاية، كما تم تطوير الروبوت الروبوت مع حركة الجسم كاملة لأداء المهام المعقدة مثل المساعدة الشخصية 4، 5.
المطرد للدولة البصرية مستدعى المحتملة (SSVEP) هو نوع من إشارة الدماغ التي حركها التشكيل من التحفيز البصري على تردد معين 6. أنه يحتوي على الجيوب في الترددات الأساسية ومتناسق من التحفيز الخفقان، وبشكل بارز يظهر في جميع أنحاء القشرة البصرية في المنطقة القفوية من فروة الرأس 7. سبب اختيار الإشارات SSVEP هو أن النظام BRI استنادا SSVEP-غلة عالية نسبيا معدل نقل المعلومات ويتطلب أقل تدريب 8. أنواع أخرى من الموجات الدماغية، مثل إمكانات ذات الصلة بالحدث (نظم تخطيط موارد المؤسسات) 9 أو الحركية الصور (MI) إمكانات 10، ويمكن أيضا أن يكون متضمنا في هذا الإجراء التجريبي.
إجراءاتنا للتفاعل الدماغ الروبوت مع الروبوتويستند الروبوتات على Cerebot - منصة العقل التي تسيطر عليها الروبوت الروبوت - التي تتكون من نظام الحصول على البيانات EEG والروبوت الروبوت 11. نظام EEG غير قادرة على تسجيل، قبل العملية والإشارات الحيوية المحتملة العرض التي حصل عليها أنواع مختلفة من الأقطاب الكهربائية. أنها توفر التناظرية متعددة الإدخال / الإخراج وأنا الرقمية / الإخراج، وقادر على تسجيل ما يصل إلى 128 قناة في وقت واحد إشارة بمعدل عينة من 30 كيلو هرتز مع قرار 16-بت. في عدد تطوير البرامج في C ++ وMATLAB من السهل للمستخدمين لتصميم الإجراءات التجريبية. الروبوت الروبوت لديه 25 درجات الحرية ومجهز بأجهزة استشعار متعددة، بما في ذلك 2 الكاميرات، 4 ميكروفونات، 2 جهاز ضبط السونار، 2 IR بواعث والمستقبلات، 1 مجلس بالقصور الذاتي، 9 أجهزة استشعار اللمس، و 8 أجهزة استشعار الضغط. ويوفر Choregraphe وC ++ SDK لإنشاء وحركات التحرير والسلوكيات الروبوت التفاعلية.
الهدف العام من هذه الطريقة هو إقامة صناعة تج التجريبي القائم على SSVEPDURE من خلال دمج برامج متعددة، مثل OpenViBE، Choregraph، والبرمجيات المركزي وكذلك برامج المستخدم وضعت مكتوب في C ++ وMATLAB، لتمكين دراسة تفاعل الدماغ الروبوت مع الروبوتات الروبوت 11 الشكل 1 يبين هيكل النظام. يعرض الكمبيوتر عرض الحوافز مخصص (SPC) واجهة المستخدم لتقديم هذا الموضوع مع المثيرات البصرية والتعليمات والاصداء البيئية. الكمبيوتر معالجة البيانات المخصص (DPC) يعمل على تسجيل بيانات ومحلل بيانات دون اتصال في عملية التدريب حاليا، ويتم تشغيل المعالج على الانترنت الإشارات والتحكم روبوت لمراقبة الإنترنت لالروبوت الروبوت. مقارنة مع النظم الأخرى التحكم على SSVEP، نظامنا هو أكثر موثوقية، وأكثر مرونة، وخصوصا أكثر ملاءمة لإعادة استخدامها وترقيتها كما يتم تطويره من خلال دمج عدد من حزم البرمجيات القياسية، مثل OpenViBE، Choregraph، البرامج المركزي، و وحدات مكتوب في C ++وMATLAB.
وجرى استعراض الإجراء التالي والموافقة عليها من قبل الجامعة لجنة للأخلاقيات الطبية المستشفى العام تيانجين، وجميع المواد أعطى موافقة خطية.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. التقاط إشارات EEG
- شرح الإجراء التجريبي لهذا الموضوع، والحصول على موافقة خطية أبلغت للمشاركة في التجارب.
- قياس محيط الرأس هذا الموضوع باستخدام شريط قياس وتحديد حجم قبعة EEG التي هي قريبة من القياس. ويستند الترتيب الأقطاب على "نظام 10-20 الدولية" 12.
- قياس المسافة بين ناسيون وinion. استخدام قلم رصاص علامة الجلد للاحتفال 10٪ من المسافة كمرجع لمحاذاة الحد الأقصى، ووضع علامة على منتصف المسافة باسم قمة الرأس على فروة الرأس في هذا الموضوع.
- وضع غطاء EEG على هذا الموضوع عن طريق مواءمة علامة 10٪ مع نقطة الوسط من FP1 FP2 والأقطاب الكهربائية. موقف القطب تشيكوسلوفاكيا من الغطاء على الرأس.
- تأكد من أن فعز، تشيكوسلوفاكيا، PZ وعوز هم على خط الوسط من الرأس، وأن كل زوج من الأقطاب الكهربائية الموجودة على جانبي خط الوسط هم في خط أفقي.
- تشويه REF1 وREF2 الأقطاب مع جل موصل. وضع أقطاب المرجعية على الخشاء اليسار واليمين باستخدام الشريط الطبي. تشديد chinstrap.
- وضع حقنة ذات الرؤوس حادة في أصحاب الكهربائي وحقن هلام موصل إلى كل قطب كهربائي في الترتيب التالي: أولا، القطب "الأرض" على الجبين والثانية، والأقطاب الخمسة المستخدمة في التجربة، O2، O1، عوز، PZ وتشيكوسلوفاكيا.
- مقعد موضوع في كرسي مريح 60 سم أمام جهاز التحفيز. إرشاد خاضعة للحفاظ على تعريفه / عينيها في نفس المستوى الأفقي مع مركز مراقبة.
- ربط الأسلاك الكهربائي لنظام الحصول على البيانات EEG. تكوين معدل أخذ العينات إلى 1 كيلو هرتز.
- فحص جودة الإشارة EEG على DPC مخصص. إذا كان هناك مشكلة مع القطب معين، هلام إعادة حقن لضبط مقاومة للقناة.
- استخدام SPC مخصص لتومض أربع صور روبوت على ترددات من 4،615 و 12 و 15 و 20هرتز كما محفزات بصرية على واجهة المستخدم كما هو موضح في الشكل رقم 2.
2. غير متصل تحليل SSVEP الميزات
- إجراء 32 محاكمات التجارب التدريب حاليا لكل موضوع وتسجيل إشارات المخ التي اكتسبوها من النظام EEG طوال هذه العملية.
ملاحظة: يتم إجراء هذه العملية إلا من خلال موضوعات لأول مرة من تجربة لإنشاء ناقلاتها ميزة SSVEP وتدريب المصنف. - عندما تبدأ المحاكمة، تحديد الحوافز واحد كهدف بشكل عشوائي وعرض السهم الأصفر فوقه.
- في وقت لاحق 1 ثانية، تومض المحفزات البصرية أربعة على ترددات مختلفة على واجهة المستخدم لمدة 5 ثانية.
- طلب موضوع للتركيز على الهدف المحدد التحفيز بينما حفظ له / حركة جسدها إلى أدنى حد ممكن.
- بعد كل محاكمة، وإعطاء الموضوع ثانية 3 للاسترخاء، ومن ثم تبدأ المحاكمة المقبلة.
- عندما يتم الانتهاء من جميع المحاكمات، وقراءة البيانات المحفوظة. استخراج حقبة البيانات 3-ثانية يكون توين 2 ثانية و 5 ثانية بعد الزناد الذي يختار حافزا كهدف في كل محاكمة.
- حساب كثافة طيف الطاقة (PSD) من العهود البيانات باستخدام تحليل بيانات دون اتصال في مخطوطات MATLAB. استخدام خوارزمية معالجة وصفها في التفاصيل أدناه:
- حساب تحليل الارتباط الكنسي (CCA) معاملات بيانات متعددة EEG مع البيانات المرجعية. CCA هو الأسلوب الإحصائي متعدد المتغيرات المستخدمة في مجموعتين من البيانات للعثور على العلاقة الأساسية التي تستند إليها 13. وبالنظر إلى قطاع 3S من X بيانات متعددة EEG والبيانات المرجعية Y من نفس الطول، استخدم CCA للعثور على ناقلات الوزن، W x و W Y، لتعظيم معامل الارتباط ρ بين س = X T W X و Y = Y T W ذ. تعيين البيانات المرجعية أن تكون الإشارات الدورية في بعض الترددات التحفيز.
/ftp_upload/53558/53558eq1.jpg "/>
حيث f 1، و 2، و 3، و 4 هي ترددات ميزة من المثيرات البصرية الأربعة. - تصفية مكانيا البيانات X متعددة EEG باستخدام معاملات CCA تحسب W X للحصول على البعد واحد تصفيتها س البيانات، والتي لديها ارتباط الأبرز مع تركيبة خطية من البيانات المرجعية.
- حساب PSD من س البيانات المصفاة مكانيا باستخدام تحويل فورييه السريع (الاتحاد الفرنسي للتنس).
حيث N الاتحاد الفرنسي للتنس هو حجم عينة من البيانات العاشر، والاتحاد الفرنسي للتنس (خ، N الاتحاد الفرنسي للتنس) بإرجاع N الاتحاد الفرنسي للتنس فورييه المنفصل -point تحويل من س. - تطبيع PSD فيما يتعلق قيمة معدلها بين 3 و 30 هرتز.
الى اين60؛
يدل على المتوسط من الطيف السلطة بين 3 و 30HZ.
- حساب تحليل الارتباط الكنسي (CCA) معاملات بيانات متعددة EEG مع البيانات المرجعية. CCA هو الأسلوب الإحصائي متعدد المتغيرات المستخدمة في مجموعتين من البيانات للعثور على العلاقة الأساسية التي تستند إليها 13. وبالنظر إلى قطاع 3S من X بيانات متعددة EEG والبيانات المرجعية Y من نفس الطول، استخدم CCA للعثور على ناقلات الوزن، W x و W Y، لتعظيم معامل الارتباط ρ بين س = X T W X و Y = Y T W ذ. تعيين البيانات المرجعية أن تكون الإشارات الدورية في بعض الترددات التحفيز.
- معايرة المعلمات تصنيف للترددات التحفيز الأربعة. أولا، ومراقبة الطيف مديرية الأمن العام تطبيع الذي يتوافق مع الهدف التحفيز، ويدويا تكوين تردد مع أقوى السعة مديرية الأمن العام كما تردد الميزة. وبناء على وتيرة الميزة، تقسيم البيانات مديرية الأمن العام تطبيع إلى مجموعتين: واحدة تكتسب عند تحديد الحوافز المقابلة كهدف، وحصلت على البعض عندما يتم تحديد المثيرات غير المستهدفة. حساب القيمة المتوسطة للكل مجموعة على التوالي. تحديد عتبة من قبل الوسيط اثنين من القيم المتوسطة لتصنيف المستهدفة وغير المستهدفة يحدد 14.
يدل على المتوسط من الطيف السلطة بين 3 و 30HZ. 3. تجهيز الانترنت إشارات الدماغ
- فتح المعالج الانترنت الإشارة كما هو مبين في الشكل (3)، التي تم تطويرها بASED على البيئة OpenViBE ومخطوطات MATLAB، على DPC لمعالجة الإشارات في الدماغ على الانترنت.
- انقر نقرا مزدوجا على اكتساب وعملية مربع الإشارة، التي وضعت مع دورة حمراء في الشكل (3)، لفتح نافذة تحديد OpenViBE. تكوين المعلمات تصنيف للموضوع: ضبط معدل أخذ العينات ك 1 كيلو هرتز، تعيين طول الوقت عن الاتحاد الفرنسي للتنس إلى 3 ثانية، وتعيين الترددات ميزة وفقا لنتائج تحليل غير متصل، على سبيل المثال، 4.667، 24، 15 و 20 هرتز .
- انقر على زر يبدأ تشغيل المعالج على الانترنت الإشارة، الذي يعالج البيانات في الوقت الحقيقي باستخدام الخوارزمية التالية في ثلاث خطوات.
- أولا، الخوارزمية تكتسب البيانات EEG من القنوات عوز، O1، O2، PZ وCPZ النظام EEG كل 0.5S، واستخراج شريحة بيانات 3S مشاركة للتجهيز على الانترنت.
- ثانيا، الخوارزمية بمعالجة شريحة بيانات 3-ثانية باستخدام خوارزميات هو موضح في الخطوة 2.7، وتحسب في الوقت الحقيقي PSD لclassificaنشوئها.
- ثالثا، خوارزمية تصنف أنماط الفكرة الرائعة وفقا لسعة مديرية الأمن العام على ترددات ميزة الأربعة. عندما اتساع تردد ميزة واحدة فوق عتبة معينة، تصنيف التحفيز الخفقان على التردد المماثل كهدف SSVEP.
4. ربط البشر روبوت
- اضغط على زر الصدر الروبوت الروبوت وانتظر حتى بدء التشغيل.
ملاحظة: هذه العملية تستغرق حوالي 1 دقيقة وتنتهي عندما يقول الروبوت "OGNAK GNOUK" حين يصبح زر صدره الأبيض. - إنشاء اتصاله اللاسلكي الإخلاص (واي فاي) لDPC 15.
- فتح وحدة تحكم روبوت المبرمجة في C ++ نصوص بصرية على DPC. يتلقى تحكم نتائج تصنيف من المعالج على الانترنت الإشارة عبر الواقع الافتراضي الشبكة الطرفية (VRPN) واجهة، ترجمتها إلى أوامر الروبوت، ويتحكم في السلوك المقابلة من humanoiد الروبوت عبر اتصال لاسلكي.
- تكوين وحدة تحكم روبوت عن طريق إدخال عنوان IP للروبوت وفقا لاتصال واي فاي لها، وتحديد ثلاث مجموعات من السلوكيات الروبوت التي يمكن أن تنتقل بسهولة لأداء المهام الثلاث المختلفة، وتعيين المعلمات تنفيذ هذه السلوكيات (على سبيل المثال، سرعة المشي أو المسافة) لتتناسب مع متطلبات المهمة.
ويرد المزيد من التفاصيل عن هذه السلوكيات في الخطوات 5.2.1، 5.3.1، 5.4.1 و: ملاحظة. - انقر فوق الزر إنشاء لمنصة Visual Studio لتشغيل وحدة تحكم روبوت.
- فتح برنامج Choregraphe على SPC. انقر فوق "الاتصال ب" الزر ليطفو على السطح القطعة اتصال. اختيار الروبوت التي تخضع للرقابة وفقا لعنوان IP الخاص به، وانقر نقرا مزدوجا فوق الرمز الخاص به للاتصال به.
- فتح شاشة فيديو من عرض القائمة في شريط القوائم Choregraphe، ونقل العرض إلى الجزء الأمامي من واجهة المستخدم لعرضه ردود الفعل لقطات فيديو حية من كاميرا الروبوت.
- طلب موضوع لأداء ثلاث مهام مراقبة حلقة مغلقة محددة ضمن بيئات مختلفة من أجل تقييم أداء تفاعل الدماغ الروبوت.
ملاحظة: هذه المهام، والتي تعتبر مهمة في التطبيقات الروبوتية لأنها مفيدة في مساعدة المعاقين وكبار السن في حياتهم اليومية، تحتاج إلى تفعيل السلوكيات الروبوت المختلفة. - إجراء أول مهمة حلقة مغلقة سيطرة على التواجد عن بعد التحكم في الروبوت الروبوت عبر إشارات الدماغ على المشي من خلال العقبات والضغط على مفتاح الضوء لتشغيل الضوء، كما هو مبين في الشكل (4).
- لإنجاز المهمة الأولى، والسيطرة على السلوكيات الروبوت التي تم ترميزها بواسطة المنبهات SSVEP أربعة على النحو التالي: يخطو إلى الأمام مع مسافة ثابتة من 0.15 م، تحول اليسار مع راديان الثابتة من 0.3 راد، وتحول الحق مع راديان الثابتة من 0.3 راد، ودفع التبديل باستخدام اليد اليمنى لها.
ملاحظة: للconfiguraوصفت عملية نشوئها في الخطوة 4.4. - إبلاغ موضوع هدف المهمة والسلوكيات الأربعة التي تخضع للرقابة.
- تشغيل وحدة تحكم روبوت كما في الخطوات 4،5-4،7، وبدء التجربة. إيلاء هذا الموضوع الحرية على إدراك البيئة واتخاذ القرارات على أساس التغذية المرتدة لقطات فيديو حية، وتفعيل السلوكيات الروبوت عن طريق التحديق في المحفزات المقابلة.
وينبغي إيلاء أي تعليمات أو مساعدة للموضوع إلا في حالات الطوارئ، على سبيل المثال، الروبوت على وشك أن تصطدم عقبة: ملاحظة.
- لإنجاز المهمة الأولى، والسيطرة على السلوكيات الروبوت التي تم ترميزها بواسطة المنبهات SSVEP أربعة على النحو التالي: يخطو إلى الأمام مع مسافة ثابتة من 0.15 م، تحول اليسار مع راديان الثابتة من 0.3 راد، وتحول الحق مع راديان الثابتة من 0.3 راد، ودفع التبديل باستخدام اليد اليمنى لها.
- إجراء المهمة الثانية إلى التواجد عن بعد التحكم في الروبوت الروبوت عبر إشارات الدماغ إلى السير نحو الدرج التالية علامة الخروج، كما هو مبين في الشكل (5). عندما تواجه المارة، وطرح هذا الموضوع للتحكم في الروبوت ليقول "عفوا" وانتظر المارة لتفسح المجال.
- السيطرة على السلوكيات الروبوت المشفرة بواسطة المحفزات SSVEP أربعة على النحو التالي: المشي continuousl إلى الأمامذ بسرعة 0.05 متر / ثانية، تحول اليسار بشكل مستمر بسرعة 0.1 راد / ثانية، وتحول الحق مستمر بسرعة 0.1 راد / ثانية، ووقف كل السلوكيات المشي.
- تبديل جهاز تحكم روبوت لمراقبة وظيفة تعتمد على الموقف 16.
ملاحظة: عندما يكون الروبوت هو المشي، وتستخدم هذه الوظيفة التحفيز الاخير من الأمر وقف السلوكيات المشي. عندما الروبوت لا يمشي، ويستخدم التحفيز الرابع للتحكم في الروبوت ليقول "عفوا". يتم تنفيذ وظيفة في البرامج النصية C ++ عن طريق الكشف عن حالة المشي الروبوت. - إبلاغ موضوع هدف المهمة والسلوكيات الخمسة التي تخضع للرقابة.
- تشغيل وحدة تحكم الروبوت وبدء التجربة، كما هو موضح في الخطوة 5.2.3.
- إجراء المهمة الثالثة إلى التواجد عن بعد التحكم في الروبوت الروبوت على السير نحو الهدف البالون، لاستلامه، وإيصالها إلى جهة هذا الموضوع، وكما هو مبين في الشكل (6).
- السيطرة على السلوكيات الروبوت المشفرة بواسطة المحفزات SSVEP أربعة على النحو التالي: يخطو إلى الأمام مع مسافة ثابتة من 0.15 م، تحول اليسار مع راديان الثابتة من 0.3 راد، وتحول الحق مع راديان الثابتة من 0.3 راد، والتقاط الأشياء.
- تنشيط وظيفة تعتمد على الموقف سيطرة في وحدة تحكم روبوت لإعادة تحفيز الرابع كأمر إنزال الكائن عند بالفعل التقطه.
- إبلاغ موضوع هدف المهمة والسلوكيات الخمسة التي تخضع للرقابة.
- تشغيل وحدة تحكم الروبوت وبدء التجربة، كما هو موضح في الخطوة 5.2.3.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
تم الحصول على النتائج المقدمة هنا من موضوع الذكور بعد أن لتصحيح-إلى وضعها الطبيعي الإصدار. ويبين الشكل 7 إجراءات معالجة البيانات EEG، بما في ذلك استخراج حقبة بيانات متعددة القنوات (الشكل 7A)، وتصفية مكانيا البيانات باستخدام معاملات CCA (الشكل 7B) واحتساب PSD تطبيع (الشكل 7C).
ويبين الشكل 8 الحصول على PSD تطبيع باستخدام المحاكمات واحدة التي يحدق هذا الموضوع في الأهداف الخفقان على ترددات مختلفة. تظهر ذروة بارزة على التردد الأساسي أو التوافقي من التحفيز الخفقان. نظام BRI خرائط هذه الأنماط من ردود SSVEP إلى أوامر للتحكم في سلوكيات الروبوت المختلفة.
الأرقام 4-6 إظهار تابع الثلاثة حلقة مغلقةالمهام رول أداء لتقييم أداء تفاعل الدماغ الروبوت. هذه المهام هي شعبية في الأبحاث الروبوتية ومفيدة في مساعدة المعاقين وكبار السن في حياتهم اليومية. ويبين الشكل 4 التجربة تحكم التواجد عن بعد من المشي من خلال العقبات ودفع مفتاح تشغيل ضوء عن طريق الموجات الدماغية الشكل 5 معارض سيطرة التواجد عن بعد تجربة المشي تجاه قضية السلم بعد علامة خروج الشكل 6 معارض التجربة تحكم التواجد عن بعد من التقاط بالون وتسليمه إلى يد في هذا الموضوع.
الشكل 1. هيكل النظام لالدماغ الروبوت التفاعل مع الروبوت الروبوت. تقاس إشارات المخ من خلال نظام الحصول على البيانات EEG. واجهة المستخدم يثير ردود SSVEP ويعرض العيش ردود الفعل الفيديو في تجارب السيطرة على حلقة مغلقة. للمواد الدراسية لأول مرة، يتم استخدام مسجل بيانات ومحلل بيانات دون اتصال في عملية التدريب حاليا لتحليل SSVEP على ملامح حاليا وتدريب المصنف لكل موضوع. ثم يتم تكوين المعالج الانترنت الإشارات والتحكم روبوت لمراقبة الإنترنت لالروبوت الروبوت. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 2. واجهة المستخدم لنظام BRI استنادا SSVEP. يعرض واجهة المستخدم يعيش ردود الفعل الفيديو في نافذة المتوسطة ومضات أربع صور على هامش تمثل السلوكيات الروبوت الروبوت على أربعة ترددات. تمثيل 3D في اللوحة اليمنى يشير إلى الموقف الحالي للروبوت شبيه بالإنسان. /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg "الهدف =" _ فارغة "> الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الشكل 3. اون لاين الإشارة المعالج تنفيذها في بيئة البرمجة OpenViBE. مربع اكتساب ومعالجة الإشارات ملحوظ مع دورة الحمراء استدعاء خوارزمية معالجة النصوص المكتوبة في MATLAB. زر يبدأ في لوحة القائمة حتى تبدأ البرنامج. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الرقم 4. مراقبة الحضور عن بعد تجربة المشي من خلال العقبات ويضغط على مفتاح الضوء.وفاق / ftp_upload / 53558 / 53558fig4large.jpg "الهدف =" _ فارغة "> الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الرقم 5. مراقبة الحضور عن بعد تجربة من المشي نحو الدرج وبعد خروج تسجيل. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الرقم 6. تجربة مراقبة الحضور عن بعد على توصيل بالون لهذا الموضوع. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الرقم 7. إجراءات المعالجة المتعددة EEG البيانات (A) عصر البيانات المتعددة المستخرجة من المحاكمة في هذا الموضوع الذي هو يحدق في التحفيز على 4.615 هرتز؛ (B) البيانات المصفاة مكانيا باستخدام معاملات CCA. (C) PSD تطبيع البيانات التي تمت تصفيتها مكانيا. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
الرقم 8. PSD تطبيع حصل في المحاكمات واحدة في هذا الموضوع الذي هو يحدق في المحفزات الوميض على ترددات مختلفة. الرجاء انقر هنا لعرض نسخة أكبر من هذا الرقم.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
تقدم هذه الورقة إجراء التجارب على أساس SSVEP لإنشاء نظام تفاعل الدماغ الروبوت مع الروبوتات الروبوت من خلال دمج برامج متعددة. لأنه ينظر القصد البشري عن طريق تفسير إشارات EEG في الوقت الحقيقي، فمن الأهمية بمكان للتحقق من وصلات الكهربائي EEG والصفات إشارة قبل إجراء التجربة. إذا إشارات تم الحصول عليها من جميع الأقطاب هي من الصفات السيئة، فمن الضروري للتحقق من توصيل الأقطاب الأرضية والإشارة أولا. إذا كان هناك مشاكل مع أجزاء من الأقطاب، وإعادة حقن هلام موصل لضبط مقاومة من تلك القنوات.
قضية مشتركة أخرى في حين الحصول على إشارات EEG هي تدخل من التحف وضوضاء 17. كما إشارة EEG لديها إشارة صغيرة إلى نسبة الضوضاء (SNR)، قطعة أثرية والضوضاء يمكن التغييرات غامضة بسهولة في PSD الردود SSVEP. فمن المهم للحفاظ على مكبر للصوت إشارة من النظام EEG بعيدا عن الأسرىإمدادات إيه ومصادر الضجيج الأخرى. خلال التجربة، يجب أن تبقى طرفة عين وحركة الجسم إلى أدنى حد ممكن للحد من الأعمال الفنية. لزيادة تحسين قوة ضد هذه التدخلات، يستخدم أسلوب لدينا تقنية تستند CCA-لتفسير البيانات EEG الأقنية. وأظهرت النتائج أن هذه التقنية فعالة في استخراج ملامح من إشارات EEG التي تحتوي على الأصوات والتحف.
لبدء مهمة جديدة للرقابة حلقة مغلقة من الروبوتات الروبوت، ونحن بحاجة إلى تكوين تعريف ومعلمة من كل سلوك الروبوت يدويا لتناسب متطلبات مهمة جديدة. ويرجع ذلك إلى عدد محدود من أوامر التحكم المتوفرة في نظام BRI الحالي، وبالتالي يمكن تحسينها من خلال إثارة المزيد من أنواع أنماط الفكرة الرائعة. هوانج وآخرون 18 المقترحة طريقة التحفيز ثنائي التردد لإنتاج محفزات أكثر البصرية. وانغ وآخرون. 19، أليسون وآخرون 20، وعموم وآخرون 21، ولى <م> وآخرون 22 المقترحة عدة طرق الهجين الجمع بين نموذج يستند SSVEP مع أنماط الفكرة الرائعة الأخرى، بما في ذلك نظم تخطيط موارد المؤسسات وMI. بل هو أيضا من المجدي تبني تقنيات التحول على أساس التعلم الآلي أو الهندسة المعمارية الهرمية للسيطرة على حركة الجسم الكاملة من الروبوت الروبوت باستخدام أنماط الفكرة الرائعة محدودة 23.
وبالنظر إلى الترددات وامض المتاحة للشاشة LCD 24 والنفوذ بين مكونات التوافقية للSSVEPs 25، ونحن الممسوحة ضوئيا جميع الترددات وامض الممكنة 1-60 هرتز والعثور على استخدام الترددات الأربعة، أي، 4.615، 12، 15، و 20 هرتز، من المحتمل الخيار الأفضل لأنها حققت أعلى معدل دقة لرعايانا. ولذلك، فإننا استخدام المحفزات الأربعة على واجهة للسيطرة على السلوكيات الروبوت الروبوت، بما في ذلك المشي إلى الأمام، تحول اليسار، وتحول الحق، ووقف المشي / دفع التبديل / التقاط الأشياء، التي هي عمليا ENough للسيطرة على الروبوت الروبوت لإنجاز المهام الواردة في هذه المخطوطة.
مزايا النظام BRI هي الموثوقية والمرونة كما يتم تطويره من خلال دمج برامج متعددة، مثل OpenViBE، Choregraph، والبرمجيات المركزي وبرامج المستخدم وضعت في C ++ وMATLAB. فمن فعالة وموثوق بها لتصميم إجراءات تجريبية مختلفة باستخدام برنامج موحد. نظامنا هو أداة قوية لتحقيق خوارزميات وتقنيات جديدة للتفاعل الدماغ الروبوت مع الروبوت الروبوت. ويمكن أن تتم ترقية بسهولة لاستكشاف تطبيقات BRI في مساعدة عمل غير صحية أو خطرة المرضى وكبار السن، وأداء.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
فإن الكتاب أود أن أعرب عن امتنانهم للسيد كونغ هو لمساعدته في أداء التجارب الواردة في هذه الدراسة. وأيد هذا العمل في جزء من مؤسسة العلوم الطبيعية الوطنية الصينية (رقم 61473207).
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
