Introduction
אינטראקציה המוח-רובוט (BRI), המספק מסלול תקשורת חדשני בין אדם ומכשיר רובוטי באמצעות אותות מוח, הוא פוטנציאלי בסיוע לנכים בחיי היומיום שלהם 1,2. מגוון שיטות יכול לרכוש אותות מוח או פולשני או הלא פולשני, כגון electrocorticography (ECOG), גלי מוח (EEG), הדמיה בתהודה מגנטית תפקודית (fMRI), וכו 'השיטה לא פולשנית הנפוצה ביותר לבנייה מערכת BRI היא לרכוש אותות EEG מאלקטרודות המונחות על הקרקפת. שיטה זו היא זולה, קלה לשימוש, ומספקת פתרון זמני מקובל 3. בין מגוון רחב של התקנים רובוטיים, רובוטים דמויי אדם הם מתקדמים כפי שהם נוצרו כדי לחקות כמה מאותן המשימות פיזיות ונפשיות שעוברים בני האדם מדי יום. BRI עם רובוט דמוי אדם ישחק תפקיד חשוב בסיוע לחולים וזקנים, כמו גם ביצוע עבודות היגייני או מסוכנות. אבל שליטהשל רובוט דמוי אדם באמצעות מערכת BRI הוא מאתגר מאוד, כמו הרובוט דמוי אדם עם תנועת גוף מלאה מפותח כדי לבצע משימות מורכבות כגון סיוע אישי 4, 5.
מצב יציב חזותי פוטנציאלי (SSVEP) עורר הוא סוג של אות המוח שמעורר האפנון של גירוי חזותי בתדר נתון 6. הוא מכיל sinusoids בתדרים הבסיסיים והרמוניים של הגירוי המרצד, ובאופן בולט מופיע ברחבי קליפת הראייה באזור העורפי של הקרקפת 7. הסיבה לבחירת אותות SSVEP היא שמערכת BRI מבוססת SSVEP מניבה קצב העברת מידע גבוה יחסית ודורשת פחות אימונים 8. סוגים אחרים של גלי המוח, כגון פוטנציאל הקשור לאירוע (ERPs) 9 או מנוע-תמונות (MI) פוטנציאלי 10, יכולים גם להיות מוטבעים לתוך הליך ניסוי זה.
ההליך שלנו לאינטראקציה המוח-רובוט דמוי אדם עםרובוטים מבוסס על Cerebot - פלטפורמת רובוט דמוי אדם שבשליטת מוח - בהיקף של מערכת רכישת נתונים EEG ורובוט דמוי אדם 11. מערכת ה- EEG היא מסוגלת להקליט, לפני תהליך ואותות ביו-פוטנציאל תצוגה נרכשו על ידי סוגים שונים של אלקטרודות. הוא מספק אנלוגי מרובה קלט / פלט ואני דיגיטלי / Os ומסוגל להקליט עד 128 ערוצים בו זמנית אות בקצב דגימה של 30 קילוהרץ עם רזולוציה של 16 סיביות. ערכות פיתוח תוכנה שלה בשפת C ++ וMATLAB הן קלים למשתמשים לעצב את הפרוצדורות. יש רובוט דמוי האדם 25 דרגות חופש, והוא מצויד בחיישנים מרובים, כולל 2 מצלמות, 4 מיקרופונים, 2 rangefinders סונאר, 2 IR קרינה ומקלטים, 1 לוח אינרציה, 9 חיישני מישוש, ו8 חיישני לחץ. הוא מספק Choregraphe ו- C ++ SDK ליצירה ועריכת תנועות והתנהגויות רובוט אינטראקטיביות.
המטרה הכוללת של שיטה זו היא להקים proce הניסיוני מבוסס SSVEPדורה על ידי שילוב תוכנות מרובות, כגון OpenViBE, Choregraph, תוכנה מרכזית כמו גם תוכניות משתמש פיתח נכתבו ב- C ++ וMATLAB, כדי לאפשר המחקר של אינטראקציה המוח-רובוט דמוי אדם עם רובוטים 11. איור 1 מציג את מבנה המערכת. מחשב הגירוי הייעודי המצגת (SPC) מציג את ממשק המשתמש כדי לספק את הנושא עם גירויים חזותיים, הוראות ומשובים סביבתיים. המחשב הייעודי לעיבוד נתונים (DPC) מנהל את מקליט נתונים ומנתח נתונים מנותק בתהליך ההכשרה לא מקוון, ומפעיל את מעבד האותות באינטרנט ובקר הרובוט לשליטה באינטרנט של הרובוט דמוי האדם. בהשוואה למערכות בקרה מבוססת SSVEP אחרות, המערכת שלנו היא יותר אמינה, גמישה יותר, ובמיוחד יותר נוחה לשימוש חוזר ומשודרג כפי שפותח על ידי שילוב מספר חבילות תוכנה סטנדרטיות, כגון OpenViBE, Choregraph, תוכנה מרכזית, ו מודולים שנכתבו ב- C ++וMATLAB.
ההליך הבא היה נבדק ואושר על ידי ועדת אתיקה בבית חולים כלליים באוניברסיטה רפואית טיאנג'ין, וכל הנושאים נתנו סכמה בכתב.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. רכישת אותות EEG
- הסבר את ההליך ניסיוני לנושא ולקבל בכתב הסכמה מדעת להשתתפות בניסויים.
- מדוד את היקף ראשו של הנושא באמצעות סרט מדידה ובחר את גודל כובע EEG שקרוב למדידה. אלקטרודות ההסדר מבוסס על "מערכת 10-20 הבינלאומית" 12.
- מדוד את המרחק בין nasion וinion. השתמש בעיפרון סמן עור לציון 10% מהמרחק כהתייחסות ליישור הכובע, ולסמן את נקודת האמצע של המרחק כקודקוד בקרקפתו של הנושא.
- מניחים את כובע EEG על הנושא על ידי יישור סימן 10% עם נקודת האמצע של אלקטרודות FP1 וFP2. אלקטרודה עמדת Cz של הכובע על הקודקוד.
- ודא שFz, Cz, PZ ועוז נמצא בקו האמצע של הראש, ושכל זוג אלקטרודות הממוקמים משני צדי קו האמצע נמצא בקו אופקי.
- למרוח את האלקטרודות REF1 וREF2 עם ג'ל מוליך. הנח את האלקטרודות התייחסות בזיזים פטמתיים ימין ועל השמאל באמצעות קלטת רפואית. להדק את רצועת הסנטר.
- מניחים מזרק שקצהו בוטה בבעלי אלקטרודה ולהזריק ג'ל מוליך לכל אלקטרודה לפי הסדר הבא: ראשון, את האלקטרודה "קרקע" על המצח והשני, אלקטרודות חמש השתמשו בניסוי, O2, O1, עוז, PZ , וCz.
- להושיב את הנושא בכיסא 60 סנטימטרים נוחים מול צג גירוי. הדריכו את הנושא כדי לשמור עליו / עיניה באותה הרמה אופקית עם מרכז הצג.
- חבר את חוטי אלקטרודה למערכת רכישת נתונים EEG. הגדר את קצב הדגימה לkHz 1.
- בדוק את איכות אות EEG על DPC הייעודי. אם יש בעיה עם אלקטרודה מסוימת, ג'ל מחדש להזריק כדי להתאים את העכבה של הערוץ.
- השתמש בSPC הייעודי להבהב ארבע תמונות רובוט בתדרים של 4.615, 12, 15 ו -20הרץ כמו גירויים חזותיים בממשק המשתמש, כפי שמוצג באיור 2.
2. תכונות SSVEP ניתוח מנותק
- לנהל 32 ניסויים של ניסויי הכשרה מחובר לכל נושא ולהקליט אותות המוח שלהם שנרכשו ממערכת EEG לאורך כל התהליך הזה.
הערה: תהליך זה מתבצע רק על ידי נושאים של הניסוי בפעם הראשונה להקמת וקטורי תכונת SSVEP ולהכשיר מסווג. - כאשר משפט מתחיל, בחר גירוי אחד כמטרה באופן אקראי ולהציג חץ צהוב מעליה.
- 1 שניות מאוחר יותר, להבהב ארבעה גירויים חזותיים בתדרים שונים בממשק המשתמש עבור 5 שניות.
- בקש הנושא להתמקד ביעד הגירוי שנבחר, תוך שמירה / תנועת גופתו למינימום.
- אחרי כל משפט, לתת שניות הנושא 3 להירגע, ואז להתחיל את המשפט הבא.
- כאשר כל הניסויים שתסיימו, לקרוא את הנתונים שנשמרו. לחלץ נתונים עידן 3-שניות להיות tween 2 שניות ו -5 שניות לאחר ההדק שבוחר גירוי כמטרה בכל ניסוי.
- לחשב את צפיפות ספקטרום הכח (PSD) של תקופות נתונים באמצעות מנתח נתונים מנותק בתסריטי MATLAB. השתמש באלגוריתם העיבוד המתואר בפירוט להלן:
- לחשב את מקדמי ניתוח מתאם הקנוני (CCA) של נתוני ה- EEG רבי ערוצים עם נתונים התייחסות. המרכז לאמנות עכשווית היא שיטה סטטיסטית רבה משתנית משמשת לשתי קבוצות של נתונים כדי למצוא מתאם בסיסם 13. בהתחשב המגזר -3 של X נתונים EEG רבי ערוצים ונתונים התייחסות Y באותו האורך, להשתמש המרכז לאמנות עכשווית כדי למצוא את וקטורי משקל, x ו- y W W, על מנת למקסם את מקדם המתאם בין x = ρ X x W T ו- T y = Y W y. הגדר את נתוני ההתייחסות להיות אותות מחזוריים בתדרי גירוי מסוימים.
/ftp_upload/53558/53558eq1.jpg "/>
שבו ו 1, ו 2, ו 3, ו 4 הם תדרי התכונה של ארבעה גירויים חזותיים. - מרחבית לסנן את נתוני ה- EEG X רבי ערוצים באמצעות מקדמי המרכז לאמנות עכשווית מחושבים x W להשיג x אחד-ממד מסונן נתונים, שבו יש מתאם הבולט ביותר עם הצירוף ליניארי של נתונים ההתייחסות.
- לחשב את PSD של x נתונים המסוננים מרחבית באמצעות Fast Fourier Transform (FFT).
כאשר N FFT הוא גודל המדגם של x נתונים, וFFT (x, N FFT) מחזיר את פורייה הבדידה הכדור ב N FFT להפוך של x. - לנרמל את PSD ביחס לערך הממוצע שלה בין 3 ל 30 הרץ.
אֵיפֹה60;
מציין הממוצע של כוח הספקטרום בין 3 ו30Hz.
- לחשב את מקדמי ניתוח מתאם הקנוני (CCA) של נתוני ה- EEG רבי ערוצים עם נתונים התייחסות. המרכז לאמנות עכשווית היא שיטה סטטיסטית רבה משתנית משמשת לשתי קבוצות של נתונים כדי למצוא מתאם בסיסם 13. בהתחשב המגזר -3 של X נתונים EEG רבי ערוצים ונתונים התייחסות Y באותו האורך, להשתמש המרכז לאמנות עכשווית כדי למצוא את וקטורי משקל, x ו- y W W, על מנת למקסם את מקדם המתאם בין x = ρ X x W T ו- T y = Y W y. הגדר את נתוני ההתייחסות להיות אותות מחזוריים בתדרי גירוי מסוימים.
- לכייל את הפרמטרים סיווג לארבעה תדרי הגירוי. ראשית, לבחון את ספקטרום PSD המנורמל שמתאים ליעד הגירוי שלו, ולהגדיר את התדירות משרעת PSD החזק כמו תדירות התכונה ידנית. בהתבסס על תדירות התכונה, לחלק את נתוני PSD מנורמלים לשתי קבוצות: אחת הוא רכש כאשר הגירוי המתאים נבחר כמטרה, והשני הוא רכש כאשר גירויי היעד הלא נבחרים. לחשב את הערך הממוצע של כל קבוצת בהתאמה. לקבוע את הסף על ידי החציון של שני ערכים הממוצעים לסווג את היעד והיעד הלא קובע 14.
מציין הממוצע של כוח הספקטרום בין 3 ו30Hz. 3. עיבוד אותות מוח באינטרנט
- פתח את מעבד האותות באינטרנט כפי שמוצג באיור 3, אשר פותח בased על סביבת OpenViBE ותסריטי MATLAB, על DPC לאותות מוח עיבוד מקוונים.
- לחץ לחיצה כפולה על תיבת האיתותים לרכוש ותהליך, אשר מסומנת עם מחזור אדום באיור 3, כדי לפתוח את חלון הגדרת OpenViBE. להגדיר את הפרמטרים לסיווג הנושא:. להגדיר את קצב הדגימה כkHz 1, להגדיר את אורך הזמן לFFT כמו 3 שניות, ולהגדיר את תדרי התכונה בהתאם לתוצאות של ניתוח מצב לא מקוון, למשל, 4.667, 24, 15 ו -20 הרץ .
- לחץ על הכפתור מתחיל לרוץ מעבד אותות באינטרנט, אשר מעבד את הנתונים בזמן אמת באמצעות האלגוריתם הבא בשלושה שלבים.
- ראשית, האלגוריתם רוכש נתוני ה- EEG מערוצי עוז, O1, O2, PZ וCPZ של מערכת EEG כל 0.5s, ותמציות מגזר נתונים של -3 האחרונים לעיבוד מקוון.
- שנית, האלגוריתם מעבד את קטע נתוני 3-שניות באמצעות האלגוריתמים מתוארים בשלב 2.7, ומחשבת את זמן אמת PSD לclassification.
- שלישית, האלגוריתם מסווג את דפוסי גלי המוח על פי אמפליטודות PSD בארבעת תדרי תכונה. כאשר המשרעת של תדירות תכונה אחת היא מעל סף נתון, לסווג את הגירוי המהבהב בתדר המקביל כיעד SSVEP.
4. חיבור הרובוט הדמוי האדם
- לחץ על לחצן החזה של הרובוט דמוי האדם ולחכות שזה להתחיל.
הערה: תהליך זה אורך כ 1 דק 'ומסתיימת כאשר הרובוט אומר "OGNAK GNOUK" בעוד כפתור החזה שלה הופך להיות לבן. - ליצור חיבורה Wireless Fidelity (WiFi) לDPC 15.
- פתח לתכנת רובוט בקר ב- C ++ על תסריטים חזותיים DPC. בקר מקבל את תוצאות הסיווג ממעבד האותות באינטרנט באמצעות ממשק מציאות מדומה היקפי רשת (VRPN), מתרגם אותם לפקודות הרובוט, ושולט בהתנהגויות המקבילה humanoiרובוט ד באמצעות חיבור אלחוטי.
- הגדר את בקר הרובוט על ידי הזנת כתובת ה- IP של הרובוט על פי חיבור WiFi שלה, מגדיר שלושה סטים של התנהגויות רובוט שיכול להיות בקלות החליף לבצע שלוש המשימות השונות, והגדרת פרמטרי הביצוע של התנהגויות אלו (לדוגמא., מהירות הליכה או מרחק) כדי להתאים את דרישת המשימה.
הערה: פרטים נוספים של התנהגויות אלה מתוארים בצעדים 5.2.1, 5.3.1, ו5.4.1. - לחץ על כפתור Build של הפלטפורמה של Visual Studio כדי להפעיל את בקר הרובוט.
- פתח את תכנית Choregraphe על SPC. לחץ על "התחבר ל" כפתור לצוץ יישומון חיבור. בחר את הרובוט להיות מבוקר על פי כתובת ה- IP שלו, ולחץ לחיצה כפולה על הסמל שלו להתחבר אליו.
- פתח את צג וידאו מתפריט התצוגה בשורת תפריטי Choregraphe, ולהעביר את הצג לחלק הקדמי של ממשק המשתמש כדי להציג וידאו חי מהמצלמה משוב של הרובוט.
- בקש הנושא לבצע שלוש משימות שליטת לולאה סגורה ספציפיות בתוך סביבות שונות כדי להעריך את ביצועי האינטראקציה המוח-רובוט.
הערה: משימות אלה, שהם חשובים ביישומים רובוטיים כי הם מועילים בסיוע לנכים וקשישים בחיי היומיום שלהם, צריכים להפעיל את רובוט התנהגויות שונות. - לנהל את משימת שליטת לולאה סגורה הראשונה לנוכחות מרחוק לשלוט הרובוט דמוי האדם באמצעות אותות מוח ללכת דרך מכשולים ולדחוף מתג אור להדליק את האור, כפי שמוצג באיור 4.
- כדי לבצע את המשימה הראשונה, לשלוט בהתנהגויות הרובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ודוחף את המתג באמצעות ידו הימנית.
הערה: configuraתהליך tion מתואר בשלב 4.4. - ליידע את הנושא במטרה המשימה וארבע התנהגויות להיות בשליטה.
- הפעל את בקר הרובוט כמו בשלבים 4.5-4.7, ולהתחיל את הניסוי. תן הנושא החופש לתפוס את הסביבה ולקבל החלטות על סמך משוב וידאו חי, וכדי להפעיל את התנהגויות הרובוט ידי בוהה בגירויים המקביל.
הערה: אין הוראה או עזרה יש לתת לנושא, אלא אם כן במצבי חירום, למשל, הרובוט עומד להתנגש עם מכשול..
- כדי לבצע את המשימה הראשונה, לשלוט בהתנהגויות הרובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ודוחף את המתג באמצעות ידו הימנית.
- לנהל את המשימה השנייה לנוכחות מרחוק לשלוט הרובוט דמוי האדם באמצעות אותות מוח ללכת לכיוון המדרגות בעקבות שלט היציאה, כפי שמוצג באיור 5. כאשר התמודדות עם עוברים ושבים, לשאול את הנושא כדי לשלוט ברובוט לומר "סליחה" ולחכות ל עוברי אורח לתת דרך.
- לשלוט על התנהגויות רובוט המקודדות על ידי ארבעה גירויי SSVEP כ: הליכה קדימה continuously במהירות של 0.05 מ '/ שנייה, פונה שמאלה ברציפות במהירות של 0.1 rad / sec, פונה ימינה ברציפות במהירות של 0.1 rad / sec, ולעצור את כל התנהגויות ההליכה.
- לעבור בקר הרובוט לפונקצית שליטת היציבה תלויה 16.
הערה: כאשר הרובוט הולך, פונקציה זו משתמשת בגירוי הרביעי כפקודה לעצור את התנהגויות ההליכה; כאשר הרובוט לא הולך, הוא משתמש בגירוי הרביעי לשלוט הרובוט לומר "תסלח לי". הפונקציה מיושמת בתסריטי ++ C על ידי איתור מצב ההליכה של הרובוט. - ליידע את הנושא במטרה המשימה וחמש התנהגויות להיות בשליטה.
- הפעל את בקר הרובוט ולהתחיל את הניסוי, כמתואר בשלב 5.2.3.
- לנהל את המשימה השלישית לנוכחות מרחוק לשלוט הרובוט דמוי האדם ללכת לכיוון יעד בלון, להרים אותו, ולמסור אותו לכף ידו של הנושא, כפי שמוצג באיור 6.
- לשלוט על התנהגויות רובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ולהרים חפצים.
- הפעל את פונקצית שליטת היציבה תלויה בבקר הרובוט לעשות שימוש חוזר בגירוי הרביעי בפיקודו של לשים את האובייקט כאשר הוא כבר הרים.
- ליידע את הנושא במטרה המשימה וחמש התנהגויות להיות בשליטה.
- הפעל את בקר הרובוט ולהתחיל את הניסוי, כמתואר בשלב 5.2.3.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
התוצאות שהוצגו כאן התקבלו מנושא גברי שתקן ל-נורמלי גרסה. איור 7 מציג את ההליך של נתוני ה- EEG העיבוד, כולל חילוץ עידן רב ערוצי נתונים (איור 7 א), במרחב סינון נתונים באמצעות מקדמי המרכז לאמנות עכשווית (איור 7) , וחישוב PSD המנורמל (איור 7 ג).
איור 8 מראה את PSD המנורמל שהושג באמצעות ניסויים בודדים שבי הנושא בהה ביעדים המהבהבים בתדרים שונים. השיא הבולט מופיע בתדירות הבסיסית או הרמונית של הגירוי המרצד. מערכת BRI מפות דפוסים של תגובות SSVEP אלה לפקודות לשליטה של התנהגויות רובוט שונות.
איורים 4-6 להראות המשך שלוש לולאה סגורהמשימות רול מבוצעות על מנת להעריך את ביצועי האינטראקציה המוח-רובוט. משימות אלה הן פופולריות במחקר רובוטית ומועילים בסיוע לנכים וקשישים בחיי היומיום שלהם. איור 4 מראה את ניסוי שליטת נוכחות מרחוק של הליכה דרך מכשולים ודוחפים מתג כדי להפעיל את האור באמצעות גלי המוח. איור 5 מראה את שליטת הנוכחות מרחוק ניסוי של ללכת לכיוון המדרגות המקרה הבא סימן היציאה. איור 6 מציג את ניסוי שליטת נוכחות מרחוק להרים בלון ומסירתו לכף ידו של הנושא.
איור 1. מבנה מערכת לאינטראקצית המוח-רובוט עם רובוט דמוי אדם. אותות המוח נמדדים באמצעות מערכת רכישת נתונים EEG. ממשק המשתמש מעורר תגובות SSVEP ומציג לחיות משוב וידאו ב ניסויי שליטת לולאה סגורה. לנושאים בפעם הראשונה, מקליט נתונים ומנתח נתונים מנותק משמשים בתהליך ההכשרה מחובר לנתח SSVEP כולל מחובר ולאמן את מסווג לכל נושא. אז מעבד אותות באינטרנט ובקר הרובוט מוגדרים לשליטה באינטרנט של רובוט דמוי אדם. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
ממשק משתמש איור 2. למערכת BRI מבוססת SSVEP. מציג ממשק המשתמש לחיות משוב וידאו בחלון האמצעי ומהבהב ארבע תמונות בפריפריה המייצגת התנהגויות רובוט דמויות אדם בארבעה תדרים. ייצוג 3D בפנל הימני מציין את היציבה הנוכחית של הרובוט דמוי האדם. "Target =" _ /www.jove.com/files/ftp_upload/53558/53558fig2large.jpg blank "> לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
3. מעבדים אותות מקוונים איור מיושם בסביבת תכנות OpenViBE. אותות לרכוש ותהליך התיבה המסומן באדום המחזור מפעילה את אלגוריתם העיבוד נכתב בתסריטי MATLAB. מתחילה לחצן בלוח התפריט מתחיל את התכנית. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
איור 4. ניסוי Telepresence בקרה של הליכה דרך מכשולים ודוחפים מתג אור.es / ftp_upload / 53,558 53558fig4large.jpg "target =" / _ blank "> לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
איור 5. ניסוי Telepresence בקרה של הליכה לקראת המדרגות בעקבות שלט היציאה. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
איור 6. ניסוי Telepresence בקרה של אספקת בלון לנושא. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
איור 7. נוהל של עיבוד רב-ערוצי EEG נתונים () עידן רב-ערוצי נתונים שחולץ מהמשפט שבו הנושא הוא בוהה בגירוי ב4.615 הרץ.; (ב) נתונים מסוננים מרחבית באמצעות מקדמי המרכז לאמנות עכשווית; PSD מנורמל של נתונים המסוננים מרחבית (C). אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
8. PSD מנורמל איור שהושג בניסויים יחיד שבו הנושא בוהה בגירויים הבהבו בתדרים שונים. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
מאמר זה מציג הליך ניסיוני מבוסס SSVEP להקים מערכת האינטראקציה המוח-רובוט דמוי אדם עם רובוטים על ידי שילוב תוכנות מרובות. בגלל כוונה אנושית נתפסה על ידי פירוש אותות EEG בזמן אמת, זה קריטי כדי לאמת את קשרי אלקטרודה ואיכויות אות EEG לפני ביצוע הניסוי. אם אותות שנרכשו מכל האלקטרודות של איכויות ירודה, יש צורך לבדוק את הקשר של אלקטרודות הקרקע וההתייחסות ראשונה. אם יש בעיות עם חלקים של האלקטרודות, מחדש להזריק ג'ל מוליך כדי להתאים את העכבה של ערוצים אלה.
עוד בעיה נפוצה בעת רכישת אותות EEG היא ההפרעה של חפצים ורעשי 17. כאות EEG יש אות קטנה יחס רעש (SNR), חפץ ורעש יכול שינויים בקלות מעורפלים בPSD של תגובות SSVEP. חשוב לשמור על מגבר האות של מערכת EEG מpowאספקה אה ומקורות רעש אחרים. במהלך הניסוי, כהרף עין ותנועת גוף צריך להישמר עד למינימום כדי להפחית חפצים. על מנת לשפר את החוסן נגד הפרעות כגון נוסף, השיטה שלנו מנצלת טכניקה מבוססת מרכז לאמנות עכשווית לפרש נתונים EEG רבי ערוצים. התוצאות מראות כי טכניקה זו היא אפקטיבית בחילוץ תכונות מאותות EEG המכילים רעשים וחפצים.
כדי להתחיל משימה חדשה של שליטה בלולאה הסגורה של רובוטים דמויי אדם, אנחנו צריכים להגדיר באופן ידני את ההגדרה ופרמטר של כל התנהגות רובוט שיתאימו לדרישת המשימה החדשה. זאת בשל המספר המוגבל של פקודות שליטה זמינות במערכת BRI הנוכחית, ובכך ניתן לשפר על ידי לעורר יותר סוגים של דפוסי גלי המוח. הוואנג et al. 18 הציע שיטת גירוי כפולה תדירות להפקת גירויים חזותיים יותר. וואנג ואח '. 19, אליסון et al. 20, פאן et al. 21, ולי <em> et al. 22 הציעו כמה שיטות היברידיות לשלב המודל מבוסס SSVEP עם דפוסי גלי המוח אחרים, כוללים ERPs ואמ"ן. זה גם אפשרי לאמץ מיתוג טכניקות המבוססות על למידת מכונה או ארכיטקטורה היררכית כדי לשלוט בתנועת גוף מלאה של הרובוט דמוי האדם באמצעות דפוסי גלי המוח מוגבלים 23.
בהתחשב בתדרים המהבהבים הזמינים של צג LCD 24 וההשפעה בין רכיבים הרמוניים של SSVEPs 25, שסרקנו את כל התדרים המהבהבים האפשריים 1-60 הרץ ומצא באמצעות ארבעה התדרים, כלומר., 4.615, 12, 15, ו -20 הרץ, צפוי הבחירה הטובה ביותר כפי שהם השיגו את שיעור הדיוק הממוצע הגבוה ביותר לנושאים שלנו. לכן, השתמשנו ארבעה גירויים בממשק כדי לשלוט על התנהגויות דמויות אדם רובוט, כוללים הליכה קדימה, פונה שמאלה, פונים ימינה, והפסקת הליכה / דוחף את המתג / להרים חפצים, שהם אפשריים enough לשלוט רובוט דמוי אדם כדי להשיג את המשימות שהוצגו בכתב היד הזה.
היתרונות של מערכת BRI הם האמינות והגמישות שלה כפי שהיא פותחה על ידי שילוב תוכנות מרובות, כגון OpenViBE, Choregraph, תוכנה מרכזית ותוכניות משתמש שפותח ב- C ++ וMATLAB. זה יעיל ואמין לעיצוב הפרוצדורות שונות באמצעות התוכנה הסטנדרטית. המערכת שלנו היא כלי רב עוצמה כדי לחקור אלגוריתמים וטכניקות חדשים לאינטראקציה המוח-רובוט עם רובוט דמוי אדם. ניתן לשדרג אותו בקלות לחקור יישומי BRI בסיוע למשרות היגייני או מסוכנות החולה וקשישים, וביצוע.
Subscription Required. Please recommend JoVE to your librarian.
Acknowledgments
המחברים מבקשים להביע את תודתם למר הונג הו לעזרתו בביצוע הניסויים דיווחו במאמר זה. עבודה זו נתמכה בחלקו על ידי טבע הקרן הלאומית למדע של סין (מס '61,473,207).
Materials
| Name | Company | Catalog Number | Comments |
| Cerebus EEG Data Acquisition System | Blackrock Microsystems | 4176-9967 | |
| NAO humanoid robot | Aldebaran Robotics | H25 | |
| EEG cap | Neuroscan | 8732 | |
| Ten20 Conductive gel | Weaver and company | 10-20-8 |
References
- McFarland, D. J., Wolpaw, J. R. Brain-Computer Interface Operation of Robotic and Prosthetic Devices. Computer. 41, 52-56 (2008).
- Lebedev, M. A., Nicolelis, M. A. Brain-machine interfaces: Past, present and future. Trends Neruosci. 29 (9), 536-546 (2006).
- Wolpaw, J. R., Birbaumer, N., McFarland, D. J., Pfurtscheller, G., Vaughan, T. M. Brain-computer interfaces for communication and control. Clin. Neurophysiol. 113, 767-791 (2002).
- Bell, C. J., Shenoy, P., Chalodhorn, R., Rao, R. P. Control of a humanoid robot by a noninvasive brain-computer interface in humans. J. Neural. Eng. 5, 214-220 (2008).
- Li, W., Li, M., Zhao, J. Control of humanoid robot via motion-onset visual evoked potentials. Front. Syst. Neurosci. 8, 247 (2014).
- Regan, D. Some characteristics of average steady-state and transient responses evoked by modulated light. Electroencephalogr. Clin. Neurophysiol. 20, 238-248 (1966).
- Vialatte, F. B., Maurice, M., Dauwels, J., Cichocki, A. Steady-state visually evoked potentials: focus on essential paradigms and future perspectives. Prog. Neurobiol. 90, 418-438 (2010).
- Bin, G., Gao, X., Wang, Y., Li, Y., Hong, B., Gao, S. A high-speed BCI based on code modulation VEP. J. Neural. Eng. 8, 025015 (2011).
- Sutton, S., Braren, M., Zubin, J., John, E. R. Evoked-potential correlates of stimulus uncertainty. Science. 150, 1187-1188 (1965).
- Pfurtscheller, G., Lopes da Silva, H. F. Event-related EEG/MEG synchronization and desynchronization: basic principles. Clin. Neurophysiol. 110, 1842-1857 (1999).
- Zhao, J., Meng, Q., Li, W., Li, M., Sun, F., Chen, G. OpenViBE-based brainwave control system for Cerebot. Proc. IEEE International Conference on Robotics and Biomimetics. , 1169-1174 (2013).
- Homan, R. W., Herman, J., Purdy, P. Cerebral location of international 10-20 system electrode placement. Electroencephalogr. Clin. Neurophysiol. 66, 376-382 (1987).
- Bin, G., Gao, X., Yan, Z., Hong, B., Gao, S. An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method. J. Neural. Eng. 6, 046002 (2009).
- Wang, Y., Wang, R., Gao, X., Hong, B., Gao, S. A practical VEP-based brain-computer interface. IEEE Trans. Neural Syst. Rehabil. Eng. 14, 234-239 (2006).
- Setting NAO's WiFi connection - Aldebaran 2.1.3.3 documentation [Internet]. , Aldebaran Robotics Co. Available from: http://doc.aldebaran.com/2-1/nao/nao-connecting.html (2015).
- Chae, Y., Jeong, J., Jo, S. Toward brain-actuated humanoid robots: asynchronous direct control using an EEG-based BCI. IEEE T. Robot. 28, 1131-1144 (2012).
- Croft, R. J., Barry, R. J. Removal of ocular artifact from the EEG: a review. Neurophysiol. Clin. 30, 5-19 (2000).
- Hwang, H. J., Hwan Kim, D., Han, C. H., Im, C. H. A new dual-frequency stimulation method to increase the number of visual stimuli for multi-class SSVEP-based brain-computer interface (BCI). Brain Res. 1515, 66-77 (2013).
- Wang, M., Daly, I., Allison, B., Jin, J., Zhang, Y., Chen, L., Wang, X. A new hybrid BCI paradigm based on P300 and SSVEP. J Neurosci Methods. 244, 16-25 (2015).
- Allison, B. Z., Jin, J., Zhang, Y., Wang, X. A four-choice hybrid P300 SSVEP BCI for improved accuracy. Brain-Computer Interfaces. 1, 17-26 (2014).
- Pan, J. H., Xie, Q., Herman, Y., Wang, F., Di, H., Laureys, S., Yu, R., Li, Y. Detecting awareness in patients with disorders of consciousness using a hybrid brain-computer interface. J. Neural. Eng. 11, 056007 (2014).
- Li, J., Ji, H., Cao, L., Zhang, D., Gu, R., Xia, B., Wu, Q. Evaluation and application of a hybrid brain computer interface for real wheelchair parallel control with multi-degree of freedom. Int J Neural Syst. 24, 1450014-14 (2014).
- Zhao, J., Meng, Q., Li, W., Li, M., Chen, G. SSVEP-based hierarchical architecture for control of a humanoid robot with mind. Proc. 11th World Congress on Intelligent Control and Automation. , 2401-2406 (2014).
- Zhu, D., Bieger, J., Molina, G. G., Aarts, R. M. A survey of stimulation methods used in SSVEP-based BCIs. Comput Intell Neurosci. 2010, 1-12 (2010).
- Muller-Putz, G. R., Scherer, R., Brauneis, C., Pfurtscheller, G. Steady-state visual evoked potential (SSVEP)-based communication: impact of harmonic frequency components. J Neural Eng. 2, 123-130 (2005).
