SSVEP מבוסס נוהל ניסיון לאינטראקצית המוח-רובוט עם רובוטים דמויים אדם

סיכום

המטרה הכוללת של שיטה זו היא לבסס הליך ניסוי מבוסס SSVEP על ידי שילוב תוכנות מרובות כדי לאפשר מחקר של אינטראקציה בין מוח לרובוט עם רובוטים דמויי אדם, אשר הוא פרוספקטיבי בסיוע לחולים וקשישים כמו גם בביצוע עבודות לא סניטריות או מסוכנות.

תקציר

אינטראקציה בין מוח לרובוט (BRI), המספקת נתיב תקשורת חדשני בין אדם למכשיר רובוטי באמצעות אותות מוחיים, היא פרוספקטיבית בסיוע לנכים בחיי היומיום שלהם. המטרה הכוללת של השיטה שלנו היא לבסס הליך ניסוי מבוסס SSVEP על ידי שילוב תוכנות מרובות, כגון OpenViBE, כוריגרף ותוכנה מרכזית, כמו גם תוכנות שפותחו על ידי משתמשים שנכתבו ב-C++ ו-MATLAB, כדי לאפשר חקר אינטראקציה בין מוח לרובוט עם רובוטים דמויי אדם.

זה מושג על ידי הנחת אלקטרודות EEG על נבדק אנושי כדי למדוד את תגובות המוח באמצעות מערכת איסוף נתונים של EEG. ממשק משתמש משמש כדי לעורר תגובות SSVEP ולהצגת משוב וידאו בניסויי הבקרה בלולאה סגורה. השלב השני הוא להקליט את אותות ה-EEG של נבדקים בפעם הראשונה, לנתח את תכונות ה-SSVEP שלהם במצב לא מקוון ולהכשיר את המסווג עבור כל נבדק. לאחר מכן, מעבד האותות המקוון ובקר הרובוט מוגדרים לשליטה מקוונת ברובוט דמוי אדם. כשלב האחרון, הנבדק משלים שלושה ניסויי בקרה ספציפיים בלולאה סגורה בסביבות שונות כדי להעריך את ביצועי האינטראקציה בין מוח לרובוט.

היתרון של גישה זו הוא האמינות והגמישות שלה מכיוון שהיא מפותחת על ידי שילוב תוכנות מרובות. התוצאות מראות כי באמצעות גישה זו, הנבדק מסוגל לקיים אינטראקציה עם הרובוט דמוי האדם באמצעות אותות מוח. זה מאפשר לרובוט דמוי האדם הנשלט על ידי המוח לבצע משימות טיפוסיות הפופולריות במחקר רובוטי ועוזרות בסיוע לנכים.

מבוא

אינטראקציה המוח-רובוט (BRI), המספק מסלול תקשורת חדשני בין אדם ומכשיר רובוטי באמצעות אותות מוח, הוא פוטנציאלי בסיוע לנכים בחיי היומיום שלהם ^1,2. מגוון שיטות יכול לרכוש אותות מוח או פולשני או הלא פולשני, כגון electrocorticography (ECOG), גלי מוח (EEG), הדמיה בתהודה מגנטית תפקודית (fMRI), וכו 'השיטה לא פולשנית הנפוצה ביותר לבנייה מערכת BRI היא לרכוש אותות EEG מאלקטרודות המונחות על הקרקפת. שיטה זו היא זולה, קלה לשימוש, ומספקת פתרון זמני מקובל ^3. בין מגוון רחב של התקנים רובוטיים, רובוטים דמויי אדם הם מתקדמים כפי שהם נוצרו כדי לחקות כמה מאותן המשימות פיזיות ונפשיות שעוברים בני האדם מדי יום. BRI עם רובוט דמוי אדם ישחק תפקיד חשוב בסיוע לחולים וזקנים, כמו גם ביצוע עבודות היגייני או מסוכנות. אבל שליטהשל רובוט דמוי אדם באמצעות מערכת BRI הוא מאתגר מאוד, כמו הרובוט דמוי אדם עם תנועת גוף מלאה מפותח כדי לבצע משימות מורכבות כגון סיוע אישי ^{4, 5.}

מצב יציב חזותי פוטנציאלי (SSVEP) עורר הוא סוג של אות המוח שמעורר האפנון של גירוי חזותי בתדר נתון ^6. הוא מכיל sinusoids בתדרים הבסיסיים והרמוניים של הגירוי המרצד, ובאופן בולט מופיע ברחבי קליפת הראייה באזור העורפי של הקרקפת ^7. הסיבה לבחירת אותות SSVEP היא שמערכת BRI מבוססת SSVEP מניבה קצב העברת מידע גבוה יחסית ודורשת פחות אימונים ^8. סוגים אחרים של גלי המוח, כגון פוטנציאל הקשור לאירוע (ERPs) ⁹ או מנוע-תמונות (MI) פוטנציאלי ^10, יכולים גם להיות מוטבעים לתוך הליך ניסוי זה.

ההליך שלנו לאינטראקציה המוח-רובוט דמוי אדם עםרובוטים מבוסס על Cerebot - פלטפורמת רובוט דמוי אדם שבשליטת מוח - בהיקף של מערכת רכישת נתונים EEG ורובוט דמוי אדם ^11. מערכת ה- EEG היא מסוגלת להקליט, לפני תהליך ואותות ביו-פוטנציאל תצוגה נרכשו על ידי סוגים שונים של אלקטרודות. הוא מספק אנלוגי מרובה קלט / פלט ואני דיגיטלי / Os ומסוגל להקליט עד 128 ערוצים בו זמנית אות בקצב דגימה של 30 קילוהרץ עם רזולוציה של 16 סיביות. ערכות פיתוח תוכנה שלה בשפת C ++ וMATLAB הן קלים למשתמשים לעצב את הפרוצדורות. יש רובוט דמוי האדם 25 דרגות חופש, והוא מצויד בחיישנים מרובים, כולל 2 מצלמות, 4 מיקרופונים, 2 rangefinders סונאר, 2 IR קרינה ומקלטים, 1 לוח אינרציה, 9 חיישני מישוש, ו8 חיישני לחץ. הוא מספק Choregraphe ו- C ++ SDK ליצירה ועריכת תנועות והתנהגויות רובוט אינטראקטיביות.

המטרה הכוללת של שיטה זו היא להקים proce הניסיוני מבוסס SSVEPדורה על ידי שילוב תוכנות מרובות, כגון OpenViBE, Choregraph, תוכנה מרכזית כמו גם תוכניות משתמש פיתח נכתבו ב- C ++ וMATLAB, כדי לאפשר המחקר של אינטראקציה המוח-רובוט דמוי אדם עם רובוטים ^11. איור 1 מציג את מבנה המערכת. מחשב הגירוי הייעודי המצגת (SPC) מציג את ממשק המשתמש כדי לספק את הנושא עם גירויים חזותיים, הוראות ומשובים סביבתיים. המחשב הייעודי לעיבוד נתונים (DPC) מנהל את מקליט נתונים ומנתח נתונים מנותק בתהליך ההכשרה לא מקוון, ומפעיל את מעבד האותות באינטרנט ובקר הרובוט לשליטה באינטרנט של הרובוט דמוי האדם. בהשוואה למערכות בקרה מבוססת SSVEP אחרות, המערכת שלנו היא יותר אמינה, גמישה יותר, ובמיוחד יותר נוחה לשימוש חוזר ומשודרג כפי שפותח על ידי שילוב מספר חבילות תוכנה סטנדרטיות, כגון OpenViBE, Choregraph, תוכנה מרכזית, ו מודולים שנכתבו ב- C ++וMATLAB.

ההליך הבא היה נבדק ואושר על ידי ועדת אתיקה בבית חולים כלליים באוניברסיטה רפואית טיאנג'ין, וכל הנושאים נתנו סכמה בכתב.

פרוטוקול

1. רכישת אותות EEG

1. הסבר את ההליך ניסיוני לנושא ולקבל בכתב הסכמה מדעת להשתתפות בניסויים.
2. מדוד את היקף ראשו של הנושא באמצעות סרט מדידה ובחר את גודל כובע EEG שקרוב למדידה. אלקטרודות ההסדר מבוסס על "מערכת 10-20 הבינלאומית" ^12.
3. מדוד את המרחק בין nasion וinion. השתמש בעיפרון סמן עור לציון 10% מהמרחק כהתייחסות ליישור הכובע, ולסמן את נקודת האמצע של המרחק כקודקוד בקרקפתו של הנושא.
4. מניחים את כובע EEG על הנושא על ידי יישור סימן 10% עם נקודת האמצע של אלקטרודות FP1 וFP2. אלקטרודה עמדת Cz של הכובע על הקודקוד.
5. ודא שFz, Cz, PZ ועוז נמצא בקו האמצע של הראש, ושכל זוג אלקטרודות הממוקמים משני צדי קו האמצע נמצא בקו אופקי.
6. למרוח את האלקטרודות REF1 וREF2 עם ג'ל מוליך. הנח את האלקטרודות התייחסות בזיזים פטמתיים ימין ועל השמאל באמצעות קלטת רפואית. להדק את רצועת הסנטר.
7. מניחים מזרק שקצהו בוטה בבעלי אלקטרודה ולהזריק ג'ל מוליך לכל אלקטרודה לפי הסדר הבא: ראשון, את האלקטרודה "קרקע" על המצח והשני, אלקטרודות חמש השתמשו בניסוי, O2, O1, עוז, PZ , וCz.
8. להושיב את הנושא בכיסא 60 סנטימטרים נוחים מול צג גירוי. הדריכו את הנושא כדי לשמור עליו / עיניה באותה הרמה אופקית עם מרכז הצג.
9. חבר את חוטי אלקטרודה למערכת רכישת נתונים EEG. הגדר את קצב הדגימה לkHz 1.
10. בדוק את איכות אות EEG על DPC הייעודי. אם יש בעיה עם אלקטרודה מסוימת, ג'ל מחדש להזריק כדי להתאים את העכבה של הערוץ.
11. השתמש בSPC הייעודי להבהב ארבע תמונות רובוט בתדרים של 4.615, 12, 15 ו -20הרץ כמו גירויים חזותיים בממשק המשתמש, כפי שמוצג באיור 2.

2. תכונות SSVEP ניתוח מנותק

1. לנהל 32 ניסויים של ניסויי הכשרה מחובר לכל נושא ולהקליט אותות המוח שלהם שנרכשו ממערכת EEG לאורך כל התהליך הזה.
   הערה: תהליך זה מתבצע רק על ידי נושאים של הניסוי בפעם הראשונה להקמת וקטורי תכונת SSVEP ולהכשיר מסווג.
2. כאשר משפט מתחיל, בחר גירוי אחד כמטרה באופן אקראי ולהציג חץ צהוב מעליה.
3. 1 שניות מאוחר יותר, להבהב ארבעה גירויים חזותיים בתדרים שונים בממשק המשתמש עבור 5 שניות.
4. בקש הנושא להתמקד ביעד הגירוי שנבחר, תוך שמירה / תנועת גופתו למינימום.
5. אחרי כל משפט, לתת שניות הנושא 3 להירגע, ואז להתחיל את המשפט הבא.
6. כאשר כל הניסויים שתסיימו, לקרוא את הנתונים שנשמרו. לחלץ נתונים עידן 3-שניות להיות tween 2 שניות ו -5 שניות לאחר ההדק שבוחר גירוי כמטרה בכל ניסוי.
7. לחשב את צפיפות ספקטרום הכח (PSD) של תקופות נתונים באמצעות מנתח נתונים מנותק בתסריטי MATLAB. השתמש באלגוריתם העיבוד המתואר בפירוט להלן:
   1. לחשב את מקדמי ניתוח מתאם הקנוני (CCA) של נתוני ה- EEG רבי ערוצים עם נתונים התייחסות. המרכז לאמנות עכשווית היא שיטה סטטיסטית רבה משתנית משמשת לשתי קבוצות של נתונים כדי למצוא מתאם בסיסם ^13. בהתחשב המגזר -3 של X נתונים EEG רבי ערוצים ונתונים התייחסות Y באותו האורך, להשתמש המרכז לאמנות עכשווית כדי למצוא את וקטורי משקל, _{x ו- y} W W, על מנת למקסם את מקדם המתאם בין x = ρ X _x W ^T ו- ^T y = Y W _y. הגדר את נתוני ההתייחסות להיות אותות מחזוריים בתדרי גירוי מסוימים.
      /ftp_upload/53558/53558eq1.jpg "/>
      שבו ו _1, ו _2, ו _3, ו ₄ הם תדרי התכונה של ארבעה גירויים חזותיים.
   2. מרחבית לסנן את נתוני ה- EEG X רבי ערוצים באמצעות מקדמי המרכז לאמנות עכשווית מחושבים _x W להשיג x אחד-ממד מסונן נתונים, שבו יש מתאם הבולט ביותר עם ​​הצירוף ליניארי של נתונים ההתייחסות.
   3. לחשב את PSD של x נתונים המסוננים מרחבית באמצעות Fast Fourier Transform (FFT).
      
      כאשר N _FFT הוא גודל המדגם של x נתונים, וFFT (x, N _FFT) מחזיר את פורייה הבדידה הכדור ב N _FFT להפוך של x.
   4. לנרמל את PSD ביחס לערך הממוצע שלה בין 3 ל 30 הרץ.
      
      אֵיפֹה60; מציין הממוצע של כוח הספקטרום בין 3 ו30Hz.
8. לכייל את הפרמטרים סיווג לארבעה תדרי הגירוי. ראשית, לבחון את ספקטרום PSD המנורמל שמתאים ליעד הגירוי שלו, ולהגדיר את התדירות משרעת PSD החזק כמו תדירות התכונה ידנית. בהתבסס על תדירות התכונה, לחלק את נתוני PSD מנורמלים לשתי קבוצות: אחת הוא רכש כאשר הגירוי המתאים נבחר כמטרה, והשני הוא רכש כאשר גירויי היעד הלא נבחרים. לחשב את הערך הממוצע של כל קבוצת בהתאמה. לקבוע את הסף על ידי החציון של שני ערכים הממוצעים לסווג את היעד והיעד הלא קובע ^14.

3. עיבוד אותות מוח באינטרנט

1. פתח את מעבד האותות באינטרנט כפי שמוצג באיור 3, אשר פותח בased על סביבת OpenViBE ותסריטי MATLAB, על DPC לאותות מוח עיבוד מקוונים.
2. לחץ לחיצה כפולה על תיבת האיתותים לרכוש ותהליך, אשר מסומנת עם מחזור אדום באיור 3, כדי לפתוח את חלון הגדרת OpenViBE. להגדיר את הפרמטרים לסיווג הנושא:. להגדיר את קצב הדגימה כkHz 1, להגדיר את אורך הזמן לFFT כמו 3 שניות, ולהגדיר את תדרי התכונה בהתאם לתוצאות של ניתוח מצב לא מקוון, למשל, 4.667, 24, 15 ו -20 הרץ .
3. לחץ על הכפתור מתחיל לרוץ מעבד אותות באינטרנט, אשר מעבד את הנתונים בזמן אמת באמצעות האלגוריתם הבא בשלושה שלבים.
4. ראשית, האלגוריתם רוכש נתוני ה- EEG מערוצי עוז, O1, O2, PZ וCPZ של מערכת EEG כל 0.5s, ותמציות מגזר נתונים של -3 האחרונים לעיבוד מקוון.
5. שנית, האלגוריתם מעבד את קטע נתוני 3-שניות באמצעות האלגוריתמים מתוארים בשלב 2.7, ומחשבת את זמן אמת PSD לclassification.
6. שלישית, האלגוריתם מסווג את דפוסי גלי המוח על פי אמפליטודות PSD בארבעת תדרי תכונה. כאשר המשרעת של תדירות תכונה אחת היא מעל סף נתון, לסווג את הגירוי המהבהב בתדר המקביל כיעד SSVEP.

4. חיבור הרובוט הדמוי האדם

1. לחץ על לחצן החזה של הרובוט דמוי האדם ולחכות שזה להתחיל.
   הערה: תהליך זה אורך כ 1 דק 'ומסתיימת כאשר הרובוט אומר "OGNAK GNOUK" בעוד כפתור החזה שלה הופך להיות לבן.
2. ליצור חיבורה Wireless Fidelity (WiFi) לDPC ^15.
3. פתח לתכנת רובוט בקר ב- C ++ על תסריטים חזותיים DPC. בקר מקבל את תוצאות הסיווג ממעבד האותות באינטרנט באמצעות ממשק מציאות מדומה היקפי רשת (VRPN), מתרגם אותם לפקודות הרובוט, ושולט בהתנהגויות המקבילה humanoiרובוט ד באמצעות חיבור אלחוטי.
4. הגדר את בקר הרובוט על ידי הזנת כתובת ה- IP של הרובוט על פי חיבור WiFi שלה, מגדיר שלושה סטים של התנהגויות רובוט שיכול להיות בקלות החליף לבצע שלוש המשימות השונות, והגדרת פרמטרי הביצוע של התנהגויות אלו (לדוגמא., מהירות הליכה או מרחק) כדי להתאים את דרישת המשימה.
   הערה: פרטים נוספים של התנהגויות אלה מתוארים בצעדים 5.2.1, 5.3.1, ו5.4.1.
5. לחץ על כפתור Build של הפלטפורמה של Visual Studio כדי להפעיל את בקר הרובוט.
6. פתח את תכנית Choregraphe על SPC. לחץ על "התחבר ל" כפתור לצוץ יישומון חיבור. בחר את הרובוט להיות מבוקר על פי כתובת ה- IP שלו, ולחץ לחיצה כפולה על הסמל שלו להתחבר אליו.
7. פתח את צג וידאו מתפריט התצוגה בשורת תפריטי Choregraphe, ולהעביר את הצג לחלק הקדמי של ממשק המשתמש כדי להציג וידאו חי מהמצלמה משוב של הרובוט.

5. ביצוע ניסויי בקרת לולאה סגורה

1. בקש הנושא לבצע שלוש משימות שליטת לולאה סגורה ספציפיות בתוך סביבות שונות כדי להעריך את ביצועי האינטראקציה המוח-רובוט.
   הערה: משימות אלה, שהם חשובים ביישומים רובוטיים כי הם מועילים בסיוע לנכים וקשישים בחיי היומיום שלהם, צריכים להפעיל את רובוט התנהגויות שונות.
2. לנהל את משימת שליטת לולאה סגורה הראשונה לנוכחות מרחוק לשלוט הרובוט דמוי האדם באמצעות אותות מוח ללכת דרך מכשולים ולדחוף מתג אור להדליק את האור, כפי שמוצג באיור 4.
   1. כדי לבצע את המשימה הראשונה, לשלוט בהתנהגויות הרובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ודוחף את המתג באמצעות ידו הימנית.
      הערה: configuraתהליך tion מתואר בשלב 4.4.
   2. ליידע את הנושא במטרה המשימה וארבע התנהגויות להיות בשליטה.
   3. הפעל את בקר הרובוט כמו בשלבים 4.5-4.7, ולהתחיל את הניסוי. תן הנושא החופש לתפוס את הסביבה ולקבל החלטות על סמך משוב וידאו חי, וכדי להפעיל את התנהגויות הרובוט ידי בוהה בגירויים המקביל.
      הערה: אין הוראה או עזרה יש לתת לנושא, אלא אם כן במצבי חירום, למשל, הרובוט עומד להתנגש עם מכשול..
3. לנהל את המשימה השנייה לנוכחות מרחוק לשלוט הרובוט דמוי האדם באמצעות אותות מוח ללכת לכיוון המדרגות בעקבות שלט היציאה, כפי שמוצג באיור 5. כאשר התמודדות עם עוברים ושבים, לשאול את הנושא כדי לשלוט ברובוט לומר "סליחה" ולחכות ל עוברי אורח לתת דרך.
   1. לשלוט על התנהגויות רובוט המקודדות על ידי ארבעה גירויי SSVEP כ: הליכה קדימה continuously במהירות של 0.05 מ '/ שנייה, פונה שמאלה ברציפות במהירות של 0.1 rad / sec, פונה ימינה ברציפות במהירות של 0.1 rad / sec, ולעצור את כל התנהגויות ההליכה.
   2. לעבור בקר הרובוט לפונקצית שליטת היציבה תלויה ^16.
      הערה: כאשר הרובוט הולך, פונקציה זו משתמשת בגירוי הרביעי כפקודה לעצור את התנהגויות ההליכה; כאשר הרובוט לא הולך, הוא משתמש בגירוי הרביעי לשלוט הרובוט לומר "תסלח לי". הפונקציה מיושמת בתסריטי ++ C על ידי איתור מצב ההליכה של הרובוט.
   3. ליידע את הנושא במטרה המשימה וחמש התנהגויות להיות בשליטה.
   4. הפעל את בקר הרובוט ולהתחיל את הניסוי, כמתואר בשלב 5.2.3.
4. לנהל את המשימה השלישית לנוכחות מרחוק לשלוט הרובוט דמוי האדם ללכת לכיוון יעד בלון, להרים אותו, ולמסור אותו לכף ידו של הנושא, כפי שמוצג באיור 6.
   1. לשלוט על התנהגויות רובוט המקודדות על ידי ארבעה גירויי SSVEP כ: צעד קדימה עם מרחק קבוע של 0.15 מ ', פונה שמאלה עם רדיאן קבוע של 0.3 rad, פונה ימינה עם רדיאן קבוע של 0.3 rad, ולהרים חפצים.
   2. הפעל את פונקצית שליטת היציבה תלויה בבקר הרובוט לעשות שימוש חוזר בגירוי הרביעי בפיקודו של לשים את האובייקט כאשר הוא כבר הרים.
   3. ליידע את הנושא במטרה המשימה וחמש התנהגויות להיות בשליטה.
   4. הפעל את בקר הרובוט ולהתחיל את הניסוי, כמתואר בשלב 5.2.3.

תוצאות

התוצאות שהוצגו כאן התקבלו מנושא גברי שתקן ל-נורמלי גרסה. איור 7 מציג את ההליך של נתוני ה- EEG העיבוד, כולל חילוץ עידן רב ערוצי נתונים (איור 7 א), במרחב סינון נתונים באמצעות מקדמי המרכז לאמנות עכשווית (איור 7) , וחישוב PSD המנורמל (איור 7 ג).

איור 8 מראה את PSD המנו...

דיון

מאמר זה מציג הליך ניסיוני מבוסס SSVEP להקים מערכת האינטראקציה המוח-רובוט דמוי אדם עם רובוטים על ידי שילוב תוכנות מרובות. בגלל כוונה אנושית נתפסה על ידי פירוש אותות EEG בזמן אמת, זה קריטי כדי לאמת את קשרי אלקטרודה ואיכויות אות EEG לפני ביצוע הניסוי. אם אותות שנרכשו מכל האלקטרודות של איכויות ירודה, יש צורך לבדוק את הקשר של אלקטרודות הקרקע וההתייחסות ראשונה. אם יש בעיות עם חלקים של האלקטרודות, מחדש להזריק ג'ל מוליך כדי להתאים את העכבה של ערוצים אלה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה

שם	חברה	מספר קטלוג	הערות
Cerebus EEG Data Acquisition System	Blackrock Microsystems	4176-9967
NAO רובוט דמוי אדם	Aldebaran Robotics	H25
כובע EEG	Neuroscan	8732
Ten20 ג'ל מוליך	Weaver וחברה	10-20-8