מאמר שיטה

ביצועי דימויים מוטוריים באמצעות תאומים דיגיטליים מגולמים בסביבת ממשק מוח-מחשב התומכת במציאות מדומה

DOI:

10.3791/66859

⸱

10 במאי 2024

 ,  ,  ,  ,  ,  ,  , 
1Department of Sensors and Biomedical Tech, School of Electronics Engineering, Vellore Institute of Technology, 2Department of Orthopaedic Surgery, University of Arizona, 3Jindal Institute of Behavioural Sciences, O. P. Jindal Global University, 4Soft Tissue Biomechanics Laboratory, Med-X Research Institute, School of Biomedical Engineering, Shanghai Jiao Tong University, 5Department of Occupational Science & Technology, University of Wisconsin-Milwaukee, 6Electrical Engineering, Collège Ahuntsic, 7Department of Mechanical Engineering, BioRobotics Lab, University of Wisconsin-Milwaukee

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

לדימוי מוטורי בסביבת מציאות מדומה יש יישומים רחבים במערכות ממשק מוח-מחשב. כתב יד זה מתאר את השימוש באווטארים דיגיטליים מותאמים אישית הדומים למשתתפים המבצעים תנועות שדמיין המשתתף בסביבת מציאות מדומה כדי לשפר את הטבילה ואת תחושת הבעלות על הגוף.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה מציג מסגרת חדשנית לשיקום נוירולוגי על ידי שילוב ממשקי מוח-מחשב (BCI) וטכנולוגיות מציאות מדומה (VR) עם התאמה אישית של אווטארים תלת-ממדיים (3D). גישות מסורתיות לשיקום לעתים קרובות אינן מצליחות לערב את המטופלים באופן מלא, בעיקר בשל חוסר יכולתם לספק חוויה סוחפת ואינטראקטיבית עמוקה. מחקר זה מנסה למלא את הפער הזה על ידי שימוש בטכניקות של דימוי מוטורי (MI), שבהן המשתתפים מדמיינים תנועות פיזיות ללא ביצוע בפועל. שיטה זו מנצלת את המנגנונים העצביים של המוח, מפעילה אזורים המעורבים בביצוע תנועה בעת דמיון תנועות, ובכך מקלה על תהליך ההתאוששות. השילוב של היכולות הסוחפות של VR עם הדיוק של אלקטרואנצפלוגרפיה (EEG) כדי ללכוד ולפרש פעילות מוחית הקשורה לתנועות מדומיינות יוצר את הליבה של מערכת זו. תאומים דיגיטליים בצורה של אווטארים תלת ממדיים מותאמים אישית משמשים כדי לשפר באופן משמעותי את תחושת הטבילה בסביבה הווירטואלית. תחושת התגלמות מוגברת זו חיונית לשיקום יעיל, במטרה לחזק את הקשר בין המטופל לעמיתו הווירטואלי. בכך, המערכת לא רק שואפת לשפר את ביצועי הדמיון המוטורי, אלא גם מבקשת לספק חוויית שיקום מרתקת ויעילה יותר. באמצעות יישום בזמן אמת של ממשק מוח-מחשב, המערכת מאפשרת תרגום ישיר של תנועות מדומיינות לפעולות וירטואליות המבוצעות על ידי האווטאר התלת-ממדי, ומציעה משוב מיידי למשתמש. לולאת משוב זו חיונית לחיזוק המסלולים העצביים המעורבים בשליטה מוטורית ובהתאוששות. המטרה הסופית של המערכת שפותחה היא לשפר באופן משמעותי את האפקטיביות של תרגילי הדמיון המוטורי על ידי הפיכתם לאינטראקטיביים יותר ומגיבים יותר לתהליכים הקוגנטיבים של המשתמש, ובכך לסלול דרך חדשה בתחום השיקום הנוירולוגי.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פרדיגמות שיקום עבור חולים עם ליקויים נוירולוגיים עוברות שינוי טרנספורמטיבי עם שילוב של טכנולוגיות מתקדמות כגון ממשקי מוח-מחשב (BCI) ומציאות מדומה אימרסיבית (VR), המציעות שיטה מורכבת ויעילה יותר לטיפוח החלמה. דימוי מוטורי (MI), הטכניקה העומדת בלב שיקום מבוסס ממשק מוח-מחשב, כוללת חזרה מנטלית של תנועות פיזיות ללא ביצוע מוטורי ממשי1. MI מנצל מנגנון עצבי שבו דמיון תנועה מעורר דפוס של פעילות מוחית הדומה מאוד לזה של ביצוע הפעולה הפיזית עצמה 2,3,4. באופן ספציפי, עיסוק ב-MI מוביל לתופעה הידועה בשם דה-סנכרון הקשור לאירועים (ERD) בתדרי אלפא (8-13 הרץ) ובטא (13-25 הרץ) של הפעילות החשמלית של המוח 5,6,7. ERD מעיד על דיכוי מקצבי המוח הבסיסיים, דפוס שנצפה גם במהלך תנועה בפועל, ובכך מספק מצע עצבי לשימוש ב-MI בתוך מסגרות שיקום בסיוע BCI7. דמיון כזה בהפעלת קליפת המוח בין MI לבין תנועה פיזית מצביע על כך ש- MI יכול לעורר ביעילות את הרשתות העצביות המעורבות בשליטה מוטורית, מה שהופך אותו לכלי רב ערך עבור חולים עם ליקויים מוטוריים8. יתר על כן, התרגול של MI הורחב מעבר לחזרה מנטלית גרידא כדי לכלול אסטרטגיות תצפית פעולה9. התבוננות בתנועה של חלקי גוף הקשורים למשימה או פעולות באחרים יכולה להפעיל את רשת נוירוני המראה (MNN), קבוצה של נוירונים המגיבים הן לתצפית פעולה והן לביצוע9. הפעלת MNN באמצעות תצפית הוכחה כגורמת לפלסטיות קליפת המוח, כפי שמעידות שיטות דימות מוחי שונות, כולל MRI10 תפקודי, טומוגרפיה של פליטת פוזיטרונים11 וגירוי מגנטי טרנס-גולגולתי12. הראיות תומכות ברעיון כי אימון MI, משופר על ידי תצפית פעולה, יכול להוביל להסתגלות עצבית משמעותית והתאוששות אצל אנשים מושפעים.

טכנולוגיית המציאות המדומה חוללה מהפכה בתחום השיקום מבוסס MI בכך שהיא מציעה סביבה סוחפת המגבירה את תחושת הבעלות על הגוף ומטשטשת את ההבדלים בין העולם האמיתי לעולם הווירטואלי 13,14,15. האיכות הסוחפת של VR הופכת אותו לכלי יעיל לתצפית פעולה ולתרגול דימויים מוטוריים, מכיוון שהוא מאפשר למשתתפים לתפוס את הסביבה הווירטואלית כאמיתית15. מחקרים הראו כי למכשירי VR יש השפעה בולטת יותר על אימוני MI בהשוואה לצגי 2D מסורתיים15,16. ממצאים כאלה מעידים על פעילות עצבית מוגברת, כגון יחסי משרעת ERD מוגברת בקליפת המוח התחושתית-מוטורית, המדגישים את היתרונות של רמות טבילה גבוהות יותר בגירוי פעילות המוח במהלך תרגילי MI מונחי ראייה16. המערכת מסייעת בשיפור ביצועי MI במשימות הכרוכות בתנועות ידיים או גפיים על ידי מתן משוב ישיר, ובכך משפרת את תהליך השיקום16,17. הסינרגיה בין MI ו- VR שמה דגש על שילוב פעילויות חושיות, תפיסתיות, קוגניטיביות ומוטוריות18,19. השילוב הועיל במיוחד לניצולי שבץ מוחיבני 20,21 ולותיקי מלחמהבני 22, שכן מחקרים הראו כי שילוב VR בפרוטוקולי שיקום מבוססי MI יכול להפחית באופן משמעותי את זמן השיקום ולשפר את תוצאות ההחלמה. התכונה הייחודית של VR בשיקום טמונה ביכולתה ליצור תחושת נוכחות בסביבה וירטואלית שתוכננה במיוחד, ולהעצים את חוויית השיקום המועצמת עוד יותר על ידי הכללת אווטארים וירטואליים המייצגים את גוף המשתמש, אשר נעשה בה שימוש הולך וגובר במחקרי שיקום מוטורי23. אווטארים אלה מציעים ייצוג תלת-ממדי מציאותי של תנועות גפיים, מסייעים ב-MI ומשפיעים באופן משמעותי על הפעלת קליפת המוח המוטורית. על ידי מתן אפשרות למשתתפים לדמיין את האני הווירטואלי שלהם מבצע משימות ספציפיות, VR לא רק מעשיר את חוויית MI אלא גם מטפח ארגון מחדש עצבי מהיר ויעיל יותר ותהליך התאוששות24. הטמעת אווטארים וירטואליים וסביבות מדומות בהדרכת אמ"ן מדגישה את השימוש הטבעי והמשולב בגופים וירטואליים בתוך עולמות וירטואליים אימרסיביים.

למרות היתרונות המדהימים של שליטה מבוססת ממשק מוח-מחשב באווטארים תלת-ממדיים ב-MI לצורך שיקום, נותרה מגבלה משמעותית בשימוש הדומיננטי במתודולוגיות לא מקוונות. כיום, רוב יישומי ממשק המוח-מחשב כוללים לכידת נתוני אלקטרואנצפלוגרפיה (EEG) מוקלטים מראש המשמשים לאחר מכן למניפולציה של אווטאר24,25. אפילו בתרחישים שבהם מושגת שליטה באווטארים בזמן אמת, אווטארים אלה הם לרוב גנריים ואינם דומים למשתתפים שהם מייצגים23. גישה גנרית זו מחמיצה הזדמנות קריטית להעמיק את הטבילה ואת תחושת הבעלות על הגוף, שהיא חיונית לשיקום יעיל24 . יצירת אווטאר תלת ממדי המשקף את הדמיון המדויק של הנושא יכולה לשפר באופן משמעותי את החוויה הסוחפת של החוויה16. על ידי דמיון עצמם בעולם הווירטואלי, המשתתפים יכלו לטפח קשר חזק יותר בין תנועותיהם המדומיינות, לבין תנועותיהם בפועל, מה שעשוי להוביל לדפוסים בולטים יותר של ERD, ולכן, להסתגלות עצבית יעילה יותר ולהתאוששות16. על ידי התקדמות לקראת שליטה בזמן אמת באווטארים תלת-ממדיים מותאמים אישית, תחום ה-BCI וה-VR יכול לשפר באופן משמעותי פרדיגמות שיקום, ולהציע שיטה מגוונת, מרתקת ויעילה יותר להתאוששות המטופל.

כתב היד הנוכחי מציג את היצירה, העיצוב וההיבטים הטכנולוגיים של חומרה ותוכנה של בקרת BCI בזמן אמת מבוססת VR של אווטארים תלת-ממדיים, ומדגיש את התוצאות החדשניות שלה התומכות בשילובה בהגדרות שיקום מוטורי. המערכת המוצעת תשתמש באלקטרואנצפלוגרפיה (EEG) כדי ללכוד אותות דמיון מוטוריים שנוצרו על ידי הנבדק, אשר ישמשו לאחר מכן כדי לשלוט בתנועות ובפעולות של האווטאר בזמן אמת. הגישה הנוכחית תשלב את היכולות המתקדמות של טכנולוגיית VR עם הדיוק של EEG בזיהוי ופירוש פעילות מוחית הקשורה לתנועות מדומיינות, במטרה ליצור ממשק מרתק ויעיל יותר למשתמשים לאינטראקציה עם סביבות דיגיטליות באמצעות כוח מחשבותיהם.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחקר הנוכחי נועד לחקור את ההיתכנות של שליטה באווטאר תלת ממדי בזמן אמת בסביבת VR באמצעות אותות MI שהוקלטו באמצעות EEG. המחקר מתמקד בשיפור הטבילה ותחושת הבעלות על הגוף על ידי התאמה אישית של האווטאר כך שיהיה דומה מאוד לנושא. הפרוטוקול קיבל את אישור ועדת הביקורת הטכנולוגית של מכון ולור. המשתתפים סיפקו הסכמה מדעת בכתב לאחר סקירת מטרת המחקר, נהלי המחקר והסיכונים הפוטנציאליים.

1. מערך ניסיוני

הערה: ודא שהמערכת משלבת את כל הרכיבים כפי שמתואר בתרשים של מערך הניסוי באיור 1 (ראה טבלת חומרים עבור הציוד שבו נעשה שימוש).

  1. פיתוח אווטאר תלת מימד
    1. מידול האווטאר
      1. יום לפני איסוף הנתונים, אספו צילומי פנים מרובים מזוויות שונות ומדידות גוף מדויקות מכל משתתף.
      2. לחץ על תוכנת דוגמנות כדי לפתוח אותה. מיד לאחר הפתיחה, מצא את המחוון עבור מין. התאם מחוון זה כך שיתאים למין המודל שאליו שואפים ליצור.
      3. נווט אל כרטיסיית המידול בחלק העליון של המסך ולחץ על הכרטיסייה כדי לגשת לאפשרויות ההתאמה האישית של הגוף.
      4. השתמש במחוונים תחת חלקים שונים, כמו פלג גוף עליון, זרועות, רגליים וכו ', כדי למדל את הגוף. התמקדו במידות הבסיסיות הבאות: גובה, חזה/חזה, מותניים, ירכיים, אורך רגליים ואורך זרוע.
      5. לחץ על הכרטיסייה Pose/Animate ובחר את שלד ברירת המחדל עבור הנפשות בסיסיות. עבור אל תפריט קבצים בחלק העליון, בחר יצא ולאחר מכן בחר את. פורמט MHX2 לתאימות עם תוכנת האנימציה. הקפד לבחור באפשרות ייצוא עם אסדה כדי לכלול את השלד. בחרו תיקיית יעד, תנו שם לקובץ ולחצו על 'ייצוא'.
      6. פתח את תוכנת ההנפשה. עבור אל ייבוא קובץ > ובחר .mhx2 או את התבנית שיש לצפות לה. נווט אל הקובץ שנשמר, בחר אותו וייבא אותו לתוכנה.
      7. עבור לתפריט עריכה, בחר העדפות > תוספים, וודא שהתוסף המתאים לבניית פרצופים מופעל.
      8. באשנב התלת-ממדי, עבור להגדרת הפריסה המוגדרת מראש שסופקה על-ידי התוסף או עבור לחלונית התוסף, הממוקמת בדרך כלל על מדף הכלים בצד שמאל.
      9. לחץ על צור ראש חדש בחלונית התוסף כדי להתחיל את דגם הראש. השתמש בלחצן הוסף תמונה כדי לייבא תמונות של המשתתף. השתמש בפרופילים קדמיים וצדדיים למידול מדויק.
      10. פעל בהתאם להנחיות כדי ליישר נקודות בתמונות עם הנקודות המתאימות במודל התלת-ממדי. לאחר מכן התוסף יתאים את דגם הראש כך שיתאים לתכונות המשתתף. לאחר שביעות רצון עם הדמות, לסיים את מודל הראש.
      11. מקם ידנית את דגם הראש כך שיישר עם הצוואר של דגם הגוף. התאם את קנה המידה והסיבוב של הראש להתאמה חלקה.
      12. השתמש בכלי הצמדה (Shift+Tab) ליישור מדויק של קודקודי הצוואר בראש עם קודקודי הגוף.
      13. לאחר היישור, חבר את הראש והגוף על-ידי בחירת שתי רשתות השינוי, הקשה על Ctrl+J כדי לחבר אותן לאובייקט אחד.
      14. לייבא או לדגמן זוג בונגואים ולמקם אותם מול הדגם בגובה מתאים.
    2. הנפשת האווטאר
      1. עבור למצב תנוחה עבור הדגם המכור. במסגרת 1, בחר את כל העצמות והוסף מסגרת ראשית (השתמש במקש I) עבור LocRotScale כדי להקליט את מיקומן הראשוני.
      2. הזז את ציר הזמן קדימה למסגרת 30 כדי להניח את יד שמאל כדי להכות את הבונגו.
      3. הזז וסובב את זרוע יד שמאל כדי לדמות מכה בונגו. הוסף מסגרת ראשית לעצמות אלה. חזור על תהליך זה כדי להחזיר את היד לעמדת ההתחלה שלה במסגרת 60, והוסף מסגרת ראשית נוספת כדי להשלים את הפעולה.
      4. הזז את ציר הזמן למסגרת 90, שבה יד ימין מתחילה את פעולתה. בדומה ליד שמאל, התאימו את המיקום והסיבוב של יד ימין כדי לדמות פגיעה בבונגו השני והכניסו מסגרת ראשית.
      5. החזר את היד לעמדת ההתחלה שלה והוסף מסגרת ראשית לסיום התנועה במסגרת 150.
      6. שפשף את ציר הזמן כדי לסקור את ההנפשה. התאימו לפי הצורך לתנועה חלקה יותר או תזמון טוב יותר בין להיטי הבונגו. שמור את הקובץ.
  2. הגדרת ציוד
    1. הרכיבו את מערכת איסוף הנתונים EEG בת 16 הערוצים על ידי חיבור מודול Daisy עם 8 ערוצי EEG על גבי הלוח עם 8 ערוצי EEG.
    2. חבר את אלקטרודת הייחוס באמצעות כבל Y-Splitter לפין הייחוס התחתון בלוח דייזי ולפין הייחוס התחתון של הלוח בתחתית, שניהם מסומנים כ-SRB.
    3. חבר את אלקטרודת הארקה לפין BIAS בלוח התחתון.
    4. חבר את 16 אלקטרודות EEG לפינים בלוח התחתון המסומנים N1P-N8P ואת הפינים התחתונים המסומנים N1P-N8P.
    5. הכנס את האלקטרודות על המכסה ללא ג'ל במקומות המסומנים בהתאם למערכת הבינלאומית 10-20 למיקום אלקטרודות עם אלקטרודות המסומנות כ- FP1, FP2, C3, C4, CZ, P3, P4, PZ, O1, O2, F7, F8, F3, F4, T3 ו- T4.
    6. השרו 18 ספוגים שסופקו עבור אלקטרודות EEG בתמיסת מלח עם 5 גרם נתרן כלורי מעורבב ב 200 מ"ל של מי ברז במשך 15 דקות.
    7. הכנס את הספוגים הספוגים בחלק התחתון של כל אלקטרודה כדי ליצור מגע בין הקרקפת לאלקטרודה.
    8. גרמו למשתתפים לשבת בנוחות בחדר שקט. הניחו את פקק ה-EEG ללא ג'ל על הקרקפת של המשתתף, וודאו שהפקק מיושר כראוי כך שיתאים מעל אוזני המשתתף.
    9. חבר את פלאג ה- USB למחשב הנייד. פתח את ממשק המשתמש הגרפי של EEG, לחץ על מערכת EEG, תחת האפשרות מקור נתונים בחר טורי (מפלאג), 16 ערוצים וחיבור אוטומטי.
    10. במסך Data Acquisition, בחר בווידג'ט האות כדי לבדוק את איכות האות של האלקטרודות המחוברות על-ידי אימות רמת עכבה אופטימלית של <10 kΩ בכל אתר אלקטרודה26.
    11. אם העכבה גבוהה מ-10 kΩ, הוסיפו כמה טיפות של תמיסת מלח לספוג שמתחת לאלקטרודה. לאחר בדיקת העכבה, סגור את ממשק המשתמש הגרפי.
    12. פתח את תוכנת שרת הרכישה, בחר את לוח ה- EEG המתאים תחת מנהל התקן ולחץ על התחבר > Play כדי ליצור חיבור למערכת EEG.
    13. הכינו את ערכת המציאות המדומה על ידי חיטוי שלה במגבונים והנחתה על ראש המשתתף מעל מכסה ה-EEG כדי לאפשר אינטראקציה סוחפת תוך כדי לכידת נתוני EEG.
  3. הגדרת המשחק
    הערה: ההוראות הבאות מתארות את ההגדרה של שני תרחישים של מנוע משחק באמצעות Open Sound Control (OSC): אחד לאימון תמונות מוטוריות (feedforward) והשני לבדיקת תמונות מוטוריות (משוב). תרחיש ההזנה קדימה מאמן משתמשים בתמונות מוטוריות באמצעות הנפשות נצפות המופעלות על ידי הודעות OSC. תרחיש המשוב בודק את יעילות הדימוי המוטורי על ידי הנפשת תנועות שהמשתמש מדמיין בהתבסס על קלט OSC.
    1. פתח את תוכנת מנוע המשחק ובחר פרויקט אימון תמונות מוטוריות. הפעל תמיכה במציאות מדומה: עבור אל ערוך > הגדרות הפרויקט > הגדרות XR של > השחקן, בדוק את מציאות מדומה נתמכת וודא שערכת המציאות המדומה מופיעה תחת ערכות SDK של מציאות מדומה.
    2. מחק את מצלמת ברירת המחדל וגרור את מצלמת ה- VR לתוך הסצנה מחבילת שילוב VR.
    3. מקמו את קובץ ההנפשה המיובא בסצינה. התאם את קנה המידה ואת הכיוון לפי הצורך. ודא ש- OSCListener GameObject עם סקריפטים שנכתבו מראש מוגדר להפעיל אנימציות מודל לתנועות שמאל וימין המבוססות על הודעות OSC, המדמה את פעולת מכות הבונגו לאימון תמונות מוטוריות.
    4. פתח הגדרות > Build של קבצים בתוכנת מנוע המשחק. בחר PC, Mac ו- Linux עצמאי, יעד Windows ולאחר מכן לחץ על בנה והפעל.
    5. עבור פרויקט בדיקת הדמיון המוטורי, בצע שלבים דומים לפרויקט אימון הדמיון המוטורי. השתמש ב- OSCListener GameObject המוגדר עם סקריפטים שנועדו לקבל אותות OSC המעידים על תנועות היד המדומיינות, ולהפעיל את האנימציות המתאימות לפרויקט הבדיקה.

figure-protocol-1
איור 1: הגדרת VR-BCI. כל מערך VR-BCI מראה את המשתתף חובש את משקפי המציאות המדומה ואת כובע ה-EEG. המשתתפים צפו באווטאר התלת-ממדי המותאם אישית בסביבה הווירטואלית ושלטו בפעולתו באמצעות אותות מוחיים המשודרים למחשב באופן אלחוטי. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

2. תכנון ניסיוני

  1. שלב אימות האותות
    1. פתח את כלי התוכנה כדי לעצב ולהפעיל תרחישי תמונות מוטוריות, עבור אל קובץ וטען את ששת תרחישי Motor-Imagery-BCI שכותרתם אימות אותות, רכישה, אימון CSP, אימון מסווג, בדיקות ומטריצת בלבול.
    2. נווט אל תרחיש אימות האותות. החל מסנן פס בין 1 ל- 40 הרץ עם סדר סינון של 4 על האותות הגולמיים באמצעות תיבות מעוצבות לעיבוד אותות ממוטב.
  2. שלב ההכשרה
    1. להדריך ולהנחות את המשתתפים לעבור משימות דמיון מוטורי, לדמיין תנועות ידיים בתגובה לרמזים חזותיים.
    2. פתח את הקובץ לאימון תמונות מוטוריות והצג את האווטאר התלת-ממדי המוכן עומד מעל סט בונגואים דרך ערכת המציאות המדומה.
    3. נווט אל תרחיש הרכישה ולחץ פעמיים על Graz Motor Imagery Stimulator כדי להגדיר את התיבה.
    4. הגדר ניסויים של 50, 5 שניות (cue-1.25 s ו- MI-3.75 s) עבור תנועות שמאל וימין, תוך שילוב תקופת בסיס של 20 שניות ואחריה מרווחים של 10 שניות מנוחה לאחר כל 10 ניסויים כדי למנוע עייפות מנטלית.
    5. הגדר את הניסויים ביד שמאל וימין כך שיהיו אקראיים וקבל רמז לפני המשפט המציין את היד שיש לדמיין.
    6. חבר תיבת OSC עם כתובת ה- IP והיציאה כדי לשדר את הרמז עבור היד להיות דמיוני לתוכנית מנוע אימון תמונה מוטורית.
    7. כוונו את המשתתפים לדמיין שהם מבצעים את תנועת היד שלהם יחד עם האווטאר התלת-ממדי באותו קצב כמו האווטאר כשהוא פוגע בבונגו עם היד המתאימה, בעקבות רמז טקסט המציג איזו יד יש לדמיין.
  3. הדרכת CSP ו- LDA
    1. לאחר הרכישה, הפעל את תרחיש CSP Training כדי לנתח את נתוני ה- EEG משלב הרכישה ולחשב תבניות מרחביות נפוצות (CSP), תוך יצירת מסננים כדי להבחין בין תמונות שמאליות וימניות.
    2. לאחר אימון CSP, נווט אל תרחיש אימון המסווג והפעל אותו כדי להשתמש בניתוח מפלה ליניארי (LDA) באמצעות מסנני CSP לסיווג משימות יעיל, תוך הכנת המערכת לבקרת אוואטאר בזמן אמת.
  4. שלב הבדיקה
    1. נווט אל תרחיש הבדיקה שבו המשתתפים יוכלו לשלוט באווטארים התלת-ממדיים שלהם בזמן אמת באמצעות טכנולוגיית ממשק מוח-מחשב (BCI).
    2. טען בתיבות המתאימות שהמסווגים אימנו במהלך התרחיש הקודם על נתוני EEG שצולמו בזמן שהמשתתפים דמיינו תנועות ידיים כדי לפרש את הפעולות המדומיינות, בזמן אמת.
    3. ודא שמערכת ה- EEG והגדרת המציאות המדומה פועלות ומוגדרות כראוי בהתאם להגדרות שלב האימון.
    4. תדרכו את המשתתפים על הליך הבדיקה, תוך הדגשת הצורך לדמיין בבירור תנועות ידיים (מכות בונגו ביד שמאל או ימין) כפי שהן מתבקשות על ידי רמזי טקסט.
    5. בדומה לשלב האימון, ערכו 20 ניסויים עבור כל משתתף, המחולקים שווה בשווה בין דמיון תנועות של יד שמאל ויד ימין ואקראיות.
    6. חבר והגדר תיבת OSC כדי לשדר את מידע הרמז שיוצג כטקסט המציין איזו יד יש לצלם בתוכנית מנוע המשחק.
    7. התחבר לתיבת OSC אחרת כדי לשדר את הערך החזוי עבור תנועות יד שמאל וימין עבור תוכנית מנוע המשחק כדי להפעיל את ההנפשה המתאימה בהתבסס על היד שדמיין המשתתף.
    8. הפעל את תרחיש הבדיקה. הפעל את תוכנית מנוע המשחק Motor Imagery Testing.

3. איסוף וניתוח נתונים

  1. רשום באופן רציף נתוני EEG ופלטי מסווג במהלך שלבי הרכישה והבדיקות של הניסוי, כאשר הנתונים נדגמו במהירות של 125 הרץ.
  2. נווט אל תרחיש מטריצת בלבול וטען את קובץ ה- EEG שנרכש בתיבה שכותרתה קורא זרם כללי עבור כל משתתף ועבור שלבי הרכישה וההדרכה.
  3. הפעל את התרחיש כדי להשיג את מטריצת הבלבול כדי להעריך באיזו דיוק מערכת ה- BCI מפרשת אותות של תמונות מוטוריות.
  4. אספו משוב מהמשתתפים בנוגע לחוויה שלהם עם קלות השימוש, יכולות הבקרה, רמת הטבילה והנוחות של האווטאר בזמן חבישת כובע EEG ומשקפי VR.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

התוצאות המוצגות הן של 5 אנשים שעקבו אחר הפרוטוקול המתואר לעיל. במחקר השתתפו בסך הכל 5 מבוגרים בריאים (3 נשים) בגילאים שבין 21 ל-38 שנים.

ביצועי הסיווג האישיים של כל משתתף הן בתנאי אימון הדמיון המוטורי והן בתנאי הבדיקה מוצגים באיור 2. מטריצת בלבול ממוצעת עבור כל הנבדקים חושבה כדי להעריך את דיוק המסווג בהבחנה בין אותות MI שמאליים וימניים במהלך האימונים והמבחנים (ראו איור 3).

משקולות CSP שחושבו עבור תמונות מוטוריות שמאליות וימניות במהלך סשן האימון הוקרנו כתבנית טופוגרפית עבור משתתף מייצג באיור 4A. יתר על כן, ניתוח זמן-תדר נערך עבור אותו משתתף על נתוני EEG שנאספו מאלקטרודת C4, אשר מוקמה מעל האזור התחושתי-מוטורי הימני הנגדי המתאים ליד שמאל, ואלקטרודת C3, הממוקמת מעל האזור התחושתי-מוטורי השמאלי ליד ימין. תרשימי תדרי הזמן לזיהוי הפרעות ספקטרליות הקשורות לאירועים (ERSP), החושפות כיצד המשרעת של תדרים הנעים בין 8 ל-30 הרץ משתנה באופן דינמי לאורך זמן במהלך תקופה, מוצגות באיור 4B תחת סבב אימון של תמונות מוטוריות. תוך התמקדות בתדרי אלפא (8-12 הרץ) ובטא (13-30 הרץ), ERSP עבור כל תקופה נורמלו על ידי חלוקתם על ידי ספקטרום קו הבסיס שלהם, ו- ERSP ממוצע חושב מערכים מנורמלים אלה.

יתר על כן, המשוב מהמשתתפים היה חיובי במידה רבה לגבי הנוחות וקלות השימוש בכובע EEG ובמשקפי VR. המשתתפים התלהבו במיוחד מהשליטה בזמן אמת באווטארים התלת-ממדיים שלהם. עם זאת, המשתתפים הרגישו שפעולת מכות הבונגו יכולה להיות מלווה במשוב קולי לטבילה טובה יותר.

figure-results-1
איור 2: אחוזי דיוק עבור כל משתתף במהלך האימונים והבדיקות של הדמיון המוטורי. שיעור החיובי האמיתי (TP) מציג את שיעור אותות הדימוי המוטורי (MI) שמודל המסווג זיהה נכון כאותות MI. שיעור החיובי הכוזב (FP) מציין באיזו תדירות אותות MI שמאליים סווגו בטעות כאותות MI ימניים. שיעור השלילי הכוזב (FN) חושף את שיעור אותות ה-MI השמאליים בפועל שהמודל לא הצליח לזהות. לבסוף, השיעור השלילי האמיתי (TN) מציין את שיעור אותות ה-MI הימניים שהמודל זיהה במדויק ככאלה. S1, S2, S3, S4 ו-S5 מציינים את חמשת המשתתפים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-2
איור 3: מטריצות בלבול ממוצעות של ביצועי הסיווג במהלך אימונים ובדיקות של דימוי מוטורי. הדיוק הממוצע הכולל משקף את יכולתו של המודל לסווג נכון אותות MI שמאליים וימניים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-3
איור 4: מסנן, תבנית ותדירות זמן של CSP עבור שתי הידיים במהלך אימון הדמיה מוטורית עבור משתתף מייצג. (A) האיור מציג מסנני CSP עבור S1 המבדילים באופן מקסימלי בין שתי המחלקות (שמאל וימין) בהתבסס על שונות. (B) תרשים תדירות הזמן עבור S1. האזורים הכחולים מציגים את ביטול הסינכרון הקשור לאירוע. ב- 0 אלפיות השנייה הרמז לדמיון יד שמאל או ימין הוצג למשך זמן של 1250 אלפיות השנייה. בעקבות הרמז, המשתתף דמיין את תנועת חבטת הבונגו ביד המתאימה. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

היישום של MI בשילוב עם טכנולוגיית VR מציע אפיק מבטיח לשיקום על ידי מינוף המנגנונים הטבעיים של המוח לתכנון וביצוע מוטורי. היכולת של MI לגרום לדה-סנכרון הקשור לאירועים ברצועות תדר מוח ספציפיות, המשקפות את הפעילות העצבית של תנועה פיזית 2,3,4, מספקת מסגרת איתנה למעורבות וחיזוק הרשתות העצביות המעורבות בשליטה מוטורית8. תהליך זה משופר עוד יותר על ידי האיכות הסוחפת של VR, אשר לא רק מגביר את תחושת הנוכחות והבעלות על הגוף, אלא גם מאפשר הדמיה של תנועות, ובכך מעשיר את חוויית MI16.

הפיתוח של אווטארים תלת ממדיים מותאמים אישית הדומים מאוד לנושאים שהם מייצגים מסמן חידוש בולט בתחום זה 13,14,15. הגישה מיושרת קונספטואלית עם העבודה של Skola et al.27 על אימון MI-BCI מסתגל משותף באמצעות משימות משחוק בסביבת VR. עם זאת, פרוטוקול זה מציג בידול משמעותי על ידי שימוש באווטאר תלת ממדי מלא, המשקף באופן הדוק את המראה של המשתתף, בניגוד לנקודת המבט המתמקדת בידיים המועסקות על ידי סקולה ואחרים. על ידי מתן ייצוג חזותי של תנועות מדומיינות של המשתמש בזמן אמת, אווטארים אלה מעמיקים את הטבילה ומחזקים את הקשר בין תנועות מדומיינות וממשיות18. הגישה המפורטת בכתב יד זה צפויה לטפח דפוסי ERD בולטים יותר, שיובילו להסתגלות והתאוששות עצבית יעילות יותר.

עם זאת, המעבר ממתודולוגיות ממשק מוח-מחשב לא מקוונות לשליטה בזמן אמת באווטארים מציב אתגרים, במיוחד בהבטחת הדיוק וההיענות של המערכת לתנועות המדומיינות-של המשתמש. המערכת מבטיחה מחשוב בזמן אמת באמצעות התקנה הכוללת את מערכת איסוף הנתונים EEG המחוברת למחשב נייד, אשר לאחר מכן מתממשקת עם ערכת מציאות מדומה Oculus Rift-S. הגדרה זו מאפשרת שילוב חלק של לכידת נתוני EEG עם טבילה במציאות מדומה, המתאפשרת על ידי שרת הרכישה ומנוע המשחק למשוב חזותי ואינטראקציה באמצעות אווטאר תלת-ממדי שפותח בהתאמה אישית.

ניתן למזער ביעילות את זמן ההשהיה הכולל של המערכת בתרחיש שילוב BCI-VR על ידי מינוף מחשב נייד למשחקים המצויד בכרטיס גרפי מתקדם ושימוש בהודעות קלות משקל על גבי OSC לקבלת רמזים וערכי חיזוי ידיים. השימוש במחשב נייד למשחקים מבטיח עיבוד מהיר של נתוני EEG הנרכשים באמצעות לוח EEG, עם דיגיטציה ראשונית והשהיית שידור שנשמרת הרבה פחות מ- 5ms. עיבוד וסיווג אותות לאחר מכן צפויים לתרום השהיה נוספת של כ- 20-40 אלפיות השנייה, תוך התחשבות הן בסינון אותות והן בביצוע אלגוריתמים כמו CSP לחילוץ תכונות. התקשורת בין מעצב התרחישים למנוע המשחק, המתאפשרת על ידי OSC, המשדרת רמזים מספריים פשוטים לתנועות שמאלה וימנית, מיועדת לתקורה מינימלית, וככל הנראה מוסיפה לא יותר מ 5-10 מילישניות של השהיה. עיבוד הפקודות הללו על ידי מנוע המשחק, הודות ליעילות החישובית של הכרטיס הגרפי, יהיה מהיר, ויתרום עיכוב נוסף של פחות מ-10 מילישניות לפני עיבוד המשוב החזותי בסביבת המציאות המדומה שמספקת ערכת המציאות המדומה, שמטרתה לשמור על השהיה מתחת ל-20 אלפיות השנייה. יחד, רכיבים אלה משתלבים בסינרגיה כדי לשמור על ההשהיה הכוללת של המערכת בטווח רצוי של 45-75 אלפיות השנייה, מה שמבטיח תגובה בזמן אמת החיונית לחוויות VR סוחפות וליישומי BCI יעילים.

יתר על כן, המשתתפים קיבלו מספיק ניסויי תרגול כסוג של מודול הדרכה כדי להכיר את הגדרת המציאות המדומה ואת הקצב של האווטאר במהלך שלב האימון ולהשתמש במחשבותיהם כדי לשלוט באווטאר התלת-ממדי בשלב הבדיקה. הדגש על אימות איכות אותות, השימוש ב- CSP ו- LDA לסיווג משימות, ושלב הבדיקה המפורטת הם קריטיים להצלחת בקרת אווטאר בזמן אמת.

תוצאות מחקר זה צפויות לתרום לתחום על ידי הדגמת ההיתכנות והיעילות של שימוש בבקרת BCI בזמן אמת של אווטארים תלת-ממדיים מותאמים אישית לשיקום. על ידי השוואת דיוק זיהוי הכוונה המוטורית בין שלב אימון הדמיון המוטורי לבין הבדיקה בזמן אמת, המחקר יספק תובנות חשובות לגבי הפוטנציאל של טכנולוגיה זו לשפר את תוצאות השיקום. יתר על כן, משוב המשתתפים על קלות השליטה ורמת הטבילה שחוו ישפיע על התפתחויות עתידיות בטכנולוגיות BCI ו- VR, במטרה ליצור ממשקי שיקום מרתקים ויעילים יותר.

ההתקדמות בטכנולוגיות BCI ו- VR פותחת אפשרויות חדשות לפרוטוקולי שיקום מותאמים אישית, מרתקים ויעילים יותר. מחקר עתידי צריך להתמקד בשכלול הטכנולוגיה לשליטה בזמן אמת באווטארים, לחקור את השימוש באלגוריתמים מתוחכמים יותר של למידת מכונה לסיווג אותות, ולהרחיב את היישום של גישה זו למגוון רחב יותר של מצבים נוירולוגיים. בנוסף, נדרשים מחקרי אורך כדי להעריך את ההשפעה ארוכת הטווח של שיטת שיקום זו על התאוששות תפקודית ואיכות חיים של אנשים עם ליקויים נוירולוגיים.

בעוד שהשילוב של MI עם טכנולוגיית VR בשיקום מראה הבטחה גדולה, מספר מגבלות מצדיקות תשומת לב. קיים טווח משמעותי ביכולתם של אנשים ליצור אותות MI ברורים ובתגובות העצביות שלהם להתערבויות MI ו- VR. שונות זו פירושה שהיעילות של תהליך השיקום יכולה להיות שונה מאוד בין מטופלים, מה שהופך את ההתאמה האישית של הטיפול כך שיתאים להבדלים אינדיבידואליים לאתגר משמעותי. יתר על כן, השגת דיוק גבוה והיענות בשליטה בזמן אמת של אווטרים היא מאמץ מורכב. עיכובים או טעויות בפענוח אותות MI עלולים להפריע לחוויה הסוחפת, ועלולים להפחית את יעילות תהליך השיקום. בעוד טכנולוגיית VR יכולה לשפר את הטבילה והמעורבות, היא עלולה גם להוביל לאי נוחות או מחלת תנועה עבור משתמשים מסוימים, להשפיע על יכולתם לעסוק בפגישות ארוכות, וכתוצאה מכך, על ההצלחה הכוללת של הטיפול.

לסיכום, השילוב של BCI ו- VR, המודגם על ידי שליטה בזמן אמת של אווטארים תלת-ממדיים מותאמים אישית באמצעות אותות MI, מייצג גישה חדשנית לשיקום נוירולוגי. הפרוטוקול הנוכחי לא רק מדגיש את ההיתכנות הטכנית של שילוב כזה, אלא גם מכין את הקרקע לעידן חדש של שיקום שבו הטכנולוגיה ומדעי המוח נפגשים כדי לשחרר את מלוא הפוטנציאל של יכולת ההתאוששות וההסתגלות של המוח האנושי.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין שום ניגוד עניינים לחשוף.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מבקשים להודות לכל המשתתפים על זמנם ומעורבותם.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
מחשב נייד Alienwareמחשב נייד מתקדם למשחקיםשל Dell
אוזניות Oculus Rift-S VRאוזניותMeta
OpenBCI Cyton Daisyמערכת EEGOpenBCI
מכסה ללא ג'לOpenBCI מכסה נטול ג'ל OpenBCIמכסה נטול ג'ל להנחת אלקטרודות EEG על קרקפת המשתתף
עם כרטיס גרפי GTX1070 VR

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Andrade, J., Cecílio, J., Simões, M., Sales, F., Castelo-Branco, M. Separability of motor imagery of the self from interpretation of motor intentions of others at the single trial level: An eeg study. J. NeuroEng. Rehabil. 14 (1), 1-13 (2017).
  2. Lorey, B., et al. Neural simulation of actions: Effector-versus action-specific motor maps within the human premotor and posterior parietal area. Hum. Brain Mapp. 35 (4), 1212-1225 (2014).
  3. Ehrsson, H. H., Geyer, S., Naito, E. Imagery of voluntary movement of fingers, toes, and tongue activates corresponding body-part-specific motor representations. J Neurophysiol. 90 (5), 3304-3316 (2003).
  4. Sauvage, C., Jissendi, P., Seignan, S., Manto, M., Habas, C. Brain areas involved in the control of speed during a motor sequence of the foot: Real movement versus mental imagery. J Neuroradiol. 40 (4), 267-280 (2013).
  5. Pfurtscheller, G., Neuper, C. Motor imagery activates primary sensorimotor area in humans. Neurosci Lett. 239 (2-3), 65-68 (1997).
  6. Jeon, Y., Nam, C. S., Kim, Y. J., Whang, M. C. Event-related (de)synchronization (erd/ers) during motor imagery tasks: Implications for brain-computer interfaces. Int. J. Ind. Ergon. 41 (5), 428-436 (2011).
  7. Mcfarland, D. J., Miner, L. A., Vaughan, T. M., Wolpaw, J. R. Mu and beta rhythm topographies during motor imagery and actual movements. Brain Topogr. 12 (3), 177-186 (2000).
  8. Di Pellegrino, G., Fadiga, L., Fogassi, L., Gallese, V., Rizzolatti, G. Understanding motor events: A neurophysiological study. Exp Brain Res. 91 (1), 176-180 (1992).
  9. Rizzolatti, G. The mirror neuron system and its function in humans. Anat Embryol (Berl). 210 (5-6), 419-421 (2005).
  10. Jackson, P. L., Lafleur, M. F., Malouin, F., Richards, C. L., Doyon, J. Functional cerebral reorganization following motor sequence learning through mental practice with motor imagery. Neuroimage. 20 (2), 1171-1180 (2003).
  11. Cramer, S. C., et al. Harnessing neuroplasticity for clinical applications. Brain. 134, Pt 6 1591-1609 (2011).
  12. Nojima, I., et al. Human motor plasticity induced by mirror visual feedback). J Neurosci. 32 (4), 1293-1300 (2012).
  13. Slater, M. Implicit learning through embodiment in immersive virtual reality. , Springer. (2017).
  14. Tham, J., et al. Understanding virtual reality: Presence, embodiment, and professional practice. IEEE Trans. Prof. Commun. 61 (2), 178-195 (2018).
  15. Choi, J. W., Kim, B. H., Huh, S., Jo, S. Observing actions through immersive virtual reality enhances motor imagery training. IEEE Trans. Neural Syst. Rehabil. Eng. 28 (7), 1614-1622 (2020).
  16. Lakshminarayanan, K., et al. The effect of combining action observation in virtual reality with kinesthetic motor imagery on cortical activity. Front Neurosci. 17, 1201865(2023).
  17. Juliano, J. M., et al. Embodiment is related to better performance on a brain-computer interface in immersive virtual reality: A pilot study. Sensors. 20 (4), 1204(2020).
  18. Lakshminarayanan, K., Shah, R., Yao, Y., Madathil, D. The effects of subthreshold vibratory noise on cortical activity during motor imagery. Motor Control. 27 (3), 559-572 (2023).
  19. Cole, S. W., Yoo, D. J., Knutson, B. Interactivity and reward-related neural activation during a serious videogame. PLoS One. 7 (3), e33909(2012).
  20. Cameirao, M. S., Badia, S. B., Duarte, E., Frisoli, A., Verschure, P. F. The combined impact of virtual reality neurorehabilitation and its interfaces on upper extremity functional recovery in patients with chronic stroke. Stroke. 43 (10), 2720-2728 (2012).
  21. Turolla, A., et al. Virtual reality for the rehabilitation of the upper limb motor function after stroke: A prospective controlled trial. J Neuroeng Rehabil. 10, 85(2013).
  22. Isaacson, B. M., Swanson, T. M., Pasquina, P. F. The use of a computer-assisted rehabilitation environment (caren) for enhancing wounded warrior rehabilitation regimens. J Spinal Cord Med. 36 (4), 296-299 (2013).
  23. Alchalabi, B., Faubert, J., Labbe, D. R. EEG can be used to measure embodiment when controlling a walking self-avatar. IEEE Conf. on Virtual Reality and 3D User Interfaces (VR). , 776-783 (2019).
  24. Luu, T. P., Nakagome, S., He, Y., Contreras-Vidal, J. L. Real-time eeg-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 7 (1), 8895(2017).
  25. Longo, B. B., Benevides, A. B., Castillo, J., Bastos-Filho, T. Using brain-computer interface to control an avatar in a virtual reality environment. 5th ISSNIP-IEEE Biosignals and Biorobotics Conf. (BRC). , 1-4 (2014).
  26. Hinrichs, H., et al. Comparison between a wireless dry electrode eeg system with a conventional wired wet electrode eeg system for clinical applications. Scientific reports. 10 (1), 5218(2020).
  27. Škola, F., Tinková, S., Liarokapis, F. Progressive training for motor imagery brain-computer interfaces using gamification and virtual reality embodiment. Front Human Neurosci. 13, 329(2019).

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

EEGCSP

מאמרים קשורים