SSVEP מבוסס נוהל ניסיון לאינטראקצית המוח-רובוט עם רובוטים דמויים אדם

המטרה הכוללת של שיטה זו היא לבסס הליך ניסוי מבוסס S-S-V-E-P על ידי שילוב תוכנות מרובות כדי לאפשר חקר אינטראקציה של רובוט מוח עם רובוטים דמויי אדם. זה מושג על ידי מקום ראשון באלקטרודות EEG על נבדקים אנושיים למדידת תגובות המוח באמצעות מערכת איסוף נתוני EEG. ממשק משתמש משמש כדי לעורר תגובות S-S-V-E-P ולהצגת משוב וידאו בניסויי בקרת לולאה סגורה.

השלב השני הוא להקליט את אותות ה-EEG של הנבדקים בפעם הראשונה כדי לנתח את תכונת ה-S-S-V-E-P שלך במצב לא מקוון ולהכשיר את המסווג עבור כל נושא. לאחר מכן, מעבד האותות המקוון ובקר הרובוט מוגדרים לשליטה מקוונת של רוברט דמוי אדם. כשלב האחרון, הנבדק משלים שלושה ניסויי בקרה ספציפיים בלולאה סגורה בסביבות שונות.

על מנת להעריך את ביצועי האינטראקציה של רוברט במוח, התוצאות מראות את הצפיפות הספקטרלית המנורמלת של אותות המוח הנוצרים תוך כדי בהייה בגירויים המרצדים בתדרים שונים. המערכת שלנו מתרגמת את דפוסי גלי המוח הללו לפקודות לשליטה בהתנהגויות של רוברט. באמצעות גישה זו, הנבדק מסוגל לקיים אינטראקציה עם אותות המוח של רוברט ביו אנושי.

זה מאפשר לרוברט האנושי לבצע משימות טיפוסיות הפופולריות במחקר רובוטי ועוזרות בסיוע לנכים. היתרון בגישה זו הוא האמינות והגמישות שלה מכיוון שהיא מפותחת על ידי שילוב תוכנות מרובות כגון Open Wide Graph ותוכנה מרכזית, כמו גם תוכניות שפותחו על ידי משתמשים הקשורות במעבדת c plus plus ו-match. שיטה זו מאפשרת לחקור רובוט מוח בפעולה עם הרובוט דמוי האדם.

מחקר זה הוא פרוספקטיבי בסיוע לחולים וקשישים כמו גם בביצוע עבודות לא סניטריות או מסוכנות. חברי הצוות שלי, לים והאן, ידגימו כעת את המיקום של חיישני EEG ויראו את שיטת החיבור לרובוט הלא אנושי בהתאמה. הסבירו לנבדק ניסוי להליך.

לקבל הסכמה להשתתף בניסויים. מדוד את היקף הנושא, בחר את גודל מכסה ה-EEG E הקרוב למדידה. מדוד את המרחק בין סימן NAS 10% מהמרחק כהתייחסות לציפוי הכובע.

סמן את נקודת האמצע של המרחק בקודקוד במיקום הנושא. האלקטרודה cz של מכסה ה-EEG E על הקודקוד מיישרת את סימן ה-10% עם נקודת האמצע של האלקטרודות FP one ו-FP שתיים. ודא שהאלקטרודות fz, cz, PZ ו-OZ נמצאות בקו האמצע של הראש.

למרוח את ההתייחסות לאלקטרודות בג'ל מוליך. הנח את אלקטרודות הייחוס על ה-OIDs השמאלי והימני באמצעות סרט רפואי. הדק את רצועת השרשרת.

הנח את המזרק הקהה בחוטי אלקטרודות והזריק ג'לים מוליכים לכל אלקטרודה בסדר הבא. ראשית, האלקטרודה הקרקעית ושנית, חמש האלקטרודות ששימשו בניסוי O 2 0 1 OZ. PZ ו-cz. הושיבו את הנבדק בכיסא נוח, 60 ס"מ מול מוניטור גירויים.

חבר את חוטי האלקטרודה למערכת רכישת הנתונים EEG. הגדר את קצב הדגימה לקילו-הרץ אחד. בדוק את איכות אות ה-EEG במחשב עיבוד הנתונים הייעודי.

אם יש בעיה באלקטרודה המסוימת. הזרקו מחדש ג'לים כדי להתאים את עכבת התעלה. הבהוב ארבעה רובוטים מצלם תדרים שונים כגירויים חזותיים בממשק המשתמש.

בפעם הראשונה, ערכו את ניסוי האימון הלא מקוון כדי לבסס את וקטורי התכונות S-S-V-E-P שלהם ולאמן את המסווג. ערכו 32 ניסויים עבור כל נבדק והקליטו את אות המוח שלכם לאורך כל התהליך. כאשר הניסוי מתחיל, בחר באופן אקראי גירוי אחד כמטרה והצג חץ צהוב מעליו.

שנייה אחת. מאוחר יותר הבהבו את ארבעת הגירויים החזותיים בתדרים שונים בממשק המשתמש למשך חמש שניות, בקשו מהנבדק להתמקד ביעד הגירוי שנבחר תוך שמירה על תנועת הגוף למינימום. לאחר כל ניסוי, תנו לנבדק שלוש שניות להירגע ואז התחילו את הניסוי הבא.

לאחר סיום כל הניסויים, קרא את הנתונים השמורים. פסים כתומים אנכיים מציינים טריגרים לבחירת גירוי כמטרה שהגירויים מהבהבים במהלך התקופה של חמש השניות. בכל ניסוי, חלץ apo נתונים של שלוש שניות בין שתי שניות לחמש שניות לאחר הטריגר.

חשב את מקדם ה-CCA של נתוני ה-EEG הרב-ערוציים עם אות ייחוס y, המוגדר להיות אות הגירוי המחזורי בתדרים מסוימים. שיטת CCA מוצאת את וקטורי השילוב הליניאריים כדי למקסם את מקדם המתאם בין האותות המשולבים. סנן מרחבית את נתוני ה-EEG הרב-ערוציים באמצעות מקדמי ה-CCA המחושבים.

חשב את הצפיפות הספקטרלית של נתוני המסנן באמצעות טרנספורמציה מהירה של מבואה. נרמל את הצפיפות הספקטרלית של ההספק ביחס לערכו הממוצע בין שלושה האץ ל-40 הרץ. לאחר מכן כייל את פרמטרי הסיווג עבור כל תדר גירוי.

הגדר את פרמטרי הסיווג עבור הנושא באמצעות חלון הגדרת ניגוב פתוח. הפעל את מעבד האותות המקוון במחשב עיבוד הנתונים. רכוש נתוני EEG מהערוצים O 2 0 1 OZ PZ ו-CZ של מערכת EEG כל 0.5 שניות וחלץ את מקטע הנתונים של שלוש השניות האחרונות לעיבוד מקוון.

עבד את מקטע הנתונים באמצעות האלגוריתמים המתוארים בתהליך הלא מקוון. חשב את הצפיפות הספקטרלית של ההספק בזמן אמת לסיווג. כאשר המשרעת של תדר תכונה אחת היא מעל סף נתון, הגירוי המהבהב בתדר המתאים מסווג.

כיעד ה-SSV EEP, הפעל את רובוט ה-Noro האנושי וצור את חיבור ה-wifi שלו למחשב עיבוד הנתונים. הגדר והפעל את בקר הרובוט, שקיבל את תוצאות הסיווג ממעבד האותות המקוון ושולט בהתנהגויות המתאימות של רוברט האנושי באמצעות חיבור אלחוטי. הפעל את תוכנית הכוריאוגרפיה במחשב מצגת הגירוי הייעודי כדי להציג משוב וידאו חי ממצלמת רוברטס בממשק המשתמש.

בקש מהנבדק לבצע שלוש בדיקות בקרה ספציפיות בלולאה סגורה בסביבות שונות על מנת להעריך את ביצועי האינטראקציה של רוברט במוח. בדיקות אלו פופולריות במחקר רובוטי ומסייעות לנכים ולקשישים בחיי היומיום שלהם. לפני משימה חדשה הודע לנבדק על מטרת המשימה ועל ההתנהגויות הזמינות לשליטה.

תוצאות אלו מראות את הליך עיבוד נתוני EEG, כולל חילוץ עידן הנתונים הרב-ערוצי, סינון מרחבי של הנתונים באמצעות מקדמי CCA וחישוב הצפיפות הספקטרלית של ההספק המנורמל. הצפיפות הספקטרלית של ההספק המנורמל המתקבלת בניסויים בודדים שבהם הנבדק בוהה במטרות מהבהבות שונות מוצגת כאן. בניסויי הבקרה הראשונים בלולאה סגורה, נוח רוברט האנושי נשלט על ידי אותות מוח לעבור דרך מכשולים וללחוץ על מתג תאורה על הקיר.

אותות המוח היו אחוזי דיבוק בזמן אמת. כדי לסווג את כוונת השליטה של הנבדק, הנבדק צפה במשוב הווידאו החי ושלט בהתנהגות רוברט על ידי בהייה בגירויים המתאימים. לאחר שהגיע למתג, הנבדק שלט ברוברט להדליק את האור.

בניסוי השני, הרובוט האנושי נווט ברציפות לעבר גרם המדרגות בעקבות שלט היציאה על סמך משוב וידאו. כאשר התעמת עם מרגל עובר אורח, הנבדק שלט ברוברט לומר, סליחה, ולחכות שהמרגל העובר יתפנה. לאחר מכן נשלט רוברט ללכת לכיוון גרם המדרגות.

בניסוי השלישי, רוברט ההומנואיד נשלט בתנועת גוף מלאה כדי להגיע ולהרים את מטרת הבלון ולהעבירה לידו של הנבדק על סמך משוב הווידאו החי. מכיוון שכוונה אנושית נתפסת על ידי פירוש אותות EEG בזמן LU, זה קריטי לאמת חיבורים חשמליים ואיכויות אות EEG e לפני ביצוע ניסויים. בעיה נפוצה נוספת בעת רכישת אותות EEG היא הפרעה או חפצים ורעשים.

החלציים, הפרעות כאלה שלנו משופרות על ידי הפחתת נושא תנועת הגוף ושימוש בטכניקה רב-ערוצית מבוססת CCA. השיטה שלנו יעילה לתכנון מגוון הליכים ניסיוניים וגמישה לחקירת אלגוריתמים וטכניקות לאינטראקציה עם רובוט מוח, במיוחד ניתן להשתמש בה בקלות כדי לחקור יישומי BRI חדשים.