$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
בקר לולאה קרובה טבעי
מידע חושי-מוטורי זורם ברציפות בין המוח לגוף כדי לייצר התנהגויות מאורגנות ומתואמות היטב. התנהגויות כאלה ניתן ללמוד תוך התמקדות בפעולותיו של האדם בלבד, כמו בסגנון מונולוג (איור 1A), או במהלך פעולות דינמיות מורכבות המשותפות לשני סוכנים בדיאד, כמו בסגנון דיאלוג (איור 1B). עם זאת, אפשרות שלישית היא להעריך אינטראקציות מורכבות כאלה באמצעות בקר פרוקסי, בהקשר של ממשק לולאה קרובה בין אדם למחשב (איור 1C). ממשק כזה יכול לעקוב אחר התנודות של תנועות רגע אחר רגע שנתרמו על ידי כל סוכן בדיאד, ועל ידי סוג של לכידות כי עצמי עולה מן האינטראקציות הסינכרוניות שלהם, עוזר לנווט את המקצבים של dyad בדרכים רצויות.

איור 1: צורות שונות של שליטה. (A) ממשקים הנשלטים על ידי המוח מסתמכים על יחסי הלולאה הקרובה בין מוחו של האדם לבין גופו של האדם, אשר יכול לווסת את עצמו ולקיים אינטראקציה עצמית בסגנון "מונולוג". מצב זה מנסה לשלוט בתנועות שנוצרו על-ידי עצמו, או שהוא עשוי גם לשאוף לשלוט בהתקנים חיצוניים. (B)שליטה בסגנון "דיאלוג" מוצגת עבור שני רקדנים המקיימים אינטראקציה זה עם זה ובאמצעות התמזגות פיזית ולוקח תורות כדי להשיג שליטה על תנועותיו של זה. (ג)בקרת דיאלוג "צד שלישי" של הדיאד מוצגת כמתווכת על ידי ממשק מחשב אשר רותם יחד את האותות הביולוגיים משני הרקדנים, מציין אותו ומאכיל אותו בחזרה לרקדנים בצורה מחודשת באמצעות אודיו ו / או ראייה כצורות של הדרכה חושית. הפרמטרציה המחודשת בדוגמאות שהוצגו כאן הושגה באמצעות משוב קולי או ויזואלי, משופרת על ידי הפלט המוטורי הקינסתטי בזמן אמת של אחד הרקדנים כדי להשפיע על האחר; או של שני הרקדנים, בתורות בתבנית לסירוגין. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
המטרה הכוללת של שיטה זו היא להראות כי ניתן לרתום, לפרמטרים ולפרמטרים מחדש את התנודות מרגע לרגע בפעילויות הביוריתמיות של גופים בתנועה, שכן שני סוכנים עוסקים בחילופי דיאדיים שעשויים לכלול שני בני אדם, או אווטאר אנושי ושהוא / שלה הנעה עצמית.
חקירות על איך המוח עשוי לשלוט בפעולות ולחזות את ההשלכות החושיות שלהם יצרו קווים רבים של בירורים תיאורטיים בעבר1,2,3 והפיקו מודלים שונים של שליטה נוירומוטורית4,5,6,7,8. שורה אחת של מחקרים בתחום רב-תחומי זה כללה פיתוח של ממשקי מוח-מכונה או מוח-מחשב בעלי לולאה קרובה. סוגים אלה של הגדרות מציעים דרכים לרתום ולהתאים את אותות מערכת העצבים המרכזית כדי לשלוט במכשיר חיצוני, כגון זרוע רובוטית9,10,11, שלד חיצוני12, סמן על מסך מחשב13 (בין היתר). כל המכשירים החיצוניים האלה חולקים את המאפיין שאין להם אינטליגנציה משלו. במקום זאת, למוח שמנסה לשלוט בהם יש, וחלק מהבעיה שהמוח מתמודד איתה הוא ללמוד כיצד לחזות את ההשלכות של התנועות שהוא מייצר במכשירים אלה (למשל, תנועות הסמן, תנועות הזרוע הרובוטית וכו ') תוך יצירת תנועות תומכות אחרות התורמות למשוב המוטורי החושי הכולל בצורה של התחדשות קינסטטית. לעתים קרובות, מטרת העל של ממשקים אלה הייתה לעזור לאדם שמאחורי המוח לעקוף פציעה או הפרעה, כדי להחזיר את הטרנספורמציה של המחשבות המכוונות שלו למעשים פיזיים מבוקרים מרצון של המכשיר החיצוני. פחות נפוץ עם זאת היה פיתוח ממשקים המנסים לנווט את תנועות הגופים בתנועה.
רוב המחקר המקורי על ממשקי מוח-מכונה מתמקד בשליטה של מערכת העצבים המרכזית (CNS) על חלקי גוף שיכולים להשיג פעולות מכוונות מטרה9,14,15,16,17. עם זאת, ישנם מצבים אחרים שבהם שימוש באותות הנגזרים מפעילות של מערכות העצבים ההיקפיות (PNS), כולל אלה של מערכות העצבים האוטונומיות (ANS), הוא אינפורמטיבי מספיק כדי להשפיע ולנווט את האותות של סוכנים חיצוניים, כולל אדם אחר או אווטאר, או אפילו בני אדם אינטראקציה (כמו באיור 1C). שלא כמו עם זרוע רובוטית או סמן, הסוכן האחר במקרה זה, יש אינטליגנציה מונעת על ידי המוח (במקרה של גלגול כי כבר ניחן עם תנועותיו של האדם, או של סוכן אחר, במקרה של דיאד אנושי אינטראקציה).
התקנה שיוצרת סביבה של ממשק לולאה קרובה אדפטיבית משותפת עם חילופי דיאדי עשויה להיות שימושית להתערב בהפרעות של מערכות העצבים לפיה המוח אינו יכול לשלוט מרצונו בגוף שלו בתנועה בתנועה, למרות שלא ניתק פיזית את הגשר בין מערכת העצבים המרכזית לבין מערכת העצבים המרכזית. זה יכול להיות המקרה בשל אותות היקפיים רועשים לפיה לולאות משוב כדי לסייע למוח ברציפות לפקח ולהתאים biorhythms שנוצר עצמית שלה אולי שובשו. תרחיש זה מתעורר בחולים עם מחלת פרקינסון18,19, או אצל משתתפים עם הפרעות בספקטרום האוטיזם עם רעש עודף בתפוקה המוטורית שלהם. ואכן, בשני המקרים כימתנו רמות גבוהות של יחס רעש לאות באותות הקינסתטיים החוזרים הנגזרים ממהירות תנועותיהם המיועדות20,21,22 ומהלב23. במקרים כאלה, ניסיון לשלוט בשליטה מוחית של אותות חיצוניים, ובמקביל לנסות לשלוט בגוף בתנועה, עלול לגרום לאות תגובתי עצמי מזרם המידע החוזר (מחדש) שהמוח מקבל מהזרם המוטורי המתמשך (efferent) בפריפריה. ואכן, התנודות מרגע לרגע הקיימות בזרם מוטורי תוסס שנוצר על ידי עצמו מכילות מידע חשוב שימושי כדי לסייע בחיזוי ההשלכות החושיות של פעולות תכליתיות24. כאשר משוב זה פגום על ידי רעש, קשה כצפוי לעדכן את אותות הבקרה ולגשר על תוכניות מכוונות עם מעשים פיזיים.
אם היינו מרחיבים לולאת משוב כזו לסוכן אחר ושולטים באינטראקציות של האדם והסוכן באמצעות צד שלישי (איור 1C), ייתכן שתהיה לנו הזדמנות לנווט את ההופעות אחד של השני בזמן אמת. זה יספק לנו את הוכחת הרעיון שנצטרך להרחיב את הרעיון של ממשקי מוח-גוף או מוח-מכונה מסתגלים כדי לטפל בהפרעות של מערכות העצבים שגורמות למימוש לקוי של רצון פיזי מתוך כוונה נפשית.
לפעולות תכליתיות יש השלכות, המאופיינות במדויק בחתימות סטוכסטיות מוטוריות התלויות בהקשר ומאפשרות הסקה של רמות כוונה נפשית בוודאות גבוהה25,26. לכן, יתרון של שיטה חדשה הממנפת חילופי דיאדי על פני גישות קודמות המתמקדות באדם למכונת המוח או לממשקי המחשב במוח, הוא שאנחנו יכולים להגדיל את אותות הבקרה כדי לכלול את biorhythms הגוף והלב המתרחשים במידה רבה מתחת למודעות של האדם, תחת רמות שונות של כוונה. בדרך זו, אנו מעמעמים הפרעות תגובתיות כי שליטה מודעת נוטה לעורר בתהליך של התאמת המוח-הסמן שליטה17. אנחנו יכולים להוסיף יותר ודאות לתהליך החיזוי על ידי פרמטרים האותות השונים שאנחנו יכולים לגשת. לאורך קווים אלה, עבודה קודמת קיימת באמצעות אותות המוח והגוף יחד27,28,29; אך עבודה הכוללת אינטראקציות דיאדיות שנלכדו על-ידי אותות מוחיים-גופניים נותרה נדירה. יתר על כן, הספרות הקיימות טרם קבעה את ההבחנה בין קטעים מכוונים של הפעולה המבוצעת תחת מודעות מלאה ותנועות מעבר המתרחשות באופן ספונטני כתוצאה של אלה המכוונים30,31. כאן אנו עושים את ההבחנה בהקשר של חילופי דיאדי, ומציעים דרכים חדשות ללמוד דיכוטומיה זו32, תוך מתן דוגמאות של כוריאוגרפיה (מכוונת) לעומת תנועות מאולתרות (ספונטניות) בחלל הריקוד.
בגלל עיכובים בתת-תעתיק והעברה בתהליכי האינטגרציה והטרנספורמציה החושית-מוטורית33, יש צורך בקוד חיזוי כזה במקום, כדי ללמוד לצפות את הקלט החושי הקרוב בוודאות גבוהה. לצורך כך, חשוב להיות מסוגלים לאפיין את האבולוציה של יחס הרעש לאות הנגזר מאותות בזרם הקינסתטי המעדכן באופן רציף. לאחר מכן אנו זקוקים לפרוטוקולים כדי למדוד באופן שיטתי שינוי בשונות המוטורית. השונות נוכחת מטבעה בתנודות רגע אחר רגע של זרם המנוע היוצא34. מכיוון שאותות אלה אינם נייחים ורגישים לווריאציות הקשריות35,36, ניתן לתמלאל שינויים המתרחשים עם שינויים בהקשר של המשימות. כדי למזער את ההפרעה מאותות תגובתיים העולים מבקרת מערכת העצבים המרכזית המודעת, ולעורר שינויים הניתנים לכימות בזרם המנועים של PNS, אנו מציגים כאן ממשק פרוקסי בעל לולאת סגירה המשנה בעקיפין את המשוב החושי, על ידי גיוס האות ההיקפי המשתנה במידה רבה מתחת למודעות העצמית של האדם. לאחר מכן אנו מראים דרכים למדוד באופן שיטתי את השינוי הנובע מהמניפולציות החושיות, באמצעות ניתוחים סטוכסטיים הניתנים להמחשה של התהליך שממשק הפרוקסי לולאה קרובה מעורר בעקיפין בשני הסוכנים.
הצגת בקר לולאה סוגרת Proxy
השונות החושית-מוטורית הקיימת באותות ההיקפיים מהווה מקור מידע עשיר המנחה את ביצועי מערכות העצבים תוך כדי למידה, הסתגלות והכללה מתרחשים בהקשרים שונים37. אותות אלה מתגלים בחלקם כתוצר לוואי של מערכת העצבים המרכזית המנסה לשלוט באופן רצוני בפעולות אך אינם המטרה הישירה של הבקר. כמו האדם באופן טבעי אינטראקציה עם אחרים, אותות היקפיים ניתן לרתום, סטנדרטי מחדש פרמטרים; כלומר, ניתן לשנות את הווריאציות שלהם באופן שיטתי, כאשר אחד משנה את הזרם המוטורי התוסס שנכנס מחדש למערכת באופן רציף כחידוש קינסתטי. בהגדרות כאלה, אנו יכולים לדמיין את השינויים הסטוצ'סטיים, לכידת בדיוק גבוה אות עשיר כי הוא איבד אחרת את סוגי ממוצע גדול כי טכניקות מסורתיות יותר לבצע.
כדי להשיג אפיון של שינוי תחת הפלטפורמה הסטטיסטית החדשה, אנו מציגים כאן פרוטוקולים, סוגי נתונים סטנדרטיים וניתוח המאפשרים שילוב של קלט חושי חיצוני (שמיעתי וויזואלי) עם אותות מוטוריים פנימיים הנוצרים על ידי עצמם, בעוד שהאדם מקיים אינטראקציה טבעית עם אדם אחר, או עם גרסת גלגול של האדם. במובן זה, מכיוון שאנו שואפים לשלוט באותות ההיקפיים (במקום לשנות את אותות מערכת העצבים המרכזית כדי לשלוט ישירות במכשיר החיצוני או במדיה החיצונית), אנו מטבע זה ממשק פרוקסי קרוב לולאה (איור 2). אנו שואפים לאפיין את השינויים באותות הסטוצ'סטיים של מערכת העצבים המרכזית, שכן הם משפיעים על אלה במערכת העצבים המרכזית.

איור 2: בקרת פרוקסי של אינטראקציה דיאדית באמצעות ממשק רב-מודאלי בלולאה קרובה. (A) שליטה עקיפה של שני רקדנים (סלסה רוקדת) באמצעות ממשק אדפטיבי למחשב לעומת (B) דיאד מלאכותי אינטראקטיבי של אדם-אווטר הנשלט על ידי רתימת אותות מערכות העצבים ההיקפיות ופרמטרים מחדש אותו כצלילים ו / או כקלט חזותי. (C) הרעיון של sonification באמצעות סוג נתונים מתוקנן חדש (קוצים מיקרו תנועה, MMS) נגזר תנודות מרגע לרגע באותות biorhythmic משרעת / תזמון המרה ויברציות ולאחר מכן לצליל. מפיזיקה, אנו שואלים את המושגים של דחיסות ו rarefactions המיוצר על ידי מזלג כוונון פלט גלי קול כמו תנודות מדידות. שרטוטים של גלי קול המיוצגים כלחץ מווסת לאורך זמן במקביל לריכוזי ספייק לסוניפיקציה. דוגמה לאות פיזי לעבור את הצינור המוצע מ- MMS לתנודות וסוניפיקציה. אנו משתמשים באות הדופק כקלט לממשק. זה לוקח תנודות משרעת של האות מיושר לתחילת התנועה כל 4 שניות של תנועה ובונה רכבות MMS המייצגות את התנודות. רכבות הזינוק מ-MMS מתוקננות מ-[0,1]. צבע הקוצים לפי סרגל הצבע, מייצג את עוצמת האות. לאחר מכן אנו sonify תנודות אלה באמצעות מקס. אות sonified זה יכול לשמש כדי לשחק בחזרה ב- A, או לשנות ב B האינטראקציות עם האווטאר. כמו כן, ב- B ניתן להטמיע את הצליל בסביבה ולהשתמש בתנוחת הגוף כדי להשמיע את הצליל בחזרה באזור מעניין (RoI), או לווסת את תכונות השמע כפונקציה של מרחק RoI, מהירות או האצה של חלק גוף מעוגן לחלק גוף אחר, כאשר עובר על ידי RoI. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
אותות PNS ניתן לרתום באופן לא פולשני עם טכנולוגיות חישה לביש כי שיתוף לרשום זרמים efferent רב מודאלי משכבות פונקציונליות שונות של מערכות העצבים, החל אוטונומית מרצון32. לאחר מכן נוכל למדוד בזמן אמת את השינויים בזרמים כאלה ולבחור את אלה שהשינויים שלהם משפרים את יחס האות לרעש. לאחר מכן ניתן להגדיל אות מנוע תוסס זה עם צורות אחרות של הדרכה חושית (למשל, שמיעתי, חזותי וכו ') בגלל אותות PNS scape מודעות מלאה, הם קלים יותר לתפעל ללא התנגדות רבה 38. ככזה, אנו משתמשים בהם כדי לעזור לנווט את הביצועים של האדם בדרכים שעשויות להיות פחות מלחיצות למערכת האנושית.
בניית הממשק
אנו מציגים את העיצוב של בקרת פרוקסי בתיווך ממשק מרובה אדפטיבי לולאה קרובה. ממשק זה מנווט את המשוב הרב-חושי בזמן אמת. איור 3 מציג את העיצוב הכללי.
ממשק הלולאה הצמודה מאופיין ב- 5 שלבים עיקריים. השלב הראשון הוא איסוף הנתונים הרב-מודאליים ממכשירים לבישים מרובים. השלב השני הוא הסנכרון של הזרמים הרב-מודאליים דרך הפלטפורמה של LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) שפותחה על ידי קבוצת MoBI 39. השלב השלישי הוא הזרמת מבנה הנתונים של LSL לפייתון, MATLAB או ממשק שפת תכנות אחר כדי לשלב את האותות ול parametrize אמפירי תכונות פיזיולוגיות (רלוונטי ההתקנה הניסיונית שלנו) בזמן אמת. השלב הרביעי הוא לתמחר מחדש את התכונות שנבחרו שחולצו מהזרם הרציף של האות הגופני שנחקר ולהגדיל אותו באמצעות שיטה חושית של בחירה (למשל, חזותית, שמיעתית, קינסתטית וכו ') כדי לנגן אותו בחזרה בצורה של צלילים או חזותיים, כדי להגדיל, להחליף או לשפר את השיטה החושית הבעייתית במערכת העצבים של האדם. לבסוף, השלב החמישי הוא להעריך מחדש את החתימות הסטוצ'סטיות של האותות הנוצרים על ידי המערכת בזמן אמת, כדי לבחור אילו מודאליות חושית מביאה את התזוזות הסטוצ'סטיות של תנודות הגוף למשטר של ודאות גבוהה (מזעור רעש) בחיזוי ההשלכות החושיות של הפעולה הממשמשת ובאה. לולאה זו מתנגנת ברציפות לאורך כל תקופת הניסוי עם ההתמקדות באות שנבחר, תוך אחסון הביצועים המלאים לניתוחים הבאים (כמתואר בשרטוטים של איור 3 ולראות40,41,42,43,44,45,46,47 לדוגמה של ניתוחים אחוריים).

איור 3: הארכיטקטורה של מושג ממשק לולאה קרובה מונחה היקפית מרובה מודאליות. אותות גוף שונים נאספים - נתונים קינמטיים, פעילות הלב והמוח (שלב 1). LSL משמש לרישום סינכרוני ולהזרמת הנתונים המגיעים מציוד שונה לממשק (שלב 2). פייתון / MATLAB / C # קוד משמש ברציפות פרמטרים התנודות באותות באמצעות סוג נתונים סטנדרטי בקנה מידה משותף המאפשר בחירת המקור של הדרכה חושית המתאים ביותר כדי לעמעם את חוסר הוודאות של המערכת (שלב 3). שיפור זה בזמן אמת של שידור אותות דרך ערוצים נבחרים מאפשר פרמטרים מחדש של האות החושי המתחרה מחדש להשתלב בזרם המנוע הרציף ולשפר את זרם הקלט האבוד או הפגום (שלב החלפה חושית 4). הערכה מחדש רציפה סוגרת את הלולאה (שלב 5) ואנו שומרים את כל הנתונים לניתוחים עתידיים נוספים. לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.
הסעיפים הבאים מציגים את הפרוטוקול הגנרי של כיצד לבנות ממשק לולאה קרובה (כמתואר באיור 3) ומתארים תוצאות מייצגות של שני ממשקים ניסיוניים (המוצגים בהרחבה בחומר משלים) הכוללים אינטראקציה דיאדית פיזית בין שני רקדנים (מערכת לולאה קרובה אמיתית) ואינטראקציה דיאדית וירטואלית בין אדם לאווטאר (מערכת לולאת סגירה מלאכותית).