Method Article

التحكم الوكيل في الوقت الحقيقي للإشارات الطرفية ذات المعلمات باستخدام واجهة الحلقة القريبة

DOI:

10.3791/61943

⸱

May 8th, 2021

 ,  , 
1Center for Cognitive Science, Rutgers University, 2Department of Computer Science, Rutgers University, 3Music Department, Mason Gross School of the Arts, Rutgers University, 4Psychology Department, Rutgers University, 5Sensory Motor Integration Lab, Rutgers University, 6Computational Biomedicine Imaging and Modelling Center, Rutgers University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نقدم بروتوكولات وطرق التحليلات لبناء واجهات متكيفة تقوم بتدفق إشارات جسم الإنسان والقلب ووضع معلمات لها وتحليلها وتعديلها في حلقة قريبة. هذا الإعداد واجهات إشارات مستمدة من الجهاز العصبي الطرفية والمركزية للشخص مع المدخلات الحسية الخارجية للمساعدة في تتبع التغير الحيوي.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تهدف المجالات التي تطور أساليب الاستبدال الحسي والزيادة الحسية إلى التحكم في الأهداف الخارجية باستخدام إشارات من الجهاز العصبي المركزي (CNS). ومع ذلك، أقل تواترا، هي البروتوكولات التي تحديث الإشارات الخارجية الذاتي ولدت من قبل الهيئات التفاعلية في الحركة. هناك ندرة في الأساليب التي تجمع بين الإيقاعات الحيوية بين الجسم والقلب والدماغ من عامل واحد متحرك لتوجيه تلك التي من عامل آخر يتحرك خلال تبادل dyadic. وكان جزء من التحدي الذي يواجه إنجاز هذا الإنجاز هو تعقيد الإعداد باستخدام إشارات بيولوجية متعددة الوسائط مع وحدات فيزيائية مختلفة، وجداول زمنية متباينة وترددات أخذ عينات متغيرة.

في السنوات الأخيرة ، وظهور أجهزة الاستشعار الحيوية التي يمكن ارتداؤها التي يمكن تسخير إشارات متعددة غير الغازية جنبا إلى جنب ، وفتح إمكانية لإعادة تحديد المعلمات وتحديث الإشارات الطرفية من dyads التفاعل ، بالإضافة إلى تحسين الدماغ و / أو واجهات الجسم والآلة. هنا نقدم واجهة التكيف المشترك الذي يقوم بتحديث الإخراج الجسدي الحركي الفوارة (بما في ذلك الحركية ومعدل ضربات القلب) باستخدام أجهزة الاستشعار الحيوية. معلمات الإشارات الحيوية العشوائية، سونوسيفيس هذا الإخراج، ويغذي مرة أخرى في شكل إعادة معلمات كما visuo / الصوت الحركية reafferent المدخلات. نحن نوضح الطرق باستخدام نوعين من التفاعلات ، واحدة تشمل اثنين من البشر وأخرى تنطوي على الإنسان والرمزية التفاعل في الوقت الحقيقي تقريبا. نناقش الأساليب الجديدة في سياق الطرق الجديدة الممكنة لقياس تأثيرات المدخلات الخارجية على التحكم الداخلي الجسدي الحسي الحركي.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

وحدة التحكم الحلقة القريبة الطبيعية
تتدفق المعلومات الحسية الحركية باستمرار بين الدماغ والجسم لإنتاج سلوكيات منسقة ومنظمة تنظيما جيدا. يمكن دراسة مثل هذه السلوكيات مع التركيز على تصرفات الشخص وحده ، كما هو الحال في أسلوب المونولوج(الشكل 1A)، أو أثناء الإجراءات الديناميكية المعقدة المشتركة بين اثنين من الوكلاء في dyad ، كما هو الحال في أسلوب الحوار(الشكل 1B). ومع ذلك ، فإن الخيار الثالث هو تقييم هذه التفاعلات المعقدة من خلال وحدة تحكم وكيل ، في سياق واجهة حلقة قريبة بين الإنسان والكمبيوتر(الشكل 1C). يمكن لمثل هذه الواجهة تتبع تقلبات الحركات لحظة بلحظة التي يساهم بها كل وكيل في الدياد ، ونوع التماسك الذي يخرج ذاتيا من تفاعلاته المتزامنة ، مما يساعد على توجيه إيقاعات الدياد بطرق مرغوبة.

figure-introduction-1
الشكل 1: أشكال مختلفة من السيطرة. (أ) تعتمد الواجهات الذاتية التي يسيطر عليها الدماغ على العلاقات الوثيقة الحلقة بين دماغ الشخص وجسم الشخص نفسه ، والتي يمكن أن تنظم نفسها وتتفاعل ذاتيا بأسلوب "مونولوج". يحاول هذا الوضع التحكم في الحركات ذاتية المنشأ، أو قد يهدف أيضا إلى التحكم في الأجهزة الخارجية. (ب)يتم إدخال "الحوار" التحكم نمط لاثنين من الراقصين التي تتفاعل مع بعضها البعض ومن خلال entrainment المادية وأخذ بدوره لتحقيق السيطرة على حركات بعضهم البعض. (ج)"طرف ثالث" الحوار السيطرة على dyad كما هو مقدم بوساطة واجهة الكمبيوتر التي تسخر جنبا إلى جنب مع الإشارات الحيوية من كل من الراقصين ، parameterizes ذلك ويغذي مرة أخرى إلى الراقصين في شكل إعادة المعلمات باستخدام الصوت و / أو الرؤية كأشكال من التوجيه الحسي. تم تحقيق إعادة تحديد المعلمات في الأمثلة المعروضة هنا باستخدام ردود الفعل السمعية أو البصرية ، معززة بالإخراج الحركي الحركي في الوقت الحقيقي لأحد الراقصين للتأثير على الآخر ؛ أو من كلا الراقصين ، يتناوبون في بعض نمط بالتناوب. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

والهدف العام لهذه الطريقة هو إظهار أنه من الممكن تسخير، وتجسيد وإعادة تحديد المعلمات التقلبات لحظة بلحظة في الأنشطة الإيقاعات الحيوية للأجسام في الحركة، واثنين من وكلاء الانخراط في تبادل ثنائي الأبعاد التي قد تنطوي على اثنين من البشر، أو الإنسان والرمزية له / لها الذاتي تتحرك.

وقد ولدت التحقيقات حول كيفية الدماغ قد السيطرة على الإجراءات والتنبؤ عواقبها الحسية العديد من خطوط الاستفسارات النظرية في الماضي1،2،3 وأنتجت نماذج مختلفة من السيطرة العصبيةالحركية 4،5،6،7،8. وقد انطوى أحد خطوط البحث في هذا المجال المتعدد التخصصات على تطوير واجهات بين الدماغ والآلة أو الدماغ والكمبيوتر. هذه الأنواع من الاجهزة تقدم سبلا لتسخير وتكييف إشارات الجهاز العصبي المركزي للسيطرة على جهاز خارجي، مثل الذراع الروبوتية9،10،11،هيكل خارجي12،المؤشر على شاشة الكمبيوتر13 (من بين أمور أخرى). تشترك كل هذه الأجهزة الخارجية في الخاصية التي ليس لديها ذكاء خاص بها. بدلا من ذلك ، فإن الدماغ الذي يحاول السيطرة عليها لديه ، وجزء من المشكلة التي يواجهها الدماغ هو تعلم كيفية التنبؤ بعواقب الحركات التي يولدها في هذه الأجهزة (على سبيل المثال ، حركات المؤشر ، وحركات الذراع الروبوتية ، وما إلى ذلك) مع توليد حركات داعمة أخرى تساهم في ردود الفعل الحركية الحسية الشاملة في شكل إعادة الاتساق الحركي. في كثير من الأحيان ، كان الهدف الشامل لهذه الواجهات هو مساعدة الشخص الذي يقف وراء ذلك الدماغ على تجاوز إصابة أو اضطراب ، لاستعادة تحويل أفكاره المتعمدة إلى أفعال جسدية يتم التحكم فيها بإرادة الجهاز الخارجي. ومع ذلك كان أقل شيوعا تطوير واجهات التي تحاول توجيه تحركات الهيئات في الحركة.

الكثير من البحوث الأصلية على واجهات الدماغ والآلة التركيز على السيطرة على الجهاز العصبي المركزي (CNS) على أجزاء الجسم التي يمكن أن تنجز الإجراءات الموجهة نحو الهدف9،14،15،16،17. ومع ذلك، هناك حالات أخرى يكون فيها استخدام الإشارات المستمدة من أنشطة الجهاز العصبي المحيطي (PNS)، بما في ذلك أنشطة الجهاز العصبي اللاإرادي (ANS)، مفيدا بما يكفي للتأثير على إشارات العوامل الخارجية وتوجيهها، بما في ذلك الإنسان أو الصورة الرمزية الأخرى، أو حتى البشر المتفاعلين (كما هو الحال في الشكل 1C). على عكس الذراع الروبوتية أو المؤشر ، فإن العميل الآخر في هذه الحالة ، لديه ذكاء يقوده دماغ (في حالة الصورة الرمزية التي وهبت بحركات الشخص ، أو عميل آخر ، في حالة وجود ثني بشري متفاعل).

الإعداد الذي يخلق بيئة من التفاعل بين حلقة قريبة التكيف المشترك مع تبادل dyadic قد تكون ذات فائدة للتدخل في اضطرابات الجهاز العصبي حيث الدماغ لا يمكن السيطرة بإرادة الجسم نفسه في الحركة في الإرادة، على الرغم من عدم وجود قطع جسديا الجسر بين الجهاز العصبي المركزي وPNS. قد يكون هذا هو الحال بسبب الإشارات الطرفية الصاخبة حيث حلقات التغذية المرتدة لمساعدة الدماغ رصد مستمر وضبط الإيقاعات الحيوية الذاتية المولدة الخاصة بها قد تعطلت. هذا السيناريو ينشأ في المرضى الذين يعانون من مرض باركنسون18,19, أو في المشاركين الذين يعانون من اضطرابات طيف التوحد مع الضوضاء الزائدة في إخراجها الحركي. في الواقع، في كلتا الحالتين، قمنا بقياس مستويات عالية من نسبة الضوضاء إلى الإشارة في الإشارات الحركية العائدة المستمدة من سرعة حركاتها المقصودة20و21و22 ومن القلب23. في مثل هذه الحالات، قد تؤدي محاولة السيطرة على الدماغ للإشارات الخارجية، مع محاولة التحكم في الجسم في الحركة، إلى إشارة ذاتية التفاعل من تيار المعلومات (إعادة الارتجاف) الذي يتلقى الدماغ من تيار المحرك المستمر (الفوار) في المحيط. في الواقع ، فإن التقلبات لحظة بلحظة موجودة في مثل هذا التيار الحركي الفوار الذاتي المولدة تحتوي على معلومات مهمة مفيدة للمساعدة في التنبؤ بالعواقب الحسية للإجراءات الهادفة24. عندما تلف هذه التغذية المرتدة من الضوضاء، يصبح من الصعب تحديث إشارات التحكم بشكل متوقع وجسر الخطط المتعمدة مع الأفعال المادية.

إذا كان لنا أن تمديد هذه التغذية المرتدة حلقة إلى وكيل آخر والسيطرة على تفاعلات الشخص والوكيل من خلال طرف ثالث (الشكل 1C)، قد يكون لدينا فرصة لتوجيه أداء بعضها البعض في الوقت الحقيقي القريب. وهذا من شأنه أن يوفر لنا دليلا على المفهوم بأننا سنحتاج إلى توسيع مفهوم الواجهات بين الدماغ والجسم أو الدماغ والآلة التكيفية المشتركة لعلاج اضطرابات الجهاز العصبي التي تؤدي إلى ضعف إدراك الإرادة البدنية من النية العقلية.

الإجراءات الهادفة لها عواقب، والتي تتميز بدقة من قبل التوقيعات العشوائية الحركية التي تعتمد على السياق وتمكين الاستدلال على مستويات النية العقلية مع اليقين العالي25،26. وبالتالي ، فإن ميزة الطريقة الجديدة التي تستفيد من التبادل الديادي على النهج السابقة التي تركز على الشخص لآلة الدماغ أو واجهات الكمبيوتر في الدماغ ، هي أنه يمكننا زيادة إشارات التحكم لتشمل الإيقاعات الحيوية الجسدية والقلبية التي تمر إلى حد كبير تحت وعي الشخص ، تحت مستويات مختلفة من النية. وبهذه الطريقة، ونحن تخفيف التدخل التفاعلي أن السيطرة واعية يميل إلى استحضار في عملية التكيف مع الدماغ المؤشر السيطرة17. ويمكننا أن نضيف المزيد من اليقين إلى العملية التنبؤية من خلال تحديد المعلمات المختلفة للإشارات التي يمكننا الوصول إليها. على هذا المنوال، يوجد العمل السابق باستخدام إشارات الدماغ والذات في جنبا إلى جنب27،28،29؛ ولكن العمل الذي ينطوي على التفاعلات dyadic التي استولت عليها إشارات الدماغ الجسم لا تزال نادرة. علاوة على ذلك ، فإن الأدب موجود لم يحدد بعد التمييز بين الأجزاء المتعمدة من العمل الذي يتم تنفيذه تحت الوعي الكامل والحركات الانتقالية التي تحدث تلقائيا نتيجة للحركات المتعمدة30،31. هنا نقوم بهذا التمييز في سياق التبادل الديادي ، ونقدم طرقا جديدة لدراسة هذا الانقسام32، مع تقديم أمثلة على حركات مصممة رقصات (متعمدة) مقابل حركات مرتجلة (عفوية) في مساحة الرقص.

بسبب تأخير النقل والنقل في التكامل الحسي الحركي وعمليات التحول33، فمن الضروري أن يكون مثل هذا الرمز التنبؤي في مكان ، لتعلم توقع المدخلات الحسية القادمة مع اليقين العالي. وتحقيقا لتلك هذا الأمر، من المهم أن نكون قادرين على توصيف تطور نسبة الضوضاء إلى الإشارة المستمدة من الإشارات في تيار إعادة الالتواء الحركي الذي يجري تحديثه باستمرار. ثم نحتاج إلى بروتوكولات لقياس التغير في التغير الحركي بشكل منهجي. التباين موجود بطبيعته في التقلبات لحظة بلحظة من تيار المحرك فويرنت المنتهية ولايته34. وبما أن هذه الإشارات غير ثابتة وحساسة للاختلافات السياقية35،36، فمن الممكن تحديد التغيرات التي تحدث مع تعديلات في سياق المهام. لتقليل التداخل من الإشارات التفاعلية التي تنشأ من التحكم في CNS الواعي ، واستحضار تغييرات قابلة للقياس الكمي في تيار PNS الحركي الفوار ، نقدم هنا واجهة حلقة قريبة بالوكالة تغير بشكل غير مباشر ردود الفعل الحسية ، من خلال تجنيد الإشارة الطرفية التي تتغير إلى حد كبير تحت الوعي الذاتي للشخص. ثم نعرض طرقا لقياس التغيير الذي يترتب على التلاعب الحسي بشكل منهجي ، باستخدام التحليلات العشوائية القابلة لتصور العملية التي تثيرها واجهة الحلقة القريبة الوكيلة بشكل غير مباشر في كلا العميلين.

تقديم وحدة تحكم حلقة إغلاق الوكيل
التغيرات الحسية الحركية الموجودة في الإشارات الطرفية تشكل مصدرا غنيا للمعلومات لتوجيه أداء الجهاز العصبي في حين التعلم والتكيف والتعميم تجري عبر سياقات مختلفة37. تظهر هذه الإشارات جزئيا كمنتج ثانوي ل CNS في محاولة للتحكم في الإجراءات بمحض إرادتها ولكنها ليست الهدف المباشر لوحدة التحكم. وبما أن الشخص يتفاعل بشكل طبيعي مع الآخرين، يمكن تسخير الإشارات الطرفية وتوحيدها وإعادة تحديد معلماتها؛ وهذا يعني أن الاختلافات يمكن أن تكون ذات معلمات وتحول بشكل منهجي، كما يغير المرء تيار المحرك فوير الذي يدخل باستمرار النظام كما reafference الحركية. في مثل هذه الإعدادات، يمكننا تصور التحولات العشوائية، والتقاط بدقة عالية إشارة غنية التي فقدت خلاف ذلك لأنواع من المتوسط الكبير أن التقنيات التقليدية أكثر أداء.

لتحقيق توصيف التغيير في إطار النظام الأساسي الإحصائي الجديد ، نقدم هنا بروتوكولات وأنواع بيانات موحدة وتحليلات تسمح بدمج المدخلات الحسية الخارجية (السمعية والبصرية) مع الإشارات الحركية ذاتية الإنشاء داخليا ، في حين يتفاعل الشخص بشكل طبيعي مع شخص آخر ، أو مع نسخة رمزية من الشخص. في هذا المعنى، لأننا نهدف إلى السيطرة على الإشارات الطرفية (بدلا من تعديل إشارات CNS للتحكم مباشرة في الجهاز الخارجي أو وسائل الإعلام)، ونحن عملة هذا الوكيل واجهة حلقة قريبة(الشكل 2). ونحن نهدف إلى وصف التغيرات في الإشارات العشوائية ل PNS، لأنها تؤثر على تلك الموجودة في الجهاز العصبي المركزي.

figure-introduction-2
الشكل 2: التحكم بالوكالة من التفاعل dyadic باستخدام حلقة وثيقة واجهة متعددة مشروط. (أ) السيطرة غير المباشرة على اثنين من الراقصين (الرقص السالسا) عن طريق واجهة الكمبيوتر التكيفية المشتركة مقابل (ب) ثنائي الأبعاد الاصطناعية التفاعلية شخص الرمزية التي تسيطر عليها تسخير إشارات الجهاز العصبي المحيطي وإعادة المعلمة على أنها أصوات و / أو كمدخلات بصرية. (ج)مفهوم السونيشن باستخدام نوع بيانات موحد جديد (طفرات الحركة الصغرى، MMS) المستمدة من التقلبات لحظة بلحظة في سعة الإشارات البهائية الحيوية / توقيت تحويلها إلى اهتزازات ومن ثم إلى الصوت. من الفيزياء ، ونحن نستعير مفاهيم الضغط والنادرة التي تنتجها شوكة ضبط إخراج soundwave والاهتزازات قابلة للقياس. مخططات الموجات الصوتية ممثلة بالضغط المعدل مع مرور الوقت بالتوازي مع تركيزات الارتفاع للتسونية. مثال على إشارة مادية للخضوع لخط الأنابيب المقترح من MMS إلى الاهتزازات والسوناتة. نحن نستخدم إشارة معدل ضربات القلب كمدخل إلى الواجهة. وهذا يأخذ التقلبات في اتساع الإشارة محاذاة لبداية الحركة كل 4 ثوان من الحركة ويبني القطارات MMS تمثل الاهتزازات. يتم توحيد القطارات ارتفاع من MMS من [0,1]. لون المسامير وفقا لشريط الألوان، يمثل كثافة الإشارة. ثم نقوم بتجسيد هذه الاهتزازات باستخدام Max. يمكن استخدام هذه الإشارة sonified للعب مرة أخرى في A، أو لتغيير في B التفاعلات مع الصورة الرمزية. علاوة على ذلك ، في B ، من الممكن تضمين الصوت في البيئة واستخدام موضع الجسم لتشغيل الصوت مرة أخرى في منطقة الاهتمام (RoI) ، أو تعديل ميزات الصوت كدالة للمسافة إلى RoI أو سرعة أو تسريع جزء من الجسم يرتكز على جزء آخر من الجسم ، عند المرور من قبل RoI. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

يمكن تسخير إشارات PNS غير الغازية مع تقنيات الاستشعار التي يمكن ارتداؤها التي تشارك في تسجيل تيارات متعددة الوسائط من طبقات وظيفية مختلفة من الجهاز العصبي ، بدءا من اللاإرادي إلىالطوعي 32. يمكننا بعد ذلك قياس التغيرات في مثل هذه الجداول في الوقت الحقيقي تقريبا واختيار أولئك الذين تعزز تغييراتهم نسبة الإشارة إلى الضوضاء. ويمكن بعد ذلك زيادة هذه الإشارة الحركية الفوارة بأشكال أخرى من التوجيه الحسي (على سبيل المثال، السمعية والبصرية، وما إلى ذلك) لأن إشارات PNS سكيب الوعي الكامل، فهي أسهل للتلاعب دون مقاومة كبيرة 38. على هذا النحو، ونحن نستخدمها للمساعدة في توجيه أداء الشخص بطرق قد تكون أقل إرهاقا للنظام البشري.

بناء واجهة
نقدم تصميم التحكم الوكيل بوساطة واجهة متعددة الوسائط متعددة الوسائط متعددة التكيف. هذه الواجهة توجه ردود الفعل متعددة الآراء في الوقت الحقيقي. يعرض الشكل 3 التصميم العام.

تتميز واجهة الحلقة القريبة ب 5 خطوات رئيسية. الخطوة الأولى هي جمع البيانات متعددة الوسائط من أدوات متعددة يمكن ارتداؤها. الخطوة الثانية هي تزامن تيارات متعددة الوسائط من خلال النظام الأساسي LabStreamingLayer (LSL، https://github.com/sccn/labstreaminglayer) التي وضعتها مجموعة MoBI 39. الخطوة الثالثة هي تدفق بنية بيانات LSL إلى Python أو MATLAB أو واجهة لغة برمجة أخرى لدمج الإشارات وتجريب الميزات الفسيولوجية (ذات الصلة بإعدادنا التجريبي) في الوقت الفعلي. الخطوة الرابعة هي إعادة تحديد المعالم المختارة المستخرجة من التدفق المستمر للإشارة الجسدية التي تمت دراستها وزدها باستخدام طريقة اختيار حسية (على سبيل المثال ، البصرية والسمعية والحركية ، وما إلى ذلك) لتشغيلها مرة أخرى في شكل أصوات أو صور ، لزيادة أو استبدال أو تعزيز الطريقة الحسية التي تمثل مشكلة في الجهاز العصبي للشخص. وأخيرا، فإن الخطوة الخامسة هي إعادة تقييم التوقيعات العشوائية للإشارات التي يولدها النظام في الوقت الحقيقي، لتحديد الطريقة الحسية التي تجلب التحولات العشوائية للتقلبات الجسدية إلى نظام من اليقين العالي (تقليل الضوضاء) في التنبؤ بالعواقب الحسية للعمل الوشيك. يتم تشغيل هذه الحلقة بشكل مستمر طوال مدة التجربة مع التركيز على الإشارة المختارة ، مع تخزين الأداء الكامل للتحليلات اللاحقة (كما هو موضح في مخططات الشكل 3 وانظر40،41،42،43،44،45،46،47 كمثال على التحليلات الخلفية).

figure-introduction-3
الشكل 3: بنية مفهوم واجهة الحلقة القريبة متعددة الوسائط. يتم جمع إشارات جسدية مختلفة - البيانات الحركية، ونشاط القلب والدماغ (الخطوة 1). يستخدم LSL لتسجيل البيانات الواردة من معدات مختلفة إلى الواجهة (الخطوة 2) بشكل متزامن. يستخدم بيثون/ماتلاب/C# رمز لتحديد التقلبات في الإشارات باستمرار باستخدام نوع بيانات موحد ومقياس مشترك يمكن من اختيار مصدر التوجيه الحسي الأكثر ملاءمة للحد من عدم اليقين في النظام (الخطوة 3). هذا التعزيز في الوقت الحقيقي من إرسال إشارة من خلال قناة (ق) مختارة ثم يسمح إعادة تحديد المعلمة للإشارة الحسية إعادة الداخل لدمج في تيار المحرك المستمر وتعزيز تيار المدخلات المفقودة أو التالفة (استبدال الحسية الخطوة 4). إعادة التقييم المستمر يغلق الحلقة (الخطوة 5) ونحفظ جميع البيانات للتحليلات المستقبلية الإضافية. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

تعرض الأقسام التالية البروتوكول العام لكيفية بناء واجهة حلقية قريبة (كما هو موضح في الشكل 3)وتصف النتائج التمثيلية لواجهات تجريبية اثنين (معروضة بشكل متقن في المواد التكميلية) تتضمن التفاعل ثنائي الحلقة المادي بين راقصين (نظام حلقة قريبة حقيقي) والتفاعل ثنائي الحلقة الظاهري بين الشخص والرمزية (نظام الحلقة القريبة الاصطناعية).

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تمت الموافقة على الدراسة من قبل مجلس روتجرز للدراسات المؤسسية (IRB) امتثالا لإعلان هلسنكي.

1. المشاركون

  1. تعريف السكان الذين سيتم دراستهم ودعوتهم للمشاركة في الدراسة. يمكن استخدام الواجهة الحالية في مجموعات سكانية مختلفة. لا يقتصر هذا البروتوكول والأمثلة المستخدمة هنا لتوفير إثبات المفهوم على مجموعة معينة.
  2. الحصول على موافقة خطية مستنيرة من البروتوكول المعتمد من مجلس الهجرة والاربيل امتثالا لإعلان هلسنكي.
  3. اطلب من المشارك أو الوصي التوقيع على النموذج قبل بداية التجربة.

2. إعداد واجهة الحلقة القريبة

  1. إعداد المعدات الحركية-PNS
    1. ساعد المشارك على ارتداء زي التقاط الحركة المستند إلى LED بعناية (الجسم والرأس، كما هو موضح في الشكل 3، الخطوة 1 و 5) المصاحب لنظام التقاط الحركة المستخدم. سيتم تتبع علامات LED للزي من قبل كاميرات النظام لتقدير موقع الجسم المتحرك في الفضاء.
    2. قم بتوصيل وحدة تحكم LED اللاسلكية (المعروفة أيضا باسم وحدة برنامج تشغيل LED) للنظام بكابلات LED الخاصة بالزي عن طريق توصيله بالمنفذ المناسب. قم بتشغيل الجهاز وتعيينه على وضع الدفق.
    3. قم بتشغيل خادم نظام التقاط الحركة.
    4. افتح مستعرض ويب، وزيارة عنوان الخادم، والدخول (يجب أن تقدم الشركة معلومات تسجيل الدخول عند شراء المنتج).
    5. معايرة النظام حسب الحاجة (على سبيل المثال، معايرة النظام إذا كانت هذه هي المرة الأولى لاستخدام المعدات، وإلا انتقل إلى الخطوة 2.1.17).
    6. افتح أداة المعايرة لنظام التقاط الحركة وحدد معالج المعايرة.
    7. تأكد من أن إدخال رقم الملقم في حقل النص على الجانب الأيسر العلوي من الواجهة صحيح ثم انقر فوق متابعة.
    8. قم بتوصيل العصا بالمنفذ الأول لوحدة تحكم LED ثم قم بتشغيل وحدة التحكم وانقر فوق متابعة. بمجرد توصيل العصا، سيتم تشغيل علامات LED الخاصة بها وستظهر على الشاشة، في مشاهدات الكاميرا.
    9. ضع العصا في وسط حقل عرض الكاميرا، وتأكد من أنه يمكن تسجيلها بواسطة الكاميرات، وانقر فوق متابعة.
    10. تحريك عصا في جميع أنحاء الفضاء عن طريق الاحتفاظ بها عمودي ورسم اسطوانات. تأكد من التقاط الحركة بواسطة 3 كاميرات على الأقل في كل مرة، كما يتم تسجيلها في حقل العرض لكل كاميرا مما يجعلها خضراء. افعل هذا لجميع الكاميرات.
    11. بمجرد تسجيل حقل العرض لكل كاميرا بالكامل (كل شيء أخضر)، انقر فوق متابعة وانتظر تنفيذ حسابات المعايرة.
      ملاحظة: بمجرد الانتهاء من المعايرة، سيتم رؤية موقع الكاميرا مع علامات LED على الشاشة، حيث يتم وضعها فعليا في الغرفة. عند هذه النقطة، قد يستأنف المستخدم المعايرة لأنه تم، أو متابعة محاذاة النظام.
    12. عقد عصا عموديا ووضع الجانب مع الصمام أقرب إلى نهاية عصا على أرض الواقع، حيث يجب تعيين أصل الفضاء 3D (نقطة (0،0،0)).
    13. عقد عصا مستقرة حتى مسجلة. بمجرد التسجيل، تومض الشاشة باللون الأخضر. ستظهر نقطة تشير إلى أصل الإطار المرجعي على المساحة على الواجهة وسيتم تمييز محور المحاذاة التالي، المحور س، باللون الأخضر.
    14. تحريك العصا، والحفاظ على نفس الاتجاه (عموديا)، عند نقطة المحور س والاحتفاظ بها مستقرة حتى مسجلة.
    15. كرر لمحور z. بمجرد تسجيل نقطة المحور z، تكتمل المعايرة.
    16. انقر فوق إنهاء لإنهاء المعايرة.
    17. افتح واجهة نظام التقاط الحركة وانقر فوق الاتصال لبدء تدفق البيانات من علامات LED. بمجرد تأسيس الاتصال، سيتم عرض موضع العلامات على العالم الافتراضي للواجهة.
    18. إنشاء الهيكل العظمي الظاهري (تقدير تلقائيا مواقف العظام للجسم من البيانات موقف جمعها من علامات LED من زي, كما هو مبين الشكل 8 step2).
    19. انقر بزر الماوس الأيمن على الهياكل العظمية على الجانب الأيمن من النافذة وحدد هيكل عظمي جديد.
    20. اختر تعيين العلامة ثم حدد الملف المناسب (الذي تقدمه الشركة استنادا إلى إصدار الواجهة المستخدم). ثم انقر فوق موافق.
    21. اطلب من المشارك البقاء مستقرا على T-pose (وضع مستقيم مع فتح الذراعين على الجانبين).
    22. انقر بزر الماوس الأيمن على الهيكل العظمي وحدد إنشاء هيكل عظمي دون تدريب.
    23. إذا تم تنفيذ كافة الخطوات بشكل صحيح سيتم إنشاء الهيكل العظمي. اطلب من المشارك التحرك والتحقق من مدى دقة الهيكل العظمي الافتراضي في تتبع تحركات المشارك.
    24. لبث بيانات الهيكل العظمي إلى LSL، حدد الإعدادات والخيارات من القائمة الرئيسية.
    25. فتح Owl المحاكي وانقر فوق "بدء" البث المباشر.
  2. إعداد معدات تخطيط كهربية الدماغ - CNS
    1. مساعدة نفس المشارك على ارتداء قبعة الرأس تخطيط كهربية الدماغ.
    2. ضع أقطاب الجل (الأقطاب الكهربائية التقليدية القائمة على الجل المستخدمة مع غطاء الرأس EEG) على غطاء الرأس وقطبين كهربائيين لزجين (أقطاب كهربائية تعمل مثل الملصقات) على الجانب الخلفي من الأذن اليمنى لأجهزة استشعار CMS وDRL.
    3. ملء الأقطاب الكهربائية مع هلام عالية التوصيل، حسب الحاجة، لتحسين الموصلية بين جهاز الاستشعار وفروة الرأس.
    4. قم بتوصيل كابلات الأقطاب الكهربائية على الجل-trodes والقطبين الكهربائيين لزجة.
    5. ضع الشاشة اللاسلكية على الجزء الخلفي من غطاء الرأس وقم بتوصيل كابلات القطب الكهربائي.
    6. قم بتشغيل الشاشة.
    7. افتح واجهة نظام تخطيط كهربية الدماغ.
    8. حدد استخدام جهاز Wi-Fi وانقر فوق مسح للأجهزة.
    9. حدد NE Wi-Fi واستخدم هذا الجهاز.
    10. انقر على أيقونة الرأس، وحدد بروتوكولا يسمح بتسجيل جميع أجهزة الاستشعار ال 32، وانقر فوق تحميل.
    11. تأكد من عرض البيانات المتدفقة من كل قناة على الواجهة.
  3. إعداد معدات تخطيط القلب - ANS
    1. اتبع الخطوات الدقيقة المقدمة في 2.2 ولكن استخدم قناة O1 للاتصال على معدل ضربات القلب (HR) التمديد.
    2. استخدام قطب لاصق لعصا الطرف الآخر من التمديد الحق تحت القفص الصدري الأيسر.
  4. إعداد LSL لتسجيل وتدفق البيانات الحركية المتزامنة.
    1. تشغيل تطبيق LSL لنظام التقاط الحركة بالنقر المزدوج على الرمز المقابل. تحديد موقع التطبيق على المسار التالي من المجلد LSL، LSL\labstreaminglayer-master\Apps\PhaseSpace.
    2. على الواجهة، تعيين عنوان الملقم المناسب.
    3. ثم حدد ملف وتحميل التكوين.
    4. حدد ملف التكوين المناسب (يجب أن يتم توفيره من قبل الشركة استنادا إلى إصدار المنتج المستخدم)
    5. انقر فوق ارتباط. إذا لم يتم ارتكاب أي أخطاء، فلن يتم عرض أي رسالة خطأ.
  5. إعداد LSL لتسجيل وتدفق متزامن للبيانات تخطيط كهربية الدماغ وECG. لا يلزم اتخاذ خطوات إضافية لهذه المعدات.
  6. إعداد LSL
    1. تشغيل تطبيق LabRecorder بالنقر المزدوج على الملف الموجود في LSL\labstreaminglayer-master\Apps\LabRecorder مسار المجلد LSL.
    2. انقر فوق تحديث. إذا تم تنفيذ كافة التعليمات بشكل صحيح، سيتم مشاهدة كافة أنواع البيانات الخاصة بنظام التقاط الحركة وEEG على سجل لوحة التدفقات.
    3. حدد الدليل والاسم للبيانات الموجودة على لوحة موقع التخزين.
    4. انقر فوق ابدأ. وسيبدأ جمع البيانات لنظام التقاط الحركة وEEG بشكل متزامن.
    5. في نهاية التسجيل انقر فوق إيقاف. إذا كان التسجيل ناجحا، سيتم تحديد موقع البيانات على الدليل المحدد مسبقا. افتح الملفات للتأكد من أنها تتضمن المعلومات المسجلة.
  7. تحليل ورصد النظام البشري في الوقت الحقيقي.
    1. تنفيذ MATLAB أو Python أو التعليمات البرمجية الأخرى التي تتلقى البيانات المتدفقة وتعالجها و تزيدها. يمكن العثور على رموز المثال المقابلة للأمثلة التمثيلية الموضحة في الأقسام التالية هنا: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
  8. توليد التغذية المرتدة الحسية المعززة
    1. إنتاج الإخراج الحسي باستخدام الجهاز المناسب (على سبيل المثال، مكبرات الصوت، ورصد، من بين أمور أخرى).

3. إجراء تجريبي

  1. اتبع الإجراء التجريبي الذي تم تعريفه بواسطة الإعداد، إن وجد.
    ملاحظة: تم تصميم واجهات الحلقة القريبة لاستكشافها وتعلمها بشكل حدسي. وبالتالي، في معظم الأحيان لا توجد تعليمات مطلوبة.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

هناك واجهات مختلفة يمكن بناؤها على أساس البروتوكول المعروض في القسم السابق ويمكن تطبيقها على مجموعات سكانية مختلفة لأغراض عديدة. ويرد وصف بعض الاختلافات الممكنة في القسم"الاختلافات من واجهة الحلقة الوثيقة المعروضة"من المواد التكميلية.

في هذا القسم نحن عرض النتائج التمثيلية من 2 عينة واجهات حلقة قريبة التي تتبع البروتوكول الموضحة في القسم السابق. يتم شرح الإعداد والإجراء التجريبي والمشاركين في هذه الدراسات بعمق في أقسام "المثال 1: واجهة الحلقة الصوتية القريبة من تفاعل Dyadic الحقيقي" و "المثال 2: واجهة الحلقة القريبة السمعية والبصرية للتفاعل Dyadic الاصطناعي" للملف التكميلي.

نتائج واجهة الحلقة المغلقة للصوت من التفاعل Dyadic الحقيقي
في دراسة "واجهة الصوت الحلقة الوثيقة للتفاعل dyadic الحقيقي" (قدم بشكل متقن في القسم "المثال 1: واجهة الصوت حلقة قريبة من التفاعل Dyadic الحقيقي" من المواد التكميلية)، استخدمنا واجهة التحكم بالوكالة، يتضح في الشكل 4، والذي يستخدم إشارة قلب الراقصة لتغيير الموسيقى رقصت. في الوقت الحقيقي، قمنا بمعالجة الإشارات لاستخراج وقت ضربات القلب وتدفقنا هذه المعلومات إلى نظام ماكس لتغيير سرعة الأغنية المنفذة. بهذه الطريقة، لعبنا الأغنية مرة أخرى، غيرت من قبل إشارات البيوفيزيائية. أدت هذه العملية إلى مزيد من التعديلات على الحركات وإشارات ضربات القلب.

figure-results-1
الشكل 4: واجهة حلقة قريبة المستندة إلى الصوت. 1. جهاز ECG-HR يمكن ارتداؤها تراقب نشاط راقصة السالسا أثناء أداء إجراءات لها ويغذي الإشارات إلى واجهة في 500Hz. 2. تقوم واجهتنا بتحليل بيانات تخطيط القلب في الوقت الفعلي. في كل إطار، فإنه يقوم بتصفية البيانات الخام، واستخراج قمم R من مجمع الاستجابة السريعة. وتيارات الكشف الذروة إلى MAX. 3. تمزج واجهة الطرف الثالث بين سرعة الصوت وسرعة معدل ضربات القلب. 4. يتم تشغيل الأغنية المعدلة مرة أخرى إلى الراقصين. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

تفاعل راقصان من السالسا مع الواجهة وأديا روتينا جيدا تم التدرب عليه ينظم رقصة رقصة ورقصة مرتجلة تلقائيا. كان على الراقصين أداء النسخة الأصلية من الأغنية مرة واحدة ومزجت نسخة الإيقاع الأصلي للأغنية مع تيار ضربات القلب في الوقت الحقيقي. نشير إلى الإصدار اللاحق الذي تم تنفيذه مرتين 1 و 2 من الأغنية.

في التحليل المعروض أدناه، استخدمنا القلب والإشارة الصوتية المسجلة. قمم الإشبين المستخرجة لتقدير قطارات MMS (انظر القسم "مسامير الحركات الدقيقة" في الملف التكميلي) ، والتي تحافظ على تقلبات التردد العالي كما هو موضح في الشكل 5.

figure-results-2
الشكل 5: تقدير القطارات MMS من نظام الصوت حلقة قريبة. وتستخدم السلسلة الزمنية ل ECG لاستخراج قمم RR وانحرافات السعة عن متوسط السعة الإجمالي (المقدر) لذروة R التي تم الحصول عليها (البيانات المتوسطة التحول). ثم يتم استخدام التطبيع عن طريق المعادلة 1 (انظر الملف التكميلي، قسم "مسامير الحركة الصغرى") للحصول على قطارات MMS. وتستخدم أساليب مماثلة للتعامل مع الموجي الصوت وتشغيل الأغنية مرة أخرى وفقا لأداء الشخص في الوقت الحقيقي. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

وتميزت القطارات MMS جيدا كعملية عشوائية مستمرة، ممثلة تمثيلا جيدا من قبل عائلة غاما المستمر من التوزيعات الاحتمالية. واعتبرت وزارة العمل والأخلاقيات هذه الأسرة المستمرة من التوزيعات هي الأنسب لكلا المجموعتين من البيانات (انظر التفسير في القسم "توزيع غاما" للمواد التكميلية والشكل التكميلي 2). وقد استخدم هذا النوع من العمليات العشوائية لتتبع التحولات في التوقيعات العشوائية للإيقاعات الحيوية التي تولدها الإشارات الحيوية من الجهاز العصبي البشري.

من الشكل المقدر تجريبيا والمعلمات غاما مقياس، نحصل على لحظات غاما، والمتوسط، والتباين، وانحراف، وكورتوسيس (انظر تفاصيل التحليل في قسم "التحليل العشوائي" من المواد التكميلية). ثم نقوم برسم PDF المقدر. يركز الشكل 6 فقط على إشارة القلب والموسيقى ، ولكن الأساليب تنطبق بالمثل على الإيقاعات الحيوية الأخرى الناتجة عن إشارات الحركية المقدمة في 41.

يظهر ملف PDF للقلب وإشارة الموسيقى في الشكل 6A-B، حيث نسلط الضوء على الاختلافات بين مجموعات البيانات الخاصة بالظروف ، الروتين المتعمد والارتجال التلقائي. لكل حالة، ونحن نؤكد على التحولات في التوقيعات العشوائية الناجمة عن التعديلات الزمنية للأغنية. في البداية، يرقصون على الأغنية الأصلية. ثم، كما ضربات القلب يغير الإيقاعات في الوقت الحقيقي، والتقلبات sonified في هذه الإشارة يؤدي الراقصين لمتابعة التعديلات الزمنية للأغنية.

ويشار إلى هذه التغيير 1 والتغيير 2. يتم وصف هذه التحولات المنهجية بواسطة معلمات غاما. ثم، باستخدام المعلمات الشكل والنطاق المقدرة تجريبيا، حصلنا على أربع لحظات غاما المقابلة لضربات القلب والأغاني. يتم عرض هذه في الشكل 6C للقلب (أعلى) وأغنية (أسفل) إشارات.

figure-results-3
الشكل 6:إحداث تغييرات منهجية في ملفات Gamma PDFs المقدرة تجريبيا ومساراتها العشوائية للحظات غاما الأربع من الأداء تحت التحكم الوكيل باستخدام نظام الحلقة المغلقة للصوت. (أ) ملفات PDF من قطارات MMS لكل نوع من أنواع البيانات (ECG أعلى وأسفل ملف الصوت) لكل سياق من سياقات الرقص ، والارتجال التلقائي والروتين المتعمد. الأساطير هي Imp Or (الارتجال الأصلي) الذي يشير إلى حالة خط الأساس في بداية الجلسة؛ Imp Alt1 تدل على الارتجال أثناء التغيير 1؛ Imp Alt2 تدل على الارتجال أثناء التغيير 2. (ب) وبالمثل، لروتين التدرب المتعمد، Rout أو يعني الأصلي الروتينية؛ Rout Alt1 يعني تغيير روتيني 1; Rout Alt2 يعني التغيير الروتيني 2. لوحات في (ج) تظهر التحولات المنهجية في لحظات غاما على حد سواء إشارات الصوت من الأغاني وتلك من تحول القلب جنبا إلى جنب وفي الوقت الحقيقي. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

يمكن تقدير تحول التوقيعات في هذه اللوحات (PDF و Gamma لحظات الرسوم البيانية) ، مما يدل على أن الأساليب المقدمة يمكن التقاط التكيف من القلب إلى تعديلات الأغنية التي تنتج وحدة تحكم الوكيل في الوقت الحقيقي. كما الأغاني تحول الإيقاعات، وكذلك التوقيعات العشوائية القلب والانتقال من التوقيعات العشوائية متسقة في الاتجاه (وهو أيضا نتيجة في 41 حيث درسنا المعلمات الشكل والحجم). وبالمثل، مع تحول توقيعات القلب، تتغير توقيعات الأغنية أيضا. يؤثر هذا النسخ المتطابق -واحد على الآخر كما تحولات واحد باستمرار نحو اتجاه حتى لا الأخرى- اتبع طبيعة الحلقة القريبة من واجهة وحدة تحكم الوكيل هذه. وتؤكد النتائج فائدة هذا الإعداد وتعطي دليلا على المفهوم بأننا يمكن أن نحول بشكل منهجي الإيقاعات الحيوية الذاتية للشخص في سياق التبادل الديادي.

التحولات المتوازية على التوقيعات العشوائية لكل من الأغاني والإشارات الجسدية ، تثبت أن التكيف المشترك للنظام بأكمله (المشارك والواجهة) ممكن باستخدام الإشارات الطرفية. هذه العملية بسلاسة تحت وعي الشخص ويقدم دليلا على مفهوم للأفكار لتحويل عن بعد وبشكل منهجي إشارات الشخص الحيوية في المراسلات مع ردود الفعل الحسية الخارجية للاختيار. باختصار، يمكننا توجيه تحويل التوقيعات العشوائية في هذه العملية العشوائية المستمرة. تمكن الأساليب من التقاط التغيير ومعدلها على طول المسارات العشوائية التي تمكنا من بنائها في الوقت الفعلي تقريبا.

للتأكد من الأهمية الإحصائية في التحولات، نستخدم اختبار ANOVA غير البارامترية، اختبار كروسكال واليس يليه مقارنات متعددة بعد الاختبار المخصص. نحن نقارن توقيعات MMS لبيانات القلب بين الحالات الستة. ويبين الشكل 7 المقارنة المتعددة لبيانات القلب MMS والجدول Kruskal-Wallis المقابلة. تشير مؤامرة المقارنة المتعددة إلى وجود فرق كبير بين الشرط الأساسي للرقص الروتيني الأصلي (Rout. أو) وحالة خط الأساس للرقص المرتجل الأصلي (Imp. أو). من المهم أيضا ملاحظة أن التعديلات الأولى ، Rout. Alt1 وImp. Alt1 ، والتحول إلى التوزيعات التي تشترك في وسائل مماثلة وينطبق الشيء نفسه على التعديلات الثانية ، في حين أن التباين ، الانحراف والتحوير التحول على الفضاء لحظات غاما(الشكل 6C).

figure-results-4
الشكل 7:نتائج اختبارات كروسكال واليس غير البارامترية والاختبارات المتعددة اللاحقة للمقارنة. نتائج ANOVA غير بارامترية (اختبار كروسكال واليس) المطبقة على MMS من بيانات القلب لمقارنة الشروط الستة. وتبين المؤامرة المقارنة المتعددة بين الحالات ال 6، مما يشير إلى الفرق الكبير بين "الهزيمة". أو" وشروط "عفريت أو". ويبين الجدول نتائج اختبار كروسكال واليس. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

نتائج واجهة الحلقة المغلقة السمعية والبصرية للتفاعل Dyadic الاصطناعي
في دراسة "واجهة الحلقة المغلقة السمعية والبصرية للتفاعل الدياديك الاصطناعي" (المقدمة بشكل متقن في القسم "المثال 2: واجهة الحلقة السمعية والبصرية القريبة من تفاعل ديادي اصطناعي" من المواد التكميلية) ، تفاعل 6 مشاركين مع الواجهة ، الموضحة في الشكل 8، مما يخلق الصورة الرمزية المعكوسة التي تجعل حركات الشخص نفسه. تدمج الواجهة أصواتا تعتمد على الموضع داخل المنطقة المحيطة بالشخص أثناء التفاعل. وكان المشاركون ساذجين فيما يتعلق بالغرض من الدراسة. كان عليهم أن يتجولوا في الغرفة ومعرفة كيفية التحكم في الصوت الذي سيظهر بشكل مدهش أثناء مرورهم من قبل RoI (المناطق المثيرة للاهتمام) التي حددها وحدة التحكم الوكيلة.

figure-results-5
الشكل 8: التمثيل المرئي للواجهة السمعية والبصرية. 1. يستخدم نظام التقاط الحركة للحصول على البيانات الحركية الطرفية. 2. النظام يجمع مواقف أجهزة الاستشعار (في مثالنا الصمام) لتقدير الهيكل العظمي - الموقف على العظام. 3. ثم يتم محاذاة مواقف العظام في واجهة MATLAB المتقدمة باستخدام نموذجنا الحركي الأمامي الخاص بنا. 4. يتم استخدام المواقف المنحازة لرسم خريطة لمعلومات الهيكل العظمي إلى الصورة الرمزية المقدمة ثلاثية الأبعاد. 5. رسم خرائط البيانات المتدفقة إلى الصورة الرمزية في الوقت الحقيقي مما يخلق الإحساس بالنظر إلى صورة الشخص المعكوسة. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

يوضح الشكل 9 نتائج الواجهة السمعية والبصرية للحالة 1 (انظر الملف التكميلي لمزيد من الشروط) ، حيث ينشط موقع الورك الأغنية عندما يكون الأول موجودا في RoI. يظهر هذا الشكل توقيعي PDF و Gamma (انظر قسم "أنواع البيانات والتحليلات" للمواد التكميلية) لبيانات سرعة الورك ل 6 مشاركين مختلفين في التحكم (C1 إلى C6) ، عندما كانوا داخل وخارج حجم RoI. وتبرز النتائج المعروضة هنا الاختلافات الشخصية بشأن معدل تكيف فرادى المشاركين. ويشار إلى هذه التحولات من التوقيعات العشوائية، والنتائج الفردية الناشئة داخل أو خارج حجم RoI. على سبيل المثال ، يمكننا أن نلاحظ أن PDF يتناسب مع تكرار المدرجات التكرارية ل MMS المستمدة من سعة سرعة الوركين C3 و C4 ، وكانت أكثر تماثلا (قيمة شكل أعلى) وأقل ضجيجا (قيمة مقياس أقل) عندما تكون داخل وحدة التخزين. وعلى النقيض من ذلك، يظهر بقية المشاركين نمطا معاكسا.

ومن الناحية التجريبية، وجدنا أن التوقيعات على الزاوية اليمنى السفلى هي توقيعات الرياضيين والراقصين، الذين يؤدون حركات ذات مهارات عالية. التوقيعات تكمن على المنطقة اليسرى العليا، وتأتي من مجموعات البيانات من الجهاز العصبي مع الأمراض، مثل تلك التي لديها تشخيص اضطرابات طيف التوحد ADHD22،32 وتلك التي من مشارك الصم21. في سياق تغيير الأنماط على طول مسار ستوشاستيك، نحصل على القيم الوسيطة للشكل والمقياس لتحديد الربع السفلي الأيمن (RLQ) والرباع العلوي الأيسر (LUQ) حيث نتتبع الجودة الإجمالية لنسبة الإشارة إلى الضوضاء من خلال تجميع هذه المعلومات بمرور الوقت. وهذا يعتبر تحديث القيم الوسيطة التي تحدد هذه الأرباع بشكل ديناميكي حيث يشارك الشخص في تكييف إيقاعاته الحيوية المتولدة داخليا مع تلك التي يسيطر عليها الوكيل خارجيا ولكنه يعتمد على الإيقاعات الداخلية للشخص.

figure-results-6
الشكل 9:تقدير تجريبي لملفات Pdf غاما وتواقيع غاما للإيقاعات الحيوية الجسدية أثناء التفاعلات باستخدام نظام الحلقة المغلقة السمعية البصرية. باستخدام قطارات MMS المستمدة من سرعة الوركين لكل مشارك (C1 - C6) ، استخدمنا MLE لتناسب أفضل PDF مع فترات ثقة 95٪. يتم تمثيل كل مشارك بواسطة رمز مختلف بينما يتم تمثيل الشروط بألوان مختلفة. عائلة من ملفات PDF غاما عندما تكون في وحدة التخزين (في) يختلف عن ذلك خارج وحدة التخزين (خارج). وإلى جانب ملفات PDF المقدرة تجريبيا ل Gamma، يتم عرض معلمات شكل غاما ومقياسها المقدرة أيضا لكل شخص على مستوى معلمة Gamma. يرجى النقر هنا لعرض نسخة أكبر من هذا الرقم.

ويبين الجدول 1 القيم p التي تم الحصول عليها من البيانات الخام (السرعة) وMMS مقارنة النتيجة عبر الظروف عندما يكون جزء جسم الشخص داخل RoI مقابل. خارج RoI. وقد قدرت النتائج المبينة على الطاولة باستخدام اختبار ANOVA Kruskal-Wallis غير البارامتري.

اختبار كروسكال واليسبيانات السرعةرسائل الوسائط المتعددة
C101.34 e-05
C204.72E-15
C308.59E-34
C42.70E-213.16E-04
C501.11E-09
C605.95E-05

الجدول 1: ناتج اختبار ANOAVA-Kruskal-Wallis غير البارامتري. نتائج اختبار كروسكال واليس مقارنة تسجيلات الداخل مقابل خارج رول لMMS وبيانات السرعة. نطبق الاختبار على بيانات كل مشارك (C1 - C6) بشكل منفصل.

ملفات تكميلية. الرجاء الضغط هنا لتحميل هذه الملفات.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

تقدم هذه الورقة مفهوم التحكم بالوكالة عبر واجهات تفاعلية متعددة الوسائط ، تفاعلية ، متكيفة ، تعمل على تسخير الإشارة الطرفية للشخص ووضع معلمات عليها وإعادة تحديد معلماتها في سياق التبادل الديادي. لقد استهدفنا وصف التحولات العشوائية في تقلبات الإيقاعات الحيوية للشخص ووضع معلمات للتغيير. كما أننا استهدفنا توجيه التوقيعات العشوائية لإيقاعاتها الحيوية بشكل منهجي نحو مستويات مستهدفة من أنظمة الضوضاء إلى الإشارة في الوقت الحقيقي تقريبا.

قدمنا بروتوكولا عاما لبناء واجهة حلقية قريبة تلبي 5 عناصر أساسية: 1) جمع بيانات جسدية متعددة قادمة من CNS وPNS و ANS باستخدام أدوات وتقنيات مختلفة؛ 2) جمع البيانات الجسدية المتعددة من CNS وPNS و ANS باستخدام أدوات وتقنيات مختلفة؛ 2) 2) تسجيل وبث البيانات المتزامنة؛ 3) تحليل الوقت الحقيقي للإشارات المختارة؛ 4) إنشاء زيادة الحسية (الصوت والبصرية، وما إلى ذلك) باستخدام الميزات الفسيولوجية المستخرجة للإشارات الجسدية؛ و 5) التتبع المستمر للنظام البشري و زيادة الحسية المتوازية يغلق حلقة التفاعل بين الإنسان و النظام.

تم تطبيق البروتوكول العام على واجهتين مثال. الأول يحقق في التبادل الديادي بين عميلين بشريين والثاني بين عميل بشري وعميل رمزي. تم استخدام نوعين من dyads لتوفير دليل على مفهوم أن الإشارة الطرفية يمكن تغييرها بشكل منهجي في الوقت الحقيقي وأنه يمكن تتبع هذه التغييرات العشوائية بدقة. ويتكون أحد الدياد من مشاركين يتفاعلان جسديا، بينما كان الآخر ينطوي على مشارك يتفاعل مع وكيل افتراضي في شكل صورة رمزية ثلاثية الأبعاد تمنح بحركات الشخص وبتغيرات متغيرة من هذه الحركات في الوقت الحقيقي. وقد أثارت هذه التعديلات التلاعبات التفاعلية التي تحركها المدخلات السمعية و / أو البصرية الحسية في إطار من الأحاسيس المعززة. في كل من dyad الحقيقي و dyad الاصطناعية ، أظهرنا جدوى تحويل الإشارات الطرفية عن بعد ، بما في ذلك الإيقاعات الحيوية الجسدية والإشارات اللاإرادية من ضربات القلب.

قدمنا بروتوكولات تجريبية جديدة للتحقيق في مثل هذه التحولات في تقلب المحرك الفوارة حيث يتم التلاعب بتيارات الإشارات الحركية وإعادة تحديد المعلمات في الوقت الحقيقي تقريبا. وقد أثبتت هذه المعلومات التي أعيد دخولها (reafference48الحركي) قيمتها في تغيير أداء الأنظمة في الوقت الحقيقي. أنها تحمل معلومات عن العواقب الحسية للعمل، والتي يمكن تتبعها بدقة باستخدام الأساليب التي قدمناها هنا.

كما أظهرنا أنواع البيانات والأساليب الإحصائية القابلة لتوحيد تحليلاتنا. قدمنا أدوات تصور متعددة لإظهار التغيرات في الوقت الحقيقي في الأنشطة الفسيولوجية التي تتطور بشكل طبيعي في سياقات مختلفة ، مع استنتاج إحصائي موجه تجريبيا يفسح المجال لتفسير إشارات الجهاز العصبي ذاتية التوليد والتحكم الذاتي. والأهم من ذلك أن التغييرات التي أثارها المراقب المالي بالوكالة كانت سلسة ولكنها قابلة للقياس الكمي، مما يدعم الفكرة القائلة بأن النشاط الهامشي مفيد بأكثر من طريقة. في حين يمكننا تنفيذ هذه الأساليب باستخدام أجهزة الاستشعار اللاسلكية القابلة للارتداء المتاحة تجاريا، يمكننا أن نحفز بشكل منهجي تغييرات في الأداء التي يمكن التقاطها في الإيقاعات الفيزيائية الحيوية دون التأكيد على النظام. من المهم ترجمة أساليبنا إلى الساحة السريرية واستخدامها كدمى اختبار لتطوير نماذج تدخل جديدة (على سبيل المثال ، كما هو الحال عند استخدام الواقع المعزز في التوحد 49). في مثل هذه النماذج، سوف نكون قادرين على تتبع وقياس العواقب الحسية للإجراءات الطبيعية للشخص، كما يتم التلاعب بدقة المدخلات الحسية، ويتم المعلمة الإخراج وإعادة المعلمة في الوقت الحقيقي تقريبا.

نحن نقدم هذا البروتوكول كنموذج عام للاستفادة من مختلف الأنشطة الحيوية التي تولدها الأجهزة العصبية البشرية وتسخيرها بشكل غير الغازية مع الأجهزة اللاسلكية القابلة للارتداء. على الرغم من أننا استخدمنا مجموعة من أجهزة الاستشعار الحيوية لتسجيل تخطيط كهربية الدماغ و ECG و kinematics في هذه الورقة ، فإن طرق تسجيل الإشارات ومزامنتها وتحليلها عامة. وبالتالي يمكن للواجهة دمج تقنيات أخرى. وعلاوة على ذلك، يمكن تعديل البروتوكولات لتشمل إجراءات وسياقات طبيعية أخرى تمتد إلى المجال الطبي. ولأننا استهدفنا السلوكيات الطبيعية، يمكن استخدام الإعداد الذي طورناه في البيئات المرحة (على سبيل المثال، إشراك الأطفال والآباء).

يمكن أن تستفيد العديد من اضطرابات الجهاز العصبي من مثل هذه النهج المرحة لمشكلة التحكم. في كلا النوعين من التفاعلات dyadic التي أظهرناها هنا ، يمكن للمشاركين أن يهدفوا إلى التحكم بوعي في الموسيقى ، في حين أن وحدة التحكم الوكيلة تستخدم الإخراج المحيطي للتلاعب دون وعي وتحويل توقيعاتها بشكل منهجي. لأن العلماء قضوا سنوات تجريبية رسم خرائط الطائرة المعلمة غاما ولحظات غاما المقابلة الفضاء عبر مختلف الفئات العمرية (حديثي الولادة إلى 78 سنة من العمر)19،50،51،52،53 والظروف (التوحد ، مرض باركنسون، والسكتة الدماغية، وحالة غيبوبة والصم)، لمستويات مختلفة من السيطرة (الطوعية، التلقائية، عفوية، اللاإرادية والاستقلالية)25،47،54، لديهم معايير قياس تجريبيا تشير إلى أين على مساحات غاما يجب أن تكون التوقيعات العشوائية للسيطرة التنبؤية جيدة. كما أظهرت الأبحاث السابقة أننا نعرف أين المعلمات في وجود ضوضاء عشوائية عفوية قادمة من الإيقاعات ذاتية المولدة للجهاز العصبي البشري7و19و55و56. ضمن مخطط التحسين التقليل من الضوضاء الحركية الإيقاعات الحيوية، يمكننا أن نهدف بالتالي إلى قيادة الإشارات بطريقة تصل إلى المناطق المستهدفة من مساحات غاما حيث شكل وتشتت التوقيعات من عائلة PDF من كل شخص يؤدي إلى إشارة عالية إلى نسبة الضوضاء والقيم التنبؤية. وبهذا المعنى، لا نفقد البيانات الإجمالية بل نستخدمها بفعالية لدفع النظام نحو مستويات مرغوبة من الضوضاء في حالة معينة.

التفاعلات Dyadic موجودة في كل مكان في البيئات السريرية أو التدريب. قد تحدث بين المدرب والمتدرب. الطبيب والمريض؛ المعالج السريري والمريض. وقد تحدث أيضا في بيئات بحثية تنطوي على علوم ترجمة وتشرك الباحث والمشارك. واحدة من مزايا البروتوكولات الحالية هي أنه في حين أنها مصممة ل dyads ، فهي أيضا شخصية. على هذا النحو ، فمن الممكن لتكييف التفاعلات التكيفية المشتركة لأفضل قدرات الشخص والاستعداد ، وفقا لنطاقات الحركة ، ونطاقات أوقات المعالجة الحسية ، وبينما تنظر في نطاقات في اتساع الإشارات عبر التسلسل الهرمي الوظيفي للجهاز العصبي للشخص. ومع ظهور المسار العشوائي وتطوره بمرور الوقت، من الممكن أيضا التأكد من معدلات فرصة التوقيعات واستخدام تلك السلسلة الزمنية للتنبؤ بعدة أحداث وشيكة إلى جانب العواقب الحسية المحتملة.

وأخيرا، يمكن استخدام واجهات الحلقة القريبة حتى في عالم الفن. ويمكن أن توفر للفنانين الأدائيين سبلا جديدة لتوليد أشكال مدفوعة حسابيا من الرقصات الحديثة والرقصات التكنولوجية وأشكال جديدة من التصور وسونيشن التعبير الجسدي. في مثل هذه السياقات ، يمكن تحويل جسم الراقصة إلى أداة حسية لاستكشاف الطرائق الحسية المختلفة بمرونة من خلال السونيشن والتصور للأنشطة البهائية الذاتية المولدة ، كما هو موضح في العمل السابق في هذا المجال40،41،43،46. مثل هذا الأداء يمكن أن يزيد من دور راقصة على خشبة المسرح والسماح للجمهور تجربة إشارات جسدية خفية وراء الحركة المرئية.

تتطلب عدة جوانب من هذه التكنولوجيا المزيد من التطوير والاختبار لتحسين استخدامها في البيئات في الوقت الحقيقي. يتطلب البث المتزامن طاقة وحدة المعالجة المركزية / وحدة معالجة الرسومات عالية السرعة وقدرة الذاكرة لاستغلال فكرة كسب الوقت والخطوة إلى الأمام عند التنبؤ بالعواقب الحسية للأوامر الحركية الجارية. وينبغي أن تكون معدلات أخذ العينات من المعدات قابلة للمقارنة من أجل أن تكون قادرة على محاذاة الإشارات حقا، وإجراء الانصهار الحسي السليم واستكشاف نقل المعلومات من خلال قنوات مختلفة من الجهاز العصبي. هذه هي بعض القيود الموجودة في هذه الواجهة الجديدة.

كل شيء، وهذا العمل يقدم مفهوما جديدا لتحسين السيطرة على نظامنا الجسدي مع استخدام وسائل مموهة التي تسمح مع ذلك لقياسات النتائج الموحدة المنهجية للتغيير العشوائي.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

الأساليب التي يغطيها:

•US2019033629A1 "طرق لتشخيص وعلاج الاضطرابات العصبية"

•EP3229684B1 "Procédés دي mesure d'un علم وظائف الأعضاء mouvement ذات الصلة"

•US20190261909A1 "نظام وطريقة لتحديد مقدار الإرادة في موضوع ما"

• US202110989122 "نظام وطريقة لقياس الحركة ذات الصلة من الناحية الفسيولوجية"

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

نشكر الطلاب الذين تطوعوا بوقتهم للمساعدة في إجراء هذا البحث. كان أنانت وشركة PhaseSpace لتزويدنا بالصور ومقاطع الفيديو اللازمة لوصف الإعداد؛ والإلكترونيات العصبية للسماح لنا باستخدام المواد من قناة www.youtube.com/c/neuroelectrics/ وأدلة. وأخيرا، نشكر البروفيسور توماس باباثوماس من مركز روتجرز للعلوم المعرفية على الدعم المهني خلال مراحل تقديم هذه المخطوطة، وجائزة نانسي لوري ماركس للتطوير الوظيفي لمؤسسة الأسرة إلى EBT وجائزة مؤسسة جيرونديليس ل VK.

المساهمات
التصور، VK و EBT؛ المنهجية، EBT؛ البرمجيات، VK، EBT، SK.; التحقق من الصحة، VK و SK؛ التحليل الرسمي، VK؛ التحقيق، VK، EBT، SK؛ الموارد، EBT؛ معالجة البيانات، VK؛ الكتابة — إعداد المسودة الأصلية، EBT؛ الكتابة والمراجعة والتحرير، VK، SK.; التصور، VK وEBT.; الإشراف، EBT.; إدارة المشروع، EBT.; تمويل اقتناء ، EBT جميع المؤلفين قد قرأت ووافقت على النسخة المنشورة من المخطوطة.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Enobio 32EnobioHardware لجمع بيانات EEG
Enobio ECG ExtentionEnobioHardware لجمع بيانات ECG
LabStreamingLayer (LSL)مزامنة وتدفق البيانات
Matlabتحليل الرياضياتومعالجة البيانات
MaxCycling'74Sonification من المعلومات الجسدية
NIC.2Enobioلجمع بيانات EEG و ECG
PhaseSpace ImpulsePhaseSpaceHardware لجمع البيانات الحركية (الموضع والسرعة والتسارع)
تحليلPython3 Pythonومعالجة البيانات
ملخصبرنامج PhaseSpaceلجمع البيانات الحركية (الموضع ، السرعة ، تسارع)
برنامج

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
  2. Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
  3. Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
  4. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  5. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  6. Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
  7. Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
  8. Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
  9. Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42(2003).
  10. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  11. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  12. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
  13. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  14. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  15. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  16. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
  17. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  18. Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757(2013).
  19. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
  20. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8(2016).
  21. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
  22. Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32(2013).
  23. Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
  24. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
  25. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  26. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
  27. Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
  28. Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
  29. Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121(2014).
  30. Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
  31. Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
  32. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  33. Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
  34. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
  35. Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50(2013).
  36. Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
  37. Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
  38. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
  39. Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444(2014).
  40. Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
  41. Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
  42. Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
  43. Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
  44. Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
  45. Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
  46. Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
  47. Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9(2016).
  48. Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
  49. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
  50. Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
  51. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8(2016).
  52. Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
  53. Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22(2016).
  54. Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
  55. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
  56. Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422(2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Closed Loop InterfaceReal Time AugmentationWearable BiosensorsLab Streaming LayerHeart Rate MappingAudio Feedback ControlMotion Capture SystemEEG Data StreamingSensory AugmentationDyadic Interaction

Related Articles