التقاط إيماءات الإصبع الديناميكية باستخدام تخطيط كهربية العضل السطحي عالي الدقة ورؤية الكمبيوتر

يركز بحثنا على تحسين التعرف الديناميكي على إيماءات اليد باستخدام مخطط كهربية العضل المتزامن والبيانات المرئية. نهدف إلى تحديد مدى دقة تخطيط نشاط العضلات لإيماءة الإصبع عبر أوضاع اليد المختلفة وكيف يمكن أن يعزز ذلك التطبيق في إعادة التأهيل التعويضي والتفاعل بين الإنسان والحاسوب. يعالج بروتوكولنا الفجوة في التعرف على إيماءات اليد من خلال تمكين تعيين نشاط العضلات لإيماءة الإصبع عبر أوضاع اليد الديناميكية المختلفة.

يقوم نهجنا بجمع ومزامنة الضرر والبيانات المرئية أثناء الحركات الديناميكية ، مما يضع الأساس لتطوير نماذج قوية للتعرف على الإيماءات. على عكس الطرق التقليدية ذات الإعدادات الثابتة ، يستخدم بروتوكولنا EMGRA لاسلكيا ونظام تتبع اليد أثناء الحركات الديناميكية ، مما يضمن المرونة وجمع البيانات الأكثر واقعية لدراسات التعرف على الإيماءات. للبدء ، افتح مستودع GitHub واتبع الإرشادات التفصيلية في قسم التثبيت.

حدد موقع ملف Python الأساسي ، data_collection. py، في المجلد، وإعداده لتشغيل التجربة. استخدم مطياف البرنامج النصي.

py لتقييم تخطيط كهربية العضل ، باختصار ، جودة إشارة مخطط كهربية العضل ، والبرنامج النصي لتحليل البيانات لتصفية الإشارات وتجزئتها. تأكد من أن وحدة الحصول على بيانات EMG ، باختصار DAU ، مشحونة بالكامل قبل كل جلسة. ثم قم بتشغيل DAU.

قم بتوصيل DAU بجهاز الكمبيوتر عبر Bluetooth باستخدام التطبيق المخصص. اضبط معدل اتصال Bluetooth على 500 عينة في الثانية. قم بتثبيت وفتح برنامج كاميرا تتبع اليد على جهاز الكمبيوتر. قم بتوصيل كاميرا تتبع اليد بجهاز الكمبيوتر باستخدام كابل.

استخدم شاشة واحدة لعرض برنامج كاميرا تتبع اليد دائما. للبدء ، اطلب من المشارك ثني يده اليمنى في قبضة قوية. عندما ينثني المشارك ، اضغط برفق على طول ساعده لجس العضلات وتحديد البقعة ذات التنشيط الأبرز.

انزع الطبقة الواقية البيضاء من مجموعة أقطاب كهربية العضل وقم بتوصيل الأقطاب الكهربائية بعناية بمنطقة الساعد المحددة. ضع الشريط اللاصق بالقرب من راحة اليد واضغط عليه برفق لتثبيت مجموعة الأقطاب الكهربائية على الجلد. بمجرد توصيل مجموعة الأقطاب الكهربائية بالجلد ، انزع طبقة الدعم الشفافة.

بعد ذلك ، أدخل بطاقة موصل صفيف القطب الكهربائي في مقبس موصل DAU. قم بتوصيل DAU بالشريط اللاصق بجوار الأقطاب الكهربائية. قم بتشغيل البرنامج النصي اللطيفي المخصص ل Python للتحقق من جودة الإشارة في الوقت الفعلي.

لاحظ النافذة المعروضة التي تعرض البيانات الأولية على اليسار وبيانات مجال التردد على اليمين لجميع الأقطاب الكهربائية. تحقق من اكتشاف جميع الأقطاب الكهربائية وعملها بشكل صحيح وأن الإشارة نظيفة من الضوضاء المفرطة وضوضاء 50 هرتز. إذا لزم الأمر ، افصل أجهزة المعدات غير الضرورية عن الطاقة وابتعد عن الأجهزة الإلكترونية لتقليل الضوضاء ، مما يتيح الوقت لاستقرار الإشارة.

بعد ذلك ، اطلب من المشارك وضع مرفق على الكرسي بذراعين وتحريك أصابعه ، ثم اطلب الاسترخاء. تأكد من عرض إشارة مخطط كهربية العضل واضحة ، متبوعة بضوضاء خط الأساس الثابتة. أغلق البرنامج النصي بمجرد اكتمال التحقق من الإشارة.

لمراجعة الموضع ، انقر فوق تقدير وضعية الإصبع متبوعا بالحصول على البيانات لفتح مجلد الصور. راجع صور الإيماءات مع المشارك. اشرح المواقف الأمامية بوضوح للمشارك.

أرشدهم إلى كيفية إمساك أيديهم قبل كل جلسة ، مع ضمان الموقف والوضع المناسبين. بالنسبة لوضع اليد الأول ، اطلب من المشارك الوقوف بشكل مستقيم ، على بعد متر واحد تقريبا من الطاولة. بعد ذلك ، اطلب من المشارك أن يمسك يده اليمنى لأسفل ، بشكل مستقيم ومريح ، مع توجيه راحة اليد لكاميرا تتبع اليد.

قم بتثبيت كاميرا تتبع اليد على الطاولة باستخدام عصا سيلفي وقم بتوجيهها لمواجهة يد المشارك. تأكد من قيام المشارك بإيماءات ثابتة عند بداية صوت الصفير ، متبوعا براحة اليد أثناء فترة الراحة. بالنسبة لوضع اليد الثاني ، اطلب من المشارك الجلوس بشكل مريح على كرسي بذراعين ، على بعد 40 إلى 70 سم من الشاشات.

بعد ذلك ، اطلب من المشارك مد يده اليمنى للأمام بزاوية 90 درجة مع استرخاء راحة اليد ومواجهة كاميرا تتبع اليد. استخدم جهاز دعم إذا لزم الأمر لتثبيت اليد. ضع كاميرا تتبع اليد على الطاولة متجهة لأعلى.

تأكد من قيام المشارك بإيماءات ثابتة عند بداية صوت الصفير ، متبوعا براحة اليد أثناء فترة الراحة. بالنسبة لوضع اليد الثالث ، اطلب من المشارك طي يده لأعلى أثناء إراحة كوعه على الكرسي بذراعين. تأكد من استرخاء راحة اليد ومواجهة كاميرا تتبع اليد.

ثبت كاميرا تتبع اليد على الطاولة المواجهة ليد المشارك. تأكد من أن وضع المشارك هو الأمثل لعرض الشاشات والتواجد في مجال رؤية الكاميرا. تأكد من قيام المشارك بإيماءات ثابتة في بداية صوت الصفير متبوعا براحة اليد أثناء فترة الراحة.

بالنسبة لوضع اليد الرابع، اطلب من المشارك أداء إيماءات الإصبع أثناء تحريك اليد بحرية، واختيار إما موضع اليد الديناميكي واحد أو موضع اليد الديناميكي الثاني أو وضع اليد الديناميكي ثلاثة. قم بتشغيل الكمبيوتر ، وافتح Python ، وقم بتحميل البرنامج النصي data_collection.py. اضبط موضع كاميرا تتبع اليد وزاويتها لتتماشى مع موضع يد المشارك.

قم بتشغيل data_collection. نص py. ستظهر نافذة لإدخال تفاصيل المشارك.

املأ المعلومات المطلوبة واضغط على موافق لبدء التجربة تلقائيا. لكل جلسة ، قم بتسجيل مخطط كهربية العضل وبيانات تتبع اليد ، والتي يتم حفظها تلقائيا. عند انتهاء التجربة ، تأكد من حفظ البيانات تلقائيا في مجلد يسمى بالرقم التسلسلي للمشارك.

تحقق من تخزين كل جلسة في مجلد فرعي يسمى رقم S، يحتوي على أربعة مجلدات فرعية لكل موضع يد يسمى رقم P. إذا أكمل أحد المشاركين جلسات متعددة، فتأكد من حفظ جميع البيانات في مجلد الجلسة المقابل. تأكد من أن كل مجلد موضع يد يحتوي على بيانات EMG المحفوظة في ملف EDF وبيانات تتبع اليد المحفوظة في ملف CSV وملف سجل يحتوي على البيانات الوصفية حول الجلسة.

أظهرت قنوات EMG نشاطا كهربائيا متزايدا أثناء مراحل الاختطاف مقارنة بمراحل السكون ، كما يتضح من إشارات السعة العالية عبر جميع القنوات ، مع القطع الأثرية الميكانيكية التي تميزت بارتفاعات حادة. أظهرت البيانات الحركية اليدوية تغيرات متزامنة في زاوية الإصبع تتوافق مع إيماءات الاختطاف المطلوبة ، مع مسارات إشارة مستقرة أثناء التتبع دون عائق وانحراف مرئي في الأقسام المنحرفة.