تقدير مناطق التلامس بين اليدين والأشياء أثناء الإمساك البشري متعدد الأرقام
أبريل 21, 2023
عندما نمسك بجسم ما، عادة ما تتلامس مناطق متعددة من الأصابع واليد مع سطح الجسم. إن إعادة بناء مناطق التماس هذه أمر صعب. هنا ، نقدم طريقة لتقدير مناطق الاتصال تقريبا من خلال الجمع بين التقاط الحركة القائم على العلامات وإعادة بناء شبكة اليد القائمة على التعلم العميق.
اقتصرت الأبحاث السلوكية السابقة حول الإمساك البشري على القياسات المقيدة للغاية في سيناريوهات خاضعة لرقابة مشددة. يسمح بروتوكولنا بتوصيف أكثر ثراء لسلوك الإمساك الطبيعي المعقد. تستخدم هذه التقنية خرائط مفصلة لأسطح ملامسة الأشياء اليدوية بسبب الإمساك متعدد الأرقام.
هذا يسمح لنا بالتحقيق في كيفية فهم البشر للأشياء بمستوى غير مسبوق من التطور. تعد القياسات الدقيقة لقدرات الإمساك البشري ضرورية لفهم التحكم الحركي والإدراك اللمسي والتفاعل بين الإنسان والحاسوب. يمكن أن تفيد هذه البيانات في تصميم القابضين الروبوتيين والأطراف الاصطناعية العلوية.
ستوضح الإجراء كيرا دين ، طالبة دراسات عليا تكمل أطروحة الماجستير في مختبري. للبدء ، ضع طاولة عمل مع حجم تتبع تم تصويره من زوايا متعددة بواسطة كاميرات تتبع الحركة مرتبة على إطار يحيط بمساحة العمل. قم بإعداد علامات عاكسة عن طريق ربط شريط لاصق على الوجهين بقاعدة كل علامة.
تنفيذ Qualisys مدير المسار، أو QTM، كمسؤول. ضع كائن المعايرة على شكل حرف L داخل وحدة تخزين التتبع. داخل QTM ، انقر فوق معايرة في قائمة الالتقاط وانتظر حتى يتم فتح نافذة المعايرة.
حدد مدة المعايرة واضغط على موافق. قم بتحريك عصا المعايرة عبر مستوى صوت التتبع طوال مدة المعايرة. اضغط على زر التصدير وحدد مسار ملف لتصدير المعايرة كملف نصي.
اقبل المعايرة بالضغط على موافق. لإنشاء كائن تحفيز ، قم ببناء نموذج كائن 3D افتراضي في شكل شبكة مضلعة. استخدم طابعة 3D لإنشاء نسخة طبق الأصل مادية من نموذج الكائن.
لإعداد كائن محفز ، قم بإرفاق أربع علامات عاكسة غير مستوية على سطح الكائن الحقيقي. ضع الكائن داخل وحدة تخزين التتبع. في مستودع المشروع ، قم بتنفيذ البرنامج النصي Python المشار إليه.
اتبع الإرشادات التي يوفرها البرنامج النصي لإجراء التقاط لمدة ثانية واحدة لموضع 3D لعلامات الكائن. حدد جميع علامات الجسم الصلب. انقر بزر الماوس الأيمن وحدد تعريف الجسم الصلب ، أو 6DOF ، ثم الإطار الحالي.
أدخل اسم الجسم الصلب واضغط على حسنا. في القائمة ملف، حدد تصدير إلى TSV. في النافذة الجديدة ، حدد مربعات 3D و 6D والهيكل العظمي في إعدادات نوع البيانات.
حدد جميع المربعات في الإعدادات العامة. اضغط على موافق ثم حفظ. افتح Blender وانتقل إلى مساحة عمل البرمجة النصية.
افتح الملف المشار إليه واضغط على تشغيل. انتقل إلى مساحة عمل التخطيط واضغط على N لتبديل الشريط الجانبي. داخل الشريط الجانبي، انتقل إلى علامة التبويب مخصص.
حدد ملف obj المراد تسجيله بشكل مشترك واضغط على زر تحميل الكائن. حدد ملف المسار الذي تم تصديره مسبقا وحدد أسماء العلامات المرفقة بالكائنات الجامدة مفصولة بفواصل منقوطة. في رأس العلامة، حدد السطر في ملف المسار الذي يحتوي على أسماء أعمدة البيانات.
بعد ذلك ، حدد ملف الجسم الصلب المقابل مع لاحقة 6D وحدد اسم الجسم الصلب المحدد في الخطوة السابقة. في رأس 6D ، حدد السطر في ملف النص الصلب الذي يحتوي على أسماء أعمدة البيانات. اضغط على تحميل العلامات، ثم قم بترجمة وتدوير كائن العلامات أو الكائن لمحاذاتهما.
حدد ملف إخراج شبكة واضغط على تشغيل التسجيل المشترك لإخراج ملف obj يحتوي على شبكة التحفيز المسجلة بشكل مشترك. قم بإرفاق 24 علامة عاكسة كروية على معالم مختلفة ليد المشارك باستخدام شريط على الوجهين. ضع العلامات مركزيا أعلى أطراف الأصابع في المفاصل بين السلامية البعيدة والمفاصل بين السلامية القريبة والمفاصل المشطية لإصبع السبابة والإصبع الأوسط والبنصر والإصبع الصغير.
بالنسبة للإبهام ، ضع علامة واحدة على كل من طرف الإصبع والمفصل المشطي الرسغي القاعدي وزوج من العلامات على كل من المفاصل المشطية والسلامية. أخيرا ، ضع علامات في وسط الرسغ وعلى المفصل الكتفي المفصلي. اطلب من المشارك وضع يده بشكل مسطح على طاولة العمل مع توجيه راحة اليد لأسفل وإغلاق عينيه.
ضع كائن التحفيز على طاولة العمل أمام المشارك. أثناء تشغيل QTM ، قم بتنفيذ البرنامج النصي Python المشار إليه في مستودع المشروع. اطلب من المشارك فتح أعينه واتباع التعليمات التي يوفرها البرنامج النصي لالتقاط تجربة واحدة للمشارك وهو يمسك بجسم التحفيز.
داخل QTM ، قم بسحب وإسقاط مسارات العلامة الفردية من المسارات غير المحددة إلى المسارات المسماة وتسميتها وفقا لاصطلاح التسمية. حدد جميع العلامات المرفقة باليد ، وانقر بزر الماوس الأيمن وحدد إنشاء نموذج AIM من التحديد. في النافذة الجديدة ، حدد إنشاء نموذج جديد بناء على اتصالات العلامة من نموذج AIM الحالي واضغط على زر التالي.
حدد تعريف الطراز RH_FH واضغط على فتح. اضغط على التالي، وأدخل اسما لطراز AIM، واضغط على موافق. أخيرا ، اضغط على إنهاء لإنشاء نموذج AIM ليد المشارك لتحديد العلامات تلقائيا في التجارب المتتالية من نفس المشارك.
داخل QTM ، افتح إعدادات المشروع بالضغط على أيقونة عجلة التروس. في الشريط الجانبي، انتقل إلى Skeleton Solver واضغط على تحميل لتحديد ملف تعريف هيكلي. اضبط عامل المقياس على 100٪ واضغط على تطبيق.
انتقل إلى تصدير TSV وحدد مربعات 3D و 6D و Skeleton في إعدادات نوع البيانات. حدد جميع المربعات في الإعدادات العامة. اضغط على تطبيق وأغلق إعدادات المشروع.
اضغط على أيقونة إعادة المعالجة ، ثم حدد المربعات حل الهياكل العظمية والتصدير إلى ملف TSV واضغط على حسنا. افتح نافذة أوامر في مستودع المشروع وقم بتنشيط بيئة conda عن طريق تنفيذ الأمر المشار إليه. ثم قم بتنفيذ الأمر المشار إليه واتبع التعليمات التي يوفرها البرنامج النصي لإنشاء شبكة يدوية لكل إطار من التجربة تعيد بناء وضع اليد الحالي.
بالنسبة لتقديرات منطقة ملامسة كائن اليد ، قم بتنفيذ الأمر المشار إليه واتبع التعليمات التي يوفرها البرنامج النصي لإنشاء تقديرات منطقة ملامسة اليد والكائن عن طريق حساب التقاطع بين شبكات اليد والكائن. في هذه الدراسة ، تم تسجيل ديناميكيات الإمساك باستخدام 24 علامة عاكسة كروية متصلة بمعالم مختلفة من اليد. يتم عرض التعديلات على وحدة فك ترميز شبكة اليد العميقة المدربة مسبقا هنا.
أولا ، نظرا لأن الشبكة غير مدربة على مشاركين محددين ، يتم استخدام الشبكة التصحيحية العامة المعتمدة على الهوية المقدمة مع النموذج المدرب مسبقا. علاوة على ذلك ، يتم اشتقاق تصحيح الهيكل العظمي المعتمد على الهوية باستخدام QTM Skeleton Solver. يفترض القياس النسبي لليد مع طول الهيكل العظمي ويتم قياس سمك الشبكة بشكل موحد بواسطة عامل مشتق من القياس النسبي للهيكل العظمي.
يتم عرض إعادة بناء شبكة اليد ثلاثية الأبعاد النهائية لليد الحالية في نفس إطار الإحداثيات حيث يتم عرض شبكة الكائن ثلاثية الأبعاد. يتم عرض مقطع فيديو ليد ذات نقاط مجنزرة وشبكة مسجلة بشكل مشترك تتحرك جنبا إلى جنب أثناء قبضة واحدة على تمثال قطة مطبوع 3D. إطار واحد في وقت الاتصال من اليد إلى الكائن من قبضة إلى كرواسون مطبوع 3D ، جنبا إلى جنب مع إعادة بناء شبكة كائن اليد ومناطق الاتصال المقدرة على سطح الكرواسون.
يجب تسجيل الكائن والعلامات المرفقة به بشكل صحيح. تعد مواءمتها بدقة أمرا مهما لأن الانحرافات يمكن أن يكون لها تأثير كبير على تقديرات منطقة الاتصال. بالإضافة إلى الأسطح الملامسة ، يوفر الإجراء زوايا أويلر المشتركة لكل مفصل إصبع.
يمكن استخدامها لدراسة كيفية ظهور أوضاع اليد أثناء الإمساك متعدد الأرقام بمرور الوقت.
نظرة عامة
تقدم هذه الدراسة طريقة جديدة لتقدير مناطق التلامس خلال القبضة البشرية من خلال دمج التقاط الحركة المعتمد على العلامات مع تقنيات التعلم العميق. يسمح النهج بتحليل مفصل لكيفية تفاعل مناطق متعددة من اليد مع الأجسام، مما يعزز فهمنا للتحكم الحركي والإدراك الحسي.
مكونات الدراسة الرئيسية
مجال العلوم
- علم الأعصاب
- التحكم الحركي
- التفاعل بين الإنسان والحاسوب
الخلفية
- ركزت أبحاث القبضة التقليدية على البيئات المقيدة.
- تهدف هذه الدراسة إلى تحديد سلوك القبضة الطبيعي.
- فهم القبضة أمر بالغ الأهمية لتطوير القباضات الروبوتية والبدائل الصناعية.
- يمكن أن تفيد القياسات الدقيقة في العديد من التطبيقات في علم الأعصاب والروبوتات.
هدف الدراسة
- تطوير طريقة لتقدير مناطق تلامس اليد-الجسم أثناء القبضة.
- تعزيز فهم ميكانيكا القبضة البشرية.
- توفير رؤى لتحسين تصميمات الروبوتات والبدائل الصناعية.
الطرق المستخدمة
- التقاط الحركة المعتمد على العلامات لتتبع حركات اليد.
- تقنيات التعلم العميق لإعادة بناء شبكة اليد.
- معايرة أنظمة التتبع باستخدام علامات عاكسة.
- معالجة البيانات من خلال سكريبتات Python للتحليل.
النتائج الرئيسية
- تقدير ناجح لمناطق التلامس أثناء القبضة متعددة الأصابع.
- تبيان فعالية الأسلوب في البيئات الطبيعية.
- إنشاء نموذج مفصل لتفاعلات اليد-الجسم.
- رؤى حول تعقيد سلوك القبضة البشرية.
الاستنتاجات
- يوفر الأسلوب أداة متطورة لدراسة القبضة.
- يمكن أن تؤثر النتائج على تصميم التقنيات المساعدة.
- يمكن أن يعتمد البحث المستقبلي على هذا الإطار لاستكشاف المزيد من التطبيقات.
الأسئلة الشائعة
Executive Industry Relevance
Quantitative estimation of hand-object contact regions during multi-digit grasping enables precise mapping of human motor control strategies, supporting translational research in haptics, robotics, and neurotechnology. This workflow advances predictive confidence in modeling human-object interactions, informing early-stage target validation for assistive device development. The approach strengthens portfolio decisions by providing reproducible, high-resolution biomechanical data for cross-functional R&D teams.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables detailed interrogation of human grasp mechanics for functional target validation in neuro-motor research.
- Supports mechanistic de-risking by quantifying contact region variability across naturalistic grasp scenarios.
- Provides high-fidelity data to clarify pathways underlying haptic perception and motor control.
Screening & Assay Development
- Facilitates preparation of validated biomechanical models for downstream screening of prosthetic and robotic designs.
- Standardizes measurement of joint angles and contact surfaces, enhancing reproducibility and quantitative assay outputs.
- Enables scalable, marker-based workflows for comparative evaluation of grasping interventions.
Translational & Preclinical Research
- Aligns biomechanical outputs with translational biomarker development in neurorehabilitation and assistive technology pipelines.
- Ensures continuity from discovery-stage grasp analysis to preclinical validation of device prototypes.
- Supports risk-adjusted advancement by providing objective, quantitative endpoints for functional performance.
Pipeline & Workflow Integration
This method integrates into the discovery-to-preclinical continuum by providing quantitative biomechanical data for hypothesis testing, screening, and translational research.
- Discovery Biology: Quantifies hand-object contact regions and joint kinematics to support hypothesis-driven studies of motor function.
- Screening: Delivers reproducible, marker-based outputs for assay standardization and device evaluation.
- Analytics: Provides joint Euler angles and contact region maps for robust statistical comparison across conditions.
- Translational Research: Bridges discovery insights to preclinical device validation through high-resolution biomechanical endpoints.
- Enterprise Reuse: Establishes a reusable workflow for multi-condition, multi-device grasp analysis in R&D portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in human-object interaction studies.
- Operational Value: Enhances standardization, reproducibility, and scalability of biomechanical data collection.
- Strategic Value: Informs go/no-go decisions and capital allocation for assistive technology development.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of neuro-motor and haptic device candidates.
Implementation Considerations
- Requires expertise in motion capture, 3D mesh reconstruction, and biomechanical analysis.
- Depends on access to marker-based tracking systems, calibration tools, and computational infrastructure.
- Demands rigorous cross-team standardization of marker placement and data processing protocols.
- Adaptable to various object geometries and hand morphologies with appropriate mesh and marker adjustments.
- Accuracy is sensitive to co-registration quality and marker alignment, impacting contact region estimation.
Biopharma FAQs
Chapters in this video
0:04
Introduction
1:02
Preparing the Motion Capture System
1:28
Calibrating the Cameras
2:02
Creating and Preparing Stimulus Object
3:10
Co‐Registering Real and Mesh Model Versions of the Stimulus Object
4:25
Setting up Markers on the Hands
5:08
Acquiring a Single Trial and Labeling the Markers
6:26
Reconstruct the Joint Skeletal Joint Poses
7:07
Generating Hand Mesh Reconstructions and Hand‐Object Contact Region Estimates
7:46
Results: Estimation of Contact Regions for Hand‐Object Interactions During Multi‐Digit Grasps
9:02
Conclusion
