לכידת מחוות אצבע דינמיות עם אלקטרומיוגרפיה משטחית ברזולוציה גבוהה וראייה ממוחשבת
28 במרץ 2025
המאמר מציג פרוטוקול מקיף לרישום בו-זמנית של אלקטרומיוגרפיה ידנית (EMG) ומעקב אחר אצבעות חזותיות במהלך תנועות אצבע טבעיות. הנתונים החזותיים נועדו לשמש כאמת הקרקע לפיתוח מודלים חישוביים מדויקים מבוססי EMG לזיהוי מחוות אצבעות.
המחקר שלנו מתמקד בשיפור זיהוי מחוות יד דינמי באמצעות EMG מסונכרנים ונתונים חזותיים. אנו שואפים לקבוע עד כמה מדויקת פעילות השרירים ממפה את תנועות האצבעות על פני תנוחות ידיים שונות וכיצד זה יכול לשפר את היישום בשיקום תותבות ואינטראקציה בין אדם למחשב. הפרוטוקול שלנו מטפל בפער בזיהוי מחוות היד על ידי מתן אפשרות למיפוי פעילות השרירים למחוות האצבעות על פני תנוחות ידיים דינמיות שונות.
הגישה שלנו אוספת ומסנכרנת DMG ונתונים חזותיים במהלך תנועות דינמיות, ומניחה את היסודות לפיתוח מודלים חזקים לזיהוי מחוות. בניגוד לשיטות מסורתיות עם הגדרות סטטיות, הפרוטוקול שלנו משתמש ב-EMGRA אלחוטי ובמערכת מעקב הידיים במהלך תנועות דינמיות, מה שמבטיח גמישות ואיסוף נתונים מציאותי יותר למחקרי זיהוי מחוות. כדי להתחיל, פתח את מאגר GitHub ופעל לפי ההוראות המפורטות בסעיף ההתקנה.
אתר את קובץ ה-Python הראשי, data_collection. py, בתיקיה, והכינו אותו להפעלת הניסוי. השתמש בספקטרוגרמה של קובץ ה- Script.
py להערכת האלקטרומיוגרפיה, בקיצור, איכות אות EMG, ותסריט ניתוח הנתונים לסינון ופילוח אותות. ודא שיחידת רכישת הנתונים של EMG, בקיצור, DAU, טעונה במלואה לפני כל הפעלה. לאחר מכן, הפעל את ה-DAU.
חבר את ה-DAU למחשב באמצעות Bluetooth באמצעות האפליקציה הייעודית. הגדר את קצב תקשורת ה-Bluetooth ל-500 דגימות לשנייה. התקן ופתח את תוכנת מצלמת מעקב היד במחשב. חבר את מצלמת מעקב היד למחשב באמצעות כבל.
השתמש במסך אחד כדי להציג תמיד את תוכנת מצלמת מעקב הידיים. כדי להתחיל, הנחו את המשתתף לכופף את ידו הימנית לאגרוף חזק. כאשר המשתתף מתכופף, לחץ בעדינות לאורך האמה כדי למשש את השריר ולזהות את הנקודה עם ההפעלה הבולטת ביותר.
קלף את שכבת המגן הלבנה ממערך האלקטרודות EMG והצמד בזהירות את האלקטרודות לאזור האמה המזוהה. הניחו את סרט ההדבקה קרוב לכף היד וטפחו עליו בעדינות כדי להדק את מערך האלקטרודות לעור. לאחר חיבור מערך האלקטרודות לעור, קלף את שכבת התמיכה השקופה
לאחר מכן, הכנס את כרטיס מחבר מערך האלקטרודות לשקע מחבר ה-DAU. חבר את ה-DAU לסרט ההדבקה שליד האלקטרודות. הפעל את סקריפט הספקטרוגרמה המותאם אישית של Python כדי לאמת את איכות האות בזמן אמת.
שימו לב לחלון המוצג המציג נתונים גולמיים משמאל ונתוני תחום תדרים מימין עבור כל האלקטרודות. ודא שכל האלקטרודות מזוהות ומתפקדות כראוי ושהאות נקי מרעש מוגזם ורעש של 50 הרץ. במידת הצורך, נתק התקני ציוד מיותרים מהחשמל והתרחק מהמכשירים האלקטרוניים כדי להפחית את הרעש, מה שמאפשר זמן לאות להתייצב.
לאחר מכן, הנחו את המשתתף להניח מרפק על הכורסה ולהזיז את האצבעות, ואז בקשו להירגע. ודא שמוצג אות EMG ברור, ואחריו רעש בסיס סטטי. סגור את קובץ ה- Script לאחר השלמת אימות האות.
לסקירת המיקום, לחץ על הערכת תנוחת האצבע ואחריה רכישת נתונים כדי לפתוח את תיקיית התמונות. סקור את תמונות המחוות עם המשתתף. הסבירו למשתתף את עמדות הפורהנד בצורה ברורה.
הדריכו אותם כיצד להחזיק את היד לפני כל מפגש, תוך הקפדה על יציבה ומיקום נכונים. בתנוחת יד ראשונה, בקשו מהמשתתף לעמוד ישר, במרחק של כמטר אחד מהשולחן. לאחר מכן, הנחו את המשתתף להחזיק את ידו הימנית כלפי מטה, ישרה ונינוחה, כאשר כף היד פונה למצלמת מעקב היד.
קבעו את מצלמת מעקב הידיים על השולחן באמצעות מקל סלפי וכוונו אותה לכיוון ידו של המשתתף. ודא שהמשתתף מבצע מחוות יציבות בתחילת צליל הצפצוף, ולאחר מכן כף יד רגועה בזמן המנוחה. לתנוחת יד שנייה, הנחו את המשתתף לשבת בנוחות בכורסה, הממוקמת 40 עד 70 סנטימטרים מהמסכים.
לאחר מכן, בקשו מהמשתתף להושיט את ידו הימנית קדימה בזווית של 90 מעלות כשכף היד רפויה ופונה למצלמת מעקב היד. השתמש במכשיר תמיכה במידת הצורך כדי להחזיק את היד יציבה. הנח את מצלמת מעקב היד על השולחן עם הפנים כלפי מעלה.
ודא שהמשתתף מבצע מחוות יציבות בתחילת צליל הצפצוף, ולאחר מכן כף יד רגועה בזמן המנוחה. בתנוחת היד השלישית, בקשו מהמשתתף לקפל את ידו כלפי מעלה תוך הנחת המרפק על הכורסה. ודא שכף היד רגועה ופונה למצלמת מעקב היד.
קבעו את מצלמת מעקב היד על השולחן מול ידו של המשתתף. ודא שמיקום המשתתף אופטימלי הן לצפייה במסכים והן להימצאות בשדה הראייה של המצלמה. ודא שהמשתתף מבצע מחוות יציבות בתחילת צליל הצפצוף ואחריו כף יד רגועה בזמן המנוחה.
עבור תנוחת יד רביעית, בקשו מהמשתתף לבצע את תנועות האצבעות תוך כדי הזזת היד בחופשיות, ובחרו בתנוחת יד דינמית אחת, תנוחת יד דינמית שנייה או תנוחת יד דינמית שלוש. הפעל את המחשב, פתח את Python וטען את הסקריפט data_collection.py. התאימו את המיקום והזווית של מצלמת המעקב אחר היד כדי ליישר קו עם מיקום היד של המשתתף.
הפעל את data_collection. סקריפט py. יופיע חלון להזנת פרטי המשתתף.
מלא את המידע הנדרש ולחץ על אישור כדי להתחיל את הניסוי באופן אוטומטי. עבור כל מפגש, רשום נתוני EMG ומעקב אחר ידיים, שנשמרים אוטומטית. עם סיום הניסוי, ודא שהנתונים נשמרים אוטומטית בתיקייה המסומנת במספר הסידורי של המשתתף.
ודא שכל הפעלה מאוחסנת בתיקיית משנה בשם מספר S, המכילה ארבע תיקיות משנה עבור כל מיקום יד המסומן כמספר P. אם משתתף משלים מספר מפגשים, ודא שכל הנתונים נשמרים בתיקיית ההפעלה המתאימה. ודא שכל תיקיית מיקום יד מכילה את נתוני EMG שנשמרו בקובץ EDF, נתוני מעקב אחר ידיים שנשמרו בקובץ CSV וקובץ יומן המכיל את המטא נתונים על ההפעלה.
תעלות ה-EMG הראו פעילות חשמלית מוגברת במהלך שלבי החטיפה בהשוואה לשלבי מנוחה, כפי שניתן לראות באותות משרעת גבוהים יותר בכל הערוצים, עם חפצים מכניים המסומנים בקוצים חדים. נתונים קינמטיים ידניים הדגימו שינויים מסונכרנים בזווית האצבעות המתאימים למחוות חטיפה שהודרכו, עם מסלולי אות יציבים במהלך מעקב ללא הפרעה וסטייה נראית לעין בקטעים לא מיושרים.
סקירה כללית
מחקר זה מציג פרוטוקול להקלטה בו-זמנית של אלקטרומיוגרפיה של היד (EMG) ומעקב חזותי אחר האצבעות במהלך תנועות אצבע טבעיות. הנתונים החזותיים משמשים כאמת בסיסית לפיתוח מודלים מדויקים מבוססי EMG לזיהוי תנועות.
רכיבי מחקר מרכזיים
תחום המדע
- נוירולוגיה
- אלקטרומיוגרפיה
- זיהוי תנועות
רקע
- זיהוי תנועות ידיים דינמיות חיוני ליישומים בשיקום תותבות.
- מיפוי פעילות השרירים לתנועות האצבעות משפר את האינטראקציה בין אדם למחשב.
- שיטות קיימות מסתמכות לעתים קרובות על הגדרות סטטיות, מה שמגביל את מציאות הנתונים.
- מחקר זה מטפל בפער על ידי סנכרון נתוני EMG ונתונים חזותיים במהלך תנועות דינמיות.
מטרת המחקר
- לשפר את הדיוק בזיהוי תנועות ידיים דינמיות.
- לפתח מודלים חישוביים חזקים לזיהוי תנועות האצבעות.
- לאפשר מיפוי של פעילות השרירים בתנוחות יד שונות.
שיטות ששימשו
- השתמשו במערכות EMG ומעקב יד אלחוטיות.
- המשתתפים ביצעו תנועות בתנוחות יד מרובות.
- השתמשו בסקריפטים פייתון מותאמים אישית לאיסוף ונתונים ואנליזה.
- בוצע אימות איכות אותות בזמן אמת במהלך הניסוי.
תוצאות עיקריות
- הושגה סנכרון מוצלח של נתוני EMG ונתונים חזותיים.
- איסוף נתונים הושלם עבור תנוחות יד דינמיות שונות.
- איכות נתוני ה-EMG אושרה ונבדקה להיות נקיה מרעשים.
- הנתונים אורגנו באופן שיטתי לצורך ניתוח על פי מפגשי המשתתפים.
מסקנות
- הפרוטוקול מאפשר מיפוי יעיל של פעילות השרירים לתנועות האצבעות.
- התוצאות תומכות בפיתוח מודלים מדויקים לזיהוי תנועות.
- גישה זו משפרת את הפוטנציאל ליישומים בשיקום ובטכנולוגיות אינטראקציה.
שאלות נפוצות
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
