ארגז כלים ללכידת תנועה רב-מודלית לניתוח משופר של קואורדינציה בין-מקטעית אצל ילדים עם שיתוק מוחין ומתפתחים באופן טבעי

Summary

מחקר זה מציג ארגז כלים המשלב טכנולוגיות לכידת תנועה לניתוח אותות קינמטיים וכימות דפוסים קואורדינטיביים של כל הגוף באמצעות גרפים זווית-זווית. ארגז הכלים תוכנן להתגבר על אתגרים של מערכות מסורתיות מבוססות סימנים, ותומך בגמישות בסביבות מחקר, קליניות ושטח, ומקדם טיפול אישי והערכות פונקציונליות לילדים עם מוגבלויות מוטוריות.

Abstract

מערכות לכידת תנועה תלת-ממדיות המבוססות על סימנים הן הסטנדרט הזהב להערכת דפוסי קינמטיקה בתנועה אנושית, ומספקות כימות מדויק של מיקומי הקטעים והמפרקים. עם זאת, מערכות מסורתיות מבוססות סימנים מציבות מספר אתגרים, במיוחד עבור ילדים עם מוגבלויות נוירולוגיות וחריגות עיבוד חושיות, כמו אלו שנצפו אצל ילדים עם שיתוק מוחין. אתגרים אלו מעכבים את השימוש בסמנים קינמטיים ומגבילים ניתוחים מפורטים של דפוסי תנועה. התקדמות אחרונה במערכות לכידת תנועה ללא סימן המשתמשות בהערכת תנוחה אנושית מבוססת למידה עמוקה אפשרה לנו לחקור חלופות חסכוניות למערכות אופטיות מסורתיות ולגישות עיבוד הנתונים שבאו אחריהן. פותח ארגז כלים משולב, ששילב טכנולוגיות לכידת תנועה מרובות: ציוד קינמטי מחקרי, אשכולות קינמטיים, יחידות מדידה אינרציאליות, מערכות תלת-ממדיות (3D) ללא סימנים, ומערכות דו-ממדיות (2D) ללא סימנים עם מצלמות מסחריות זמינות (באמצעות MediaPipe). למחקר הנוכחי, אנו מציגים את התוצאות של לכידת תנועה מבוססת סמן תלת-ממדי לעומת לכידת תנועה דו-ממדית ללא סימנים, הבעיה המרכזית המתמשכת במחקרים ביומכניים של נבדקים אנושיים, כדי לתאר דפוסים קואורדינטיביים באמצעות גרפים זווית-זווית של הירך והברך. גישת הציקלוגרמה נבחרה משום שהיא מציעה מדד חזק ומסגרת ניתנת לפרשנות לניתוח קואורדינציה באמצעות תנועה מקושרת בין מקטעי גוף. שני ילדים מתפתחים באופן טבעי ושני ילדים עם שיתוק מוחין ביצעו דפוס תנועה פונקציונלי, משימת הישיבה לעמוד. הממצאים כאן הראו את ההיתכנות של שילוב מערכות רב-מודליות לניתוחים קינמטיים, ומספקים גמישות למחקר ולסביבות קליניות. יתרה מזאת, הגישה החדשה בקוד פתוח המוצגת בעבודה זו מתמודדת עם האתגרים שמציבים אוכלוסיות מטופלות רבות המתמודדות עם בעיות עיבוד חושי, ומאפשרת תוכנית טיפול מתקדמת ומותאמת אישית.

Introduction

הערכות לכידת תנועה קינמטית תלת-ממדית הציעו מידע אמין בכימות דפוסי תנועה צפויים וחריגים. מידע כזה חיוני בתכנון תוכניות שיקום¹ ובקביעת גישות בטיחות למעורבות מטופלים בציוד קליני (למשל, ^2,3). כאשר מדובר בילדים עם מוגבלויות נוירולוגיות, הערכות קינמטיות אלו יכולות לספק טיפול משופר על ידי טיפול בשינויים בדפוסי הקואורדינציה במשימות פונקציונליות מובחנות כגון הליכה⁴, משימת ישיבה^{לעמוד 5}, והגפה העליונה שהגעה^{לרמה 6}.

למרות שהערכות קינמטיות תלת-ממדיות (3D) נחשבות לסטנדרט הזהב לניתוח לכידת תנועה מדויקת⁷, מיקום סמנים קינמטיים על העור הוא דרישה להבטחת כימות מדויק של תנועות הקטע והמפרקים. הערכה מבוססת סמן זו דורשת ידע בנקודות ציון אנטומיות ספציפיות למבצעים את ההערכה, יחד עם סבילות וקבלה של סרטים המודבקים לעור של המטופלים. בעוד שהאפשרות הראשונה ניתנת ללמידה, השנייה היא בעיה אצל מספר אוכלוסיות מטופלים. לדוגמה, ילדים עם פגיעת מוח או שיתוק מוחין עשויים להראות הפרעות בעיבוד מידע חושי ^8,9,10. הפרעה זו עלולה להתבטא כרגישות יתר, שמונעת מרופאים וחוקרים להחיל את הסמנים הקינמטיים על עור הילדים, מה שעלול להפריע לכימות שינויים ביכולות התנועה ולתוכנית טיפול אישית יעילה.

בנוסף לסוגיית מיקום הסמנים על עור אוכלוסיית המטופלים, רוב מערכות המדידה המשמשות במחקרי קינמטיקה אינן במחיר נגיש, מוגבלות למעבדה, וזמינות רק עם צוות מיומן, מה שהופך אותן לבלתי מעשיות לשימוש קליני שגרתי. עם זאת, ההתקדמות הנוכחית בטכנולוגיית לכידת תנועה תומכת בגישות שונות להקלטת נתוני קינמטיים. לדוגמה, הערכת תנוחה אנושית אוטומטית באמצעות טכניקות למידה עמוקה משכה תשומת לב בקרב חוקרי ראיית מחשב. טכניקות לכידת תנועה ללא סימנים אלו עשויות להציע פתרון מבטיח לאתגרים טכניים ומעשיים הקשורים לניתוח תנועה מבוסס סימנים¹¹. במקום להסתמך על מעקב אחרי סימנים, גישה זו משתמשת ברשתות עצביות מאומנות להערכת מיקומי כל¹² הסימונים. פיתוח זה משפר את היעילות והגמישות הכוללת של טכנולוגיית זיהוי יציבה אנושית.

ידוע היטב כי הקשר הקינמטי בין מקטעי הגוף יכול לחשוף מנגנוני בקרה בסיסיים התומכים בשונות דפוסי תנועה. בעוד שניתן להשתמש במספר שיטות למדידת קואורדינציה בין מקטעים¹³, תרשימי זווית-זווית (ציקלוגרמות) מאפשרים כימות שניתן לפרש באופן מובנה של תנועה מקושרת בין מקטעים/מפרקים במסגרת זמן מוגדרת ^14,15. מכיוון שרבים מהילדים עם שיתוק מוחין חווים קושי בביצוע דפוסי תנועה של כל הגוף עקב פגיעה בשליטה מוטורית סלקטיבית¹⁶, בחרנו לחקור את תנועת ה'ישיבה לעמידה' הפשוטה אך המורכבת בשליטה¹⁷. מטרת המחקר הייתה להדגים את היתכנות ארגז כלים בקוד פתוח המשלב טכנולוגיות לכידת תנועה כדי להקל על הערכות קינמטיות של דפוסים קואורדינטיביים עבור ילדים עם מוגבלויות.

בעבודה זו נשתמש בציקלוגרמות ירך-ברך כדי להדגים קואורדינציה בין הגוף/האגן ובין מקטעי הירך/שוק, תוך שימוש במפרקי הירך והברך כחיבורים בין-סגמנטליים מייצגים הרלוונטיים לביומכניקה של ישיבה לעמידה. נבחר הקואורדינציה בין הירך לברך כי הוא לוכד את הקישור המפרק הראשי שמניע את ההתקדמות האנכית של מרכז המסה במהלך משימת הישיבה לעמידה, תנועה קריטית תפקודית לילדים עם מוגבלויות שלעיתים קרובות מסתמכים על אסטרטגיות פיצוי בגפיים התחתונות בשל פגיעה בשליטה מוטורית סלקטיבית^{המשפיעה} על סינרגיות מפרקים. שילוב טכנולוגיות שונות (למשל, מציוד קינמטי תלת-ממדי ברמת מחקר ועד מצלמות מסחריות זמינות) בארגז כלי עיבוד אחד מאפשר גמישות בשימוש מסביבות מחקר ועד לסביבות שטח וקליניות. ארגז הכלים מאפשר גם הערכות קינמטיות מפורטות כאשר מיקום הסמנים אינו אפשרי בשל חריגות עיבוד חושיות לילדים עם מוגבלויות באמצעות תכונות עיבוד אותות תנועה ללא סימנים.

Protocol

מחקר זה נערך כסדרת מקרים, תוך שימוש בתוצאות מייצגות מארבעה ילדים כדי להוכיח את היתכנות הפרוטוקול במקום הסקה סטטיסטית. שני ילדים מתפתחים בדרך כלל (זכר בן 4, 100 ס"מ, 14.5 ק"ג; זכר בן 10, 144 ס"מ, 40.8 ק"ג) ושני ילדים עם שיתוק מוחין, מערכת סיווג תפקוד מוטורי גס III (נקבה, בת 4, 93 ס"מ, 13.8 ק"ג; זכר בן 4, 102 ס"מ, 16.7 ק"ג) השתתפו במחקר זה. הורים/אפוטרופוסים חוקיים וילדים נתנו הסכמה/הסכמה מדעת לפני ההשתתפות, בהתאם לפרוטוקול המחקר המאושר על ידי מועצת הביקורת המוסדית שלנו (IRB-FY2024-33).

הערה: בעוד שפרוטוקול זה מתאר נהלים הן למערכות לכידת תנועה מבוססות סמן תלת-ממדי והן למערכות לכידת תנועה ללא סימן דו-ממדי, מוקד המחקר הוא ביישום הגישה הדו-ממדית ללא סימנים, המייצגת את היישום הקליני והמעשי המרכזי של עבודה זו. היישום המרכזי של הפרוטוקול הנוכחי דורש מערכת לכידת תנועה מבוססת סימנים (מינימום 8 מצלמות) לרכישת נתונים קינמטיים תלת-ממדיים, ומצלמת RGB אחת (רזולוציה מינימלית 1920 × 1080 פיקסלים, 50 הרץ) הממוקמת בניצב למישור הסגיטל ללכידה דו-ממדית ללא סימנים. השיטה מתאימה לסביבות קליניות או מעבדתיות מבוקרות עם תאורה מספקת (> 500 לוקס) ועומס רקע מינימלי. כדי לשפר עמידות בסביבות לא אידיאליות, ארגז הכלים של Vailá משלב כלים לעיבוד מוקדם (למשל, מסיכת תיבת צירה, חיתוך/שינוי גודל וידאו) שמאפשרים למשתמשים לבודד את המשתתף מהסחות דעת ברקע או להתאים מסגור מצלמה לא אופטימלי. מגבלות מרכזיות כוללות דיוק מופחת בגישה של מצלמה אחת, ללא סימנים, עבור ילדים שמפגינים תנועות משמעותיות מחוץ למטוס, שכן גישה זו אינה יכולה ללכוד מידע על עומק או תנועות מחוץ לשדה הראייה של המצלמה. המשתמשים צריכים לוודא שהמשתתפים נשארים בתוך נפח הלכידה המוגדר מראש ולשמור על יישור המישור הסגיטלי במהלך ביצוע המשימה כדי למקסם את ביצועי המעקב ללא סימנים.

1. בדיקות טרום-מבחן

1. הדלק וחמם את מערכת מצלמת התנועה האינפרא-אדום ואת מצלמת הווידאו. מערכת לכידת התנועה האינפרא-אדום דורשת כ-30-60 דקות חימום כדי להגיע לייצוב תרמי לפני הכיול ואיסוף הנתונים. בדוק את קצב הדגימה ב-100Hz (מצלמות אינפרא-אדום למערכת מבוססת סימנים) וב-50Hz (מצלמת וידאו למערכת ללא סימנים).
2. לנקות ו/או לכסות אובייקטים מחזירי אור מנפח הלכידה.

2. מיקום המצלמה

1. מערכת מבוססת סימון (מערכת מצלמות תלת-ממד)
   1. מצלמות מיקום כ-1.5-2.5 מטר ממרכז אזור התנועה, מותקנות בגבהים הנעים בין 0.5 ל-2.5 מטר. ודאו שהמצלמות מפוזרות באופן שווה סביב עוצמת הצילום כדי למקסם את נראות הסמנים ולמזער את ההסתרה במהלך משימת הישיבה לעמידה. גובה חלופי של מיקום המצלמה לשיפור דיוק הטריאנגולציה ולהפחתת הפרעות בקו הראייה.
   2. כל נקודה בנפח היעד (שבה הילד יבצע את המשימה) חייבת להיות גלויה לפחות לשתי מצלמות בכל עת, בהתאם להמלצות סטנדרטיות ללכידת נתונים תלת-ממדית אופטימלית. הגדר את נפח הלכידה בהתבסס על האנתרופומטריקה של משתתפי ילדים והמשימה המוערכת.
      הערה: חלל העבודה היה ממוקם בגובה של כ-0.80 מטר מעל הרצפה.
   3. השתמשו בכלי התוכנה של המערכת המבוססת על סימנים כדי לחדד את שלוש ההגדרות האופטיות העיקריות (זום, צמצם, פוקוס) כדי להבטיח שאריות כיול נמוכות ועקביות גבוהה במעקב אחרי סימנים בין ניסויים.
2. מערכת ללא סימן (מצלמה דו-ממדית)
   1. מקם את מצלמת הווידאו לרוחב 3.0 מטר מהמשתתף (או קרוב יותר, כאשר אפשר, כל עוד ניתן לראות את כל גופו של הנבדק במהלך כל המשימה, מהישיבה ועד העמידה), במרכז גובה האגן כאשר המשתתף עומד, אורתוגונלי למישור הסגיטל.
   2. יישר את הציר האופטי (ללא גלגול) ויישר את קו האמצע של התמונה עם אזור מרכז מפרק הירך.
   3. הגדר את המצלמה עם פרמטרי הדמיה קבועים לכל ההקלטות.
      1. הגדר את אזור הרכישה לאזור עניין של 1920 × 1200 פיקסל כדי להגדיר את הרזולוציה האפקטיבית. השתמש בעדשת מוקד 20 מ"מ ושמור על הצמצם (ניגודיות מספקת בין הסביבה למשתתף) קבוע לאורך כל הניסוי.
      2. הגדר את קצב הפריימים ל-50 הרץ וקבע את משך התריס ל-5 מילישניות. הפעילו את הגדרות החומרה הבאות ואל תשנו אותן במהלך איסוף הנתונים: gain 9.998, gamma 0.4, רמת שחור 0, רוויה 1.
      3. כבה את כל החשיפה האוטומטית והתאמות איזון הלבן כדי למנוע סטייה זמנית במראה התמונה.
         הערה: כדי לכוון את הפוקוס, ניתן להשתמש בשלט עם ביטוי קצר בגופן Calibri, סגנון מודגש, גודל 48, במקום שבו המשתתף יבצע את המשימה. בשדה הראייה של המצלמה, האותיות צריכות להיות חדות, ללא טשטוש נראה לעין.
   4. בעת שימוש בעדשה עם עיוות מורגש, יש להכין צ'ארוקו/צ'קרבורד^18,19 לכיול/אי-עיוות (אופציונלי למשימות סגיטליות וסטטיות בלבד).
      הערה: מערכות מצלמות וידאו מבוססות טוש וללא סימן מוצגות באיור 1.

איור 1: תקריב של שתי מערכות המצלמות ששימשו במחקר זה. מצלמת האינפרא-אדום של מערכת הקינמטיקה התלת-ממדית (משמאל) שימשה בה 12 מצלמות הרכיבו את המערכת לגישה מבוססת סימנים, ומצלמת וידאו אחת (מימין) שימשה לגישה ללא סימנים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

3. סנכרון

הערה: שלב זה נדרש רק כאשר משתמשים במערכות שונות במקביל. סנכרון בין מערכות אינו הכרחי כאשר משתמשים רק במערכת קינמטית אחת (דו-ממדית או תלת-ממדית).

1. חבר את LockLab (או יחידת בקרה/סנכרון מקבילה) כדי לשלוח טריגר לוגיקת טרנזיסטור-טרנזיסטור (TTL) לשתי המערכות בתחילת כל ניסוי.
2. אם אין טריגרים חומרתיים זמינים, יש להשתמש בפלאש LED פולט אור נראה (שיטה מועדפת) או במחיאת כפיים נשמעת שנקלטת על ידי שתי המערכות ליישור מאוחר יותר.

4. כיול נפח לכידת (מערכת מבוססת טושים)

1. בדקו ויזואלית את שדה הראייה של המצלמות (גם מצלמות אינפרא-אדום וגם וידאו) כדי להסיר אובייקטים מיותרים מכל תצוגה. בתוכנת המערכת המבוססת על סימנים, מסתירים אובייקטים מחזירי אור שלא ניתן היה להסירו משדה הראייה של המצלמה (למשל, מצלמות אחרות).
2. בצע כיול שרביט במקום שבו המשימה תתבצע. הזז את השרביט לאורך כל נפח הלכידה כדי לוודא שכל החלל מכוסה. קבל כיול רק אם הדיוק המרחבי ≤ 1 מ"מ (ממוצע השאריות).
   הערה: ודאו שלפחות שלוש מצלמות צופות בו-זמנית במקל הכיול במהלך הליך זה. הזיזו את השרביט דרך נפח הלכידה במהירות שמדמה את התנועה הצפויה במשימה הניסויית: למשימות מהירות גבוהה, הזזים את השרביט במהירות; לתנועות איטיות יותר, לטאטא את השרביט לאט יותר. בסיום מעבר הכיול, בדוק את מדדי התוכנה לאיתור מצלמות שלא תפסו מספיק תצוגות של השרביט ובצע תנועות ממוקדות נוספות בתוך שדה הראייה של אותן מצלמות לפני סיום הכיול. שגיאות שאריות לאחר כיול השרביט בדרך כלל נעות בין 0.3 ל-0.8 מ"מ כאשר מעבר השרביט חלק, נפח הלכידה מואר באופן אחיד, וכל המצלמות מספקות תצוגה ללא הפרעה.
3. הגדר את מקור הנפח על ידי הצבת שרביט הכיול במיקום המקור המיועד בתוך מרחב הבדיקה המוגדר. הגדר את מישור הרצפה לפי הוראות היצרן.

5. מיקום טושים (מערכת מבוססת סימנים)

1. הנח סימנים רטרורפלקטיביים לפי מודל Plug-in Goit 20,21,22 (איור 2) על ידי בוחן מוסמך.
2. בדוק נראות של סימני ירך דו-צדדיים, ברך וגוף במהלך תנועת בדיקה קצרה לפני איסוף ניסוי סטטי (נדרש למערכות מבוססות סמנים תלת-ממדיים).

איור 2: מודל ההליכה עם פלאג-אין מותאם למחקר הנוכחי. סט הסימנים הסטנדרטי יושם להגדרת מקטעי הגפה התחתונה, האגן, הגו והראש. סימני הגפיים העליונים הוסרו כדי להתמקד אך ורק בקינמטיקה של הגוף התחתון והגזע. התאמה זו שומרת על שלמות מודל ההליכה המלאה המקורי של Plug-in Goit, תוך השלמת תנועת הזרוע מהניתוח. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

6. כיסא וסביבה

1. השתמשו בכיסא ללא ידיים והתאימו את גובה המושב כך שזוויות הירך והברך יהיו ~90°, כאשר הרגליים שטוחות על הרצפה. רשמו את גובה המושב (ס"מ) לכל משתתף.
2. לספק תאורה אחידה; הימנעו מתאורה אחורית והסתימות במבט הסגיטל. ודאו רקע אחיד ובעל ניגודיות גבוהה.

7. הדרכת משתתפים ובטיחות

1. אשר שאין מידע מזהה כלול בקבצי ההקלטה (רק קודים אלפאנומריים שאינם מזוהים לכל משתתף).
2. במשפטי ישיבה לעמידה, ודאו שהמשתתפים מודעים להוראות ולפרוטוקולים הנכונים.
   1. הנחה למשתתפים המתפתחים (TD) לשמור על הידיים על המותניים.
   2. לילדים עם שיתוק מוחין (GMFCS III), יש לספק תמיכה ידנית לפי הצורך כדי להשיג עמידה זקופה מבלי לפגוע בבטיחות.
      הערה: למרות שמטופלים ילדים עשויים להזדקק לתמיכה ידנית להבטחת בטיחות והשלמת משימות, יש להקפיד על הפחתה של חסימה של מקטעי גוף או סמנים, שכן הדבר עלול לפגוע באיכות הנתונים.
   3. הפעל את התנועה מילולית ("למעלה") ואפשר מהירות נוחה שבחרה בעצמך במהלך מבחני ישיבה לעמידה.

8. רכישת ניסוי

1. לפני לכידת המבחנים הדינמיים, יש לצלם ניסוי כיול סטטי שבו המשתתף עומד במצב ניטרלי, רגליים ברוחב כתפיים וזרועות בזווית של 90° חטיפה.
   1. ודא שכל הסימנים גלויים לפחות לשתי מצלמות; אמת בתוכנת הרכישה של המערכת המבוססת על סימנים ≥ 95% מהסמנים מזוהים בכל המצלמות. שיא של 2-3 שניות. מסגרת פרספקטיבה תלת-ממדית אחת חייבת להכיל את כל הסימנים.
   2. בתוכנת המערכת המבוססת על סימנים, יש ליישם את מודל הסטטי של Plug-in Gait כדי להגדיר מרכזי מפרקים ומערכות קואורדינטות מקטעים. אמת התאמה נכונה של המודל על ידי בדיקת ההדמיה התלת-ממדית של השלד ואישור מיקומי מרכזי המפרקים הסבירים מבחינה אנטומית.
      הערה: ניסוי סטטי זה מספק את פרמטרי המודל הביומכני הנדרשים לעיבוד ניסוי דינמי תלת-ממדי מאוחר יותר. בשלב זה, יש צורך להזין את המדדים האנתרופומטריים של המשתתף (למשל, משקל, גובה, אורך רגל וכו') בתוכנת המערכת המבוססת על סימנים. כאשר נדרשת תמיכה ידנית למטופלים ילדים במהלך הניסוי הסטטי, יש להיזהר כדי להימנע מחסימת סמנים, שעלולה לפגוע באיכות הנתונים.
2. שיא שלושה מבחנים של ישיבה עד עמידה^{, 23} ניסויים לכל משתתף. תקופת המנוחה בין המבחנים יכולה להיות לפי הצורך לכל משתתף, שכן זו אינה משימה פיזית מאתגרת.
3. השתמש בקונבנציה סטנדרטית של שמות קבצים הכוללת קבוצות (למשל, TD, CP), מזהה אלפאנומרי של משתתף, ומספר ניסוי.
4. בתוכנת המערכת המבוססת על סימנים, משחזרים את מסלולי הסימנים באמצעות מערכת המצלמה המכויילת.
   1. יש לסמן כל סמן לפי שמות קבוצת סימוני Plug-in Goit. השתמש במילוי פערים אוטומטי (גודל רווח מקסימלי: 10 פריימים) לסתירות קצרות.
   2. בדוק את דיוק התיוג על ידי בדיקה ויזואלית של השלד בפרספקטיבה תלת-ממדית. לאחר שכל הסימנים מסומנים נכון והמסלולים רציפים, ייצא את הניסיון כקובץ .c3d לניתוח בארגז הכלים של vailá .
5. שמרו נתונים אופטיים כ-.c3d ופריימים של וידאו או זרמו כקבצים דחוסים ללא אובדן או בקצב סיביות גבוה.

9. עיבוד נתונים

הערה: ארגז הכלים Vailá (v0.10.21)²⁴ הוא חוצה פלטפורמות (Windows, macOS, Linux) ודורש Python 3.12 או מעלה יותר. מודולי הניתוח ללא סימנים (למשל, MediaPipe²⁵) מותאמים לפעול ביעילות על מעבדים סטנדרטיים, ומבטיחים נגישות בסביבות קליניות ללא חומרה מיוחדת. GPU התומך ב-CUDA הוא אופציונלי ומשמש רק אם המשתמש בוחר מנועים מהירים חלופיים (למשל, YOLO-Pose) לעיבוד מהיר יותר. לפקודות ביצוע מפורטות, מדריכים שלב אחר שלב ותיעוד מלא, המשתמשים מופנים למשאבים המקוונים של ארגז הכלים ולקבצי עזרה משולבים, הזמינים בכתובת: https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis.

1. גישה מבוססת סימן: בתוכנה של מערכת מבוססת סימן, עבדו את הניסויים הסטטיים והדינמיים. החלו את מודל Dynamic Plug-in Goit על מסלולי הסימון המסומנים (ראו שלב 7.4) כדי לחשב את סדרת הזמן של זווית המפרק.
   1. ייצא את נתוני הניסיון המעובדים כקובץ .c3d. ודא שסדרות הזמן של זוויות המפרק המחושבות (למשל, זוויות ירך, ברך, קרסול) כלולות בייצוא.
   2. ייבא את קובץ .c3d המעובד לתיבת הכלים של vailá באמצעות הפונקציה vaila.load_c3d() . ארגז הכלים מחלץ אוטומטית את נתוני סדרת הזמן של זוויות המשותף המחושבים מראש מהקובץ.
   3. ייסלו את מסנן Butterworth מסדר 4 עם אפס עיכוב נמוך (חיתוך 6 הרץ) על נתוני זווית המפרק באמצעות פונקציות הסינון המשולבות (כפי שמתואר בשלב 9.2.4 למטה) כדי להבטיח עיבוד עקבי עם הנתונים ללא סימן.
   4. ניתוחים מאוחרים יותר (למשל, יצירת ציקלוגרמות, חישוב מדדי קואורדינציה) מתבצעים לאחר מכן בתוך ויילה.
2. גישה ללא סימן: הטעינת מודול הערכת תנוחת MediaPipe (v0.10.21) בתוך vailá. הגדר את הפרמטרים הבאים: static_image_mode = שגוי, model_complexity = 1-2 (השתמש ברמה 2 כאשר משאבי GPU/CPU מאפשרים דיוק גבוה יותר), smooth_landmarks = נכון, min_detection_confidence = 0.6, min_tracking_confidence = 0.6.
   הערה: מסגרות הערכת תנוחה חלופיות, כמו OpenPose, יכולות לשמש כאן.
   1. עבדו כל פריים וידאו כדי לחלץ את נקודות הציון של MediaPipe 33 (איור 3). להשליך פריימים עם ביטחון זיהוי מתחת לסף או ליישם אינטרפולציה עבור נתונים חסרים.
      הערה: MediaPipe מזהה 33 נקודות ציון בגוף, כולל נקודות מפתח בפנים, בגוף ובגפה (איור 3). בפרוטוקול הנוכחי, נעשה שימוש רק בנקודות ציון בגוף ובחלק התחתון של הגוף הרלוונטיות לניתוח ישיבה לעמידה: כתף [נקודות ציון 11 (כתף שמאל) ו-12 (כתף ימין)], ירך [נקודות ציון 23 (ירך שמאל) ו-24 (ירך ימין)], ברך [נקודות ציון 25 (ברך שמאל) ו-26 (ברך ימין)], וקרסול [נקודות ציון 27 (קרסול שמאל) ו-28 (קרסול ימין)]. נקודות ציון אלו מזוהות אוטומטית מסרטון ה-RGB, והן מוערכות על ידי תכונות ויזואליות (במקום מיקומי סימון רטרורפלקטיביים במודל Plug-in Goit).
   2. ודאו שכל הסימנים המרכזיים (כתף, ירך, ברך, קרסול) מזוהים בביטחון ≥ 0.7.
   3. (אופציונלי) אם עיוות העדשה רלוונטי, יש להסיר עיוות פריימים באמצעות פרמטרי כיול (מטריצת מצלמה ומקדמי עיוות) לפני הפעלת MediaPipe.
   4. YOLO-Pose: במקביל, טענו את מודול YOLO-Pose המשולב ב-vailá.
      1. הגדר את המודל עם משקלים ברירת מחדל לזיהוי שלד אנושי (קבוצת נקודות מפתח תואמת את פורמט COCO). כל פריים מעובד לזיהוי נקודות מפתח שלדיות באמצעות עמוד השדרה של YOLO, מותאם לביצועים עמידים תחת טשטוש תנועה, חסימה או רקעים מורכבים.
      2. החלו מסנני החלקה זמניים להפחתת רעידות מפריימים לפריים וליישר נקודות מפתח שזוהו עם מערכת הקואורדינטות המשמשת ב-MediaPipe.
      3. למסנן החלקה טמפורלי, יש להחיל פילטר באטרוורת' מדרגה 4 במעבר נמוך עם תדר חיתוך של 6 הרץ (תנועות בישיבה לעמידה כוללות תכולת תדר דומיננטית מתחת ל-5 הרץ) על כל נתוני סדרת הזמן בזווית מפרקים, הן מבוססי סימן והן ללא סימנים, כדי להסיר רעש בתדר גבוה תוך שמירה על אות התנועה.
      4. מימוש המסנן הזה באמצעות פונקציות scipy.signal.butter() ו-scipy.signal.filtfilt() בפייתון, תוך שימוש בסינון קדימה-אחורה אפס פאזה כדי למנוע הזזות זמניות.
   5. טיפול בנתונים ב-vailá: ייצוא מסלולי ציון דרך משני הצינורות (MediaPipe ו-YOLO-Pose) בפורמט .csv או .json סטנדרטי. אחסן מטא-דאטה (מספר פריים, חותמת זמן, ביטחון גילוי) יחד עם קואורדינטות נקודת מפתח. דבר זה מבטיח השוואה בין שיטות ושחזור ניתוחים.
3. הגדרות קואורדינטות וזוויות מפרקים: הגדר זוויות כיפוף ירך במישור הסגיטל וכיפוף הברך עם ערכים חיוביים לכיפוש.
   1. לנתונים ללא סימנים, יש לגזור מרכזי/מקטעים של מפרקים מנקודות ציון של MediaPipe (למשל, ירך: פרוקסי אגן; ברך: עצם הירך-טיביה; גוף: קטע כתף-ירך) ומחשב זוויות סגיטליות באמצעות מערכת קואורדינטות מפרק עקבית.
      הערה: זוויות מפרק במישור קשת מחושבות גאומטרית מקואורדינטות הציון הדרך הדו-ממדיות. ארגז הכלים של ויילה מחשב את הזווית (θ) בין שני וקטורי מקטעים (וקטור a ווקטור b) באמצעות הארקוסינוס של מכפלת הנקודה שלהם: θ = arccos((a · b) / (|a| |b|)). כיפוף הירך מוגדר כזווית בין וקטור ה'גזע' (וקטור שמחבר בין סימני MediaPipe 11/12 [כתף] ל-23/24 [ירך]) לבין וקטור הירך (וקטור שמחבר בין 23/24 [ירך] ל-25/26 [ברך]). כיפוף הברך מוגדר כזווית בין וקטור ה'ירך' (וקטור שמחבר בין 23/24 [ירך] ל-25/26 [ברך]) לבין וקטור ה'שנק' (וקטור שמחבר בין 25/26 [ברך] ל-27/28 [קרסול]).
   2. יישמו את אותה קונבנציה וסינון סימנים (במידת הצורך) על שתי הגישות כדי להקל על השוואה.
4. סנכרון זמני: יישור נתונים משתי הגישות באמצעות חותמת זמן ההפעלה של LockLab; אחרת, יישר את מסגרת הפלאש/קלאפ הראשונה הנראית בין זרמי הנתונים.
   1. דגימה מחדש של סדרות זמן, אם צריך, לבסיס זמן משותף לפני השוואות.
5. הגדר מחזור תנועה:
   1. הגדר את מחזור הישיבה לעמידה מתחילת ההטיה קדימה של הגו (סף מהירות זוויתית חיובי בגוף גוף) לעמידה יציבה זקופה לילדים שמתפתחת בדרך כלל (מהירות זווית גוע ~0 ומתיחה מלאה של הברך) ולילדים עם שיתוק מוחין, עמידה זקופה יציבה והמיקום הגבוה ביותר של סמן צוואר הרחם (מערכת מבוססת סמנים).
   2. לילדים עם שיתוק מוחין, שעשויים לא להגיע למתיחה מלאה (כלומר, גזע יישור עם האגן, הירך בכיפוף 0°, הברכיים מתוחות במלואן) כפי שנצפה אצל ילדים שמתפתחים בדרך כלל, הגדר את סוף המחזור כיציבה הזקופה ביותר שהושגה בהתאם למבחן הסטטי בעמידה ומאושרת בבדיקה ויזואלית כדי להבטיח יציבות לפני הניסוי הבא.
   3. אין לנרמל זמן עבור הגרפים המייצגים; דווח על משך המשימה בפועל לכל ניסוי. (ניתוחים מנורמלים בזמן יכולים להינתן כתוספת, אם ירצו.)
6. חישוב ומדדים של ציקלוגרמה: ציור זוויות ירך (ציר x) לעומת ברך (ציר y) לכל ניסוי ליצירת ציקלוגרמות ירך-ברך.
   1. ניסויים וגישות שכבות (מבוססי סימנים לעומת ללא סימנים) להשוואה ויזואלית.
   2. חשב מדדי סיכום אופציונליים: טווחי תנועה של הירך והברכיים, שטח הלולאה, כיוון הלולאה (זווית ציר ראשי), ואורך המסלול.
   3. ייצוא סדרות זמן מעובדות ומדדים .csv לניתוח סטטיסטי.

איור 3: 33 נקודות ציון של MediaPipe. למחקר זה השתמשנו רק בנקודות ציון הרלוונטיות למשימת הישיבה לעמידה, במיוחד נקודות ציון 11 ו-12 (כתפיים), 23 ו-24 (ירכיים), 25 ו-26 (ברכיים), ו-27 ו-28 (קרסוליים). אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

Results

ארגז הכלים בקוד פתוח מבוסס פייתון כמת בהצלחה דפוסי תיאום ירך-ברך הן ממערכות מבוססות סימן והן ממערכות ללא סימן בקרב משתתפים ילדים במהלך משימת הישיבה לעמידה. כדי לספק השוואה כמותית לצד הציקלוגרמות הוויזואליות, מוצגים מדדי סיכום מרכזיים (טווח תנועת הירך והברך) לניסויים המייצגים בטבלה 1. גרפים של זווית-זווית מייצגים מילדים מתפתחים באופן טיפוסי (איור 4A,B) מציגים פרופילי תיאום מהמערכת ללא סימנים, שהתאימו במידה רבה לאלו שהתקבלו מהלכידת תנועה תלת-ממדית המבוססת על ס...

Discussion

מטרת העבודה הייתה להדגים את היתכנות ויישום של ארגז כלים רב-מודלי בקוד פתוח, המסוגל לשלב מערכות לכידת תנועה מבוססות סימנים וללא סימנים לניתוח תיאום גוף מלא באוכלוסיות ילדים. ביישומים מייצגים, הפרוטוקול הצליח לייצר ציקלוגרמות ירך-ברך שהיו ניתנות להשוואה בין מערכות מבוססות סמן למערכות ללא סימנים בילדים המתפתחים באופן טבעי, תוך הדגשת דמיון ואי-התאמות אצל ילדים עם שיתוק מוחין כאשר תנועות יצאו מהמישור הסגיטלי (למשל, סיבוב רוחבי של הגוף). בדקנו בכוונה את ארגז הכלים בשתי סדרות מקרים פדיאטריים, מ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מצלמת FLIR Blackfly	FLIR Systems	דגם: BFS-U3-200S6C-C	משמש ללכידת תנועה דו-ממדית ללא סימנים (50 הרץ, 1980& 1200 פיקסלים)
מצלמת Hikvision PoE	Hikvision	לא זמין	הקלטת וידאו חלופית ללכידה דו-ממדית ללא סימנים
טריגר חומרה של LockLab	ויקון	LockLab	משמש לסנכרון זמני
מצלמת Logitech C920	לוג'יטק	מצלמת רשת HD Pro C920	מצלמת צרכנים חלופית ללכידה ללא סימנים
מדיה-פייפ	מחקר גוגל	v0.10.21	משמש להערכת תנוחה דו-ממדית בזמן אמת. זמין אונליין בכתובת https://ai.google.dev/edge/mediapipe/solutions/guide
תוכנת OpenPose	קהילת אוניברסיטת קרנגי מלון / OpenPose	גרסה 1.7.0	משמש להערכת תנוחה דו-ממדית בזמן אמת
דגם גוף מלא של Plug-in Gait	ויקון	מודל סטנדרטי	משמש כמודל ביומכני למיקום סמנים אנטומיים
מצלמות ורו אינפרא-אדום	ויקון	סדרת ורו	משמש ללכידת תנועה מבוססת סימנים תלת-ממדיים (100 הרץ)