Method Article

Мультимодальный набор для захвата движений для расширенного анализа межсегментальной координации у детей с церебральным параличом и типично развивающихся

DOI:

10.3791/69604

⸱

December 16th, 2025

 ,  ,  , 
1Department of Physical Therapy, University of North Florida, 2School of Physical Education and Sport of Ribeirão Preto, University of São Paulo, 3Department of Clinical and Applied Movement Sciences, University of North Florida

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В данном исследовании представлен набор инструментов, объединяющий технологии захвата движения для анализа кинематических сигналов и количественной оценки всех координационных паттернов с использованием графиков углов-углов. Разработанный для преодоления проблем традиционных систем на основе маркеров, этот набор инструментов поддерживает гибкость в исследовательских, клинических и полевых условиях, способствуя индивидуализированному уходу и функциональной оценке детей с моторными нарушениями.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Трёхмерные системы захвата движений на основе маркеров являются золотым стандартом для оценки кинематических паттернов в движении человека, позволяя точную количественную оценку положений сегментов и суставов. Однако традиционные системы на основе маркеров представляют ряд проблем, особенно для детей с неврологическими нарушениями и нарушениями сенсорной обработки, например, у детей с церебральным параличом. Эти трудности затрудняют использование кинематических маркеров и ограничивают детальный анализ паттернов движений. Недавние достижения в системах захвата движения без маркеров, использующих оценку позы человека на основе глубокого обучения, позволили нам исследовать экономичные альтернативы традиционным оптическим системам и последующим методам обработки данных. Был разработан интегрированный набор инструментов, объединяющий несколько технологий захвата движений: кинематическое оборудование исследовательского уровня, кинематические кластеры, инерциальные измерительные блоки, трёхмерные (3D) системы без маркеров и двумерные (2D) системы без маркеров с коммерчески доступными камерами (через MediaPipe). В этом текущем исследовании мы представляем результаты 3D-маркерного захвата движения на основе 3D-маркеров и 2D без маркеров, что является основной проблемой биомеханических исследований на людях, чтобы описать координирующие паттерны с помощью графиков угла и угла бедра и колена. Циклограммный подход был выбран потому, что он предлагает надёжную метрику и легко интерпретируемую структуру для анализа координации через связанное движение между сегментами тела. Два типично развивающихся ребёнка и двое детей с церебральным параличом выполняли функциональный двигательный паттерн — задание «сидя и стоя». Результаты здесь продемонстрировали возможность интеграции мультимодальных систем для кинематического анализа, обеспечивая гибкость для исследовательских и клинических условий. Кроме того, инновационный подход с открытым исходным кодом, представленный в этой работе, решает проблемы, связанные со многими группами пациентов, сталкивающихся с проблемами сенсорной обработки, позволяя разрабатывать продвинутый и индивидуализированный план ухода.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Трёхмерные оценки кинематического захвата движения предоставили надежную информацию для количественной оценки ожидаемых и аномальных паттернов движения. Такая информация имеет решающее значение при разработке реабилитационныхпланов 1 и установлении подходов к безопасности взаимодействия пациентов с клиническим оборудованием (например, 2,3). При рассмотрении детей с неврологическими нарушениями такие кинематические оценки могут обеспечить улучшенный уход, учитывая изменения в координационных паттернах в различных функциональных задачах, таких какпоходка 4,задание «сидя в стойку» 5 и верхняя конечностьдостигает 6.

Хотя трёхмерные (3D) кинематические оценки считаются золотым стандартом для точного анализа захвата движения7, размещение кинематических маркеров на коже является необходимым условием для точной количественной оценки движений сегментов и суставов. Эта оценка на основе маркеров требует знания конкретных анатомических ориентиров для тех, кто проводит оценку, а также переносимости и приемлемости лент, закреплённых на коже у проходящих обследование. Хотя первое можно изучить, второе является проблемой для нескольких групп пациентов. Например, дети с повреждением мозга или церебральным параличом могут проявлять нарушения при обработке сенсорнойинформации 8,9,10. Это расстройство может проявляться как гиперчувствительность, мешая клиницистам и исследователям наносить кинематические маркеры на кожу детей, что, в свою очередь, может затруднять количественную оценку изменений в движении и эффективный индивидуальный план ухода.

Помимо проблемы размещения маркеров на коже пациентов, большинство измерительных систем, используемых в кинематической, недоступны, ограничены лабораторными помещениями и доступны только с высококвалифицированным персоналом, что делает их непрактичными для рутинного клинического применения. Однако современные достижения в технологиях захвата движения поддерживают иные подходы к записи кинематических данных. Например, автоматическая оценка позы человека с использованием технологий глубокого обучения привлекла внимание исследователей компьютерного зрения. Эти методы захвата движения без маркеров могут предложить перспективное решение технических и практических задач, связанных с анализом движения на основемаркеров 11. Вместо того чтобы полагаться на отслеживание маркеров, этот подход использует обученные нейронные сети для оценки положения всегоориентира 12. Это развитие повышает общую эффективность и адаптивность технологии распознавания человеческой осанки.

Хорошо известно, что кинематическая связь между сегментами тела может выявить скрытые механизмы контроля, поддерживающие вариабельность движений. Хотя для измерения координации междусегментами 13 можно использовать несколько методов, графики углов и углов (циклограммы) позволяют по своей природе интерпретируемое количественное определение связанного движения между сегментами/суставами в установленныйвременной промежуток 14,15. Поскольку многие дети с церебральным параличом испытывают трудности при выполнении движений всего тела из-за нарушенного селективного моторногоконтроля 16, мы решили изучить простое, но с комплексным базовым контролем17 — движение «сидя в стойку». Целью этого исследования было продемонстрировать возможность создания открытого набора инструментов, объединяющего технологии захвата движения для облегчения кинематической оценки координационных паттернов для детей с ограниченными возможностями.

В этой работе мы будем использовать циклограммы бедра-колено для демонстрации координации между корпусом/тазом и сегментами бедра/голени, используя тазобедренные и коленные суставы как представительные межсегментальные связы, важные для биомеханики «сидячий в стойкость». Была выбрана координация бедра и колена, поскольку она захватывает первичную суставную связь, которая управляет вертикальным движением центра массы во время задания «сидя в стойкость» — функционально критически важного движения для детей с ограниченными возможностями, которые часто полагаются на компенсаторные стратегии нижней части конечностей из-за нарушенного селективногомоторного контроля, влияющего на синергию суставов. Интеграция различных технологий (например, от исследовательского 3D-кинематического оборудования до коммерчески доступных камер) в один набор инструментов обеспечивает гибкость использования — от исследовательских до полевых и клинических сред. Набор инструментов также позволяет проводить детальную кинематическую оценку, если размещение маркеров невозможно из-за аномалий сенсорной обработки у детей с инвалидностью с помощью функций обработки сигналов без маркеров с захватом движения.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование проводилось в виде серии случаев с использованием репрезентативных результатов четырёх детей для демонстрации осуществимости протокола, а не статистических выводов. В этом исследовании приняли участие два детей, обычно развивающиеся (мальчик 4 года, 100 см, 14,5 кг; мальчик 10 лет, 144 см, 40,8 кг) и двое детей с церебральным параличом, система классификации общей моторной функции III (женщина 4 года, 93 см, 13,8 кг; мужчина 4 года, 102 см, 16,7 кг). Родители/законные опекуны и дети предоставили информированное согласие/согласие перед участием в соответствии с нашим протоколом, одобренным Институциональным советом по обзору (IRB-FY2024-33).

ПРИМЕЧАНИЕ: Хотя этот протокол описывает процедуры как для 3D-маркерных, так и для 2D систем захвата движения без маркеров, основное внимание исследования сосредоточено на внедрении 2D-метода без маркеров, который является основным клиническим и практическим применением этой работы. Основная реализация текущего протокола требует системы захвата движения на основе маркеров (минимум 8 камер) для 3D-кинематического сбора данных и одной RGB-камеры (минимальное разрешение 1920 × 1080 пикселей, 50 Гц), расположенной перпендикулярно сагиттальной плоскости для 2D-захвата без маркеров. Метод подходит для контролируемых клинических или лабораторных условий с достаточным освещением (> 500 люкс) и минимальным количеством фоновых помех. Для повышения устойчивости в неидеальных условиях набор инструментов vailá интегрирует инструменты предварительной обработки (например, маскировка drawbox, кадрирование/изменение размера видео), которые позволяют изолировать участника от фоновых отвлекающих факторов или корректировать неоптимальное кадрирование камеры. Ключевые ограничения включают снижение точности для однокамерного, безмаркерного подхода для детей, проявляющих значительные движения за пределы плоскости, поскольку этот подход не может фиксировать информацию о глубине или движения вне поля зрения камеры. Пользователям следует следить за тем, чтобы участники оставались в пределах заранее определённого объема захвата и поддерживали выравнивание сагиттальной плоскости во время выполнения задачи, чтобы оптимизировать работу отслеживания без маркеров.

1. Предтестовые проверки

  1. Включить и прогреть инфракрасную камеру захвата движения и видеокамеру. Инфракрасная система захвата движения требует примерно 30-60 минут разогрева для достижения термостабилизации перед калибровкой и сбором данных. Проверьте частоту дискретизации на 100 Гц (инфракрасные камеры для систем с маркерами) и 50 Гц (видеокамера для системы без маркеров).
  2. Очистить и/или закрыть отражающие объекты от объёма захвата.

2. Размещение камеры

  1. Система на основе маркеров (3D-камера)
    1. Камеры размещаются примерно на расстоянии 1,5–2,5 м от центра зоны передвижения, устанавливаются на высотах от 0,5 до 2,5 м. Убедитесь, что камеры равномерно распределены по объёму съёмки, чтобы оптимизировать видимость маркеров и минимизировать окклюзию во время выполнения задачи «сидя и стоять». Чередуйте высоты положения камеры для повышения точности триангуляции и снижения помех по прямой видимости.
    2. Каждая точка в целевом объёме (где ребёнок будет выполнять задачу) должна быть видна как минимум двум камерам в любое время, в соответствии со стандартными рекомендациями для оптимального 3D-захвата данных. Определите объём захвата на основе антропометрии педиатрических участников и оцениваемой задачи.
      ПРИМЕЧАНИЕ: Рабочее пространство располагалось примерно на высоте 0,80 м над полом.
    3. Используйте программные инструменты системы на основе маркеров для уточнения трёх основных оптических настроек (зум, диафрагма, фокус), чтобы обеспечить низкие остатки калибровки и высокую согласованность отслеживания маркеров на протяжении всех испытаний.
  2. Система без маркеров (2D-камера)
    1. Разместите видеокамеру латерально на расстоянии 3,0 м от участника (или, если возможно, ближе, при условии, чтобы всё тело объекта было видно на протяжении всего задания, от сидения до стояния), по центру на уровне таза, когда участник стоит, ортогонально сагиттальной плоскости.
    2. Выровняйте оптическую ось (без крена) и выровняйте среднюю линию изображения с центральной областью тазобедренного сустава.
    3. Настройте камеру с фиксированными параметрами изображения для всех записей.
      1. Установить область приобретения в область интереса 1920 × 1200 пикселей для определения эффективного разрешения. Используйте фокусный объектив 20 мм и держите диафрагму (достаточно контраста между окружением и участником) постоянной на протяжении всего эксперимента.
      2. Установите частоту кадров на 50 Гц и зафиксируйте длительность затвора на 5 мс. Применяйте следующие аппаратные настройки и не изменяйте их во время сбора данных: усиление 9.998, гамма 0.4, чёрный уровень 0, насыщение 1.
      3. Отключите все автоматические настройки экспозиции и баланса белого, чтобы предотвратить временное смещение изображения.
        ПРИМЕЧАНИЕ: Для корректировки фокуса можно использовать табличку с короткой фразой, написанной шрифтом Calibri, жирным шрифтом, размером 48, где участник будет выполнять задание. В поле зрения камеры буквы должны быть чёткими, без видимого размытия.
    4. При использовании любого объектива с заметными искажениями готовьте Charuco/Checkerboard 18,19 для калибровки/неискажения (опционально для строго сагитальных, стационарных задач).
      ПРИМЕЧАНИЕ: На рисунке 1 показаны как маркерные, так и безмаркерные видеокамеры.

Рисунок 1
Рисунок 1: Крупный план двух систем камер, использованных в этом исследовании. Использовалась инфракрасная камера 3D-кинематической системы (слева), в которой 12 камер составляли систему для маркерного подхода, а одна видеокамера (справа) — для подхода без маркеров. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

3. Синхронизация

ПРИМЕЧАНИЕ: Этот шаг необходим только при одновременном использовании разных систем. Синхронизация между системами не требуется при использовании только одной кинематической (2D или 3D) системы.

  1. Подключите LockLab (или аналогичный блок управления/синхронизации) для отправки триггера транзистор-транзисторной логики (TTL) к обеим системам в начале каждого испытания.
  2. Если аппаратные триггеры недоступны, используйте вспышку с видимым светодиодом (LED) (предпочтительный способ) или слышимый хлопок, зафиксированный обеими системами для последующего выравнивания.

4. Калибровка объёма захвата (система на основе маркеров)

  1. Визуально осматривайте поле зрения камер (как инфракрасных, так и видеокамер), чтобы удалить ненужные объекты из каждого ракурса. В программном обеспечении системы на основе маркеров маскируются отражающие объекты, которые нельзя было убрать из поля зрения камеры (например, другие камеры).
  2. Выполните калибровку палочки там, где будет выполняться задача. Проведите палочку по всему объёму захвата, чтобы покрыто всё пространство. Допускайте калибровку только если пространственная точность ≤ 1 мм (средний остаток).
    ПРИМЕЧАНИЕ: Убедитесь, что как минимум три камеры одновременно видят калибровочный шпал во время этой процедуры. Двигайте палочку по объёму захвата с такой скоростью, которая приближается к движению, ожидаемому в экспериментальной задаче: Для задач с высокой скоростью двигайте палочку быстро; Для более медленных движений ведите палочкой медленнее. В конце калибровочного прохода проверьте программные индикаторы на наличие камер, которые не зафиксировали достаточное количество видов палочки, и выполните дополнительные целенаправленные движения палочкой в полях зрения этих камер перед завершением калибровки. Остаточные ошибки после калибровки палочки обычно составляют от 0,3 до 0,8 мм, когда проход палочки плавный, объём захвата равномерно освещен, и все камеры имеют свободный обзор.
  3. Установите начало громкости, разместив калибровочную палочку в назначенном месте начала в определённом тестовом пространстве. Определите плоскость пола согласно инструкциям производителя.

5. Установка маркеров (система на основе маркеров)

  1. Размещайте ретрорефлексивные маркеры по модели Plug-inGait 20,21,22 (рисунок 2), выполненной обученным экзаменатором.
  2. Проверьте видимость двусторонних маркеров бедра, колена и туловища во время краткого тестового движения перед проведением статического испытания (необходимого для систем на основе 3D-маркеров).

Рисунок 2
Рисунок 2: Модель подключённой походки, адаптированная для настоящего исследования. Стандартный набор маркеров применялся для определения нижних сегментов конечностей, таза, туловища и головы. Маркеры верхней конечности были удалены, чтобы сосредоточиться исключительно на кинематике нижней части тела и туловища. Эта адаптация сохраняет целостность оригинальной модели полного тела Plug-in Gait, исключая движение рук из анализа. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

6. Кресло и окружающая среда

  1. Используйте кресло без подлокотников и регулируйте высоту сиденья так, чтобы углы бедер и коленей были ~90°, а стопы были ровно на полу. Запишите высоту сиденья (см) для каждого участника.
  2. Обеспечить равномерное освещение; Избегайте подсветки и окклюзии в сагиттальном виде. Убедитесь, что фон с одинаковым контрастом.

7. Обучение участников и безопасность

  1. Убедитесь, что в записывающие файлы не прилагается идентифицирующая информация (только неидентифицируемые буквенно-цифровые коды для каждого участника).
  2. Для проведения испытаний по принципу «сиди и стоять» убедитесь, что участники осведомлены о правильных инструкциях и протоколах.
    1. Инструктируйте обычно развивающихся (TD) участников держать руки на бёдрах.
    2. Для детей с церебральным параличом (GMFCS III) при необходимости предоставляйте ручную поддержку для достижения вертикальной стойки без ущерба безопасности.
      ПРИМЕЧАНИЕ: Хотя детям может потребоваться ручная поддержка для обеспечения безопасности и выполнения задач, необходимо соблюдать осторожность для минимизации окклюзии сегментов тела или маркеров, так как это может ухудшить качество данных.
    3. Отключите движение словесно («вверх») и обеспечьте себе выбранную комфортную скорость во время испытаний «сидя и стоять».

8. Пробное приобретение

  1. Перед записью динамических испытаний зафиксируйте статическую калибровку, где участник стоит в нейтральном положении, ноги на ширину плеч и руки под углом 90° похищения.
    1. Убедитесь, что все маркеры видны как минимум двум камерам; Проверьте в программном обеспечении системы на основе маркеров, что ≥ 95% маркеров обнаруживаются на всех камерах. Рекорд на 2-3 секунды. Один 3D-перспективный кадр должен содержать все маркеры.
    2. В программном обеспечении системы на основе маркеров применяется статическая модель Plug-in Gait для определения центров соединений и систем координат сегментов. Проверьте правильное соответствие модели, изучив 3D-визуализацию скелета и подтвердив анатомически правдоподобное положение центра суставов.
      ПРИМЕЧАНИЕ: Это статическое испытание предоставляет параметры биомеханической модели, необходимые для последующей обработки 3D-динамических испытаний. На этом этапе необходимо ввести антропометрические показатели участника (например, вес, рост, длину ног и т.д.) в программное обеспечение системы на основе маркеров. Когда требуется ручная поддержка для педиатрических пациентов во время статического исследования, необходимо проявлять осторожность, чтобы избежать окклюзии маркеров, которая может ухудшить качество данных.
  2. Зафиксировано три испытания от сидения достойки — 23 на каждого участника. Период отдыха между испытаниями может быть необходимым для каждого участника, так как это не является физически сложной задачей.
  3. Используйте стандартизированную систему именования файлов, включая группу (например, TD, CP), буквенно-цифровое идентификатор участника и номер исследования.
  4. В программном обеспечении системы на основе маркеров реконструируют траектории маркеров с помощью калиброванной системы камеры.
    1. Маркируйте каждый маркер согласно номенклатуре набора маркеров Plug-in Gait. Используйте автоматическое заполнение зазоров (максимальный размер зазора: 10 кадров) для кратковременных окклюзий.
    2. Проверьте точность маркировки, визуально осматривая скелет в 3D-перспективе. Когда все маркеры правильно промаркированы и траектории будут непрерывными, экспортировать исследование в формате .c3d для анализа в наборе инструментов vailá .
  5. Сохраняйте оптические данные в формате .c3d и видеокадры или транслируйте как безпотерь или высокобитрейтные сжатые файлы.

9. Обработка данных

ПРИМЕЧАНИЕ: Набор инструментов vailá (v0.10.21)24 является кроссплатформенным (Windows, macOS, Linux) и требует Python 3.12 или новее. Модули анализа без маркеров (например,MediaPipe 25) оптимизированы для эффективной работы на стандартных процессорах, обеспечивая доступность в клинических условиях без специализированного оборудования. GPU с поддержкой CUDA является опциональной и используется только если пользователь выбирает альтернативные высокоскоростные двигатели (например, YOLO-Pose) для более быстрой обработки. Для получения подробных команд выполнения, пошаговых руководств и полной документации пользователи направляются к онлайн-ресурсам и интегрированным файлам помощи инструмента, доступным по адресу: https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis.

  1. Маркерный подход: в программном обеспечении системы на основе маркеров обрабатываются статические и динамические испытания. Примените модель динамической походки с подключением к отмеченным траекториям маркера (см. шаг 7.4) для вычисления временных рядов углов соединения.
    1. Экспортировать обработанные данные испытаний в формате .c3d. Убедитесь, что вычисленные временные ряды углов суставов (например, углы бедра, колена, голеностопа) включены в экспорт.
    2. Импортируйте обработанный .c3d-файл в набор инструментов vailá с помощью функции vaila.load_c3d(). Toolbox автоматически извлекает заранее рассчитанные данные временных рядов углов соединения из файла.
    3. Примените низкочастотный фильтр Баттерворта с нулевым задержкой четырёх порядков (отрез 6 Гц) к данным угла соединения с помощью интегрированных функций фильтрации (как описано в шаге 9.2.4 ниже), чтобы обеспечить согласованную обработку с данными без маркеров.
    4. Последующие анализы (например, генерация циклограмм, вычисление координационных метрик) проводятся внутри vailá.
  2. Метод без маркера: модуль оценки позы Load MediaPipe (v0.10.21) внутри vailá. Установите следующие параметры: static_image_mode = Ложно, model_complexity = 1-2 (используйте уровень 2, когда ресурсы GPU/CPU обеспечивают более высокую точность), smooth_landmarks = True, min_detection_confidence = 0,6, min_tracking_confidence = 0,6.
    ПРИМЕЧАНИЕ: Здесь можно использовать альтернативные фреймворки оценки позы, такие как OpenPose.
    1. Обработайте каждый видеокадр для извлечения ориентиров MediaPipe 33 (рисунок 3). Отбросить кадры с уверенностью обнаружения ниже порога или применить интерполяцию для отсутствующих данных.
      ПРИМЕЧАНИЕ: MediaPipe обнаруживает 33 ориентира на теле, включая лицо, торс и ключевые точки конечностей (рисунок 3). В действующем протоколе использовались только ориентиры туловища и нижней части тела, относящиеся к анализу «сидя и стоя»: плечо [ориентиры 11 (левое плечо) и 12 (правое плечо)], бедро [ориентиры 23 (левое бедро) и 24 (правое бедро)], колено [ориентиры 25 (левое колено) и 26 (правое колено)], и голеностоп [ориентиры 27 (левая лодыжка) и 28 (правая лодыжка)]. Эти ориентиры автоматически обнаруживаются по RGB-видео и оцениваются по визуальным признакам (а не по ретроотражающим позициям маркера, используемых в модели Plug-in Gait).
    2. Убедитесь, что все ключевые ориентиры (плечо, бедро, колено, лодыжка) обнаружены с уверенностью ≥ 0,7.
    3. (По желанию) Если искажение объектива важно, перед запуском MediaPipe исправьте кадры с помощью калибровочных параметров (матрицу камеры и коэффициенты искажения).
    4. YOLO-Pose: Параллельно загрузите модуль YOLO-Pose, интегрированный в vailá.
      1. Настройте модель с стандартными весами для обнаружения человеческих скелетов (набор ключевых точек соответствует формату COCO). Каждый кадр обрабатывается для обнаружения ключевых точек скелета с помощью магистрали YOLO, оптимизированной для надёжной производительности при размытии движения, окклюзии или сложных фонах.
      2. Примените временные фильтры сглаживания для уменьшения дрожи между кадрами и выравнивания обнаруженных ключевых точек с системой координат, используемой в MediaPipe.
      3. Для фильтра временного сглаживания применяйте низкочастотный фильтр Баттерворта4-го порядка с частотой среза 6 Гц (движения «сидя в стойку» имеют доминирующее частотное содержание ниже 5 Гц) ко всем угловым временным рядам соединения, как на основе маркеров, так и без маркеров, чтобы устранить высокочастотный шум при сохранении сигнала движения.
      4. Реализуйте этот фильтр, используя функции scipy.signal.butter() и scipy.signal.filtfilt() в Python, используя нулевую фазовую фильтрацию вперёд-назад, чтобы избежать временных сдвигов.
    5. Обработка данных в vailá: экспортировать знаковые траектории из обоих конвейеров (MediaPipe и YOLO-Pose) в стандартизированном формате .csv или .json. Храните метаданные (номер кадра, временную метку, уверенность обнаружения) вместе с ключевыми координатами. Это обеспечивает сопоставимость между методами и воспроизводимость анализов.
  3. Определения координат и углы суставов: определите углы сгибания бедра в сагиттальной плоскости и колена с положительными значениями для сгибания.
    1. Для безмаркерных данных определите центры/сегменты суставов из ориентиров MediaPipe (например, бедро: прокси таза; колено: бедренно-большеберцовая кость; туловище: сегмент плечо-бедра) и вычислите сагиттальные углы, используя согласованную систему координат суставов.
      ПРИМЕЧАНИЕ: Углы суставов сагиттальной плоскости вычисляются геометрически по координатам двумерного ориентира. Набор инструментов vailá вычисляет угол (θ) между двумя векторами сегментов (векторами a и вектором b) с использованием аркозина их точечного произведения: θ = arccos((a · b) / (|a| |b|)). Сгибание бедра определяется как угол между вектором «туловища» (вектор, соединяющий ориентиры MediaPipe 11/12 [плечо] и 23/24 [бедро]) и вектором «бедра» (вектор, соединяющий 23/24 [бедро] и 25/26 [колено]). Сгибание колена определяется как угол между вектором «бедра» (вектором, соединяющим 23/24 [бедро] и 25/26 [колено]) и вектором «шанка» (вектор, соединяющий 25/26 [колено] и 27/28 [лодыжка]).
    2. Примените одинаковую конвенцию знаков и фильтрацию (если нужно) к обоим подходам для облегчения сравнения.
  4. Временная синхронизация: выровнять данные с обоих подходов с помощью временной метки триггера LockLab; В противном случае выровняйте первый видимый кадр вспышки/хлопка по потокам данных.
    1. При необходимости переснимите временные ряды до общей временной базы перед сравнениями.
  5. Определите цикл движения:
    1. Определите цикл «сидя-стоя» от начала наклона вперёд туловища (положительный порог угловой скорости туловища) до стабильной вертикальной стойки для детей, обычно развивающихся (угловая скорость туловища ~0 и полное разгибание колена), а для детей с церебральным параличом — стабильной вертикальной стойки и наибольшего положения шейного маркера (система на основе маркеров).
    2. Для детей с церебральным параличом, которые могут не достигать полного разгибания (то есть туловище выровняется с тазом, бедро сгибается 0°, колени полностью выпрямлены), как обычно развиваются дети, определяйте конец цикла как наиболее вертикальную осанку, достигнутую в соответствии со статическим стоячим испытанием, и подтверждаемую визуальным осмотром для обеспечения стабильной стойки перед следующим испытанием.
    3. Не нормализуйте время для представительных графиков; Сообщайте фактическую продолжительность задачи на каждом испытании. (Временно-нормализованные анализы могут быть предоставлены в качестве дополнительного, если это необходимо.)
  6. Вычисление циклограмм и метрики: Постройте углы бедра (ось x) и колена (ось y) для каждого испытания для генерации циклограмм бедро-колено.
    1. Для визуального сравнения, применяются наложенные испытания и подходы (на основе маркеров или безмаркерных).
    2. Вычислите дополнительные сводные метрики: диапазоны движения бедра/колена, площадь петли, ориентация петли (угол главной оси) и длина пути.
    3. Экспортировать обработанные временные ряды и метрики как .csv для статистического анализа.

Рисунок 3
Рисунок 3: 33 ориентира MediaPipe. Для этого исследования мы использовали только ориентиры, относящиеся к заданию «сидя в стойку», а именно ориентиры 11 и 12 (плечи), 23 и 24 (бедра), 25 и 26 (колени), а также 27 и 28 (лодыжки). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Открытый набор инструментов на базе Python успешно количественно оценил паттерны координации бедра и колена как из маркерных, так и безмаркерных систем у педиатрических участников во время задания «сиди и стоять». Для количественного сравнения наряду с визуальными циклограммами в таблице 1 представлены ключевые сводные метрики (диапазон движения бедра и колена) для репрезентативных испытаний. Репрезентативные угловые графики от обычно развивающихся детей (рисунок 4A,...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Целью этой работы было продемонстрировать осуществимость и применение открытого мультимодального набора инструментов, способного интегрировать системы захвата движения на основе маркеров и без маркеров для анализа координации всего тела в педиатрических популяциях. В репрезентативных приложениях протокол успешно создавал циклограммы бедра и колена, сопоставимые между маркерными и безмаркерными системами у обычно развивающихся детей, а также выявлял сходства и расхождения у детей с церебр...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам нечего раскрывать.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы хотели бы выразить признательность финансовой поддержке (PI: Сезару) благодаря гранту на исследования детской физиотерапии 2023 года от Фонда исследований физиотерапии, Фондом инновационных исследований MedNexus и грантом Национального института детского здоровья и развития человека имени Юнис Кеннеди Шрайвер (1R03HD114548-01).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Камера FLIR BlackflyСистемы FLIRМодель: BFS-U3-200S6C-CИспользуется для 2D-захвата движения без маркеров (50 Гц, 1980 и раз; 1200 пикселей)
Камера Hikvision PoEHikvisionН/ДАльтернативная видеозапись для 2D-записи без маркеров
Аппаратный триггер LockLabВиконLockLabИспользуется для временной синхронизации
Камера Logitech C920LogitechВеб-камера HD Pro C920Альтернативная потребительская камера для захвата без маркеров
MediaPipeGoogle Researchv0.10.21Используется для оценки поз в реальном времени в 2D. Доступно онлайн по адресу https://ai.google.dev/edge/mediapipe/solutions/guide
Программное обеспечение OpenPoseУниверситет Карнеги-Меллон / сообщество OpenPoseВерсия 1.7.0Используется для оценки позы в 2D в реальном времени
Модель Plug-in Gait с полным теломВиконСтандартная модельИспользуется как биомеханическая модель для размещения анатомических маркеров
Инфракрасные камеры VeroВиконСерия VeroИспользуется для захвата движения на основе 3D-маркеров (100 Гц)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tavernese, E., Paoloni, M., Mangone, M., Castelli, E., Santilli, V. Coordination between pelvis and shoulder girdle during walking in bilateral cerebral palsy. Clin Biomech. 32, 142-149 (2016).
  2. Cesar, G. M., Buster, T. W., Gonabadi, A. M., Burnfield, J. M. Muscle demand and kinematic similarities between pediatric-modified motor-assisted elliptical training at fast speed and fast overground walking:Real-world implications for pediatric gait rehabilitation. J Electromyogr Kinesiol. 63, 102639(2022).
  3. Burnfield, J. M., Cesar, G. M., Buster, T. W., Irons, S. L., Nelson, C. A. Kinematic and muscle demand similarities between motor-assisted elliptical training and walking:Implications for pediatric gait rehabilitation. Gait Posture. 51, 194-200 (2017).
  4. Swinnen, E., Van Goten, L., De Koster, B., Degelaen, M. Thorax and pelvis kinematics during walking, a comparison between children with and without cerebral palsy:A systematic review. NeuroRehabilitation. 38 (2), 129-146 (2016).
  5. Boonyong, S., Suriyaamarit, D. The effects of anterior seat inclination on movement time, mechanical work and kinematics during sit-to-stand in children with spastic diplegic cerebral palsy. Disabil Rehabil Assist Technol. 16 (5), 479-482 (2021).
  6. Aboelnasr, E. A., Hegazy, F. A., Altalway, H. A. Kinematic characteristics of reaching in children with hemiplegic cerebral palsy:A comparative study. Brain Inj. 31 (1), 83-89 (2017).
  7. Suo, X., Tang, W., Li, Z. Motion capture technology in sports scenarios:A survey. Sensors. 24 (9), 2947(2024).
  8. Thielen, H., Tuts, N., Welkenhuyzen, L., Huenges Wajer, I. M., Lafosse, C., Gillebert, C. R. Sensory sensitivity after acquired brain injury:A systematic review. J Neuropsychol. 17 (1), 1-31 (2023).
  9. de Sain, A. M., et al. Sensory hypersensitivity after acquired brain injury:The patient perspective. Disabil Rehabil. 46 (16), 3586-3593 (2024).
  10. Pavão, S. L., Rocha, N. A. Sensory processing disorders in children with cerebral palsy. Infant Behav Dev. 46, 1-6 (2017).
  11. Realtime multi-person 2D pose estimation using part affinity fields. Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Proc IEEE Conf Comput Vis Pattern Recognit, 2017, 1302-1310 (2017).
  12. Mathis, A., et al. DeepLabCut:Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  13. Dubois, A., et al. A guide to inter-joint coordination characterization for discrete movements:A comparative study. J Neuroeng Rehabil. 20, 132(2023).
  14. Saegner, K., et al. Inter-joint coordination with and without dopaminergic medication in Parkinson's disease:A case-control study. J Neuroeng Rehabil. 21, 118(2024).
  15. Hallemans, A., Aerts, P. Effects of visual deprivation on intra-limb coordination during walking in children (3-11 years) and adults:Thigh-shank and shank-foot angle-angle plots reveal modulation of loop shape with visual condition. Exp Brain Res. 198 (1), 95-106 (2009).
  16. Yun, G., Huang, M., Cao, J., Hu, X. Selective motor control correlates with gross motor ability, functional balance and gait performance in ambulant children with bilateral spastic cerebral palsy. Gait Posture. 99, 9-13 (2023).
  17. Park, E. S., et al. The characteristics of sit-to-stand transfer in young children with spastic cerebral palsy based on kinematic and kinetic data. Gait Posture. 17 (1), 43-49 (2003).
  18. Bradski, G. The OpenCV library. Dr Dobb's J Softw Tools. 120, 122-125 (2000).
  19. Garrido-Jurado, S., Muñoz-Salinas, R., Madrid-Cuevas, F. J., Marín-Jiménez, M. J. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognit. 47 (6), 2280-2292 (2014).
  20. Kadaba, M. P., Ramakrishnan, H. K., Wootten, M. E. Measurement of lower extremity kinematics during level walking. J Orthop Res. 8 (3), 383-392 (1990).
  21. Davis, R. B., Õunpuu, S., Tyburski, D., Gage, J. R. A gait analysis data collection and reduction technique. Hum Mov Sci. 10, 575-587 (1991).
  22. Vicon Motion Systems Ltd. Plug-in gait reference guide. , Vicon Motion Systems Ltd. Oxford. https://help.vicon.com/download/attachments/11378719/Plug-in%20Gait%20Reference%20Guide.pdf (2016).
  23. Romin, E., Lindgren, A., Rodby-Bousquet, E., Cloodt, E. Sit-to-stand performance in children with cerebral palsy: A population-based cross-sectional study. BMC Musculoskelet Disord. 25 (1), 460(2024).
  24. vailá: A multimodal toolbox for analysis and integration in biomechanics. Santiago, P. R. P., Chinaglia, A. G., Bedo, B. L. S., Mochida, L. Y., Cesar, G. M. Int Soc Biomech Conf, July 27-31, Stockholm, Sweden, , (2025).
  25. MediaPipe v0.10.21. , MediaPipe. Available at: https://pypi.org/project/mediapipe/ (2025).
  26. Kim, D., et al. Learning-based 3D human kinematics estimation using behavioral constraints from activity classification. Nat Commun. 16 (1), 3454(2025).
  27. Friedrich, M. U., et al. Validation and application of computer vision algorithms for video-based tremor analysis. NPJ Digit Med. 7 (1), 165(2024).
  28. Cappozzo, A., et al. Human movement analysis using stereophotogrammetry. Gait Posture. 21 (2), 186-196 (2005).
  29. Maas, S. A., Göcking, T., Stojan, R., Voelcker-Rehage, C., Kutz, D. F. Synchronization of neurophysiological and biomechanical data in a real-time virtual gait analysis system (GRAIL):A proof-of-principle study. Sensors. 24 (12), 3779(2024).
  30. Wade, L., Needham, L., McGuigan, P., Bilzon, J. L. Applications and limitations of current markerless motion capture methods for clinical gait biomechanics. PeerJ. 10, e13292(2022).
  31. Wade, L., et al. Examination of 2D frontal and sagittal markerless motion capture:Implications for markerless applications. PLoS One. 18 (11), e0293917(2023).
  32. Arbogast, K. B., et al. Consensus head acceleration measurement practices (CHAMP): Origins, methods, transparency and disclosure. Ann Biomed Eng. 50 (11), 1317-1345 (2022).
  33. Yang, J., Park, K. Improving gait analysis techniques with markerless pose estimation based on smartphone location. Bioengineering. 11 (2), 141(2024).
  34. Washabaugh, E. P., Shanmugam, T. A., Ranganathan, R., Krishnan, C. Comparing the accuracy of open-source pose estimation methods for measuring gait kinematics. Gait Posture. 97, 188-195 (2022).
  35. Lee, H., et al. Automated gait analysis based on a marker-free pose estimation model. Sensors. 23 (14), 6489(2023).
  36. Hundza, S. R., et al. Multi-view gait analysis by temporal geometric features of human body parts. Appl Sci. 14 (7), 2824(2024).
  37. Shvets, A., et al. Improving gesture recognition efficiency with MediaPipe and YOLO-Pose. Int Arch Photogramm Remote Sens Spatial Inf Sci. 48, 13-18 (2025).
  38. Gonabadi, A. M., Cesar, G. M., Buster, T. W., Burnfield, J. M. Effect of gap-filling technique and gap location on linear and nonlinear calculations of motion during locomotor activities. Gait Posture. 94, 85-92 (2022).
  39. Cesar, G. M., Buster, T. W., Burnfield, J. M. Cardiorespiratory fitness, balance and walking improvements in an adolescent with cerebral palsy (GMFCS II) and autism after motor-assisted elliptical training. Eur J Physiother. 22 (3), 124-132 (2020).
  40. Basystiuk, O., Rybchak, Z., Zavushchak, I., Marikutsa, U. Evaluation of multimodal data synchronization tools. Comput Des Syst Theory Pract. 6, 104-111 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Motion CaptureMarkerless Motion CaptureCerebral PalsyIntersegmental CoordinationHuman Movement AnalysisKinematic PatternsDeep Learning Pose EstimationInertial Measurement UnitsCyclogram ApproachSit To Stand Task

Related Articles