Методическая статья

Захват репрезентативного использования рук в домашних условиях с использованием эгоцентрического видео у людей с нарушениями верхних конечностей

DOI:

10.3791/61898

⸱

23 декабря 2020 г.

 ,  ,  , 
1Institute of Biomedical Engineering, University of Toronto, 2Department of Occupational Science and Occupational Therapy, University of Toronto, 3KITE, Toronto Rehabilitation Institute, University Health Network, 4Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, 5Rehabilitation Sciences Institute, University of Toronto

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Предложен протокол для захвата естественной функции рук людей с нарушениями рук во время их повседневной жизни с помощью эгоцентрической камеры. Цель протокола состоит в том, чтобы гарантировать, что записи являются репрезентативными для типичного использования рук человека во время повседневной жизни дома.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Нарушение функции рук после неврологических травм может оказать серьезное влияние на независимость и качество жизни. Большинство существующих оценок верхних конечностей проводятся лично, что не всегда свидетельствует об использовании рук в сообществе. Для измерения истинного воздействия реабилитационных вмешательств требуются новые подходы к захвату функции рук в повседневной жизни. Эгоцентрическое видео в сочетании с компьютерным зрением для автоматизированного анализа было предложено для оценки использования рук в домашних условиях. Однако существуют ограничения на продолжительность непрерывных записей. Мы представляем протокол, предназначенный для обеспечения того, чтобы полученные видео представляли повседневную жизнь, уважая при этом конфиденциальность участников.

Репрезентативный график записи выбирается в рамках совместного процесса между исследователями и участниками, чтобы гарантировать, что видео отражают естественные задачи и производительность, будучи полезными для оценки рук. Участникам демонстрируется использование оборудования и процедур. В общей сложности 3-час видеозаписей запланированы на две недели. Чтобы уменьшить проблемы с конфиденциальностью, участники имеют полный контроль над началом и остановкой записей, а также возможность редактировать видео, прежде чем возвращать их исследовательской группе. Предоставляются напоминания, а также звонки помощи и визиты на дом, если это необходимо.

Протокол был протестирован с 9 выжившими после инсульта и 14 людьми с травмой шейного отдела спинного мозга. Полученные видео содержали различные виды деятельности, такие как приготовление пищи, мытье посуды и вязание. В среднем было получено 3,11 ± 0,98 ч видео. Периоды регистрации варьировались от 12 до 69 d, из-за болезни или неожиданных событий в некоторых случаях. Данные были успешно получены от двадцати двух из 23 участников, причем 6 участникам потребовалась помощь исследователей в течение периода домашней записи. Протокол был эффективен для сбора видео, которые содержали ценную информацию о функции рук в домашних условиях после неврологических травм.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Функция руки является определяющим фактором независимости и качества жизни в клинических популяциях с нарушениями верхних конечностей1,2. Захват функции руки людей с нарушениями рук в домашних условиях имеет жизненно важное значение для оценки прогресса их способности выполнять повседневную деятельность (ADL) во время и после реабилитации. Большинство клинических оценок функции руки проводятся в клинической или лабораторной среде, а не дома3,4. Существующие клинические оценки функции рук, которые стремятся охватить влияние на ADL в домашних условиях, являются опросниками и полагаются на субъективные самооценкиоценок 5,6,7. Объективная оценка для оценки конечного воздействия реабилитации на функцию рук в домашних условиях по-прежнему недоступна.

В последние годы было разработано и внедрено множество носимых технологий для захвата функции верхних конечностей в реальных условиях. Носимые датчики, такие как акселерометры и инерциальные единицы измерения (I IMUs), обычно используются для измерения движений верхних конечностей в повседневной жизни. Однако эти устройства обычно не различают, относятся ли обнаруженные эпохи к функциональным движениям верхних конечностей8,9,определяемым как целенаправленные движения, предназначенные для выполнения желаемой задачи. Например, некоторые носимые датчики чувствительны к наличию колебаний верхней конечности во время ходьбы, что не является функциональным движением верхней конечности. Кроме того, хотя акселерометры, носимые на запястье, фиксируют движения верхних конечностей, они не могут захватывать детали функции рук в реальных условиях. Сенсорные перчатки позволяют захватывать более подробную информацию о манипуляциях с руками10,но они могут быть громоздкими для людей, чья функция и ощущения рук уже нарушены. Носимые подходы также были предложены для захвата движений пальцев с помощью магнитометрии или носимых пальцами акселерометров11, 12,13,но функциональная интерпретация этих движений остается сложной14. Таким образом, хотя ранее предложенные носимые устройства малы и удобны в использовании, их недостаточно для описания деталей и функционального контекста ручного использования.

Носимые камеры были предложены для заполнения этих пробелов и захвата деталей функции рук во время ADL в домашних условиях для нейрореабилитационных приложений15,16,17,18,19. Автоматизированный анализ эгоцентрических видео с использованием компьютерного зрения имеет значительный потенциал для количественной оценки функции рук в контексте, предоставляя информацию как о самих руках, так и о задачах, выполняемых в реальных ADL20. С другой стороны, продолжительность непрерывных записей обычно ограничивается примерно от 1 до 1,5 ч из соображений батареи, хранения и комфорта. Здесь, в рамках этих ограничений, мы представляем эгоцентрический протокол сбора видео, предназначенный для получения данных, которые являются как репрезентативными для повседневной жизни человека, так и информативными для оценки функции руки.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Исследование было одобрено Советом по этике исследований Сети университетского здравоохранения. Подписанное информированное согласие было получено от каждого участника до регистрации в исследовании. Подписанное информированное согласие было также получено от любых лиц, осуществляющих уход, или членов семьи, появляющихся на видеозаписях.

1. Проверка применимости протокола к физическому лицу

ПРИМЕЧАНИЕ: Этот протокол предназначен для применения к лицам с нарушенной, но не полностью отсутствующей функцией руки (конкретные критерии могут быть адаптированы к населению и/или вопросу, представляющим интерес).

  1. Спросите участников, влияют ли их пораженные руки на их способность выполнять ADL.
    ПРИМЕЧАНИЕ: Рекомендуется попросить участников привести некоторые примеры заданий, которые они могут и не могут выполнять самостоятельно своими пораженными руками.
  2. Убедитесь, что общий балл монреальской когнитивной оценки (MoCA) выше 21, чтобы избежать потенциальных трудностей с пониманием и следованием протокольным процедурам.

2. Определение распорядка дня участников

  1. Попросите участников вспомнить свои распорядки дня за последние две недели. Документируйте, какие ежедневные задачи выполняются, как долго и примерно в какое время.
  2. В сотрудничестве с участниками выберите 3 таймслота по 1,5 ч каждый, в течение которых нужно записывать видео. Выберите временные интервалы, которые распределены по разным дням недели и имеют место, когда ADL с участием рук обычно выполняются последовательно.
    ПРИМЕЧАНИЕ: Выбранные ADL должны быть репрезентативными для типичных видов деятельности каждого участника и восприниматься ими как значимые. Планирование периодов записи в разные дни предназначено для увеличения разнообразия регистрируемых ADL и содействия сбору полезных и значимых данных.
    ПРИМЕЧАНИЕ: Временные интервалы записи запланированы для эффективности записи, но участники должны понимать, что они имеют полный контроль над тем, когда начинать и останавливать записи.

3. Соглашение с участниками о графиках записи и целевом видеоконтенте

  1. Получить согласие каждого участника на графики записи, после обсуждения любых проблем, которые у них могут возникнуть.
  2. Поставить перед собой цель – 3 ч видео в течение двух недель. Сообщите участникам, что недостаточное количество видео может привести к продлению периода записи.

4. Акцент на важности выполнения ADL естественным путем

  1. Попросите участников сосредоточиться на захвате реалистичных процедур, а не указывать конкретные действия для записи. Цель инструкции состоит в том, чтобы отговорить участников от искусственной записи конкретных действий в больших количествах, чем это характерно для них.

5. Уведомление о потенциальных проблемах конфиденциальности во время записей дома

  1. Убедитесь, что участники понимают, что все записи должны происходить внутри их домов, а не в общественных местах, чтобы избежать проблем с конфиденциальностью.
  2. Приведите несколько примеров, которые могут вызвать проблемы с конфиденциальностью, такие как купание, одевание / раздевание и проверка конфиденциальной информации. Напомните участникам, чтобы они знали о зеркалах, которые могут показывать их лица на записях.
  3. Предложите участникам избегать присутствия других людей, таких как члены семьи или опекуны, насколько это возможно в видео.
    ПРИМЕЧАНИЕ: В контексте научных исследований, в тех случаях, когда присутствие других людей неизбежно, информированное согласие должно быть получено от этих лиц.

6. Инструкция по эксплуатации камеры и планшета

ПРИМЕЧАНИЕ: Если участники указывают во время первоначального контакта, что им требуется помощь лица, осуществляющего уход, для многих из их повседневных потребностей, лицу, осуществляющему уход, рекомендуется также посетить учебную поездку и пройти обучение по использованию оборудования, чтобы они могли позже помочь участнику.

  1. Покажите участникам, как использовать эгоцентрическую камеру(Таблица материалов).
    1. Покажите, как включать и выключать фотокамеру.
    2. Покажите, как управлять записью (запуск, пауза, остановка) с помощью камеры.
  2. Демонстрация использования планшета(Таблица материалов)с предустановленным приложением камеры для управления записями, если это применимо.
    ПРИМЕЧАНИЕ: Демонстрация включает в себя управление записями из приложения камеры, а также воспроизведение и редактирование (например, обрезку или удаление) записанных видео. Пульт дистанционного управления камерой первоначально рассматривался(Дополнительные файлы),но на практике не использовался, потому что участникам было удобно использовать камеру или планшет для запуска и остановки записей.
    1. Покажите, как включать и выключать планшет.
    2. Покажите, как подключить планшет к камере с помощью приложения камеры.
    3. Покажите, как управлять записями из приложения камеры.
    4. Покажите, как просматривать записанные видео из приложения камеры.
    5. Покажите, как обрезать или удалить видео из приложения камеры.
  3. Покажите, как надеть и надеть камеру с помощью эластичного оголовья, регулируемого к голове участника.
    ПРИМЕЧАНИЕ: См. рисунок 1.
    figure-protocol-1
    Рисунок 1. Настройка носимой камеры.  (A) Позиционирование эгоцентрической камеры. (B) Угол обзора с камеры. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
    1. Поместите камеру на лоб участника. Отрегулируйте оголовье, чтобы носить камеру удобно и стабильно.
    2. Обеспечьте оптимальный угол обзора камеры по отношению ко лбу.
    3. Попросите участников записать короткий сегмент видео, двигая руками перед собой и манипулируя объектом (например, планшетом).
    4. Просмотрите записанное видео и убедитесь, что две руки были хорошо видны в центральной области сцены при выполнении манипуляций.
    5. Практикуйте использование камеры и планшета с участниками и их опекунами, пока они не продемонстрируют мастерство.

7. Предоставление оборудования

  1. Дайте комплект со всем оборудованием участникам, чтобы записать свои ADL дома. В дополнение к камере и планшету, в комплект входят дополнительные батареи камеры, зарядные устройства для камеры и планшета, зарядные кабели, оголовье для камеры и печатный набор рекомендаций по использованию камеры (см. Дополнительный материал).

8. Экспериментальное устранение неполадок и последующее наблюдение

  1. Предоставьте контактную информацию исследователей, чтобы помочь решить препятствия во время фактических записей дома. Через неделю исследователи звонят участникам, чтобы задокументировать прогресс записи и решить любые потенциальные технические проблемы.

9. Поиск оборудования и видео

  1. Отбирайте все оборудование и видео от участников лично или через предоплаченные почтовые посылки.
  2. Убедитесь, что участники согласны поделиться всеми возвращенными видео. Участникам рекомендуется просмотреть все собранные видео, прежде чем возвращать их исследовательской группе, и удалить любые части, которыми они не хотят делиться.
  3. Для исследовательских исследований просмотрите возвращенные видео и проверьте, появляется ли кто-либо в видео без их согласия. Если это так, отправьте формы согласия или позвоните лицам, которые появляются в видео, чтобы получить их согласие на использование видео. Если люди недоступны, части видео, в которых они появляются, удаляются исследователями.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Демография участников и критерии включения
Для этих исследований была набрана выборка из 23 участников: 9 выживших после инсульта (6 мужчин, 3 женщины) и 14 человек с CSCI (12 мужчин, 2 женщины). Сводная демографическая и клиническая информация по набранной выборке представлена в таблице 1.

Возраст (лет)

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы представили протокол для записи видео ADL в домашних условиях с использованием носимых камер у людей с нарушениями верхних конечностей, такими как cSCI и инсульт. Протокол является гибким и может быть целенаправленным для захвата выполнения функции руки в конкретных ADL или для удаленного отслеживания прогресса реабилитации у людей, живущих дома. Парадигма эгоцентрического зрения имеет большой потенциал для дистанционного мониторинга функции рук у людей, живущих в сообществе, и для оптимизации реабилитации после выпис...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам нечего раскрывать.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Исследования с использованием этого протокола финансировались Фондом сердца и инсульта (G-18-0020952), Фондом Крейга Х. Нильсена (542675), Советом по естественным наукам и инженерным исследованиям Канады (RGPIN-2014-05498) и Министерством исследований, инноваций и науки Онтарио (ER16-12-013).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Эгоцентричная камераGoPro Inc., CA, СШАGoPro Hero 4 и 5Камера, которая ведет съемку с первого лица.
Чеканка и аккумуляторыGoPro Inc., CA, СШАMAX Двойное зарядное устройство + аккумуляторДополнительные аккумуляторы для камеры и зарядное устройство
Зарядное устройство для камерыGoPro Inc., CA, СШАSuperchargerЭто зарядное устройство подключается к камере напрямую, не разбирая рамку камеры.
Рамка камерыGoPro Inc., CA, СШАРамкаШарнир рамы камеры можно использовать для регулировки угла обзора камеры.
Оголовье для камерыGoPro Inc., CA, СШАРемешок на голову + SD-карта QuickClip
SanDisk, CA, США32 ГБ microSD
TabletASUSTeK Computer Inc., ТайваньZenPad 8.0 Z380MПланшет устанавливается с приложением GoPro App для того, чтобы подключиться к камере.

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors' quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
  2. Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
  3. Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
  4. Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
  5. Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
  6. Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
  7. Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
  8. Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
  9. van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
  10. Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2(2012).
  11. Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
  12. Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
  13. Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
  14. Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
  15. Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
  16. Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83(2019).
  17. Tsai, M. -F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
  18. Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
  19. Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
  20. Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
  21. Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Похожие статьи