Веб-руководство для клинициста по записи совместимого видео стандартизированных кинематических задач для анализа компьютерного зрения

Краткое содержание

Кинематические метрики задачи с выпивкой рекомендованы для реабилитации после инсульта верхней конечности, но традиционные методы кинематических исследований считаются непрактичными. Текущий протокол описывает веб-руководство по записи видео задачи с выпивкой, которые совместимы с компьютерным зрением для извлечения рекомендуемых кинематических метрик.

Аннотация

Оценка верхней конечности имеет первостепенное значение в цикле реабилитации. За последние два десятилетия кинематическая оценка активности, связанной с употреблением алкоголя, оказалась валидной и реагирующей на клинические изменения в реабилитационных группах, поражённых широкими заболеваниями, включая инсульт и болезни опорно-двигательного аппарата. Эта фундаментальная работа по кинематике задач при употреблении алкоголя привела к консенсусным рекомендациям по внедрению кинематики верхних конечностей в исследованиях реабилитации. Однако возникли практические опасения, которые ставят под угрозу восприятие в исследовательском сообществе и их внедрение в клиническую практику. Препятствия для внедрения включают технические сложности традиционных методов захвата движений для получения кинематики и точность протоколов активности, лежащих в основе кинематики. Что касается первого, прорывы в подсфере ИИ, известной как компьютерное зрение, значительно снижают техническую нагрузку на кинематический анализ. Что касается последнего, мы представляем веб-приложение (приложение), предназначенное для того, чтобы направлять клиницистов через видеозапись строго стандартизированного протокола действий по употреблению алкоголя с помощью готовой стереокамеры, персонального компьютера и базовых материалов, доступных в амбулаторной клинической среде. Кроме того, мы демонстрируем совместимость этого видеозахвата с специально созданным конвейером компьютерного зрения для извлечения кинематических метрик задачи питья. В ходе текущих исследований валидации и удобства использования мы предполагаем, что такой инструмент значительно улучшит доступ к высоко стандартизированным кинематическим показателям верхней конечности, которые, как ожидается, способствуют развитию исследований и клинической помощи в реабилитационных группах с нарушениями верхней конечности.

Введение

Большинство задач с верхними конечностями в повседневной жизни требуют обеих конечностей. Потеря способностей верхней конечности часто происходит после неврологических повреждений, при этом около 80% переживших инсульт испытывают дефициты верхних^{конечностей 1}. Известно, что эти дефициты снижают функции и качество^{жизни 2}. Реабилитация остаётся основным вмешательством для восстановления^{функции 3}, а реабилитация описывается как цикл, основанный на точной^{оценке 4}. Кинематическая оценка верхней конечности привлекла всё больше внимания за последние два десятилетия. Это внимание частично обусловлено ограничениями современных клинических оценок, которые имеют признанные недостатки, включая субъективность человеческих оценщиков и плохое разрешение для тонких^{изменений 5}.

Кинематика — это подобласть биомеханики, которая изучает движение человека во время движений тела, конечностей и суставов. Среди предыдущих исследований кинематические исследования задачи с употреблением алкоголя привлекли значительное внимание исследовательского^{сообщества 6}. Популярность задачи на выпивку в кинематической оценке объясняется её сложностью движений, целенаправленной конкретностью задачи и циклическим^{движением 7}. Помимо ряда исследований на нейротипичных взрослых и детях, задача с употреблением алкоголя также была изучена при широком спектре неврологических^{заболеваний 8, 9, 10, 11}. В популяциях с инсультом эти исследования выявили важные кинематические показатели, которые являются валидными, надёжными и реагируют на клинические^{изменения} 12,13,14. Однако кинематическая оценка долгое время считается непрактичной из-за сложных и дорогих систем и технических знаний,^{необходимых 15}.

С появлением искусственного интеллекта практические барьеры для кинематической оценки значительно снижаются. Например, компьютерное зрение — подобласть ИИ, извлекающая информацию из цифровых изображений — теперь может быть использовано для создания систем захвата движения без маркеров с использованием относительно простых камер и^{компьютеров 16, 17, 18}. Чтобы использовать эти достижения в области компьютерного зрения, цель этой работы по методам — описать веб-инструмент, разработанный для руководства клиницистов следующим задачам: (i) внедрение стандартизированного протокола активности для задачи с выпивкой и (ii) запись видео с задачей на выпивку, совместимых с рабочим процессом компьютерного зрения для извлечения кинематических метрик. Хотя эти кинематические показатели пока не являются частью стандартной клинической помощи, цель настоящего протокола — привлечь клиницистов, желающих интегрировать биомеханические исследования в свою практику. Ожидаемый эффект значительно улучшит клинический доступ к кинематическим показателям верхней конечности, которые, как ожидается, будут информировать текущие протоколы реабилитации и поддерживать исследования и разработку новых протоколов лечения.

Протокол

Цифры, представленные в разделе репрезентативных результатов, соответствуют двум отдельным кейс-стадиям, проведённым в соответствии с Хельсинкской декларацией. Информированное согласие было получено от всех участников до начала сбора данных. Поскольку в этих отдельных случаях участвовали только два участника, они не соответствовали определению клинических исследований, установленному местным Институциональным обзорным советом; поэтому присвоенный номер протокола IRB недоступен.

ПРИМЕЧАНИЕ: Протокол и сопутствующее веб-приложение делятся преимущественно на три этапа: (i) настройка рабочего пространства; (ii) калибровочная активность; и (iii) активность по выпивке. Инфографика (рисунок 1) визуально иллюстрирует эти шаги, включая рабочие процессы, с которыми пользователи могут столкнуться при использовании веб-приложения (https://mobile-motion-lab-public.web.app).

Рисунок 1: Инфографика, обобщающая протокол . Вместе со скриншотами из веб-приложения приводится иллюстрация для каждого основного шага, включая настройку рабочего пространства (левая панель), рабочий процесс калибровки (средняя панель) и рабочий процесс задачи с питью (правая панель). Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

1. Настройка рабочего пространства

ПРИМЕЧАНИЕ: Этот шаг описывает, как правильно настроить рабочее пространство (Рисунок 2) для последующего калибровочного и питья. Правильная настройка — ключ к обеспечению стандартизации и качества видеозаписи для надёжной постобработки и извлечения кинематических измерений с помощью рабочего процесса компьютерного зрения.

1. Позиционирование стула, стола и предметов
   1. Разместите кресло с регулируемой высотой и спинкой так, чтобы испытуемый мог сидеть, положив ладони лицом вниз на стол, а складка запястья выровнена по краю стола.
   2. Отрегулируйте высоту сиденья так, чтобы бёдра и колени испытуемого были примерно под углом сгибания 90°.
   3. Регулируйте высоту стола, чтобы руки удобно лежали по бокам, сохраняя вертикальную посадку и сгибание локтя на 90°.
2. Размещение подставки для активности с заданием на выпивку
   1. Создайте подставку, используя печатный файл (Activity Activity Activity Placement) в меню «Ресурсы» веб-приложения (https://mobile-motion-lab-public.web.app/resources) и бумагу формата таблоида размером 10 дюймов x 17 дюймов.
   2. Выровняйте передний край подставки с краем стола прямо перед объектом. Убедитесь, что квадратная коробка целевой цели по центру по средней линии объекта.
   3. Крепко прикрепите подставку к поверхности стола скотчем.
3. Место в кубке
   1. Поставьте пластиковый стакан на 250 мл в квадрат на подставке. Это размещает чашку в 30 см от края стола и прямо перед объектом. Наполните чашку 100 мл питьевой воды.
4. Размещение камеры
   1. Разместите стереокамеру (с фокусным расстоянием 4 мм), чтобы снимать объект и чашку с фронтального сверху. Требуется стереокамера с совместимым подключением к персональному компьютеру с доступом к интернету (например, USB-соединение с рабочей станцией в клинике). Рекомендуется использовать стереокамеру с большим фокусным расстоянием для минимизации эффектов искажений объектива на записанные изображения и видео. Можно использовать стандартный штатив для камеры.
      ПРИМЕЧАНИЕ: После откалибровки камеры (которая будет выполнена на следующих этапах) поддержание этой калибровки зависит от поддержания положения камеры. По этой причине для камеры предпочтительнее прочное основание, например, напольный штатив или настольный штатив на твёрдой поверхности, например, на постоянной столешнице или тяжёлом столе.
   2. Скорректируйте положение камеры, чтобы запечатлеть целевой объём, то есть воображаемый куб, полностью удерживающий объект в исходном положении, с достаточным разрешением для полного запечатления проксимальной и дистальной активности верхней конечности (например, движения руки), которая будет выполняться испытуемым во время последующих испытаний активности (например, во время питья).
      1. Хотя идеальное расположение стереокамеры зависит от внутренних параметров конкретного устройства (то есть размер сенсора, фокусное расстояние, поле зрения), начните с размещения стереокамеры примерно в 150 см от края стола (то есть края стола ближе к объекту) и с высотой камеры примерно на 100 см над поверхностью стола.
      2. С этой стартовой позиции дополнительно корректируйте по необходимости, чтобы оптимизировать положение камеры так, чтобы был зафиксирован вышеуказанный объём цели. Стоит отметить, что процесс калибровки камеры автоматически учитывает изменения внешних параметров камеры (например, крена/рыскание/тангаж).
5. Система освещения
   1. Убедитесь, что комната хорошо освещена мягким и равномерным, если это возможно. Избегайте сильного подсвета, например, яркого солнечного света из ближайшего окна, так как блики могут затруднить успешное обнаружение шахматной сетки во время калибровки.
   2. Избегайте введения теней в поле зрения камеры, так как тени могут ухудшить успешность калибровки и успешность последующего определения позы человека компьютерным зрением. Используйте потолочные лампы или лампы, чтобы уменьшить тени на объекте. Если блики вызывают проблему, рассмотрите возможность модификации освещения с помощью световых рассеивателей.

2. Калибровочная активность

ПРИМЕЧАНИЕ: Этот шаг описывает, как успешно завершить работу калибровки и обеспечить правильную отборку изображений в нужное место сохранения через веб-приложение. Калибровка может проводиться один раз в день перед сбором видеоданных с участниками. Если позиция камеры меняется по какой-либо причине в течение дня, включая случайные изменения из-за удара прохожего по камере/штативу, рекомендуется новая калибровка, и все последующие видеозаписанные действия должны быть связаны с этой новой калибровкой в любом процессе компьютерного зрения.

1. Подготовка к калибровке
   1. Создайте шахматную сетку для калибровки, используя печатный файл (Calibration Checkerboard Printout) из меню Ресурсы веб-приложения (https://mobile-motion-lab-public.web.app/resources).
   2. Распечатайте черно-белый шахматный узор на стандартной бумаге размером 8,5 дюйма x 11 дюймов. Используйте бумагу и принтеры без глянцевого покрытия.
   3. Прикрепите распечатку шахматной сетки к ровной поверхности (например, обратной стороне планшета) и закрепите скотчем. Убедитесь, что лента не закрывает ни одну часть шахматного узора, и убедитесь, что на прикреплённой бумаге распечатка минимально деформируется. В противном случае окклюзии или деформации шахматной сетки могут снизить шансы на успешную калибровку компьютерным зрением.
2. Захват калибровочных изображений
   1. Откройте модуль активности калибровки (Руководство по активности калибровки), расположенный в меню панели управления веб-приложения (https://mobile-motion-lab-public.web.app/calibrationActivity). Этот модуль предназначен для управления процессом калибровки.
      1. Проведите калибровку следующим образом: (i) просмотр видеодемонстрации калибровочной активности; (ii) подтверждение идентификации стереокамеры; и (iii) предварительный просмотр прямой трансляции стереокамеры перед записью. Наконец, проведите запись, чтобы зафиксировать активность калибровки, которая включает перемещение шахматного узора через рабочее пространство во время захвата изображений.
   2. Просматривайте руководство, пока не появится предварительный просмотр стереокамеры и значок «Начать запись».
   3. Перед началом записи разместите шахматную доску в исходном положении. Исходя из того, что человек сидит за столом, как было описано ранее, начальное положение шахматной доски заключается в удержании узора примерно на уровне груди и перпендикулярно поверхности стола (рисунок 3).
   4. Запустите запись, нажав на значок «Начать запись » в веб-приложении. При запуске приложение предоставляет 3-секундный визуальный/аудиообратный отсчёт, после чего появляется визуальный/аудиосигнал, когда начинать калибровку.
      ПРИМЕЧАНИЕ: Если калибровка выполняется в одиночку, то обратный отсчёт даёт пользователю время начать запись и затем позиционировать шахматный шаблон перед началом захвата записи.
   5. Когда вы задаёте сигнал начать калибровку, плавно и контролируемо двигайте шахматный узор вперёд через рабочее пространство (к камере). После полного перемещения вперёд через рабочее пространство (воображаемый куб, выделенный для объекта и чашки), затем движение обратно, чтобы плавно и контролируемо сдвинуть узор назад (вдали от камеры). Повторяйте это движение вперёд и назад по шахматной схеме до завершения захвата изображения. Общая продолжительность съёмки изображения составляет 10 секунд.
      1. Избегайте слишком быстрого перемещения схемы с шахматной дошкой. Быстрые движения могут привести к размытию изображений, захваченных камерой, и это размытие может снизить способность процесса компьютерного зрения извлекать соответствующие параметры калибровки.
         ПРИМЕЧАНИЕ: Напоминаем, что веб-приложение включает видеодемонстрацию во время модуля калибровочной активности. С другой стороны, движение калибровочного шаблона также демонстрируется в видео «Начало», расположенном на странице ресурсов веб-приложения.
3. Обзор калибровочной записи
   1. Проверьте записанную калибровку. Сразу после записи калибровочной активности в веб-приложении отображается воспроизведение видео. Внимательно ознакомьтесь с этим видеовоспроизведением следующих моментов.
      1. Качество изображения: убедитесь, что весь шахматный узор полностью виден на протяжении всего видео. Размытия изображения следует избегать по возможности, а если есть значительные следы размытия, рассмотрите возможность повторной проверки калибровочной записи с медленными движениями шахматного узора. Улучшая качество изображения, последующие процессы компьютерного зрения с большей вероятностью смогут успешно обнаружить шахматный узор, который является необходимым ориентиром для извлечения измерений глубины и положения.
      2. Чистая видимость: убедитесь, что освещение хорошее. Избегайте явных тёмных теней или белых бликов, которые закрывают обзор шахматной схемы. Убедитесь, что во время съёмки изображения нет препятствий для прямой видимости камеры (например, прохожий по переднему плану).
         ПРИМЕЧАНИЕ: В качестве справочника для оценки качества и видимости изображения примеры видео калибровки доступны в модуле активности калибровки, а также в видео «Начало» в меню «Ресурсы» веб-приложения.
      3. Попробуйте снова, если потребуется. Если есть опасения по эффективности калибровочной активности и качеству видеозаписи, выберите опцию Retry, чтобы повторно начать запись для следующей попытки. В противном случае переходите к отправке/сохранению калибровочных изображений.
4. Сохранение калибровочных изображений
   1. После успешного завершения калибровки и записи выберите значок «Сохранить изображения калибровки ». Это откроет окно, позволяющее выбрать место сохранения для калибровочных изображений. По умолчанию место назначения сохранения установлено как рабочий стол с стандартной конвенцией имени файла (то есть calibration_[Date]_[Time]_[Camera Type]).
   2. После проверки сохранения калибровочных изображений выберите «Подтвердить сохранение », чтобы продолжить. После сохранения появится подтверждающее сообщение, а также варианты перейти к следующему модулю Руководства по активности по заданиям по выпивке или перезапустить модуль Руководства по активности калибровки.

3. Активность по выпивке

ПРИМЕЧАНИЕ: Этот шаг описывает, как направлять участников в выполнении задания по выпивке, как создавать видеозаписи задачи с выпивкой и как правильно подбирать видео в нужное место сохранения с помощью веб-приложения.

1. Подготовка к заданию с выпивкой
   1. Расположите субъекта в соответствующую старт/конечную позицию для задания на выпивку. Отрегулируйте высоту сиденья, чтобы объект мог удобно сидеть, согнув бедра и колени под углом 90°. Регулируйте высоту стола по мере необходимости. Убедитесь, что испытуемый сидит вертикально на стуле, расслабив руки по бокам, локти согнуты под углом 90°, ладони удобно лежат на столе на ширине плеч, складка запястий выровнена с краем стола, а середина — с расположением стаканчика на серветке.
   2. Инструктировать субъекта использовать заданную руку (правую или левую) для начальной записи.
      ПРИМЕЧАНИЕ: Последующие дополнительные испытания активности с выпивкой возможны через веб-приложение. Во время дополнительных испытаний в веб-приложении может указываться латеральность руки, которая автоматически будет связана с именами соответствующих файлов испытаний при курировании данных.
   3. Инструктируйте испытуемого практиковать задание с выпивкой. Испытуемые могут выполнить одно или две практические испытания по заданию с выпивкой (без записи). Напомните испытуемому, что перед возвращением чашки и руки в исходные положения требуется всего небольшой глоток.
      1. Избегайте чрезмерного наставления субъекта относительно задачи с выпивкой. Цель — запечатлеть поведение так, как оно происходило бы в реальном мире. Если испытуемый требует дальнейших инструкций, посоветуйте ему рассмотреть реальную ситуацию в повседневной жизни.
2. Запишите активность по выпивке
   1. Откройте модуль активности по заданию на выпивку (Руководство по активности по пьянству), который находится в меню панели веб-приложения (https://mobile-motion-lab-public.web.app/drinkingTaskActivity).
      ПРИМЕЧАНИЕ: Этот модуль предназначен для руководства видеозаписью испытуемого, выполняющего задание по выпивке. Этот процесс включает следующее: (i) просмотр примерной записи задачи по выпивке; (ii) проверка идентичности стереокамеры и ввод идентификатора объекта; (iv) ввод латеральности руки, используемой для конкретного испытания, например, справа или слева; и (v) предварительный просмотр прямой трансляции стереокамеры перед записью.
   2. Перед началом записи ориентируйте субъекта на обратный отсчёт. Мобильное приложение предоставит 3-секундный визуальный/аудиообратный отсчёт, после чего последует визуальный/аудиосигнал, когда начинать выполнять задание по выпивке.
   3. Запустите запись видео, нажав на значок «Начать запись » в веб-приложении. Используя обратный отсчёт/сигналы, попросите испытуемого выполнить задание с выпивкой (рисунок 3). Общая продолжительность задачи с выпивкой составляет 20 секунд.
      ПРИМЕЧАНИЕ: Испытуемому достаточно сделать небольшой глоток из стакана, прежде чем вернуть чашку в очерченное место на подставке, а затем вернуть руку в очерченное место.
3. Просмотрите видеозапись задания по выпивке. Сразу после записи в веб-приложении отображается воспроизведение видео. Прочитайте это видеовоспроизведение с вниманием к следующим моментам.
   1. Объект в кадре: Убедитесь, что лицо, торс, верхние конечности и чашка полностью запечатлены во всех видеокадрах во время всей активности по употреблению алкоголя.
   2. Отсутствие визуальных помех: Убедитесь, что освещение достаточное, без отвлекающих теней или бликов. Избегайте случайного захвата других людей на переднем или заднем плане видео. В противном случае вероятность успешного выявления интересующего объекта в процессе компьютерного зрения может быть нарушена.
   3. Выполнение задания: убедитесь, что испытуемый выполнил всё задание: взял чашку, сделал глоток из неё, вернул чашку в исходное положение и вернул тело и руки в исходное положение.
   4. Попробуйте снова, если потребуется. Если у вас есть сомнения по качеству записи видео с заданием по выпивке, выберите опцию Retry , чтобы запустить запись для следующей попытки.
      ПРИМЕЧАНИЕ: опция Retry отбросит предыдущую видеозапись. Если отказ от видео не желается, избегайте выбора Retry и вместо этого переходите к дополнительным испытаниям, как описано ниже.
4. Запись дополнительных испытаний по заданиям на выпивку
   1. Если для того же испытуемого требуются дополнительные испытания на выпивку, выберите опцию «Повторить другое испытание».
      ПРИМЕЧАНИЕ: Модуль Руководство по активности по заданиям по выпивке разработан так, чтобы запускаться как уникальный экземпляр для каждого предмета (например, модуль нужно перезапускать для каждого отдельного предмета).
   2. Приступайте к записи и обзору дополнительных испытаний по той же теме с использованием вышеуказанных инструкций.
      ПРИМЕЧАНИЕ: Для повторных испытаний с одним и тем же участником первоначально введённый идентификатор субъекта и идентификатор камеры будут автоматически связаны со всеми испытаниями. В противном случае для каждой попытки требуется только следующие шаги: (i) введите латеральность руки, которую испытуемый использует, например, вправо или слева; (ii) предварительное просмотр прямой трансляции стереокамеры перед записью; (iii) инициировать видеозапись активности по употреблению алкоголя; и (iv) пересматривать/повторять запись по мере необходимости.
5. Сохранить видеозаписи
   1. После того как все желаемые испытания будут записаны, выберите «Завершено со всеми испытаниями », чтобы продолжить сохранение видеофайлов в нужное место.
   2. В поле, отмеченном как Примечания, добавьте любые комментарии, относящиеся к будущей обработке, анализу и интерпретации данных. Выберите Пакет и добавьте Заметки для продолжения.
   3. Выберите значок «Сохранить задачи с питьем». Это откроет окно, позволяющее выбрать место назначения сохранения файла. По умолчанию место назначения сохранения установлено как рабочий стол.
      ПРИМЕЧАНИЕ: После установки назначения сохранения файла веб-приложение автоматически курирует видеоданные с помощью структуры папок/подпапки, название которой основано на предыдущем вводе пользователя при завершении веб-гайда. В результате появляется основная папка со стандартизированным названием (например, subj[identifier]_drinktask_[Date]_[Time]_[Camera Type]), а также подпапки со стандартизированным именованием (например, [Lateral Number]_[Trial Number]_[Frame Rate]), которые содержат соответствующие видео для каждой пробной версии активности.
   4. После подтверждения сохранения видео выберите «Подтвердить сохранение », чтобы продолжить. После сохранения появится подтверждение, а также опция перезапуска модуля Руководство по активности по заданиям по выпивке. Как показано в разделе с результатами ниже, сохранённые видео можно объединить с рабочим процессом компьютерного зрения для извлечения кинематики.

Результаты

Одной из главных мотиваций веб-руководства для клиницистов является снижение технических барьеров, которые могли бы помешать врачам использовать компьютерное зрение для оценки биомеханики верхних конечностей у пациентов. Ожидается, что веб-руководство для клиницистов даст для пользователя два основных результата: (i) серия синхронизированных изображений шахматной калибровочной схемы на основе двойных датчиков стереокамеры, и (ii) для каждого испытания, проведённого испытуемым, пару синхронизированных видео стандартизированной активности по выпивке (рисунок 3). Веб-руководство содержит инструкции в различных форматах, включая письменные процедуры, видео/аудиодемонстрации и интерактивное виртуальное прохождение. Для снижения административной нагрузки кураторство данных автоматизировано. Изображения и видеоданные сохраняются в предпочтительную цифровую папку, указанную пользователем, например, находящуюся на рабочем столе компьютера или в институциональной облачной сети. Данные автоматически организуются в сжатые папки, включая вложенные подпапки и стандартизированные имена файлов на основе идентификатора предмета, даты/времени сбора данных, латеральности руки, типа камеры/латеральности и номера эксперимента.

Рисунок 2: Амбулаторная установка для записи изображений и видео. Кинематика задачи на выпивку может быть извлечена из совместимого видео с помощью компьютерного зрения, что достигается с помощью изображённой системы стереокамеры, компьютера и предметов, часто встречающихся в клинике (стулья, столы, печатные материалы, планшеты, стаканы, питьевая вода). Хотя точное расположение и ориентация камеры варьируются в зависимости от модели устройства, (A) показана приблизительная позиция, (B) которую можно скорректировать для фиксации ожидаемого рабочего пространства, полностью содержащего тело и верхние конечности субъекта во время задачи с выпивкой. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 3: Совместимые изображения и видео, созданные веб-руководством для клинициста. Основные результаты веб-руководства для клинициста включают (A) серию синхронизированных изображений калибровочного рисунка шахматной доски и (B) пару синхронизированных видео, фиксирующих выполнение испытуемым всех этапов задачи с выпивкой. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

На основе собранных изображений и видеоданных биомеханика верхних конечностей во время питья может быть извлечена с помощью компьютерного зрения. Важно отметить, что сбор необработанных данных и применение компьютерного зрения могут быть разделены. Различные рабочие процессы компьютерного зрения были описаны в предыдущей литературе для применения к таким данным^{16, 18}, или пользователи могут применять собственные собственные рабочие процессы. Например, ранее мы разработали рабочий процесс компьютерного зрения для оценки трёхмерной человеческой позы (рисунок 4) и последующего извлечения трёх кинематических метрик. Вкратце, этот рабочий процесс компьютерного зрения включает следующие ключевые шаги: (i) калибровка для извлечения внутренних и внешних свойств камеры для отображения пикселей в реальные размеры; (ii) обнаружение поз человека для аннотаций расположения пикселей анатомических ключевых точек человеческого тела в двумерных изображениях; (iii) применение процедуры подъёма для вычисления трёхмерной информации из двойственных двумерных изображений; и (iv) применение фильтров для сглаживания траектории, например, скользящих средних и фильтров Калмана. Более подробное описание выходит за рамки текущей статьи, но доступно в предыдущей работе¹⁶. Применяя этот рабочий процесс, извлеченные кинематические метрики количественно оценивают плавность движения (например, количество единиц движения, NMU), компенсацию (например, смещение туловища, TD) и время движения (MT), которые доказали свою валидность, надёжность и реакцию на клинические изменения в исследованиях реабилитации после^{инсульта 5,13,14}. В сравнении с традиционной системой захвата движения на основе маркеров, этот рабочий процесс компьютерного зрения даёт небольшие ошибки (ошибка_{NMU -}0,12 единицы, ошибка_TD 3,4 мм и ошибка_MT 0,15 с) по сравнению с оценками клинически значимых изменений (3-7 NMU, TD 20-50 мм TD и 2,5-5 с MT)¹⁶. Для иллюстрации конкретной кинематической метрики, то есть плавности движений по NMU (рисунок 5), график профиля скорости запястья во время задания на выпивку показывает NMU (например, каждую единицу движения, обозначенную красной звездочкой), измеренную в ходе исследования человека с анамнезом инсульта (51-летняя женщина, доминантная правая рука, история ишемического инсульта правого мозга, приведшего к лёгкой левой гемипарезу, Инсульт начался >за 6 месяцев до этого, сопутствующие заболевания, включая гипертонию и синдром правого запястного канала).

Рисунок 4: Применение компьютерного зрения к изображениям и видео для извлечения данных о движении человека. Были описаны различные рабочие процессы компьютерного зрения для достижения кинематики задачи на выпивке. (A) Начальный этап калибровки требует, чтобы 2D-изображения отображали пиксели с размерами реального мира, (B) которые можно преобразовать в трёхмерные координаты с помощью проективной геометрии. Впоследствии, применяя оценку человеческой позы к видео задания на выпивке, (C) можно автоматически обнаружить двумерные анатомические ключевые точки, которые могут быть преобразованы в (D) 3D-ключевые точки для различных метрических вычислений и визуализаций, например, траектории ключевых точек. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 5: Кинематическая метрика плавности движений во время задачи с выпивкой. На основе данных 3D-движений человека из задания на выпивку можно получить различные кинематические показатели после инсульта. На основе испытуемого в хронической фазе восстановления после инсульта с помощью компьютерного зрения можно извлечь кинематическую метрику плавности движения (например, количество единиц движения, NMU, что отображается по количеству красных звёздочек на профиле скорости запястья) с помощью компьютерного зрения, чтобы выявить объективное различие в моторной функции между (A) левой и (B) правой верхней конечностью. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Обсуждение

Кинематическая оценка задачи по употреблению алкоголя рекомендована для использования в исследованиях реабилитации после^{инсульта 6}. Однако практические опасения были отмечены как препятствия для внедрения кинематики в исследования реабилитации, включая стоимость и технические требования к технологиям захвата движений, традиционно используемых для измерения биомеханики^{человека 15}. Эти опасения впоследствии препятствуют клиническому внедрению и переносу кинематической оценки в клиническую практику. В качестве альтернативы более практичный подход к извлечению кинематики с помощью компьютерного зрения можно реализовать с помощью одной стереокамеры, персонального компьютера и предметов, часто используемых в амбулаторных^{условиях 16}. Мы представляем протокол, разработанный для клиницистов, который использует веб-руководство для записи изображений и видео, совместимых с рабочим процессом компьютерного зрения, чтобы извлекать кинематические метрики задачи с употреблением алкоголя. Долгосрочная цель — повысить доступность этих метрик, которые ранее были разработаны и рекомендованы для использования в исследованиях реабилитации после^{инсульта} 5,6,12,13,14.

Синхронизация видео важна для двухкамерных подходов к компьютерному зрению. Двойные камеры имитируют человеческие глаза, которые одновременно воспринимают сцену в реальном мире с немного разных точек обзора, обеспечивая восприятие глубины. В случае компьютерного зрения соответствующая синхронизация критически важна для точности трёхмерной информации (например, положения запястья человека в декартовой системе координат), определяемой из двух двумерных источников (например, расположения запястья человека на фотографии). По нашему опыту, двойные камеры могут обеспечивать разумные результаты при синхронизации с точностью до 1^{мс 16}. Несколько факторов могут снижать синхронизацию, включая ненадёжную частоту кадров камеры, ограниченную скорость передачи данных по кабелям, неэффективность программного обеспечения и ограниченные аппаратные характеристики (например, низкий уровень оперативной памяти или низкоуровневые процессоры). Для устранения проблем с синхронизацией этот протокол использует готовую стереокамеру, которая имеет меньший физический размер и разработана как устройство plug-and-play (например, одно USB-соединение со стандартным персональным компьютером) для автоматического захвата синхронизированных изображений с двух встроенных сенсоров.

Характеристики камеры требуют тщательного рассмотрения для любого применения компьютерного зрения. Теоретически, изображения с более высоким разрешением и записи движения человека с более высокой частотой кадров предоставляют больше данных для обнаружения анатомических ключевых точек с большей пространственно-временной точностью. Однако неизбежно необходим баланс между объёмом данных и вычислительными ресурсами, доступными для их обработки. Описанный протокол основан на стереокамере, которая записывает видео с разрешением 1280 x 720 пикселей при частоте кадров 60 Гц, что сопоставимо с предыдущими исследованиями, применявшими компьютерное зрение для кинематики задач на^{выпивке 16,18}. Для записи этих видео мы наблюдали надёжный успех с использованием потребительского компьютера более высокого уровня (например, процессор 3,2 ГГц с 128 ГБ оперативной памяти) и переменный успех на ноутбуке (например, процессор 2,6 ГГц с 16 ГБ оперативной памяти). При применении компьютеров низкого уровня типичной проблемой является отсутствие видеокадров, которые часто выглядят как выходное видео с длительностью меньше предполагаемой 20-секундной записи. Стоит отметить, что хотя вычисления данных часто являются причиной отсутствия видеокадров, передача данных также имеет значение. В медицинской сфере, например, настройки безопасности, связанные с портами доступа к компьютерам (например, USB-накопители), могут привести к задержкам передачи данных, мешая надёжной видеозаписи.

Помехи в прямой видимости будут испытывать ключевые этапы в процессе компьютерного зрения, включая калибровку и оценку позы человека. Калибровка основана на цифровых изображениях стандартного шахматного узора, что позволяет компьютерному зрению отображать пиксели изображения с физическими измерениями реального мира. Чёткая визуализация шахматного узора повышает успех такого отображения. Визуальные помехи могут возникать по ряду причин, включая, но не ограничиваясь, следующими: (i) проблемы с освещением (например, яркие блики из ближайшего окна или тёмные тени); (ii) чрезмерно быстрые движения шахматной доски (например, размытие изображения из-за длительного времени экспозиции камеры); или (iii) неправильные внутренние свойства камеры (например, неправильное фокусное расстояние или сильное искажение объектива). Оценка человеческой позы использует искусственный интеллект для автоматической аннотации анатомических ориентиров на изображениях одного человека (оценка в одной позе) или нескольких человек (многопозовая оценка). Чёткая визуализация человека становится критически важной для успешного оценки позы. Некоторые визуальные помехи могут быть терпимы в зависимости от параметров компьютерного зрения (например, архитектуры ИИ, пороги предсказания). Однако, чтобы оценить пригодность видео для оценки человеческой позы, распространёнными подводными камнями, с которыми следует обращать внимание: (i) наблюдатели в поле зрения при оценке одной позы; (ii) сегменты корпуса, периодически находящиеся вне поля зрения камеры; и (iii) самозакрытия из-за перекрывающихся сегментов тела.

Отделение сбора данных от самого процесса компьютерного зрения имеет как преимущества, так и недостатки. Заметным недостатком является задержка в получении клинически релевантной информации, доступной клиницистам и пациентам для принятия решений. Потенциальным преимуществом является снижение помех в взаимодействие клинициста и пациента. Например, если калибровка проводится до приёма пациента, видеозапись 10 повторений задачи с употреблением алкоголя, как описано в предыдущей литературе, в идеале занимает менее 4 минут видеозаписи плюс любое время, необходимое для ориентации пациентов, которые не знают протокола. Кроме того, такое разделение может повысить признание клиницистами, разделяя ответственность за информацию. В рамках этого разделения обязанностей клиницист отвечает за то, когда и почему проводятся видеооценки, а дата-сайентисты и инженеры — за совершенствование процесса компьютерного зрения, который отвечает за точные и надёжные клинические показатели (например, кинематика задач питья). Действительно, это можно сравнить с современной реальностью многих анализов на основе крови (например, полные метаболические панели) и изображений (например, МРТ), которые регулярно назначают клиницисты. Наконец, такое разделение может оказаться выгодным по мере дальнейшего развития ИИ. Видеоданные, полученные сегодня, могут пройти повторный анализ с помощью более продвинутых решений компьютерного зрения будущего, которые могут получить больше кинематических метрик с большей скоростью, точностью и надёжностью.

Наша цель — дальнейшее расширение доступа к кинематике верхних конечностей среди сообщества реабилитации, которое включает клиницистов амбулаторных учреждений и, возможно, людей на дому (например, телереабилитацию). Этот протокол и веб-приложение следует рассматривать как ранний этап разработки, который до сих пор учитывал очень сфокусированную деятельность (например, задачу с употреблением алкоголя) и относительно сфокусированную группу заинтересованных сторон (то есть клиницисты и участники, способные легко выполнять задачу с употреблением алкоголя). Будущие версии будут необходимы для более разнообразной группы пользователей, более разнообразных видов деятельности и более разнообразных групп субъектов (например, лиц с серьёзными дефицитами, требующие адаптации для активности). Кроме того, будущие разработки будут включать важные контрольные точки до широкого внедрения, такие как интеграция в электронные медицинские записи и поддержание конфиденциальности и конфиденциальности пациентов. В будущих версиях, вероятно, также будут внедрены новые технологии и усовершенствованы доступные технологии. Например, текущий протокол предполагает рабочий процесс компьютерного зрения на основе бинокулярного зрения (например, стереокамеры). Логичным следующим развитием станет протокол с монокулярным зрением (например, более простыми камерами), который можно реализовать с помощью ИИ, обученного на бинокулярных наборах данных. Стоит отметить, что текущий протокол обеспечивает изображения и видеоданные, совместимые с современными решениями для компьютерного зрения, которые уже по производительности уступают более новые^{решения 18}. Описанный здесь веб-протокол может позволить клиницистам внедрить в свою практику основу компьютерного зрения, которое, вероятно, значительно продвинется по мере проникновения технологий ИИ в отрасль здравоохранения.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Крепящий рычаг камеры, двухсекционный единарный с платформой камеры	Манфротто	196B-2	Крепление для стереокамеры
Штатив для камеры, совместим со стандартными крепежными винтами 1/4 дюйма и 3/8 дюйма	iFootage	CB3 Base	Стереокамера от штатива к креплению
Буфер обмена, стандартный размер буквы	Н/Д	Н/Д	Поверхность для фиксации калибровочного рисунка
Чашка, пластиковая 8-унция	Н/Д	Н/Д	Ёмкость с водой для питья
Кресло с регулируемой высотой с запирающимися колесами	Vermund Larsen A/S	Независимость VELA	Кафедра по предметам
Стол с регулируемой высотой с запирающимися колёсами	Корпорация Midmark	6215 Прямоугольная рабочая станция	Стол для подготовки заданий по выпивке
Распечатка шахматной доски калибровки	Н/Д	Н/Д	Шаблон для видео calibraiton
Распечатка подставки с заданием по выпивке,	Н/Д	Н/Д	Подставка для организации заданий по питью
Стереокамера, фокусное расстояние 4 мм, без поляризатора, кабель USB 3.0 5 м	Stereolabs	Zed 2i	Стереокамера для видеозаписи
Запись	Н/Д	Н/Д	Клей для распечаток