$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Система ЭМГ
Аппаратное обеспечение системы ЭМГ состоит из 15 датчиков ЭМГ, используемых для получения данных об активации мышц. Коммерчески доступный интерфейс прикладного программирования (API) был использован для создания специализированного программного обеспечения для записи ЭМГ. Аппаратное обеспечение системы виртуальной реальности состоит из гарнитуры виртуальной реальности, используемой для отображения иммерсивной среды виртуальной реальности, и кабеля для подключения гарнитуры к специальному компьютеру, на котором хранится виртуальная задача оценки. Программное обеспечение состоит из программного обеспечения для компьютерной 3D-графики для создания и выполнения задачи виртуальной реальности. В данном случае в качестве задания для оценки использовался модифицированный тест Box and Block Test, адаптированный из популярного метода оценки ловкости рук26. Взаимодействие с VR-средой было разрешено с помощью программного обеспечения, предназначенного для вычисления места появления стола, запуска задачи, создания блоков и сохранения данных.
Система захвата движения
Аппаратное обеспечение системы захвата движения состоит из гарнитуры виртуальной реальности, системы маркерного захвата движения и контроллера движения виртуальной реальности. VR-гарнитура оснащена возможностью отслеживания рук через четыре встроенные инфракрасные камеры (72-120 Гц). Эти данные были извлечены из прибора для кинематического анализа. Система захвата движения маркеров состоит из сервера, камер с углом обзора 60°, красных светодиодов (LED) в качестве маркеров и объекта калибровки. Чтобы точно захватить пространство, камеры должны будут немного перекрываться. Во время эксперимента заданная область захвата была окружена восемью камерами (480 Гц), четыре из которых находились под потолком, а четыре — на полу. Эта система была откалибрована и выровнена перед экспериментом. Маркерные системы захвата движения могут быть предпочтительными, поскольку они предоставляют кинематические данные высокой четкости как для клинических, так и для исследовательских приложений. Контроллер движений VR содержит оптический модуль отслеживания рук, который фиксирует движения рук и пальцев. Контроллер оснащен двумя камерами ближнего инфракрасного диапазона 640 x 240 пикселей (120 Гц), которые способны отслеживать движение на расстоянии до 60 см от устройства и в поле зрения 140 x 120°. Это устройство крепилось к VR-гарнитуре или закреплялось над головой во время движения. Программное обеспечение для разработки компьютерной 3D-графики использовалось для визуализации отслеживания рук и сбора данных из VR-среды. Данные с безмаркерных и маркерных систем захвата движения были получены и сохранены с помощью скриптов пользовательских программ. Примеры программных сценариев можно найти по адресу: https://www.dropbox.com/sh/7se5lih4noxj584/AACqFDZytpDm-L8jAULFwfTHa?dl=0.
Возможные замены оборудования
В этом протоколе используются беспроводные, биполярные, поверхностные электроды ЭМГ, однако могут быть заменены другие технологии ЭМГ (проводные и т.д.). При использовании стандартных коммерчески доступных датчиков, как описано в Таблице материалов, вместо пользовательских программных сценариев можно использовать сопутствующее программное обеспечение для сбора данных (частота дискретизации 2 000 Гц). Если используются альтернативные датчики ЭМГ, то следует также использовать программное обеспечение, совместимое с этой системой.
Вместо того, чтобы подключать гарнитуру виртуальной реальности к компьютеру с помощью кабеля, гарнитура виртуальной реальности имеет возможность хранить интерактивную среду внутри гарнитуры. Внедрение этой функции в будущие приложения для реабилитации на дому было бы выгодно для пациента. Используемая здесь гарнитура виртуальной реальности может быть заменена другой иммерсивной гарнитурой виртуальной реальности. Перед заменой потребуется проверка совместимости с программным обеспечением для разработки игр.
Программное обеспечение альтернативной разработки может быть использовано для создания виртуальной среды и задачи, описанных в данном протоколе. Кроме того, вместо проиллюстрированной здесь модифицированной ББТ могут быть использованы другие клинические оценки, переведенные в VR (например, Action Research Arm Test (ARAT) или Graded Redefined Assessment of Strength, Sensation, and Prehension (GRASSP)). В то время как БТТ может быть использована для оценки широкого спектра неврологических травм, использование альтернативных клинических задач позволит оценить другие двигательные расстройства. Например, GRASSP в основном используется для оценки пациентов с травмой спинного мозга, в то время как ARAT чаще всего используется для оценки гемиплегии из-за повреждения коры головного мозга. Виртуальные оценки также могут проводиться без контроля с помощью программного скрипта (т.е. автономно), но необходимо будет учитывать DAQ и контроль за проведением тестов. Для оценки навыков можно использовать осязаемый тест Box and Block Test (BBT) вместо задачи, разработанной в VR26. Использование реального оборудования потребует альтернативной технологии захвата движения вместо отслеживания рук, записанного с помощью гарнитуры виртуальной реальности.
Для отслеживания кинематики рук можно использовать альтернативный надежный маркерный или безмаркерный захват движения. Например, захват движения на основе виртуальной реальности может быть использован для упрощения настройки, при этом получая необходимые данные отслеживания рук для извлечения кинематической информации. Используемая здесь система маркерного захвата движения включает в себя программное обеспечение для калибровки экспериментального пространства захвата движения и запуска камер (частота дискретизации 480 Гц). Следует использовать альтернативную технологию захвата движения с соответствующим программным обеспечением.
На рисунке 1 показаны отдельные компьютеры, на каждом из которых работает свой аппаратный компонент. На одном высокопроизводительном компьютере можно запустить все программное обеспечение для сбора данных и виртуальной реальности. В описанном здесь протоколе использование трех отдельных компьютеров требует синхронизации данных. Синхронизация данных во времени между устройствами имеет решающее значение для ЭМГ, кинематических и силовых данных, чтобы сделать значимые выводы. Пользовательские программные скрипты с использованием встроенной функции datetime использовались для записи универсального времени на каждой системе в начале выполнения задачи. Важно отметить, что все компьютеры должны быть подключены к одной сети, чтобы эти сценарии работали должным образом. После того, как начальное время было записано с помощью datetime, скрипты сбора данных использовали функции tic и toc для увеличения времени во время пробной версии. Эти функции имеют точность примерно 0,000001 с, что потенциально позволяет записывать данные с частотой 1000 кГц. В нашей конфигурации максимальная частота дискретизации составляет 30 кГц, что значительно ниже максимальных возможностей этого метода для записи и синхронизации времени между устройствами. Приложение29 для обмена сообщениями по протоколу управления передачей/интернет-протоколу (TCP-IP), разработанное на языке Python, использовалось для передачи данных между средой виртуальной реальности и приложением сбора данных на основе IP-адреса.
Помимо обеспечения синхронизации по времени, критически важное значение имела синхронизация данных, полученных с разной частотой дискретизации. Два компьютера были запущены вручную для сбора данных захвата движения (480 Гц) и записи данных ЭМГ (2000 Гц). В предыдущих исследованиях использовались пользовательские схемы синхронизации для передачи общего события между системами на испытательных этапах (например, синхронный импульс посылается в начале записи данных и снова при окончании записи)30. В этом случае использование функций даты, времени, tic и оглавления программного обеспечения позволяет выполнять синхронизацию без необходимости использования дополнительного оборудования. Коммерчески доступное приложение для обмена сообщениями TCP-IP, используемое здесь, также поддерживало непрерывную связь между системами. Эта структура для синхронизации времени и частоты сбора данных между системами также работала для согласованной организации данных для расширенного апостериорного анализа.
Описанный здесь экспериментальный протокол обладает широкими возможностями настройки для удовлетворения переменных потребностей клинических или исследовательских групп и может применяться как в клинических, так и в домашних/удаленных условиях. Несмотря на то, что мы описали оценку мышечной активности и кинематики с использованием модифицированного БТТ в виртуальной реальности, аналогичная установка может быть использована для различных клинических тестов и даже может быть упрощена для сокращенных наборов данных. Например, ЭМГ и датчики силы можно исключить, если нужны только кинематические данные. Для получения только кинематических данных потребовалось бы просто использовать систему захвата движения. Дополнительное оборудование, такое как электроэнцефалография или электрокардиография, также может быть включено для записи дополнительных данных. Вместо стандартных поверхностных электродов ЭМГ можно использовать поверхностную или внутримышечную ЭМГ высокой плотности для записи более точных данных о мышечной активности31,32. Кроме того, другие функциональные клинические тесты, такие как ARAT или GRASSP, могут быть использованы для оценки двигательного дефицита в различных популяциях пациентов. Несмотря на то, что описанная здесь установка в первую очередь предназначена для исследовательских целей для более точной количественной оценки дефицита движений в виртуальной реальности, мы стремимся разработать аналогичную установку, позволяющую осуществлять дистанционный мониторинг и реабилитацию пациента. Мы рассчитываем, что этот протокол будет легко адаптирован с помощью стандартных потребительских VR-очков, оснащенных отслеживанием движений рук, в сочетании с носимым записывающим устройством ЭМГ. В будущих исследованиях мы планируем продолжить разработку этого протокола для использования в домашних условиях, включив в него недорогой, носимый рукав для ЭМГ высокой плотности, который в настоящее время разрабатывается.
По сравнению с традиционной физиотерапией или трудотерапией в клинике или реабилитационном центре, VR-реабилитация предлагает множество потенциальных преимуществ. В то время как описанный здесь протокол предназначен для использования в первую очередь в исследовательских целях, виртуальные методы оценки потенциально могут быть реализованы удаленно и с использованием готовых устройств, без необходимости использования дорогостоящего специализированного медицинского оборудования. Кроме того, системы виртуальной реальности способны количественно отслеживать движения рук, чтобы получить представление о качестве движения, что может быть невозможным при стандартной оценке33,34. Сопоставимость движений в виртуальной реальности с реальными задачами остается темой интенсивных исследований, и будущие выводы повлияют на то, как виртуальная реальность может быть использована для реабилитации. Описанная здесь процедура представляет собой гибкую установку, которая использует VR для управления стандартизированными движениями и получения индивидуальных кинематических данных и данных ЭМГ. Данные, полученные в ходе исследований с использованием описанной конфигурации, также могут дать представление о том, как люди перемещаются в виртуальной среде, и о потенциальных механизмах, с помощью которых некоторые субъекты считают виртуальную реальность более захватывающей. Это имеет решающее значение при адаптации реальных клинических оценок в среде виртуальной реальности.
Для получения качественных и точных данных необходимо тщательно контролировать несколько этапов настройки и выполнения этого протокола. Первостепенное значение имеет правильное размещение датчика ЭМГ. Чистые, точные данные ЭМГ с высоким соотношением сигнал/шум требуют размещения датчиков на продезинфицированной, безволосой коже над животом выбранной мышцы27. Аналогичным образом, если используется система захвата движения маркеров, маркеры должны быть точно размещены на костных ориентирах, чтобы получить надежные данные для расчета интересующих углов соединения. По сравнению с датчиками ЭМГ, существует некоторая гибкость в ориентации маркеров захвата движения, но для определения местоположения твердого тела в пространствевсегда следует использовать как минимум три неколлинеарные точки. Некоторые методы расчета углов стыков, такие как обратная кинематика на основе модели, потребуют точного размещения маркеров. При использовании этого метода расположение экспериментальных маркеров должно совпадать с положением модели36. Программное обеспечение для моделирования опорно-двигательного аппарата, разработанное для расчета обратной кинематики, обычно включает в себя встроенные вычислительные функции для сопоставления модели и местоположения экспериментальных маркеров. OpenSim, платформа, разработанная Стэнфордским университетом37, обычно используется для этого типа анализа. На протяжении всей задачи необходимо контролировать как датчик ЭМГ, так и безопасность маркера, чтобы обеспечить запись высококачественных данных.
Если данные, полученные из этого протокола, зашумлены, устранение неполадок должно быть сосредоточено на рассмотрении нескольких шагов. Во-первых, неправильное размещение датчика ЭМГ может привести к искажению данных и должно быть проверено. Чтобы смягчить эту проблему, как уже говорилось ранее, важно подготовить кожу перед установкой датчика ЭМГ. Кроме того, низкое качество данных захвата движения может возникнуть, если маркеры выходят за пределы зоны действия камер. Кратковременная потеря отслеживаемых точек может быть решена с помощью интерполяции, но если маркеры по-прежнему не могут передавать точные данные о местоположении, могут возникнуть более серьезные проблемы. Если один маркер постоянно выпадает, это может указывать на то, что маркер либо закрыт движением объекта, либо выходит за пределы диапазона камеры. Кроме того, неправильная калибровка камеры может привести к выходу из строя нескольких маркеров. В этом сценарии лучше всего полностью откалибровать систему захвата движения после удаления объекта и испытательного оборудования из экспериментального пространства. Кроме того, следует использовать достаточное освещение, так как условия низкой освещенности могут препятствовать получению высококачественных данных захвата движения.
Описанный протокол имеет несколько ограничений. Во-первых, проиллюстрированная здесь конфигурация требует использования нескольких камер захвата движения. Тем не менее, цель этого протокола состоит в том, чтобы собрать данные с высоким разрешением для лучшей количественной оценки двигательного дефицита в виртуальной реальности до разработки полностью дистанционных клинических оценок, которые могут быть выполнены пациентом самостоятельно. Кроме того, заданиям, выполняемым в VR, не хватает тактильной обратной связи. Это важно отметить, так как только тактильная обратная связь может изменить величину силы захвата38,39. Это может повлиять на активацию мышц или кинематику, когда задача выполняется в виртуальной среде, а не с использованием материального оборудования. Если считается, что тактильная обратная связь имеет решающее значение (например, если пациенты также испытывают сенсорный дефицит), использование тактильных роботов может быть включено для имитации тактильной обратной связи. Несмотря на это ограничение, мы ожидаем, что данные, полученные из описанной здесь установки, будут иметь решающее значение для количественной оценки изменений кинематики и мышечной активности в задачах, связанных только с виртуальной реальностью, у пациентов с двигательными расстройствами. Это поможет адаптировать такие клинические тесты для использования в домашних условиях. Дополнительным ограничением этого протокола является то, что во время теста одновременно представляется один блок. В стандартном ББТ для начала в одном отсеке коробки помещается 150 деревянных блоков. Этот модифицированный BBT был разработан для повышения воспроизводимости записанных данных захвата движения и ЭМГ путем моделирования одного блока, который возрождается в том же виртуальном месте. Таким образом, модифицированный BBT, реализованный в виртуальной реальности, вероятно, является более упрощенной задачей. В будущих исследованиях будет важно, чтобы модифицированный BBT в VR соответствовал настройке стандартного BBT для обеспечения достоверности контента.