Summary
Протокол демонстрирует прототип домашней мультимодальной платформы сбора данных, которая поддерживает исследования, оптимизирующие адаптивную глубокую стимуляцию мозга (aDBS) для людей с неврологическими двигательными расстройствами. Мы также представляем основные результаты развертывания платформы в течение более года в доме человека с болезнью Паркинсона.
Abstract
Адаптивная глубокая стимуляция мозга (aDBS) обещает улучшить лечение неврологических расстройств, таких как болезнь Паркинсона (БП). aDBS использует биомаркеры, связанные с симптомами, для корректировки параметров стимуляции в режиме реального времени для более точного таргетирования симптомов. Чтобы включить эти динамические корректировки, параметры алгоритма aDBS должны быть определены для каждого отдельного пациента. Это требует трудоемкой ручной настройки со стороны клинических исследователей, что затрудняет поиск оптимальной конфигурации для одного пациента или масштабирование для многих пациентов. Кроме того, долгосрочная эффективность алгоритмов aDBS, настроенных в клинике, когда пациент находится дома, остается открытым вопросом. Для реализации этой терапии в больших масштабах необходима методология автоматической настройки параметров алгоритма aDBS при удаленном мониторинге результатов терапии. В этой статье мы поделимся проектом платформы для сбора данных в домашних условиях, чтобы помочь в решении обеих проблем. Платформа состоит из интегрированной аппаратной и программной экосистемы с открытым исходным кодом, которая позволяет собирать нейронные, инерциальные и многокамерные видеоданные в домашних условиях. Чтобы обеспечить конфиденциальность данных, идентифицирующих пациента, платформа шифрует и передает данные через виртуальную частную сеть. Эти методы включают в себя выравнивание потоков данных по времени и извлечение оценок поз из видеозаписей. Чтобы продемонстрировать использование этой системы, мы развернули эту платформу в доме человека с болезнью Паркинсона и собирали данные во время самостоятельных клинических задач и периодов свободного поведения в течение 1,5 лет. Данные регистрировали при субтерапевтических, терапевтических и супратерапевтических амплитудах стимуляции для оценки тяжести двигательных симптомов при различных терапевтических условиях. Эти данные, согласованные по времени, показывают, что платформа способна синхронизировать мультимодальный сбор данных в домашних условиях для терапевтической оценки. Эта системная архитектура может быть использована для поддержки автоматизированных исследований aDBS, сбора новых наборов данных и изучения долгосрочных эффектов DBS-терапии за пределами клиники для людей, страдающих неврологическими расстройствами.
Introduction
Глубокая стимуляция мозга (DBS) лечит неврологические расстройства, такие как болезнь Паркинсона (БП), путем подачи электрического тока непосредственно в определенные области мозга. По оценкам, во всем мире насчитывается 8,5 миллиона случаев болезни Паркинсона, и DBS зарекомендовала себя как важнейшая терапия, когда лекарств недостаточно для купирования симптомов 1,2. Однако эффективность DBS может быть ограничена побочными эффектами, которые иногда возникают при стимуляции, которая обычно проводится с фиксированной амплитудой, частотой и длительностью импульса3. Эта реализация с разомкнутым контуром не реагирует на колебания состояния симптомов, что приводит к тому, что настройки стимуляции не соответствуют изменяющимся потребностям пациента. Кроме того, DBS затрудняется трудоемким процессом настройки параметров стимуляции, который в настоящее время выполняется клиницистами вручную для каждого отдельного пациента.
Адаптивный DBS (aDBS) — это подход с замкнутым циклом, который показал свою эффективность в следующей итерации DBS путем корректировки параметров стимуляции в режиме реального времени при обнаружении биомаркеров, связанных с симптомами 3,4,5. Исследования показали, что бета-колебания (10-30 Гц) в субталамическом ядре (STN) происходят последовательно во время брадикинезии, замедления движения, характерного для PD 6,7. Точно так же известно, что осцилляции высокого гамма-излучения (50-120 Гц) в коре головного мозга происходят в периоды дискинезии, чрезмерного и непроизвольного движения, которое также часто наблюдается при БП8. В недавних работах было успешно проведено проведение aDBS за пределами клиники в течение длительных периодов времени, однако долгосрочная эффективность алгоритмов aDBS, которые были настроеныв клинике, когда пациент находится дома, не была установлена.
Дистанционные системы необходимы для того, чтобы зафиксировать изменяющуюся во времени эффективность этих динамических алгоритмов в подавлении симптомов, возникающих в повседневной жизни. В то время как подход динамической стимуляции aDBS потенциально позволяет проводить более точное лечение с меньшим количеством побочных эффектов3,9, aDBS по-прежнему страдает от высокой нагрузки на клиницистов, которые вручную определяют параметры стимуляции для каждого пациента. В дополнение к уже большому набору параметров для программирования во время обычной DBS, алгоритмы aDBS вводят много новых параметров, которые также должны быть тщательно скорректированы. Такая комбинация параметров стимуляции и алгоритма дает обширное пространство параметров с неуправляемым числом возможных комбинаций, что не позволяет масштабировать aDBS на многих пациентов10. Даже в исследовательских условиях дополнительное время, необходимое для настройки и оценки систем aDBS, затрудняет адекватную оптимизацию алгоритмов исключительно в клинике, и требуется удаленное обновление параметров. Чтобы сделать aDBS лечением, которое можно масштабировать, стимуляция и настройка параметров алгоритма должны быть автоматизированы. Кроме того, результаты терапии должны быть проанализированы в ходе повторных исследований, чтобы установить, что aDBS является жизнеспособным долгосрочным лечением вне клиники. Существует потребность в платформе, которая может собирать данные для удаленной оценки эффективности терапии, а также для удаленного развертывания обновлений параметров алгоритма aDBS.
Цель этого протокола — обеспечить многоразовую конструкцию мультимодальной платформы сбора данных на дому для повышения эффективности aDBS за пределами клиники и позволить масштабировать это лечение на большее количество людей. Насколько нам известно, это первая платформа для сбора данных, которая дистанционно оценивает терапевтические результаты с помощью домашних видеокамер, носимых датчиков, записи хронических нейронных сигналов и обратной связи с пациентом для оценки систем aDBS во время контролируемых задач и натуралистического поведения.
Платформа представляет собой экосистему аппаратных и программных компонентов, построенных на ранее разработанных системах5. Он полностью обслуживается через удаленный доступ после первоначальной установки минимального оборудования, чтобы обеспечить мультимодальный сбор данных от человека, не выходя из дома. Ключевым компонентом является имплантируемая система нейростимуляции (INS)11 , которая определяет нейронную активность и доставляет стимуляцию в STN, а также регистрирует ускорение от грудных имплантатов. Для имплантата, используемого при первоначальном развертывании, нейронная активность регистрируется с помощью билатеральных отведений, имплантированных в STN, и с электродов электрокортикографии, имплантированных в моторную кору. Система видеозаписи помогает врачам контролировать тяжесть симптомов и эффективность терапии, которая включает в себя графический пользовательский интерфейс (GUI), позволяющий легко отменять текущие записи для защиты конфиденциальности пациентов. Видео обрабатываются для извлечения кинематических траекторий положения в двух измерениях (2D) или трехмерных (3D), а смарт-часы надеваются на оба запястья для сбора информации об угловой скорости и ускорении. Важно отметить, что все данные шифруются перед передачей в долгосрочное облачное хранилище, а доступ к компьютеру с видеозаписями, позволяющими идентифицировать пациента, можно получить только через виртуальную частную сеть (VPN). Система включает в себя два подхода для выравнивания всех потоков данных по времени, и данные используются для удаленного мониторинга качества движений пациента, а также для выявления биомаркеров, связанных с симптомами, для уточнения алгоритмов aDBS. Видеочасть этой работы показывает процесс сбора данных и анимацию кинематических траекторий, извлеченных из собранных видео.
При разработке протокола учитывался ряд конструктивных соображений:
Обеспечение безопасности данных и конфиденциальности пациентов: Сбор идентифицируемых данных о пациентах требует особой осторожности при передаче и хранении, чтобы соответствовать Закону о преемственности и подотчетности медицинского страхования (HIPAA)12,13 соблюдать требования и уважать частную жизнь пациента в его собственном доме. В данном проекте это было достигнуто путем настройки пользовательского VPN для обеспечения конфиденциальности всего конфиденциального трафика между системными компьютерами.
Границы безопасности параметров стимуляции: Очень важно убедиться, что пациент остается в безопасности при тестировании алгоритмов aDBS, которые могут иметь непредвиденные эффекты. ИНС пациента должна быть настроена врачом таким образом, чтобы иметь безопасные границы параметров стимуляции, которые не допускают небезопасных эффектов от чрезмерной или недостаточной стимуляции. С системой INS11 Эта функция, используемая в данном исследовании, включена программистом-клиницистом.
Обеспечение права вето пациента: Даже в пределах безопасных параметров ежедневная вариабельность симптомов и реакций на стимуляцию может привести к неприятным ситуациям для пациента, когда ему не нравится тестируемый алгоритм и он хочет вернуться к нормальному клиническому DBS с открытым контуром. Выбранная система INS включает в себя модуль телеметрии пациента (PTM), который позволяет пациенту вручную изменять группу стимуляции и амплитуду стимуляции в мА. Существует также исследовательское приложение, подключенное к INS, которое используется для удаленной настройки INS перед сбором данных14, что также позволяет пациенту прервать испытания aDBS и контролировать их терапию.
Фиксация сложного и естественного поведения: Видеоданные были включены в платформу, чтобы позволить клиницистам удаленно контролировать эффективность терапии и извлекать кинематические траектории из оценок поз для использования в исследованиях15. Несмотря на то, что носимые датчики менее навязчивы, трудно охватить весь динамический диапазон движений всего тела, используя только носимые системы. Видео позволяет одновременно записывать полный диапазон движений пациента и его симптомы с течением времени.
Удобство использования системы для пациентов: Сбор мультимодальных данных на дому требует установки и использования нескольких устройств в доме пациента, что может стать обременительным для пациентов. Чтобы сделать систему простой в использовании и при этом обеспечить контроль над пациентом, перед началом записи необходимо вручную включать только те устройства, которые имплантированы или физически прикреплены к пациенту (в данном случае это система INS и смарт-часы). Для устройств, которые находятся отдельно от пациента (в данном случае это данные, записанные с видеокамер), запись начинается и заканчивается автоматически, не требуя какого-либо вмешательства пациента. При проектировании графического интерфейса мы старались свести к минимуму количество кнопок и избежать глубоких деревьев меню, чтобы взаимодействие было простым. После того, как все устройства установлены, координатор исследований показал пациенту, как взаимодействовать со всеми устройствами с помощью графических интерфейсов, которые являются частью каждого устройства, например, как прервать запись на любом устройстве и как ввести историю приема лекарств и отчеты о симптомах.
Прозрачность сбора данных: Необходимо четко указать, когда камеры включены, чтобы люди знали, когда их записывают, и могли приостановить запись, если им нужен момент уединения. Для этого используется системное приложение для управления видеозаписями с графическим интерфейсом, ориентированным на пациента. Графический интерфейс автоматически открывается при запуске приложения и перечисляет время и дату следующей запланированной записи. Когда запись продолжается, появляется сообщение о том, когда запланировано ее окончание. В центре графического интерфейса отображается большое изображение красного света. На изображении видно, что свет ярко горит, когда идет запись, и меняется на неосвещенное изображение, когда запись выключена.
В протоколе подробно описаны методы проектирования, создания и развертывания домашней платформы сбора данных, проверки качества собранных данных на полноту и надежность, а также постобработки данных для использования в будущих исследованиях.
Рисунок 1: Поток данных. Данные для каждого метода собираются независимо от места жительства пациента, а затем обрабатываются и агрегируются в единую конечную точку удаленного хранения. Данные для каждой модальности автоматически отправляются в конечную точку удаленного хранилища. Затем с помощью одного из членов команды его можно извлечь, проверить на валидность, выровнять по времени в разных модальностях, а также подвергнуть предварительной обработке, более специфичной для конкретной модальности. Затем скомпилированный набор данных загружается в конечную точку удаленного хранилища, к которой все члены команды могут получить безопасный доступ для дальнейшего анализа. Все компьютеры с доступом к данным, особенно к конфиденциальным данным, таким как необработанное видео, заключены в VPN, который обеспечивает безопасную передачу всех данных и постоянное шифрование сохраненных данных. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Пациенты участвуют в более крупном исследовании, одобренном IRB и IDE, в Калифорнийском университете в Сан-Франциско, протокол # G1800975. Пациентка, включенная в это исследование, дополнительно предоставила информированное согласие именно на это исследование.
1. Компоненты домашней системы
- Центральный сервер и VPN
- Приобретите персональный компьютер (ПК) под управлением операционной системы (ОС) на базе Linux, предназначенную для обслуживания VPN. Разместите машину в безопасном помещении. Зашифруйте диск машины, чтобы обеспечить безопасность данных.
- Настройте VPN-сервер так, чтобы он был общедоступным хотя бы на одном порту.
ПРИМЕЧАНИЕ: В данном случае это было достигнуто благодаря сотрудничеству с ИТ-отделом, чтобы предоставить серверу внешний статический IP-адрес и пользовательский URL-адрес с помощью вариантов размещения DNS в университете. - Для установки сервера выполните следующие действия один раз на компьютере, выбранном для обслуживания VPN.
- Настройка брандмауэра: Выполните следующие команды в терминале ПК, чтобы установить и настроить несложный брандмауэр:
sudo apt install ufw
sudo ufw разрешить ssh
sudo ufw разрешить <номер-порта>/udp
sudo ufw enable - Установка VPN на сервере: установите протокол WireGuard VPN16 с открытым исходным кодом на ПК и перейдите в каталог установки. В терминале ПК запустите umask 007 для обновления правил доступа к каталогам.
- Генерация ключа: В терминале ПК выполните
РГ Генкей | Закрытый ключ тройника | WG pubkey > публичный ключ
При этом генерируется пара открытого и закрытого ключей для VPN-сервера. Этот открытый ключ будет передан любому клиентскому компьютеру, который подключается к VPN. - Конфигурация VPN: В терминале ПК запустите touch
.conf для создания конфигурационного файла, где имя файла должно совпадать с именем интерфейса. Вставьте в этот файл следующие серверные правила:
[Интерфейс]
PrivateKey = <содержимое-закрытого-ключа-сервера>
Адрес = ##.#.#.#/ ##
PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
ListenPort = #####
[Сверстник]
PublicKey = <содержимое-клиентского-публичного ключа>
Разрешенные IP-адреса = ##.#.#.#/ ## - Активация VPN: Запустите VPN, введя в терминале wg-quick up
. Чтобы VPN-протокол автоматически запускался при перезагрузке ПК, выполните в терминале следующую команду:
systemctl enable wg-quick@
- Настройка брандмауэра: Выполните следующие команды в терминале ПК, чтобы установить и настроить несложный брандмауэр:
- Для установки клиента выполните следующие действия для каждого нового компьютера, которому требуется доступ к VPN.
- Установка VPN клиента: установите VPN-протокол в соответствии с инструкциями для конкретной ОС на странице загрузки WireGuard16 .
- Добавление клиента в VPN: Возьмите публичный ключ из конфигурационного файла, сгенерированного во время установки. Вставьте этот ключ в секцию peer конфигурационного файла сервера.
- Активация VPN: Запустите VPN в соответствии с инструкциями для конкретной ОС на странице загрузки WireGuard16 .
- Облачное хранилище
- Выберите облачное хранилище, чтобы все записанные потоки данных хранились в течение длительного времени в одном месте. Здесь использовалось облачное хранилище на базе веб-сервиса Amazon, совместимое с выбранным протоколом передачи данных.
- Имплантируемая система нейромодуляции
- Следуя рекомендациям IRB и IDE, выберите имплантируемую систему нейромодуляции (INS)11 , которая позволяет пациентам вручную изменять настройки стимуляции.
- Приобретите планшетный ПК и установите приложение UCSF DBS с открытым исходным кодом, позволяющее записывать INS, сообщать о лекарствах и симптомах или любых других комментариях пациента14. Настройте данные INS, передаваемые в потоковом режиме на планшет, для отправки во временную конечную точку облачного хранилища, совместимую с HIPPA, для временного хранения перед деидентификацией данных и выгрузкой их в долгосрочное облачное хранилище.
- Система сбора видео
- Приобретите ПК, способный собирать и хранить желаемое количество видеофайлов перед их передачей в облачное хранилище. Убедитесь, что материнская плата ПК оснащена микросхемой доверенного платформенного модуля (TPM).
ПРИМЕЧАНИЕ: В данном случае был выбран ПК с твердотельным накопителем емкостью 500 ГБ, жестким диском емкостью 2 ТБ и графическим процессором емкостью 6 ГБ. Диск емкостью 2 ТБ гарантирует, что видео может быть буферизовано после длительной сессии записи или в случае потери подключения к Интернету на пару дней, в то время как один ПК обеспечивает минимальное вмешательство оборудования в доме. - Установите нужную ОС и следуйте инструкциям, чтобы включить автоматическое шифрование диска, чтобы обеспечить конфиденциальность пациента и избежать утечки данных. В данном случае была выбрана ОС на базе Linux с дистрибутивом Ubuntu из-за простоты использования и надежности.
- Отдельно зашифруйте все жесткие диски после установки ОС. Не забудьте включить автоматическое повторное монтирование дисков при перезагрузке системы.
- Настройте встроенную микросхему TPM компьютера для сохранения доступа к компьютеру, зашифрованному на диске, после перезагрузки системы17.
ПРИМЕЧАНИЕ: Если вы используете ОС Linux, обязательно выберите материнскую плату с установленным чипом TPM2, чтобы включить этот шаг. Если используется ОС Windows, автоматическое шифрование диска и разблокировка могут выполняться программой Bitlocker. - Настройте ПК в качестве VPN-клиента, выполнив действия по установке, описанные в версии 1.1.4. Включите автоматический запуск VPN-протокола при каждой перезагрузке ПК, как описано в разделе 1.1.3.5, чтобы гарантировать, что компьютеры исследователей всегда могут получить удаленный доступ к ПК (рекомендуется).
- Создайте учетную запись пользователя компьютера GitHub, чтобы легко автоматизировать обновления программного обеспечения, установленного на компьютере. Эта учетная запись служит веб-перехватчиком для автоматизации извлечения из удаленной конечной точки Git и помогает идентифицировать любые обновления, отправленные с удаленного компьютера.
- Выберите программное обеспечение для планирования и управления видеозаписью и установите его на ПК. Чтобы обеспечить максимальную конфиденциальность и комфорт пациента, выбранное программное обеспечение должно включать графический пользовательский интерфейс (GUI), чтобы четко указать, когда ведется запись, и обеспечить легкое прекращение записи в любой момент времени.
ПРИМЕЧАНИЕ: При желании можно установить пользовательское приложение для записи видео авторов с графическим интерфейсом, ориентированным на пациента, загрузив приложение и следуя инструкциям на GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp). - Выберите монитор, чтобы указать, когда записываются видео, и чтобы пользователи могли легко завершать запись. Выберите монитор с сенсорным экраном, чтобы запись можно было прервать без использования клавиатуры или мыши.
- Установите на ПК приложение для удаленного рабочего стола. Это позволяет запускать приложение с графическим интерфейсом таким образом, чтобы графический интерфейс оставался видимым как на стороне пациента, так и на стороне удаленного исследователя.
ПРИМЕЧАНИЕ: Приложение удаленного рабочего стола NoMachine с открытым исходным кодом лучше всего подходит для ОС Linux. - Выбирайте USB-совместимые веб-камеры с достаточно высоким разрешением для расчета поз в заданном пространстве.
ПРИМЕЧАНИЕ: В этом случае были выбраны веб-камеры, совместимые с 4K, которые предлагают несколько комбинаций разрешения и частоты кадров, включая разрешение 4K при 30 кадрах в секунду или разрешение HD при 60 кадрах в секунду. - Выберите надежное оборудование для установки веб-камер в домашних условиях пациента. Используйте крепления на гибкой стойке с зажимами, чтобы закрепить их на мебели, чтобы камеры не тряслись.
- Выберите протокол передачи данных с возможностью шифрования и установите его на ПК. Создайте конфигурацию для доступа к сайту облачного хранилища, а затем создайте конфигурацию шифрования, чтобы обернуть первую конфигурацию перед передачей данных.
ПРИМЕЧАНИЕ: В данном случае был установлен протокол передачи данных и синхронизации файлов с открытым исходным кодом и возможностью шифрования18. В документации по протоколу передачи данных объясняется, как настроить передачу данных в облачное хранилище. Сначала протокол был установлен на VPN-сервере и создана конфигурация шифрования, которая передает данные на удаленную площадку облачного хранилища.
- Приобретите ПК, способный собирать и хранить желаемое количество видеофайлов перед их передачей в облачное хранилище. Убедитесь, что материнская плата ПК оснащена микросхемой доверенного платформенного модуля (TPM).
- Компоненты данных носимых датчиков
- Выберите смарт-часы, которые будут носить на каждом запястье пациента, чтобы отслеживать сигналы, включая движение, акселерометрию и частоту сердечных сокращений.
ПРИМЕЧАНИЕ: Часы Apple Watch серии 3 были выбраны со встроенным монитором симптомов двигательного расстройства, который генерирует баллы симптомов болезни Паркинсона, такие как дискинезия и тремор. - Выберите и установите на каждые смарт-часы программное обеспечение, которое может начинать и заканчивать запись, а также передавать данные в облачное хранилище. Выберите приложение, которое загружает все потоки данных на связанный с ним онлайн-портал для исследователей и врачей для анализа19.
- Выберите смарт-часы, которые будут носить на каждом запястье пациента, чтобы отслеживать сигналы, включая движение, акселерометрию и частоту сердечных сокращений.
Рисунок 2: Компоненты видеозаписи. Аппаратные компоненты, поддерживающие сбор видеоданных, минимальны, в том числе один ПК в корпусе Tower, веб-камеры, подключенные через USB, и небольшой монитор для отображения графического интерфейса, обращенного к пациенту. Монитор оснащен сенсорным экраном, что позволяет легко завершать любую текущую или запланированную запись нажатием кнопок, видимых в графическом интерфейсе. В центре графического интерфейса отображается изображение индикатора записи, который становится ярко-красным цветом при активной записи видеокамерами. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
2. Домашняя конфигурация
- Установка оборудования
- Определите подходящее место для установки веб-камер, которое сведет к минимуму помехи в доме. Определите пространство путем обсуждения с пациентом; Здесь зона домашнего офиса была выбрана в качестве оптимального места для баланса между объемом записи и конфиденциальностью.
- Установите веб-камеры в указанном месте на выбранное крепежное оборудование. Крепление на гусиной шее к ближайшей тяжелой мебели предотвращает дрожание камер всякий раз, когда кто-то наступает рядом.
- Разместите компьютер достаточно близко к установленным веб-камерам, чтобы их USB-кабели могли подключаться к компьютеру.
- Разместите планшетный ПК, компоненты INS, смарт-часы и смартфоны рядом с розеткой, чтобы все устройства оставались подключенными к сети и были готовы к использованию в любое время.
- Убедитесь, что VPN включен, выполнив route -n в терминале ПК. Если нет, следуйте инструкциям по активации VPN в разделе 1.1.3.5.
- Запустите приложение для записи видео
- График видеозаписи: Прежде чем собирать какие-либо данные, обсудите с пациентом соответствующий график записи. Настройте это расписание в программном обеспечении для записи видео.
ПРИМЕЧАНИЕ: Если вы используете пользовательское приложение для записи видео авторов, инструкции по настройке расписания можно найти на GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide). - Обновите программное обеспечение для записи: убедитесь, что последняя версия выбранного программного обеспечения для записи видео была загружена на компьютер с помощью учетной записи компьютера GitHub, установленной в версии 1.4.6.
- Начать запись видео: войдите в ПК через установленное программное обеспечение удаленного рабочего стола и запустите программное обеспечение для записи видео.
ПРИМЕЧАНИЕ: При использовании пользовательского приложения для записи видео авторов инструкции по запуску приложения можно найти на GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
- График видеозаписи: Прежде чем собирать какие-либо данные, обсудите с пациентом соответствующий график записи. Настройте это расписание в программном обеспечении для записи видео.
- Калибровка видеокамеры
- Отключить автофокусировку: для вычисления внутренних параметров, таких как искажение объектива и перспективы, следуйте инструкциям в зависимости от выбранной ОС и веб-камеры, чтобы отключить автофокусировку.
ПРИМЕЧАНИЕ: В Linux доступ к веб-камерам осуществляется через API видео для Linux, который по умолчанию включает автофокусировку при каждой перезагрузке компьютера, подключенного к камерам. Настройка скрипта на автоматическое отключение этого необходима для сохранения фокуса, полученного во время калибровки камеры, для обработки 3D-позы. - Встроенная калибровка: Приобретите шахматный узор 6 x 8 с квадратами 100 мм для поддержки 3D-калибровки программного обеспечения для оценки позы20. Записывайте видео с каждой отдельной веб-камеры, в то время как исследователь наклоняет шахматную доску в кадре всех камер. Убедитесь, что шахматная доска имеет четное количество строк и нечетное количество столбцов (или наоборот). Это устранит двусмысленность в отношении ротации.
- Внешняя калибровка: одновременная запись видео со всех трех веб-камер. Убедитесь, что видео записано в том же разрешении, что и любые видео, которые будут обработаны для оценки 3D-позы. Чтобы обеспечить точную синхронизацию времени для всех видео, мигайте ИК-светодиодом в начале и в конце записи. Используйте программное обеспечение для редактирования видео, чтобы вручную синхронизировать видео, отмечая кадры в начале светодиода и обрезая видео до равной длины.
- Калибровочные матрицы: Пропустите видео, записанные на предыдущих двух шагах, через OpenPose21 для создания внутренних и внешних калибровочных матриц.
ПРИМЕЧАНИЕ: OpenPose использует библиотеку OpenCV для калибровки камеры, и дальнейшие инструкции можно найти в документации на OpenPose GitHub20,22.
- Отключить автофокусировку: для вычисления внутренних параметров, таких как искажение объектива и перспективы, следуйте инструкциям в зависимости от выбранной ОС и веб-камеры, чтобы отключить автофокусировку.
3. Сбор данных
- Инструкции для пациента по началу записи
- Проверьте батарею и питание устройства: Устройство INS всегда включено, чтобы обеспечить постоянную стимуляцию субъекта. Чтобы начать запись нейронных данных, попросите пациента включить планшетный ПК и убедиться, что модули телеметрии врача (CTM) как для левого, так и для правого устройств INS включены и полностью заряжены.
- Размещение CTM: Разместите CTM по обеим сторонам груди. Для максимального подключения и уменьшения потери пакетов располагайте CTM близко к грудным имплантатам во время записи. Дополнительными местами для размещения СТМ являются нагрудные карманы куртки или использование специализированного шарфа.
- Активация подключения к планшету: После загрузки планшета попросите пациента открыть приложение DBS и выбрать Подключиться, после чего будет предложено подключение по Bluetooth к CTM, а затем к устройствам INS14.
- Активация камеры: Попросите пациента подтвердить, что видеокамеры подключены к компьютеру через USB-кабели и что камеры включены.
ПРИМЕЧАНИЕ: При использовании пользовательского приложения для записи видео авторов текущие записи четко обозначаются в графическом интерфейсе, обращенном к пациенту, большим изображением ярко освещенного красного света. Он меняется на негорящий красный свет, когда запись выключена. Выбранные веб-камеры также имеют небольшой белый световой индикатор. - Активация смарт-часов: попросите пациента включить смарт-часы и смартфоны, удерживая кнопку питания . Затем попросите их открыть приложение смарт-часов, чтобы инициировать запись данных и отслеживание симптомов ЧП.
- Сценарии выравнивания и записи данных на основе жестов
- Запишите все задачи, которые пациент должен выполнить во время записи данных, прежде чем начать сбор данных.
- Поскольку синхронизация на основе часов на нескольких устройствах для выравнивания временных меток может быть ненадежной, попросите пациента выполнить жест, который можно использовать для синхронизации временных меток из записанных данных в начале каждой новой записи, даже если вы планируете запись в периоды свободного поведения.
Примечание: Авторы разработали простой жест, при котором пациент постукивал по обоим имплантированным устройствам INS, держа руки в поле зрения камер. Это постукивание создает характерные паттерны в инерциальных записях смарт-часов и акселерометра INS, и его легко наблюдать на видео.
- Инструкции для пациента по окончанию записи
- Переключите группу стимуляции обратно на предпочтительную клинически назначенную пациенту группу.
- В графическом интерфейсе приложения DBS, ориентированном на пациента, введите отчет о симптомах.
- Закройте приложение DBS, которое отключит CTM и завершит потоковую передачу INS.
- Закройте приложение для записи смарт-часов и верните CTM, смартфоны и смарт-часы обратно в порты зарядки.
- Выгрузка данных
- Перенос необработанных видео в облачное хранилище по протоколу передачи данных с использованием зашифрованной конфигурации. Создайте задание cron на ПК видеозаписи для автоматической передачи записанных видео в облачное хранилище по протоколу передачи данных18.
ПРИМЕЧАНИЕ: В зависимости от разрешения видео и количества часов записи каждый день, скорость интернета должна быть достаточно высокой, чтобы все видео можно было перенести в облачное хранилище в течение 24 часов. Если передача данных происходит слишком медленно, место на диске может закончиться, что приведет к сбою дополнительных видеозаписей, запланированных на следующий день. - Сохраните данные INS в защищенной HIPAA облачной конечной точке, настроенной на шаге 1.3.2. Загрузите данные INS из облачной конечной точки, защищенной HIPAA, и обезличьте данные. Сохраните обезличенные данные во внешнем облачном хранилище.
ПРИМЕЧАНИЕ: Код предварительной обработки OpenMind с открытым исходным кодом23 был использован для обезличивания данных и преобразования их из json-файлов в табличный формат. Планшет пациента был сконфигурирован с облачной конечной точкой, защищенной HIPAA, для временного хранения необработанных данных INS; однако, возможно, для этого шага можно использовать то же самое облачное хранилище, которое используется для долгосрочного хранения, при условии, что оно соответствует требованиям HIPAA, а данные шифруются перед выгрузкой. - При желании сохраните копию данных смарт-часов во внешнем облачном хранилище, чтобы все потоки данных были доступны в одном месте.
- Перенос необработанных видео в облачное хранилище по протоколу передачи данных с использованием зашифрованной конфигурации. Создайте задание cron на ПК видеозаписи для автоматической передачи записанных видео в облачное хранилище по протоколу передачи данных18.
4. Определение характеристик системы
- Визуализация необработанных данных: в желаемой среде кодирования визуализируйте все потоки необработанных данных, чтобы гарантировать, что данные были записаны и переданы надлежащим образом без потерь или повреждений.
ПРИМЕЧАНИЕ: Приложение, которое было выбрано для управления записями смарт-часов, имеет приложение для браузера, которое полезно для визуализации данных смарт-часов24. - Задержки видеокадров и меток времени: проверьте все задержки между временными метками, созданными разными веб-камерами. Анализируйте задержки, записывая видео с помощью программируемой светодиодной подсветки, размещенной в кадре всех веб-камер.
ПРИМЕЧАНИЕ: Анализ показал, что функция сегментации видео25 , импортированная пользовательским приложением для записи видео, была источником увеличения задержек временных меток. Запись видео без функции сегментации приводила к задержкам между кадрами веб-камеры и временными метками, которые не увеличивались с течением времени (см. Дополнительный файл 1 и Дополнительный рисунок 1).
5. Предварительная обработка и выравнивание данных post-hoc
- Данные о позе
- Установите программное обеспечение для расчета предполагаемого положения сустава на основе записанных видео.
ПРИМЕЧАНИЕ: Библиотека OpenPose была выбрана, так как она включает отслеживание рук и лиц как в 2D, так и в 3D. - Библиотека OpenPose не обрабатывает автоматически случаи, когда в кадре находится несколько человек, поэтому используйте сценарий постобработки, чтобы гарантировать, что оценки позы каждого человека непрерывны от одного кадра к другому. OpenPose предоставляет код для простого создания анимации в 2D или 3D для визуальной проверки качества оценки позы.
- Установите программное обеспечение для расчета предполагаемого положения сустава на основе записанных видео.
- Выравнивание времени на основе жестов
- Для каждого устройства INS (слева и справа) выполните действия, описанные ниже, используя графический интерфейс авторов для выравнивания данных (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Считывание данных: доступ к сохраненным данным INS и акселерометрии смарт-часов из облачного хранилища для желаемого сеанса обработки данных.
ПРИМЕЧАНИЕ: При желании можно добавить дополнительные временные ряды. На рисунке 3 зеленым цветом показано положение кончика среднего пальца правой руки. - Визуализация потоков данных в графическом интерфейсе: используйте графический интерфейс ручного выравнивания по времени для наложения данных акселерометрии INS, акселерометрии смарт-часов и позы.
- Увеличение артефактов выравнивания: увеличьте масштаб оси времени и переместите окно просмотра в раздел записи, касающийся касания груди. Сместите выравнивающие временные ряды так, чтобы пик от постукивания на груди как на сигналах временных рядов INS, так и на сигналах временных рядов смарт-часов перекрывался как можно ближе.
ПРИМЕЧАНИЕ: Графический интерфейс предназначен для облегчения ручного выравнивания произвольных временных рядов по общему истинному времени. На рисунке 3 истинные временные ряды показаны синим цветом, а выровненные временные ряды — оранжевым и зеленым. Основные рекомендации по выравниванию графического интерфейса изложены в GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment). - Подтверждение выравнивания: переместите окно графического интерфейса для каждой из задач касания груди в записи и убедитесь, что выравнивание остается неизменным на протяжении всего временного ряда. Нажмите кнопку Switch Aligning (Переключить выравнивание) и повторите выравнивание оставшихся потоков данных.
- Предупреждающие флаги: Чтобы указать, были ли данные пропущены, смещены или другие общие предупреждения о качестве данных, установите предупреждающие флаги в графическом интерфейсе с помощью клавиш D, S и F соответственно.
- Считывание данных: доступ к сохраненным данным INS и акселерометрии смарт-часов из облачного хранилища для желаемого сеанса обработки данных.
- Для каждого устройства INS (слева и справа) выполните действия, описанные ниже, используя графический интерфейс авторов для выравнивания данных (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
- Выравнивание по времени с нулевой нормализованной взаимной корреляцией (ZNCC)
- Определите сигнал, который с наибольшей вероятностью будет наиболее близок к реальному времени. Обычно это либо тот, который имеет наибольшую частоту выборки, либо тот, который обновляется быстрее всего в Интернете.
- Передискретизируйте два сигнала, чтобы они имели одинаковую частоту временной дискретизации, и по отдельности оценивайте оба сигнала по z. Это гарантирует, что результирующие оценки ZNCC будут нормализованы в диапазоне от -1 до 1, что дает оценку уровня сходства между двумя сигналами, что полезно для обнаружения ошибок.
- Вычислить взаимную корреляцию второго сигнала и первого сигнала при каждом временном лаге.
- Если информация о фазе двух сигналов не важна, принимают за абсолютное значение измеряемой кривой взаимной корреляции.
ПРИМЕЧАНИЕ: Если поведение в значительной степени апериодично, то информация о фазе не нужна, как в этом случае. - Проанализируем кривую ZNCC. Если существует один четкий пик с пиковым показателем ZNCC выше 0,3, то время этого пика соответствует временной задержке между двумя сигналами. Если пиков несколько, нет четкого пика или оценка ZNCC низкая по всем временным лагам, то два сигнала необходимо выровнять вручную.
Рисунок 3: Выравнивание данных на основе жестов. В верхней половине рисунка показан графический интерфейс ручного выравнивания после выравнивания трех потоков данных. Синяя линия — это данные акселерометрии смарт-часов, оранжевая линия — данные акселерометрии из INS, а зеленая линия — это 2D-положение кончика среднего пальца правой руки с одной веб-камеры. В правом верхнем углу показано смещение между реальным временем смарт-часов и INS, а также различные предупреждающие флажки для обозначения любых возникающих проблем. В этом примере INS опережала умные часы на 20,8 с. Нижний левый график увеличен, чтобы показать пять пункций грудной клетки, выполненных пациентом для выравнивания данных. Пять пиков достаточно четкие в каждом потоке данных, чтобы обеспечить правильное выравнивание. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Проектирование и развертывание прототипа платформы
Мы разработали прототип платформы и развернули ее на дому у одного пациента (рис. 1). После первой установки оборудования в доме платформа может поддерживаться, а данные собираются полностью через удаленный доступ. Устройства INS, смарт-часы и камеры имеют приложения, ориентированные на пациента, позволяющие пациентам начинать и останавливать запись. Оборудование для сбора видео позволяет осуществлять автоматическую запись видео после настройки утвержденного расписания. Пациенты могут легко отменить текущую запись, просто нажав кнопку в графическом интерфейсе приложения для видеозаписи (рис. 2). Все собранные данные были зашифрованы и переданы в облачное хранилище для обработки и анализа исследователями.
Сбор данных
В первых циклах развертывания и сбора данных мы просили пациента самостоятельно выполнять клинические задачи. Задания были взяты из единой шкалы оценки болезни Паркинсона (UPDRS)26, а именно: тремор в состоянии покоя, постукивание большим и указательным пальцами, открывание и закрывание кисти, супинация запястья, движение и ходьба из сидячего положения в стоячее, а также задание на набор текста. Все задания повторялись трижды за каждый день записи. Для каждого повторения была установлена разная амплитуда стимуляции, чтобы выявить потенциальные симптомы болезни Паркинсона, связанные со стимуляцией. На рисунке 4 показан схематизированный пример того, как может выглядеть неделя данных, собранных с помощью системы.
Рисунок 4: Доступность данных. Схематизированная демонстрация того, как могут выглядеть данные, собранные с помощью системы, за неделю. На верхнем графике показан уровень стимуляции (синий) в течение нескольких циклов дня и ночи. Изменения стимуляции у этого пациента зависят от режима сна и времени приема лекарств (вертикальные красные линии). В произвольное время в течение дня система сбора данных может быть включена удаленно для сбора данных для нескольких модальностей, показанных в виде цветных прямоугольников. Один из примеров всех параллельных, выровненных по времени потоков данных, просто выделенных вниз в левой части тела, показан на нижнем графике. Во время этой записи пациента попросили провести серию клинических оценок в условиях низкой, терапевтической и высокоамплитудной стимуляции. Все данные, показанные здесь, соответствуют реальным собранным данным, но были сжаты по отдельным экспериментам для простоты визуализации и демонстрации разнообразия. Сокращения: LFP=потенциал локального поля, STN=субталамическое ядро, Accel = акселерометр, Gyro=гироскоп, 2D = двумерный. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.
Ручное выравнивание
Графический интерфейс для ручного выравнивания представляет собой простую в использовании платформу для выравнивания нескольких потоков данных. Как показано на рисунке 3, постукивание по нагрудной клетке обеспечивает четко идентифицируемый артефакт во всех модальностях данных (INS, смарт-часы, видео), которые можно использовать при ручном выравнивании. Графический интерфейс был полезным средством выравнивания данных, но его можно было заменить на любой другой инструмент выравнивания, который исследователи хотели бы использовать. В некоторых случаях потоки данных имеют небольшой дрейф. Потенциальным будущим решением этой проблемы может стать разделение данных сеанса на различные испытания, каждое из которых будет иметь свою собственную последовательность постукивания в грудь. Каждое испытание может быть индивидуально согласовано, чтобы свести к минимуму влияние дрейфа.
Выравнивание по времени с нулевой нормализованной взаимной корреляцией (ZNCC)
Метод для ZNCC в некоторых случаях работает хорошо, но у него есть несколько критических уязвимостей. Например, для некоторых движений два сигнала акселерометра могут быть сдвинуты по фазе относительно друг друга. Если в анализируемые эпохи включены как фазовое, так и фазово сдвинутое движение, то ZNCC может иметь как множественный, так и отсутствующий явный пик. Нормализация ZNCC позволяет автоматически идентифицировать эти выравнивания и отбрасывать их по мере необходимости. Этот метод работает лучше всего, если оба сигнала относительно свободны от шума и относятся к эпохе с большими синхронизированными эффектами в обеих трассах. Наилучшие результаты были достигнуты, когда пациента попросили выполнить серию сильных постукиваний обеими руками по груди. На практике, однако, ручная проверка автоматического выравнивания была необходима в достаточном количестве случаев, чтобы преимущество использования автоматизированного метода было незначительным.
Качество данных
Потери данных во время автоматической передачи были незначительными, поскольку протокол передачи данных создает резервные копии необработанных копий, чтобы гарантировать, что любые потери могут быть восстановлены. Потеря данных из-за проблем с подключением происходила регулярно, поскольку Bluetooth и радиочастоты иногда имеют неожиданные обрывы соединения и ограниченный радиус действия. Короткие промежутки до 2 секунд происходили примерно несколько раз в час, а более длительные промежутки до 2 минут происходили примерно раз в пару часов. Помимо потери данных, в нейронных данных наблюдались значительные артефакты стимуляции, тяжесть которых зависела от записи и выбранных групп стимуляции. Самые крупные артефакты встречаются вблизи частоты стимуляции, далеко за пределами интересующих диапазонов. Никаких артефактов в данных с умных часов обнаружено не было. Видео записывались с постоянной частотой кадров; Однако на видео были выявлены дубликаты кадров. Это привело к тому, что фактическая частота кадров была на несколько кадров меньше, чем теоретическая частота кадров, указанная в спецификациях веб-камеры. Однако более заметными, чем дублирующиеся кадры, были периоды замораживания, которые были выявлены на видео с различными интервалами в зависимости от дня записи. Регулярно наблюдались периоды замораживания примерно 10 кадров и менее; Тем не менее, более длинные участки продолжительностью от 2 до 30 секунд также наблюдались при нерегулярных периодах.
Лонгитюдный сбор данных
В таблице 1 приведены данные, которые прототип платформы периодически собирал в течение 1,5 лет. За это время были собраны сотни часов данных, в общей сложности 293 часа данных INS с обеих сторон тела, 224 часа данных смарт-часов для обоих часов и 2037 часов видеоданных с трех веб-камер. Это демонстрирует, что платформа поддерживает сбор данных в домашних условиях в течение длительных периодов времени, предлагая редкую возможность наблюдать за долгосрочными изменениями нейронных данных и соответствующими требованиями к стимуляции.
| Тип данных | Общая продолжительность (чч:мм:сс) | Всего дней | Размер хранилища |
| Невральный | 293:17:33 | 90 | 28,94 ГБ |
| Часы | 224:06:05 | 89 | 35,67 ГБ |
| Видео | 2037:06:11 | 228 | 146 073,77 ГБ |
Таблица 1: Лонгитюдный обзор собранных данных. Развернутая платформа собирала данные в ходе нескольких экспериментов в течение 1,5 лет. Было записано около 90 дней, в течение которых собирались нейронные потоки, потоки данных видео и смарт-часов.
Оценки 2D и 3D поз
В настоящее время доступно несколько пакетов программного обеспечения для оценки позы. Оценка позы была протестирована с помощью OpenPose, программного пакета с открытым исходным кодом21. Он был успешно установлен в соответствии с документацией, предоставленной GitHub организации, а также многими другими неофициальными руководствами, найденными в Интернете. Время обработки OpenPose значительно варьируется в зависимости от того, как установлена библиотека OpenPose и ее обширные зависимости, от размера используемого графического процессора и от того, обрабатываются ли необязательные ключевые точки рук и лица. 2D-поза была относительно проста в реализации, однако 3D-поза была заметно сложнее, и предварительные 3D-результаты давали нестабильное качество, равное 2D-позе. На некачественную оценку 3D-позы могли негативно повлиять неоптимальная калибровка камеры, периоды, когда автофокусировка камеры была ошибочно включена, или присущие самому программному обеспечению OpenPose. Тем не менее, синхронизированные высококачественные видео с разных ракурсов могут предоставить богатые входные данные для различных доступных программных пакетов для оценки позы. Рекомендуется проводить тестирование вне дома пациента с ручным сопоставительным анализом различных доступных пакетов программного обеспечения для оценки позы.
Дополнительный рисунок 1: Анализ задержки видеокадра. Задержки в временных метках, сгенерированных приложением для записи видео, были обнаружены во время определения характеристик системы. Чтобы выяснить причину задержек, номер кадра и временная метка, сгенерированные каждой камерой, были определены путем записи красного светодиода, который мигал через случайные промежутки времени, а затем были вычислены вариации задержек меток времени между камерами. (Наверх) Интенсивность светодиодов (в единицах RGB), измеренная на каждой из трех камер, демонстрирующая временные смещения, наблюдаемые между тремя камерами (обозначены красными стрелками). (Внизу) Три графика показывают задержки между временными метками между камерами в количестве кадров для серии миганий светодиодов на протяжении всей записи. Каждая запись была разбита на несколько сегментов, и задержка кадров была примерно постоянной с течением времени. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Дополнительный файл 1: Метод анализа видеокадров и меток времени. Пожалуйста, нажмите здесь, чтобы скачать этот файл.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Мы делимся дизайном домашнего прототипа мультимодальной платформы сбора данных для поддержки будущих исследований в области нейромодуляции. Конструкция имеет открытый исходный код и модульную структуру, так что любое оборудование может быть заменено, а любой программный компонент может быть обновлен или изменен без разрушения всей платформы. В то время как методы сбора и обезличивания нейронных данных специфичны для выбранных INS, остальные методы и общий подход к сбору поведенческих данных не зависят от того, какое имплантируемое устройство используется. Мы развернули платформу в доме человека с болезнью Паркинсона и собирали данные как в экспериментальный, так и в натуралистический периоды. В ходе развертывания, сбора данных и последующей обработки данных было обнаружено несколько аспектов, которые были особенно важны для обеспечения успешных итераций исследований.
Ценным членом нашей команды был координатор исследований, который выезжал домой к пациенту, чтобы установить оборудование, настроить VPN, выполнить калибровку камеры для 3D-позы и рассказать пациенту о том, как использовать графический интерфейс каждого устройства, обращенный к пациенту. Важно отметить, что координатор исследования дополнительно служил основным контактным лицом между пациентом и исследовательской группой. Пациент предпочитал использовать функцию чата по электронной почте для быстрой отправки сообщений туда и обратно. Наличие постоянного и доступного контактного лица было особенно полезно по двум причинам:
Установить привычный канал связи для пациента, чтобы он мог запрашивать изменения в запланированных записях и сообщать о любых трудностях в использовании системы. Это помогло координатору исследования определить удобное для пациента время для проведения записывающих экспериментов. Основная сложность в использовании системы заключалась в необходимости следить за временем автономной работы нескольких устройств.
Чтобы устранение неполадок системы было минимально мешающим для пациента. Большинство неполадок было связано с проблемами с подключением к сети, которые возникали в среднем раз в две недели. В то время как перезагрузка устройств обычно решала эти проблемы, часы часто требовали многократных перезапусков, что, по словам пациента, было обременительно.
Важно обеспечить надежный удаленный доступ к оборудованию, размещенному в доме пациента. Для этого очень важно иметь стабильное подключение к Интернету. Кроме того, необходимо настроить машину, зашифрованную на диске, для автоматической разблокировки при каждой перезагрузке. Неудивительно, что кабель Ethernet неизменно обеспечивал самые быстрые и надежные сетевые соединения. Менее ожидаемой была необходимость настройки чипа TPM, необходимая из-за выбора Linux в качестве ОС. Если используется ОС Windows, программа Bitlocker позаботится об этом автоматически. Наконец, настройка развернутого ПК на автоматическое включение VPN и повторное монтирование жесткого диска после перезагрузки системы обеспечила непрерывный удаленный доступ без необходимости многократного повторного посещения дома пациента. Включение VPN и протокола шифрования данных в конструкцию платформы имело решающее значение для безопасности и целостности данных. VPN позволяет подключать сеть компьютеров без необходимости настройки пользовательской переадресации портов на частном маршрутизаторе пациента. Протокол шифрования данных с открытым исходным кодом Rclone обеспечивает готовое шифрование данных и легко автоматизируемые средства передачи данных с устройств пациента в облачное хранилище18. Протокол шифрования данных создает резервные копии необработанных данных на этапах передачи данных, чтобы гарантировать возможность возмещения потерь. Эти шаги гарантировали, что личные данные пациента будут защищены и не повреждены.
Чтобы иметь возможность проводить значимый анализ данных, важно, чтобы данные, собранные с нескольких устройств, были выровнены по времени. Часы на каждом устройстве, скорее всего, не идеально настроены на обычное время в Интернете, даже если производители предполагают, что это так. Кроме того, некоторые устройства могут испытывать дрейф в непредсказуемое время, изменяя свои смещения относительно других устройств. Это создает трудности в работе над полностью автоматизированными адаптивными алгоритмами в режиме реального времени, и будущие исследования должны будут тщательно обдумывать решения этой проблемы. Исследованы методы автоматического выравнивания с использованием нормализованной взаимной корреляции. Во многих случаях это работает достаточно хорошо; Однако дрейфы во времени должны быть минимальными, а данные должны содержать четко идентифицируемые сигналы. Поскольку наблюдался как большой дрейф, так и периоды, когда данные содержали слишком много шума или потери пакетов, полностью полагаться на этот полностью автоматизированный метод нельзя. Чтобы свести к минимуму нагрузку на ручное выравнивание данных, мы создали простой графический интерфейс, позволяющий исследователям визуально проверять потоки данных с относительной легкостью и быстротой.
Включение видеоданных в систему позволяет клиницистам измерять тяжесть симптомов с помощью дистанционного наблюдения, а исследователи могут получать метки событий. Кроме того, оценки поз могут быть рассчитаны на основе видео в качестве непрерывного показателя качества движения, например, измерения скорости и плавности движений пальцев с течением времени. Однако для сбора видео в высоком разрешении с нескольких камер требуется много места для хранения. Например, для сбора 8 часов видео 4K в формате MJPEG с трех камер требуется примерно 0,5 ТБ дискового пространства. Запись и хранение больших объемов данных быстро становятся дорогостоящими, что создает экономические препятствия для развертывания этой системы для многих пациентов. Для того, чтобы такие платформы можно было масштабировать для большого количества пациентов, будущим разработчикам систем необходимо сократить объем данных, необходимых для долгосрочного хранения. В будущих системах следует рассмотреть возможность включения обработки поз в режиме реального времени, чтобы видео можно было оперативно удалять после обработки позы. Поза в реальном времени также может обеспечить обратную связь о мелкой моторике в алгоритмах с обратной связью, что выходит за рамки данной работы. Если необходимо сохранить какие-либо видеоданные для обзора врача или маркировки событий, их можно понизить до более низкого разрешения, прежде чем они будут сохранены в облачном хранилище.
Наконец, для эффективного устранения недостатков проектирования и ошибок реализации, которые неизбежно возникают при построении интегрированной системы, приобретение копии оборудования, которое будет развернуто для использования в качестве испытательного стенда, чрезвычайно ценно. Это справедливо и для тестирования аппаратного и программного обеспечения, которое было выбрано для сбора видео и обработки данных о позах. Весь процесс получения видео и оценок поз как в 2D, так и в 3D-пространстве оказался значительно сложнее, чем ожидалось. Испытательный стенд позволяет проводить поиск и устранение неисправностей и стресс-тестирование ряда важных этапов перед развертыванием, в том числе:
Правильная калибровка камер в рамках ограничений планировки данного помещения.
Определение подходящего разрешения видео и частоты кадров для поддержки высококачественной оценки позы. Для небольших помещений или офисных помещений записи HD-видео, вероятно, будет достаточно, так как размер людей на записанном видео достаточно велик, чтобы позу можно было легко вычислить, требуя при этом значительно меньше места для хранения, чем видео 4K.
Обнаружение ошибок в записанных видео, таких как зависание кадров или временные задержки между последовательно записанными видеофайлами.
Раскрытие неожиданных программных настроек по умолчанию, таких как сброс автофокусировки камеры при перезагрузке компьютера, что сводит на нет преимущества калибровки камеры.
Метод проб и ошибок, чтобы найти совместимые версии программных библиотек, которые должны быть предустановлены, чтобы OpenPose мог работать на графическом процессоре среднего размера.
Особым ограничением этой работы является развертывание платформы в одном пилотном исследовании на дому у одного человека, что не позволяет нам обнаружить какие-либо кросс-участники. Тем не менее, на протяжении всего процесса проектирования и разработки система была спроектирована таким образом, чтобы быть масштабируемой и поддерживать несколько развертываний для поддержки удаленных исследований, и целью этого пилотного исследования было установление технологической осуществимости сложной платформы мониторинга на дому. Модификация этого пилотного проекта на основе некоторых из обсуждаемых важных выводов и развертывание платформы в большем количестве домов позволит усовершенствовать дизайн для поддержки будущих исследований в области домашних аБДС. Кроме того, сбор данных в дополнительные моменты времени, когда человек не выполняет заранее определенные эксперименты, позволит получить информацию для улучшения анализа и общей эффективности терапии. aDBS может быть предпочтительным методом лечения неврологических заболеваний, включая болезнь Паркинсона, по сравнению с обычным DBS, который может иметь неприемлемые побочные эффекты. Для того, чтобы сделать эту важную терапию доступной для многих людей, необходимо автоматизировать настройку параметров и проанализировать эффективность терапии за пределами клиники с течением времени. Платформа обеспечивает новый подход к сбору данных с домашней видеокамеры, смарт-часов, нейронной записи и отчетов пациентов во время экспериментальной и естественной деятельности, не выходя из дома. Эта система будет способствовать дальнейшему созданию новых мультимодальных наборов данных для поддержки будущих открытий в области лечения неврологических заболеваний15.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
У авторов нет конфликта интересов, который можно было бы раскрыть.
Acknowledgments
Этот материал основан на работе, поддержанной Программой стипендий для аспирантов Национального научного фонда (DGE-2140004), Weill Neurohub и Национальным институтом здравоохранения (UH3NS100544). Любые мнения, выводы, выводы или рекомендации, выраженные в этом материале, принадлежат автору (авторам) и не обязательно отражают точку зрения Национального научного фонда, Weill Neurohub или Национального института здравоохранения. Мы благодарим Тяньцзяо Чжана за экспертные консультации по дизайну платформы и внедрению видеоданных. Мы особенно благодарим пациента за участие в этом исследовании, а также за отзывы и советы по сетевой безопасности и проектированию платформы.
Materials
| Name | Company | Catalog Number | Comments |
| Analysis RCS Data Processing | OpenMind | https://github.com/openmind-consortium/Analysis-rcs-data, open-source | |
| Apple Watches | Apple, Inc | Use 2 watches for each patient, one on each wrist | |
| BRIO ULTRA HD PRO BUSINESS WEBCAM | Logitech | 960-001105 | Used 3 in our platform design |
| DaVinci Resolve video editing software | DaVinci Resolve | used to support camera calibration | |
| Dell XPS PC | Dell | 2T hard disk drive, 500GB SSD | |
| Dropbox | Dropbox | ||
| ffmpeg | N/A | open-source, install to run the Video Recording App | |
| Gooseneck mounts for webcams | N/A | ||
| GPU | Nvidia | A minimum of 8GB GPU memory is recommended to run OpenPose, 12GB is ideal | |
| Java 11 | Oracle | Install to run the Video Recording App | |
| Microsoft Surface tablet | Microsoft | ||
| NoMachine | NoMachine | Ideal when using a Linux OS, open-source | |
| OpenPose | N/A | open-source | |
| Rclone file transfer program | Rclone | Encrypts data and copies or moves data to offsite storage, open-source | |
| StrivePD app | RuneLabs | We installed the app on the Apple Watches to start recordings and upload data to an online portal. | |
| Summit RC+S neuromodulation system | Medtronic | For investigational use only | |
| touchscreen-compatible monitor | N/A | ||
| Video for Linux 2 API | The Linux Kernel | Install if using a Linux OS for video recording | |
| Wasabi | Wasabi | Longterm cloud data storage | |
| WireGuard VPN Protocol | WireGuard | open-source |
References
- World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
- Herrington, T. M., Cheng, J. J., Eskandar, E. N.
- Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
- Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
- Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
- Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
- Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
- Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
- Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
- Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046 (2021).
- Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
- Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
- Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
- Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
- Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
- Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
- etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
- Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
- Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401 (2021).
- Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
- Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
- Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
- Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398 (2021).
- Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
- ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
- Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).
