Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.

Методическая статья

Возвращение клиники домой: мультимодальная экосистема сбора данных на дому для поддержки адаптивной глубокой стимуляции мозга

2.3K просмотров

⸱

DOI:

10.3791/65305

⸱

14 июля 2023 г.

 ,  ,  ,  ,  ,  ,  ,  ,  , 
1Computer Science and Engineering, University of Washington, 2Neuroscience, University of Washington, 3Neurology, University of California, San Francisco, 4Bioengineering, University of Washington, 5Bioengineering, University of California, Berkeley, 6Biophysics, University of California, Berkeley, 7Psychology, University of California, Berkeley, 8Neurological Surgery, University of Washington

В этой статье

Краткое содержание

Протокол демонстрирует прототип домашней мультимодальной платформы сбора данных, которая поддерживает исследования, оптимизирующие адаптивную глубокую стимуляцию мозга (aDBS) для людей с неврологическими двигательными расстройствами. Мы также представляем основные результаты развертывания платформы в течение более года в доме человека с болезнью Паркинсона.

Аннотация

Адаптивная глубокая стимуляция мозга (aDBS) обещает улучшить лечение неврологических расстройств, таких как болезнь Паркинсона (БП). aDBS использует биомаркеры, связанные с симптомами, для корректировки параметров стимуляции в режиме реального времени для более точного таргетирования симптомов. Чтобы включить эти динамические корректировки, параметры алгоритма aDBS должны быть определены для каждого отдельного пациента. Это требует трудоемкой ручной настройки со стороны клинических исследователей, что затрудняет поиск оптимальной конфигурации для одного пациента или масштабирование для многих пациентов. Кроме того, долгосрочная эффективность алгоритмов aDBS, настроенных в клинике, когда пациент находится дома, остается открытым вопросом. Для реализации этой терапии в больших масштабах необходима методология автоматической настройки параметров алгоритма aDBS при удаленном мониторинге результатов терапии. В этой статье мы поделимся проектом платформы для сбора данных в домашних условиях, чтобы помочь в решении обеих проблем. Платформа состоит из интегрированной аппаратной и программной экосистемы с открытым исходным кодом, которая позволяет собирать нейронные, инерциальные и многокамерные видеоданные в домашних условиях. Чтобы обеспечить конфиденциальность данных, идентифицирующих пациента, платформа шифрует и передает данные через виртуальную частную сеть. Эти методы включают в себя выравнивание потоков данных по времени и извлечение оценок поз из видеозаписей. Чтобы продемонстрировать использование этой системы, мы развернули эту платформу в доме человека с болезнью Паркинсона и собирали данные во время самостоятельных клинических задач и периодов свободного поведения в течение 1,5 лет. Данные регистрировали при субтерапевтических, терапевтических и супратерапевтических амплитудах стимуляции для оценки тяжести двигательных симптомов при различных терапевтических условиях. Эти данные, согласованные по времени, показывают, что платформа способна синхронизировать мультимодальный сбор данных в домашних условиях для терапевтической оценки. Эта системная архитектура может быть использована для поддержки автоматизированных исследований aDBS, сбора новых наборов данных и изучения долгосрочных эффектов DBS-терапии за пределами клиники для людей, страдающих неврологическими расстройствами.

Введение

Глубокая стимуляция мозга (DBS) лечит неврологические расстройства, такие как болезнь Паркинсона (БП), путем подачи электрического тока непосредственно в определенные области мозга. По оценкам, во всем мире насчитывается 8,5 миллиона случаев болезни Паркинсона, и DBS зарекомендовала себя как важнейшая терапия, когда лекарств недостаточно для купирования симптомов 1,2. Однако эффективность DBS может быть ограничена побочными эффектами, которые иногда возникают при стимуляции, которая обычно проводится с фиксированной амплитудой, частотой и длительностью импульса3. Эта реализация с разомкнутым контуром не реагирует на колебания состояния симптомов, что приводит к тому, что настройки стимуляции не соответствуют изменяющимся потребностям пациента. Кроме того, DBS затрудняется трудоемким процессом настройки параметров стимуляции, который в настоящее время выполняется клиницистами вручную для каждого отдельного пациента.

Адаптивный DBS (aDBS) — это подход с замкнутым циклом, который показал свою эффективность в следующей итерации DBS путем корректировки параметров стимуляции в режиме реального времени при обнаружении биомаркеров, связанных с симптомами 3,4,5. Исследования показали, что бета-колебания (10-30 Гц) в субталамическом ядре (STN) происходят последовательно во время брадикинезии, замедления движения, характерного для PD 6,7. Точно так же известно, что осцилляции высокого гамма-излучения (50-120 Гц) в коре головного мозга происходят в периоды дискинезии, чрезмерного и непроизвольного движения, которое также часто наблюдается при БП8. В недавних работах было успешно проведено проведение aDBS за пределами клиники в течение длительных периодов времени, однако долгосрочная эффективность алгоритмов aDBS, которые были настроеныв клинике, когда пациент находится дома, не была установлена.

Дистанционные системы необходимы для того, чтобы зафиксировать изменяющуюся во времени эффективность этих динамических алгоритмов в подавлении симптомов, возникающих в повседневной жизни. В то время как подход динамической стимуляции aDBS потенциально позволяет проводить более точное лечение с меньшим количеством побочных эффектов3,9, aDBS по-прежнему страдает от высокой нагрузки на клиницистов, которые вручную определяют параметры стимуляции для каждого пациента. В дополнение к уже большому набору параметров для программирования во время обычной DBS, алгоритмы aDBS вводят много новых параметров, которые также должны быть тщательно скорректированы. Такая комбинация параметров стимуляции и алгоритма дает обширное пространство параметров с неуправляемым числом возможных комбинаций, что не позволяет масштабировать aDBS на многих пациентов10. Даже в исследовательских условиях дополнительное время, необходимое для настройки и оценки систем aDBS, затрудняет адекватную оптимизацию алгоритмов исключительно в клинике, и требуется удаленное обновление параметров. Чтобы сделать aDBS лечением, которое можно масштабировать, стимуляция и настройка параметров алгоритма должны быть автоматизированы. Кроме того, результаты терапии должны быть проанализированы в ходе повторных исследований, чтобы установить, что aDBS является жизнеспособным долгосрочным лечением вне клиники. Существует потребность в платформе, которая может собирать данные для удаленной оценки эффективности терапии, а также для удаленного развертывания обновлений параметров алгоритма aDBS.

Цель этого протокола — обеспечить многоразовую конструкцию мультимодальной платформы сбора данных на дому для повышения эффективности aDBS за пределами клиники и позволить масштабировать это лечение на большее количество людей. Насколько нам известно, это первая платформа для сбора данных, которая дистанционно оценивает терапевтические результаты с помощью домашних видеокамер, носимых датчиков, записи хронических нейронных сигналов и обратной связи с пациентом для оценки систем aDBS во время контролируемых задач и натуралистического поведения.

Платформа представляет собой экосистему аппаратных и программных компонентов, построенных на ранее разработанных системах5. Он полностью обслуживается через удаленный доступ после первоначальной установки минимального оборудования, чтобы обеспечить мультимодальный сбор данных от человека, не выходя из дома. Ключевым компонентом является имплантируемая система нейростимуляции (INS)11 , которая определяет нейронную активность и доставляет стимуляцию в STN, а также регистрирует ускорение от грудных имплантатов. Для имплантата, используемого при первоначальном развертывании, нейронная активность регистрируется с помощью билатеральных отведений, имплантированных в STN, и с электродов электрокортикографии, имплантированных в моторную кору. Система видеозаписи помогает врачам контролировать тяжесть симптомов и эффективность терапии, которая включает в себя графический пользовательский интерфейс (GUI), позволяющий легко отменять текущие записи для защиты конфиденциальности пациентов. Видео обрабатываются для извлечения кинематических траекторий положения в двух измерениях (2D) или трехмерных (3D), а смарт-часы надеваются на оба запястья для сбора информации об угловой скорости и ускорении. Важно отметить, что все данные шифруются перед передачей в долгосрочное облачное хранилище, а доступ к компьютеру с видеозаписями, позволяющими идентифицировать пациента, можно получить только через виртуальную частную сеть (VPN). Система включает в себя два подхода для выравнивания всех потоков данных по времени, и данные используются для удаленного мониторинга качества движений пациента, а также для выявления биомаркеров, связанных с симптомами, для уточнения алгоритмов aDBS. Видеочасть этой работы показывает процесс сбора данных и анимацию кинематических траекторий, извлеченных из собранных видео.

При разработке протокола учитывался ряд конструктивных соображений:
Обеспечение безопасности данных и конфиденциальности пациентов: Сбор идентифицируемых данных о пациентах требует особой осторожности при передаче и хранении, чтобы соответствовать Закону о преемственности и подотчетности медицинского страхования (HIPAA)12,13 соблюдать требования и уважать частную жизнь пациента в его собственном доме. В данном проекте это было достигнуто путем настройки пользовательского VPN для обеспечения конфиденциальности всего конфиденциального трафика между системными компьютерами.
Границы безопасности параметров стимуляции: Очень важно убедиться, что пациент остается в безопасности при тестировании алгоритмов aDBS, которые могут иметь непредвиденные эффекты. ИНС пациента должна быть настроена врачом таким образом, чтобы иметь безопасные границы параметров стимуляции, которые не допускают небезопасных эффектов от чрезмерной или недостаточной стимуляции. С системой INS11 Эта функция, используемая в данном исследовании, включена программистом-клиницистом.
Обеспечение права вето пациента: Даже в пределах безопасных параметров ежедневная вариабельность симптомов и реакций на стимуляцию может привести к неприятным ситуациям для пациента, когда ему не нравится тестируемый алгоритм и он хочет вернуться к нормальному клиническому DBS с открытым контуром. Выбранная система INS включает в себя модуль телеметрии пациента (PTM), который позволяет пациенту вручную изменять группу стимуляции и амплитуду стимуляции в мА. Существует также исследовательское приложение, подключенное к INS, которое используется для удаленной настройки INS перед сбором данных14, что также позволяет пациенту прервать испытания aDBS и контролировать их терапию.
Фиксация сложного и естественного поведения: Видеоданные были включены в платформу, чтобы позволить клиницистам удаленно контролировать эффективность терапии и извлекать кинематические траектории из оценок поз для использования в исследованиях15. Несмотря на то, что носимые датчики менее навязчивы, трудно охватить весь динамический диапазон движений всего тела, используя только носимые системы. Видео позволяет одновременно записывать полный диапазон движений пациента и его симптомы с течением времени.
Удобство использования системы для пациентов: Сбор мультимодальных данных на дому требует установки и использования нескольких устройств в доме пациента, что может стать обременительным для пациентов. Чтобы сделать систему простой в использовании и при этом обеспечить контроль над пациентом, перед началом записи необходимо вручную включать только те устройства, которые имплантированы или физически прикреплены к пациенту (в данном случае это система INS и смарт-часы). Для устройств, которые находятся отдельно от пациента (в данном случае это данные, записанные с видеокамер), запись начинается и заканчивается автоматически, не требуя какого-либо вмешательства пациента. При проектировании графического интерфейса мы старались свести к минимуму количество кнопок и избежать глубоких деревьев меню, чтобы взаимодействие было простым. После того, как все устройства установлены, координатор исследований показал пациенту, как взаимодействовать со всеми устройствами с помощью графических интерфейсов, которые являются частью каждого устройства, например, как прервать запись на любом устройстве и как ввести историю приема лекарств и отчеты о симптомах.
Прозрачность сбора данных: Необходимо четко указать, когда камеры включены, чтобы люди знали, когда их записывают, и могли приостановить запись, если им нужен момент уединения. Для этого используется системное приложение для управления видеозаписями с графическим интерфейсом, ориентированным на пациента. Графический интерфейс автоматически открывается при запуске приложения и перечисляет время и дату следующей запланированной записи. Когда запись продолжается, появляется сообщение о том, когда запланировано ее окончание. В центре графического интерфейса отображается большое изображение красного света. На изображении видно, что свет ярко горит, когда идет запись, и меняется на неосвещенное изображение, когда запись выключена.

В протоколе подробно описаны методы проектирования, создания и развертывания домашней платформы сбора данных, проверки качества собранных данных на полноту и надежность, а также постобработки данных для использования в будущих исследованиях.

figure-introduction-1
Рисунок 1: Поток данных. Данные для каждого метода собираются независимо от места жительства пациента, а затем обрабатываются и агрегируются в единую конечную точку удаленного хранения. Данные для каждой модальности автоматически отправляются в конечную точку удаленного хранилища. Затем с помощью одного из членов команды его можно извлечь, проверить на валидность, выровнять по времени в разных модальностях, а также подвергнуть предварительной обработке, более специфичной для конкретной модальности. Затем скомпилированный набор данных загружается в конечную точку удаленного хранилища, к которой все члены команды могут получить безопасный доступ для дальнейшего анализа. Все компьютеры с доступом к данным, особенно к конфиденциальным данным, таким как необработанное видео, заключены в VPN, который обеспечивает безопасную передачу всех данных и постоянное шифрование сохраненных данных. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

Пациенты участвуют в более крупном исследовании, одобренном IRB и IDE, в Калифорнийском университете в Сан-Франциско, протокол # G1800975. Пациентка, включенная в это исследование, дополнительно предоставила информированное согласие именно на это исследование.

1. Компоненты домашней системы

  1. Центральный сервер и VPN
    1. Приобретите персональный компьютер (ПК) под управлением операционной системы (ОС) на базе Linux, предназначенную для обслуживания VPN. Разместите машину в безопасном помещении. Зашифруйте диск машины, чтобы обеспечить безопасность данных.
    2. Настройте VPN-сервер так, чтобы он был общедоступным хотя бы на одном порту.
      ПРИМЕЧАНИЕ: В данном случае это было достигнуто благодаря сотрудничеству с ИТ-отделом, чтобы предоставить серверу внешний статический IP-адрес и пользовательский URL-адрес с помощью вариантов размещения DNS в университете.
    3. Для установки сервера выполните следующие действия один раз на компьютере, выбранном для обслуживания VPN.
      1. Настройка брандмауэра: Выполните следующие команды в терминале ПК, чтобы установить и настроить несложный брандмауэр:
        sudo apt install ufw
        sudo ufw разрешить ssh
        sudo ufw разрешить <номер-порта>/udp
        sudo ufw enable
      2. Установка VPN на сервере: установите протокол WireGuard VPN16 с открытым исходным кодом на ПК и перейдите в каталог установки. В терминале ПК запустите umask 007 для обновления правил доступа к каталогам.
      3. Генерация ключа: В терминале ПК выполните
        РГ Генкей | Закрытый ключ тройника | WG pubkey > публичный ключ
        При этом генерируется пара открытого и закрытого ключей для VPN-сервера. Этот открытый ключ будет передан любому клиентскому компьютеру, который подключается к VPN.
      4. Конфигурация VPN: В терминале ПК запустите touch .conf для создания конфигурационного файла, где имя файла должно совпадать с именем интерфейса. Вставьте в этот файл следующие серверные правила:
        [Интерфейс]
        PrivateKey = <содержимое-закрытого-ключа-сервера>
        Адрес = ##.#.#.#/ ##
        PostUp = iptables -A FORWARD -i interface_name -j ACCEPT; iptables -t nat -A POSTROUTING -o network_interface_name -j MASQUERADE
        PostDown = iptables -D FORWARD -i interface_name -j ACCEPT; iptables -t nat -D POSTROUTING -o network_interface_name -j MASQUERADE
        ListenPort = #####
        [Сверстник]
        PublicKey = <содержимое-клиентского-публичного ключа>
        Разрешенные IP-адреса = ##.#.#.#/ ##
      5. Активация VPN: Запустите VPN, введя в терминале wg-quick up . Чтобы VPN-протокол автоматически запускался при перезагрузке ПК, выполните в терминале следующую команду:
        systemctl enable wg-quick@
    4. Для установки клиента выполните следующие действия для каждого нового компьютера, которому требуется доступ к VPN.
      1. Установка VPN клиента: установите VPN-протокол в соответствии с инструкциями для конкретной ОС на странице загрузки WireGuard16 .
      2. Добавление клиента в VPN: Возьмите публичный ключ из конфигурационного файла, сгенерированного во время установки. Вставьте этот ключ в секцию peer конфигурационного файла сервера.
      3. Активация VPN: Запустите VPN в соответствии с инструкциями для конкретной ОС на странице загрузки WireGuard16 .
  2. Облачное хранилище
    1. Выберите облачное хранилище, чтобы все записанные потоки данных хранились в течение длительного времени в одном месте. Здесь использовалось облачное хранилище на базе веб-сервиса Amazon, совместимое с выбранным протоколом передачи данных.
  3. Имплантируемая система нейромодуляции
    1. Следуя рекомендациям IRB и IDE, выберите имплантируемую систему нейромодуляции (INS)11 , которая позволяет пациентам вручную изменять настройки стимуляции.
    2. Приобретите планшетный ПК и установите приложение UCSF DBS с открытым исходным кодом, позволяющее записывать INS, сообщать о лекарствах и симптомах или любых других комментариях пациента14. Настройте данные INS, передаваемые в потоковом режиме на планшет, для отправки во временную конечную точку облачного хранилища, совместимую с HIPPA, для временного хранения перед деидентификацией данных и выгрузкой их в долгосрочное облачное хранилище.
  4. Система сбора видео
    1. Приобретите ПК, способный собирать и хранить желаемое количество видеофайлов перед их передачей в облачное хранилище. Убедитесь, что материнская плата ПК оснащена микросхемой доверенного платформенного модуля (TPM).
      ПРИМЕЧАНИЕ: В данном случае был выбран ПК с твердотельным накопителем емкостью 500 ГБ, жестким диском емкостью 2 ТБ и графическим процессором емкостью 6 ГБ. Диск емкостью 2 ТБ гарантирует, что видео может быть буферизовано после длительной сессии записи или в случае потери подключения к Интернету на пару дней, в то время как один ПК обеспечивает минимальное вмешательство оборудования в доме.
    2. Установите нужную ОС и следуйте инструкциям, чтобы включить автоматическое шифрование диска, чтобы обеспечить конфиденциальность пациента и избежать утечки данных. В данном случае была выбрана ОС на базе Linux с дистрибутивом Ubuntu из-за простоты использования и надежности.
    3. Отдельно зашифруйте все жесткие диски после установки ОС. Не забудьте включить автоматическое повторное монтирование дисков при перезагрузке системы.
    4. Настройте встроенную микросхему TPM компьютера для сохранения доступа к компьютеру, зашифрованному на диске, после перезагрузки системы17.
      ПРИМЕЧАНИЕ: Если вы используете ОС Linux, обязательно выберите материнскую плату с установленным чипом TPM2, чтобы включить этот шаг. Если используется ОС Windows, автоматическое шифрование диска и разблокировка могут выполняться программой Bitlocker.
    5. Настройте ПК в качестве VPN-клиента, выполнив действия по установке, описанные в версии 1.1.4. Включите автоматический запуск VPN-протокола при каждой перезагрузке ПК, как описано в разделе 1.1.3.5, чтобы гарантировать, что компьютеры исследователей всегда могут получить удаленный доступ к ПК (рекомендуется).
    6. Создайте учетную запись пользователя компьютера GitHub, чтобы легко автоматизировать обновления программного обеспечения, установленного на компьютере. Эта учетная запись служит веб-перехватчиком для автоматизации извлечения из удаленной конечной точки Git и помогает идентифицировать любые обновления, отправленные с удаленного компьютера.
    7. Выберите программное обеспечение для планирования и управления видеозаписью и установите его на ПК. Чтобы обеспечить максимальную конфиденциальность и комфорт пациента, выбранное программное обеспечение должно включать графический пользовательский интерфейс (GUI), чтобы четко указать, когда ведется запись, и обеспечить легкое прекращение записи в любой момент времени.
      ПРИМЕЧАНИЕ: При желании можно установить пользовательское приложение для записи видео авторов с графическим интерфейсом, ориентированным на пациента, загрузив приложение и следуя инструкциям на GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp).
    8. Выберите монитор, чтобы указать, когда записываются видео, и чтобы пользователи могли легко завершать запись. Выберите монитор с сенсорным экраном, чтобы запись можно было прервать без использования клавиатуры или мыши.
    9. Установите на ПК приложение для удаленного рабочего стола. Это позволяет запускать приложение с графическим интерфейсом таким образом, чтобы графический интерфейс оставался видимым как на стороне пациента, так и на стороне удаленного исследователя.
      ПРИМЕЧАНИЕ: Приложение удаленного рабочего стола NoMachine с открытым исходным кодом лучше всего подходит для ОС Linux.
    10. Выбирайте USB-совместимые веб-камеры с достаточно высоким разрешением для расчета поз в заданном пространстве.
      ПРИМЕЧАНИЕ: В этом случае были выбраны веб-камеры, совместимые с 4K, которые предлагают несколько комбинаций разрешения и частоты кадров, включая разрешение 4K при 30 кадрах в секунду или разрешение HD при 60 кадрах в секунду.
    11. Выберите надежное оборудование для установки веб-камер в домашних условиях пациента. Используйте крепления на гибкой стойке с зажимами, чтобы закрепить их на мебели, чтобы камеры не тряслись.
    12. Выберите протокол передачи данных с возможностью шифрования и установите его на ПК. Создайте конфигурацию для доступа к сайту облачного хранилища, а затем создайте конфигурацию шифрования, чтобы обернуть первую конфигурацию перед передачей данных.
      ПРИМЕЧАНИЕ: В данном случае был установлен протокол передачи данных и синхронизации файлов с открытым исходным кодом и возможностью шифрования18. В документации по протоколу передачи данных объясняется, как настроить передачу данных в облачное хранилище. Сначала протокол был установлен на VPN-сервере и создана конфигурация шифрования, которая передает данные на удаленную площадку облачного хранилища.
  5. Компоненты данных носимых датчиков
    1. Выберите смарт-часы, которые будут носить на каждом запястье пациента, чтобы отслеживать сигналы, включая движение, акселерометрию и частоту сердечных сокращений.
      ПРИМЕЧАНИЕ: Часы Apple Watch серии 3 были выбраны со встроенным монитором симптомов двигательного расстройства, который генерирует баллы симптомов болезни Паркинсона, такие как дискинезия и тремор.
    2. Выберите и установите на каждые смарт-часы программное обеспечение, которое может начинать и заканчивать запись, а также передавать данные в облачное хранилище. Выберите приложение, которое загружает все потоки данных на связанный с ним онлайн-портал для исследователей и врачей для анализа19.

figure-protocol-1
Рисунок 2: Компоненты видеозаписи. Аппаратные компоненты, поддерживающие сбор видеоданных, минимальны, в том числе один ПК в корпусе Tower, веб-камеры, подключенные через USB, и небольшой монитор для отображения графического интерфейса, обращенного к пациенту. Монитор оснащен сенсорным экраном, что позволяет легко завершать любую текущую или запланированную запись нажатием кнопок, видимых в графическом интерфейсе. В центре графического интерфейса отображается изображение индикатора записи, который становится ярко-красным цветом при активной записи видеокамерами. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

2. Домашняя конфигурация

  1. Установка оборудования
    1. Определите подходящее место для установки веб-камер, которое сведет к минимуму помехи в доме. Определите пространство путем обсуждения с пациентом; Здесь зона домашнего офиса была выбрана в качестве оптимального места для баланса между объемом записи и конфиденциальностью.
    2. Установите веб-камеры в указанном месте на выбранное крепежное оборудование. Крепление на гусиной шее к ближайшей тяжелой мебели предотвращает дрожание камер всякий раз, когда кто-то наступает рядом.
    3. Разместите компьютер достаточно близко к установленным веб-камерам, чтобы их USB-кабели могли подключаться к компьютеру.
    4. Разместите планшетный ПК, компоненты INS, смарт-часы и смартфоны рядом с розеткой, чтобы все устройства оставались подключенными к сети и были готовы к использованию в любое время.
    5. Убедитесь, что VPN включен, выполнив route -n в терминале ПК. Если нет, следуйте инструкциям по активации VPN в разделе 1.1.3.5.
  2. Запустите приложение для записи видео
    1. График видеозаписи: Прежде чем собирать какие-либо данные, обсудите с пациентом соответствующий график записи. Настройте это расписание в программном обеспечении для записи видео.
      ПРИМЕЧАНИЕ: Если вы используете пользовательское приложение для записи видео авторов, инструкции по настройке расписания можно найти на GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
    2. Обновите программное обеспечение для записи: убедитесь, что последняя версия выбранного программного обеспечения для записи видео была загружена на компьютер с помощью учетной записи компьютера GitHub, установленной в версии 1.4.6.
    3. Начать запись видео: войдите в ПК через установленное программное обеспечение удаленного рабочего стола и запустите программное обеспечение для записи видео.
      ПРИМЕЧАНИЕ: При использовании пользовательского приложения для записи видео авторов инструкции по запуску приложения можно найти на GitHub (https://github.com/Weill-Neurohub-OPTiMaL/VideoRecordingApp#installation-guide).
  3. Калибровка видеокамеры
    1. Отключить автофокусировку: для вычисления внутренних параметров, таких как искажение объектива и перспективы, следуйте инструкциям в зависимости от выбранной ОС и веб-камеры, чтобы отключить автофокусировку.
      ПРИМЕЧАНИЕ: В Linux доступ к веб-камерам осуществляется через API видео для Linux, который по умолчанию включает автофокусировку при каждой перезагрузке компьютера, подключенного к камерам. Настройка скрипта на автоматическое отключение этого необходима для сохранения фокуса, полученного во время калибровки камеры, для обработки 3D-позы.
    2. Встроенная калибровка: Приобретите шахматный узор 6 x 8 с квадратами 100 мм для поддержки 3D-калибровки программного обеспечения для оценки позы20. Записывайте видео с каждой отдельной веб-камеры, в то время как исследователь наклоняет шахматную доску в кадре всех камер. Убедитесь, что шахматная доска имеет четное количество строк и нечетное количество столбцов (или наоборот). Это устранит двусмысленность в отношении ротации.
    3. Внешняя калибровка: одновременная запись видео со всех трех веб-камер. Убедитесь, что видео записано в том же разрешении, что и любые видео, которые будут обработаны для оценки 3D-позы. Чтобы обеспечить точную синхронизацию времени для всех видео, мигайте ИК-светодиодом в начале и в конце записи. Используйте программное обеспечение для редактирования видео, чтобы вручную синхронизировать видео, отмечая кадры в начале светодиода и обрезая видео до равной длины.
    4. Калибровочные матрицы: Пропустите видео, записанные на предыдущих двух шагах, через OpenPose21 для создания внутренних и внешних калибровочных матриц.
      ПРИМЕЧАНИЕ: OpenPose использует библиотеку OpenCV для калибровки камеры, и дальнейшие инструкции можно найти в документации на OpenPose GitHub20,22.

3. Сбор данных

  1. Инструкции для пациента по началу записи
    1. Проверьте батарею и питание устройства: Устройство INS всегда включено, чтобы обеспечить постоянную стимуляцию субъекта. Чтобы начать запись нейронных данных, попросите пациента включить планшетный ПК и убедиться, что модули телеметрии врача (CTM) как для левого, так и для правого устройств INS включены и полностью заряжены.
    2. Размещение CTM: Разместите CTM по обеим сторонам груди. Для максимального подключения и уменьшения потери пакетов располагайте CTM близко к грудным имплантатам во время записи. Дополнительными местами для размещения СТМ являются нагрудные карманы куртки или использование специализированного шарфа.
    3. Активация подключения к планшету: После загрузки планшета попросите пациента открыть приложение DBS и выбрать Подключиться, после чего будет предложено подключение по Bluetooth к CTM, а затем к устройствам INS14.
    4. Активация камеры: Попросите пациента подтвердить, что видеокамеры подключены к компьютеру через USB-кабели и что камеры включены.
      ПРИМЕЧАНИЕ: При использовании пользовательского приложения для записи видео авторов текущие записи четко обозначаются в графическом интерфейсе, обращенном к пациенту, большим изображением ярко освещенного красного света. Он меняется на негорящий красный свет, когда запись выключена. Выбранные веб-камеры также имеют небольшой белый световой индикатор.
    5. Активация смарт-часов: попросите пациента включить смарт-часы и смартфоны, удерживая кнопку питания . Затем попросите их открыть приложение смарт-часов, чтобы инициировать запись данных и отслеживание симптомов ЧП.
  2. Сценарии выравнивания и записи данных на основе жестов
    1. Запишите все задачи, которые пациент должен выполнить во время записи данных, прежде чем начать сбор данных.
    2. Поскольку синхронизация на основе часов на нескольких устройствах для выравнивания временных меток может быть ненадежной, попросите пациента выполнить жест, который можно использовать для синхронизации временных меток из записанных данных в начале каждой новой записи, даже если вы планируете запись в периоды свободного поведения.
      Примечание: Авторы разработали простой жест, при котором пациент постукивал по обоим имплантированным устройствам INS, держа руки в поле зрения камер. Это постукивание создает характерные паттерны в инерциальных записях смарт-часов и акселерометра INS, и его легко наблюдать на видео.
  3. Инструкции для пациента по окончанию записи
    1. Переключите группу стимуляции обратно на предпочтительную клинически назначенную пациенту группу.
    2. В графическом интерфейсе приложения DBS, ориентированном на пациента, введите отчет о симптомах.
    3. Закройте приложение DBS, которое отключит CTM и завершит потоковую передачу INS.
    4. Закройте приложение для записи смарт-часов и верните CTM, смартфоны и смарт-часы обратно в порты зарядки.
  4. Выгрузка данных
    1. Перенос необработанных видео в облачное хранилище по протоколу передачи данных с использованием зашифрованной конфигурации. Создайте задание cron на ПК видеозаписи для автоматической передачи записанных видео в облачное хранилище по протоколу передачи данных18.
      ПРИМЕЧАНИЕ: В зависимости от разрешения видео и количества часов записи каждый день, скорость интернета должна быть достаточно высокой, чтобы все видео можно было перенести в облачное хранилище в течение 24 часов. Если передача данных происходит слишком медленно, место на диске может закончиться, что приведет к сбою дополнительных видеозаписей, запланированных на следующий день.
    2. Сохраните данные INS в защищенной HIPAA облачной конечной точке, настроенной на шаге 1.3.2. Загрузите данные INS из облачной конечной точки, защищенной HIPAA, и обезличьте данные. Сохраните обезличенные данные во внешнем облачном хранилище.
      ПРИМЕЧАНИЕ: Код предварительной обработки OpenMind с открытым исходным кодом23 был использован для обезличивания данных и преобразования их из json-файлов в табличный формат. Планшет пациента был сконфигурирован с облачной конечной точкой, защищенной HIPAA, для временного хранения необработанных данных INS; однако, возможно, для этого шага можно использовать то же самое облачное хранилище, которое используется для долгосрочного хранения, при условии, что оно соответствует требованиям HIPAA, а данные шифруются перед выгрузкой.
    3. При желании сохраните копию данных смарт-часов во внешнем облачном хранилище, чтобы все потоки данных были доступны в одном месте.

4. Определение характеристик системы

  1. Визуализация необработанных данных: в желаемой среде кодирования визуализируйте все потоки необработанных данных, чтобы гарантировать, что данные были записаны и переданы надлежащим образом без потерь или повреждений.
    ПРИМЕЧАНИЕ: Приложение, которое было выбрано для управления записями смарт-часов, имеет приложение для браузера, которое полезно для визуализации данных смарт-часов24.
  2. Задержки видеокадров и меток времени: проверьте все задержки между временными метками, созданными разными веб-камерами. Анализируйте задержки, записывая видео с помощью программируемой светодиодной подсветки, размещенной в кадре всех веб-камер.
    ПРИМЕЧАНИЕ: Анализ показал, что функция сегментации видео25 , импортированная пользовательским приложением для записи видео, была источником увеличения задержек временных меток. Запись видео без функции сегментации приводила к задержкам между кадрами веб-камеры и временными метками, которые не увеличивались с течением времени (см. Дополнительный файл 1 и Дополнительный рисунок 1).

5. Предварительная обработка и выравнивание данных post-hoc

  1. Данные о позе
    1. Установите программное обеспечение для расчета предполагаемого положения сустава на основе записанных видео.
      ПРИМЕЧАНИЕ: Библиотека OpenPose была выбрана, так как она включает отслеживание рук и лиц как в 2D, так и в 3D.
    2. Библиотека OpenPose не обрабатывает автоматически случаи, когда в кадре находится несколько человек, поэтому используйте сценарий постобработки, чтобы гарантировать, что оценки позы каждого человека непрерывны от одного кадра к другому. OpenPose предоставляет код для простого создания анимации в 2D или 3D для визуальной проверки качества оценки позы.
  2. Выравнивание времени на основе жестов
    1. Для каждого устройства INS (слева и справа) выполните действия, описанные ниже, используя графический интерфейс авторов для выравнивания данных (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI).
      1. Считывание данных: доступ к сохраненным данным INS и акселерометрии смарт-часов из облачного хранилища для желаемого сеанса обработки данных.
        ПРИМЕЧАНИЕ: При желании можно добавить дополнительные временные ряды. На рисунке 3 зеленым цветом показано положение кончика среднего пальца правой руки.
      2. Визуализация потоков данных в графическом интерфейсе: используйте графический интерфейс ручного выравнивания по времени для наложения данных акселерометрии INS, акселерометрии смарт-часов и позы.
      3. Увеличение артефактов выравнивания: увеличьте масштаб оси времени и переместите окно просмотра в раздел записи, касающийся касания груди. Сместите выравнивающие временные ряды так, чтобы пик от постукивания на груди как на сигналах временных рядов INS, так и на сигналах временных рядов смарт-часов перекрывался как можно ближе.
        ПРИМЕЧАНИЕ: Графический интерфейс предназначен для облегчения ручного выравнивания произвольных временных рядов по общему истинному времени. На рисунке 3 истинные временные ряды показаны синим цветом, а выровненные временные ряды — оранжевым и зеленым. Основные рекомендации по выравниванию графического интерфейса изложены в GitHub ReadMe (https://github.com/Weill-Neurohub-OPTiMaL/ManualTimeAlignerGUI#time-alignment).
      4. Подтверждение выравнивания: переместите окно графического интерфейса для каждой из задач касания груди в записи и убедитесь, что выравнивание остается неизменным на протяжении всего временного ряда. Нажмите кнопку Switch Aligning (Переключить выравнивание) и повторите выравнивание оставшихся потоков данных.
      5. Предупреждающие флаги: Чтобы указать, были ли данные пропущены, смещены или другие общие предупреждения о качестве данных, установите предупреждающие флаги в графическом интерфейсе с помощью клавиш D, S и F соответственно.
  3. Выравнивание по времени с нулевой нормализованной взаимной корреляцией (ZNCC)
    1. Определите сигнал, который с наибольшей вероятностью будет наиболее близок к реальному времени. Обычно это либо тот, который имеет наибольшую частоту выборки, либо тот, который обновляется быстрее всего в Интернете.
    2. Передискретизируйте два сигнала, чтобы они имели одинаковую частоту временной дискретизации, и по отдельности оценивайте оба сигнала по z. Это гарантирует, что результирующие оценки ZNCC будут нормализованы в диапазоне от -1 до 1, что дает оценку уровня сходства между двумя сигналами, что полезно для обнаружения ошибок.
    3. Вычислить взаимную корреляцию второго сигнала и первого сигнала при каждом временном лаге.
    4. Если информация о фазе двух сигналов не важна, принимают за абсолютное значение измеряемой кривой взаимной корреляции.
      ПРИМЕЧАНИЕ: Если поведение в значительной степени апериодично, то информация о фазе не нужна, как в этом случае.
    5. Проанализируем кривую ZNCC. Если существует один четкий пик с пиковым показателем ZNCC выше 0,3, то время этого пика соответствует временной задержке между двумя сигналами. Если пиков несколько, нет четкого пика или оценка ZNCC низкая по всем временным лагам, то два сигнала необходимо выровнять вручную.

figure-protocol-2
Рисунок 3: Выравнивание данных на основе жестов. В верхней половине рисунка показан графический интерфейс ручного выравнивания после выравнивания трех потоков данных. Синяя линия — это данные акселерометрии смарт-часов, оранжевая линия — данные акселерометрии из INS, а зеленая линия — это 2D-положение кончика среднего пальца правой руки с одной веб-камеры. В правом верхнем углу показано смещение между реальным временем смарт-часов и INS, а также различные предупреждающие флажки для обозначения любых возникающих проблем. В этом примере INS опережала умные часы на 20,8 с. Нижний левый график увеличен, чтобы показать пять пункций грудной клетки, выполненных пациентом для выравнивания данных. Пять пиков достаточно четкие в каждом потоке данных, чтобы обеспечить правильное выравнивание. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этого рисунка.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

Проектирование и развертывание прототипа платформы
Мы разработали прототип платформы и развернули ее на дому у одного пациента (рис. 1). После первой установки оборудования в доме платформа может поддерживаться, а данные собираются полностью через удаленный доступ. Устройства INS, смарт-часы и камеры имеют приложения, ориентированные на пациента, позволяющие пациентам начинать и останавливать запись. Оборудование для сбора видео позволяет осуществлять автоматическую запис...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

Мы делимся дизайном домашнего прототипа мультимодальной платформы сбора данных для поддержки будущих исследований в области нейромодуляции. Конструкция имеет открытый исходный код и модульную структуру, так что любое оборудование может быть заменено, а любой программный компонент может быть обновлен или изменен без разрушения всей платформы. В то время как методы сбора и обезличивания нейронных данных специфичны для выбранных INS, остальные методы и общий подход к сбору поведенческих данных не зависят от того, какое импл...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

У авторов нет конфликта интересов, который можно было бы раскрыть.

Благодарности

Этот материал основан на работе, поддержанной Программой стипендий для аспирантов Национального научного фонда (DGE-2140004), Weill Neurohub и Национальным институтом здравоохранения (UH3NS100544). Любые мнения, выводы, выводы или рекомендации, выраженные в этом материале, принадлежат автору (авторам) и не обязательно отражают точку зрения Национального научного фонда, Weill Neurohub или Национального института здравоохранения. Мы благодарим Тяньцзяо Чжана за экспертные консультации по дизайну платформы и внедрению видеоданных. Мы особенно благодарим пациента за участие в этом исследовании, а также за отзывы и советы по сетевой безопасности и проектированию платформы.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Анализ Обработка данныхRCS OpenMindhttps://github.com/openmind-consortium/Analysis-rcs-data, с открытым исходным кодом
Apple WatchesApple, IncИспользуйте 2 часа для каждого пациента, по одному на каждом запястье
Веб-камера для бизнеса BRIO ULTRA HD PRO Logitech960-001105Используется 3 в нашей платформе дизайн 
Программное обеспечение для редактирования видео DaVinci Resolve DaVinci Resolveиспользуется для поддержки калибровки камер
Dell XPS PC Жесткий диск Dell2 ТБ, твердотельный накопитель емкостью 500 ГБ
DropboxDropbox
ffmpeg Н/Дс открытым исходным кодом, установка для запуска приложения для записи видео
Крепления на гусиной шее для веб-камерН/д
графический процессорNvidiaМинимум 8 ГБ памяти графического процессора рекомендуется для запуска OpenPose, 12 ГБ идеально подходит
Java 11OracleInstall для запуска приложения для записи видео
Microsoft Surface tablet Microsoft
NoMachine NoMachineИдеально подходит при использовании ОС Linux, OpenPose с открытым исходным кодом
 Н/А
программа передачи файлов RcloneRcloneшифрует данные и копирует или перемещает данные на внешнее хранилище,
приложение StrivePDRuneLabsМы установили приложение на Apple Watches, чтобы начать запись и загрузить данные на онлайн-портал.
Summit RC+S система нейромодуляцииMedtronicДля исследовательского использования только
монитор, совместимый с сенсорным экраномН/Д
Видео для Linux 2 APIЯдроУстановите при использовании ОС Linux для записи видео 
Васаби WasabiДолгосрочное облачное хранилище данных
WireGuard VPN ProtocolWireGuardс открытым исходным кодом
с открытым исходным кодом с открытым исходным кодом Linux

Ссылки

  1. World Health Organization. Parkinson disease. , https://www.who.int/news-room/fact-sheets/detail/parkinson-disease (2022).
  2. Herrington, T. M., Cheng, J. J., Eskandar, E. N. Mechanisms of deep brain stimulation. Journal of Neurophysiology. 115 (1), 19-38 (2016).
  3. Little, S., et al. Adaptive deep brain stimulation for Parkinson's disease demonstrates reduced speech side effects compared to conventional stimulation in the acute setting. Journal of Neurology, Neurosurgery & Psychiatry. 87 (12), 1388-1389 (2016).
  4. Mohammed, A., Bayford, R., Demosthenous, A. Toward adaptive deep brain stimulation in Parkinson's disease: a review. Neurodegenerative Disease Management. 8 (2), 115-136 (2018).
  5. Gilron, R., et al. Long-term wireless streaming of neural recordings for circuit discovery and adaptive stimulation in individuals with Parkinson's disease. Nature Biotechnology. 39 (9), 1078-1085 (2021).
  6. Ray, N. J., et al. Local field potential beta activity in the subthalamic nucleus of patients with Parkinson's disease is associated with improvements in bradykinesia after dopamine and deep brain stimulation. Experimental Neurology. 213 (1), 108-113 (2008).
  7. Neumann, W. J., et al. Subthalamic synchronized oscillatory activity correlates with motor impairment in patients with Parkinson's disease. Movement Disorders: Official Journal of the Movement Disorder Society. 31 (11), 1748-1751 (2016).
  8. Swann, N. C., et al. Adaptive deep brain stimulation for Parkinson's disease using motor cortex sensing. J. Neural Eng. 11, (2018).
  9. Little, S., et al. Adaptive deep brain stimulation in advanced Parkinson disease. Annals of Neurology. 74 (3), 449-457 (2013).
  10. Connolly, M. J., et al. Multi-objective data-driven optimization for improving deep brain stimulation in Parkinson's disease. Journal of Neural Engineering. 18 (4), 046046(2021).
  11. Stanslaski, S., et al. Creating neural "co-processors" to explore treatments for neurological disorders. 2018 IEEE International Solid - State Circuits Conference - (ISSCC). , 460-462 (2018).
  12. Rights (OCR), O. for C. The HIPAA Privacy Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/privacy/index.html (2008).
  13. Rights (OCR), O. for C. The Security Rule. HHS.gov. , https://www.hhs.gov/hipaa/for-professionals/security/index.html (2009).
  14. Perrone, R., Gilron, R. SCBS Patient Facing App (Summit Continuous Bilateral Streaming). , https://github.com/openmind-consortium/App-SCBS-PatientFacingApp (2021).
  15. Strandquist, G., et al. In-Home Video and IMU Kinematics of Self Guided Tasks Correlate with Clinical Bradykinesia Scores. , (2023).
  16. Donenfeld, J. A. WireGuard: Next Generation Kernel Network Tunnel. Proceedings 2017 Network and Distributed System Security Symposium. , (2017).
  17. etzion. Ubuntu 20.04 and TPM2 encrypted system disk - Running Systems. , https://run.tournament.org.il/ubuntu-20-04-and-tpm2-encrypted-system-disk/ (2021).
  18. Craig-Wood, N. Rclone. , https://github.com/rclone/rclone (2023).
  19. Chen, W., et al. The Role of Large-Scale Data Infrastructure in Developing Next-Generation Deep Brain Stimulation Therapies. Frontiers in Human Neuroscience. 15, 717401(2021).
  20. Hidalgo, G. inés, et al. CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose (2023).
  21. Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., Sheikh, Y. OpenPose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence. 43 (1), 172-186 (2021).
  22. Cao, Z. openpose/calibration_module.md at master · CMU-Perceptual-Computing-Lab/openpose. , https://github.com/CMU-Perceptual-Computing-Lab/openpose/blob/master/doc/advanced/calibration_module.md (2023).
  23. Sellers, K. K., et al. Analysis-rcs-data: Open-Source Toolbox for the Ingestion, Time-Alignment, and Visualization of Sense and Stimulation Data From the Medtronic Summit RC+S System. Frontiers in Human Neuroscience. 15, 398(2021).
  24. Ranti, C. Rune Labs Stream API. , https://docs.runelabs.io/ (2023).
  25. ffmpeg development community. FFmpeg Formats Documentation. , https://ffmpeg.org/ffmpeg-formats.html (2023).
  26. Goetz, C. G., et al. Movement Disorder Society-sponsored revision of the Unified Parkinson's Disease Rating Scale (MDS-UPDRS): Scale presentation and clinimetric testing results: MDS-UPDRS: Clinimetric Assessment. Movement Disorders. 23 (15), 2129-2170 (2008).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Теги

DBS
Возвращение клиники домой: мультимодальная экосистема сбора данных на дому для поддержки адаптивной глубокой стимуляции мозга
Свяжитесь с нами
Рекомендовать библиотеке

Конфиденциальность

Условия эксплуатации

Политика

Авторские права © 2026 MyJoVE Corporation. Все права защищены.