Method Article

Захват динамической жестикуляции пальцев с помощью поверхностной электромиографии высокого разрешения и компьютерного зрения

DOI:

10.3791/67766

⸱

March 28th, 2025

 ,  ,  ,  ,  , 
1School of Electrical Engineering, Tel Aviv University, 2Department of Machine Learning, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), 3X-trodes Ltd.

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В статье представлен комплексный протокол одновременной записи электромиографии руки (ЭМГ) и визуального отслеживания пальцев при естественной жестикуляции пальцев. Визуальные данные призваны служить основой для разработки точных вычислительных моделей на основе ЭМГ для распознавания жестов пальцев.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Жесты пальцами являются важнейшим элементом человеческого общения, и поэтому распознавание жестов пальцами широко изучается как человеко-компьютерный интерфейс для современного протезирования и оптимизированной реабилитации. Поверхностная электромиография (ЭМГ) в сочетании с методами глубокого обучения считается перспективным методом в этой области. Тем не менее, современные методы часто полагаются на громоздкие настройки записи и идентификацию статичных положений рук, что ограничивает их эффективность в реальных приложениях. Протокол, о котором мы сообщаем здесь, представляет собой передовой подход, сочетающий в себе ЭМГ носимой поверхности и систему отслеживания пальцев для сбора исчерпывающих данных во время динамических движений рук. Метод регистрирует мышечную активность с мягких печатных электродных решеток (16 электродов), размещенных на предплечье, когда испытуемые выполняют жесты в различных положениях рук и во время движения. Визуальные инструкции побуждают испытуемых выполнять определенные жесты, во время записи ЭМГ и положения пальцев. Интеграция синхронизированных записей ЭМГ и данных отслеживания пальцев позволяет всесторонне анализировать паттерны мышечной активности и соответствующие жесты. Представленный подход демонстрирует потенциал объединения технологий ЭМГ и визуального отслеживания в качестве важного ресурса для разработки интуитивно понятных и отзывчивых систем распознавания жестов с приложениями в протезировании, реабилитации и интерактивных технологиях. Этот протокол призван служить руководством для исследователей и практиков, способствуя дальнейшим инновациям и применению распознавания жестов в динамических и реальных сценариях.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Жестикуляция рук имеет важное значение в человеческом общении, что делает распознавание жестов пальцев важнейшей областью исследований в таких областях, как взаимодействие человека и компьютера, передовое протезирование 1,2,3,4 и реабилитационные технологии 5,6. В результате, распознавание жестов пальцами привлекло значительное внимание благодаря своему потенциалу для улучшения интуитивно понятных систем управления и вспомогательных устройств. Поверхностная электромиография (ЭМГ) в сочетании с алгоритмами глубокого обучения становится весьма перспективным подходом к захвату и интерпретации этих жестов благодаря своей способности обнаруживать электрическую активность мышц, связанную с движениями рук 7,8,9,10,11,12,13,14,15.

Однако, несмотря на эти достижения, современные подходы сталкиваются с ограничениями в реальных приложениях. Большинство существующих систем требуют сложных, громоздких записывающих установок с многочисленными электродами 5,7,9,16,17 и точным позиционированием 3,18, которые часто трудно реализовать вне контролируемых сред. Кроме того, эти системы имеют тенденцию фокусироваться на статичных положениях рук 13,18,19,20,21, ограничивая их способность интерпретировать динамичные, плавные жесты, которые происходят в повседневной деятельности. Протокол направлен на устранение этих ограничений путем поддержки динамического распознавания жестов в более естественных условиях. Такая методология обеспечит более практичное и удобное применение в таких областях, как протезирование и реабилитация, где перевод естественных жестов в режиме реального времени имеет важное значение.

Для решения этих проблем для разработки более точных и адаптируемых алгоритмов требуются наборы данных, отражающие естественные, повседневные условия 3,4. Такие наборы данных должны охватывать широкий спектр динамических движений, различных положений рук и больших объемов данных для обеспечения надежности модели. Кроме того, решающее значение имеет вариативность между обучающими и тестовыми наборами данных, что позволяет моделям обобщать различные положения рук, паттерны активации мышц и движения. Включение такого разнообразия в данные позволит алгоритмам более точно выполнять распознавание жестов в повседневных реальных приложениях22.

Преодоление этих проблем будет иметь важное значение для будущего развития более практичных и широко применимых систем распознавания жестов. Исследование и протокол, описанные здесь, проистекают из необходимости иметь портативную, удобную для пользователя установку, которая может фиксировать динамические движения рук в естественных условиях. Всеобъемлющие наборы данных и передовые алгоритмы имеют решающее значение для полного раскрытия потенциала sEMG и глубокого обучения в человеко-машинных интерфейсах, нейропротезировании и реабилитационных технологиях. Мы ожидаем, что этот протокол внесет свой вклад в эту область, облегчив всесторонний сбор данных, чтобы в дальнейшем обеспечить разработку моделей алгоритмов, которые обобщают различные позиции рук.

Серьезная проблема в распознавании жестов заключается в чувствительности сигналов sEMG к позиционированию руки. В то время как многие исследования сосредоточены на фиксированных положениях рук для прогнозирования жестов, для реальных приложений требуются модели, способные распознавать движения пальцев в различных положениях рук. Последние подходы решают эту проблему путем включения компьютерного зрения в качестве эталона достоверной информации, повышая точность и гибкость этих моделей15,19. Кроме того, гибридные модели, которые интегрируют сигналы sEMG с визуальными данными, обеспечивают дальнейшее повышение точности распознавания в различных сценариях23.

В этом протоколе мы представляем синхронизированный подход к сбору данных, который улучшает динамическое распознавание жестов за счет включения данных ЭМГ и отслеживания рук в реальных условиях. В отличие от традиционных методов, которые ограничивают выполнение жестов статичными положениями, этот протокол включает жесты, выполняемые в четырех различных положениях: рука вниз, рука вверх, прямая рука и движение руки. Камера слежения за руками отслеживает движения рук в трехмерной интерактивной зоне, идентифицируя отдельные элементы рук и фиксируя динамические движения с высоким разрешением. Массив мягких электродов из 16 электродов, размещенный на предплечье для записи мышечной активности, обеспечивает стабильную и беспроводную запись, не препятствуя подвижности участников. Синхронизированные данные из этих двух источников обеспечивают всестороннюю основу для разработки передовых алгоритмов распознавания жестов, способных работать в реальных условиях. Этот подход специально устраняет ограничения существующих установок, обеспечивая свободное перемещение и стабильную запись сигнала в реалистичных сценариях. Это достижение поддерживает технологии распознавания жестов для применения в протезировании, реабилитации и интерактивных технологиях, где интуитивно понятное управление и гибкость имеют важное значение.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Здоровые участники (n = 18, в возрасте 18-32 лет, как мужчины, так и женщины) были отобраны для этого исследования, которое было одобрено Советом по этике Тель-Авивского университета (одобрение No 0004877-3). Протокол соответствует руководящим принципам комиссии в отношении исследований с участием людей. Информированное согласие было получено от всех участников в соответствии с институциональными требованиями.

1. Инструктаж экспериментатора

  1. Попросите участников выполнить серию из 14 различных жестов пальцами (см. рисунок 1) и повторите каждый жест 7 раз в случайной последовательности. Попросите их крепко удерживать каждый жест в течение 5 секунд, после чего следует 3 секунды отдыха. Общая продолжительность каждого сеанса составляет 13:04 мин.
  2. Большое изображение жеста, отображаемое на экране компьютера, сопровождается таймером обратного отсчета для индикации выполнения жеста. Во время отдыха попросите участника посмотреть на маленькое изображение предстоящего жеста, а также на таймер, показывающий оставшееся время отдыха. Два отчетливых звуковых сигнала сигнализируют о начале и окончании каждого жеста, помогая участникам подготовиться к следующему жесту.
  3. Попросите каждого участника выполнить эту процедуру в четырех различных положениях, аналогичных ранее представленнымпункту 22:
    Позиция 1: Участник стоит. Опустите руку, выпрямите и расслабьтесь.
    Позиция 2: Участник сидит в кресле. Рука вытянута вперед под углом 90°, ладонь расслаблена (можно использовать опорное устройство).
    Положение 3: Рука сложена вверх (локоть упирается в кресло), ладонь расслаблена.
    Позиция 4: Участник выбирает одну из предыдущих позиций и может свободно перемещать руку в пределах диапазона обнаружения камеры, отслеживаемой в режиме реального времени на экране ПК (подробнее см. в шаге 1.4).
  4. Во время каждого сеанса заставляйте участника носить на руке электромиографическое устройство и направляйте к нему камеру слежения за руками. Попросите участников следить за тем, чтобы их ладони всегда были обращены к камере. Программное обеспечение для отслеживания движений рук отображается на отдельном экране, чтобы и участник, и дирижер могли проверить, правильно ли распознана рука.
  5. Для каждого положения отрегулируйте положение и угол наклона камеры слежения за руками, чтобы обеспечить точное распознавание рук. Кроме того, оцените качество сигналов от электродов с помощью скрипта спектрограммы.

figure-protocol-1
Рисунок 1: Схематическое изображение процесса сбора данных. Испытуемый оснащен матрицей мягких электродов, размещенной на предплечье (3), которая улавливает сигналы поверхностной электромиографии (ЭМГ) высокого разрешения во время выполнения жестов. Испытуемый выполняет 14 различных жестов пальцами, представленных в случайном порядке на дисплее компьютера (4). Данные ЭМГ передаются по беспроводной сети на персональный компьютер (ПК) с блока сбора данных (DAU; 1). Одновременно кинематические данные кисти руки (HKD), представляющие углы суставов пальцев, захватываются с помощью камеры слежения за руками (2). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

2. Настройка блоков сбора данных

  1. Откройте репозиторий Github по адресу https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git и следуйте подробным инструкциям в разделе «Установка». Найдите основной файл Python data_collection.py в папке finger_pose_estimation/data_acquisition. Используйте его для запуска эксперимента, используйте сценарий spectrogram.py для оценки качества сигнала EMG до начала эксперимента, а сценарий data_analysis.py для фильтрации и сегментации сигнала.
  2. Перед каждым сеансом убедитесь, что блок сбора данных (DAU) EMG полностью заряжен, и включите его.
  3. Подключите DAU к ПК через Bluetooth с помощью специального приложения. Установите скорость связи Bluetooth равной 500 выборкам в секунду (S/s).
  4. Установите и откройте программное обеспечение камеры слежения за движением рук на ПК. Подключите камеру слежения рук к ПК с помощью кабеля.
  5. Используйте один экран, чтобы всегда отображать программное обеспечение камеры для слежения за руками. Таким образом, дирижер и участник смогут убедиться в том, что камера правильно распознает руку во время эксперимента.

3. Подготовка участников

  1. Представление и согласие
    1. Кратко объясните участнику актуальность исследования и порядок проведения эксперимента. Получение информированного согласия в соответствии с институциональными руководящими принципами для исследований с участием человека.
  2. Установка электродов
    1. Проинструктируйте участника согнуть правую руку, сжав сильный кулак. Пока участник сгибается, пальпируйте предплечье, мягко надавливая вдоль мышцы, чтобы определить место, где активация мышц наиболее заметна. Это место легко определить, пощупав область, где мышца выпячивается во время сокращения.
    2. Дополнительно: Подготовьте идентифицированный участок кожи, протерев его спиртовой салфеткой без волокон, подготовительным гелем или водой с мылом. Дайте участку высохнуть на воздухе. Избегайте чрезмерной чистки спиртом, так как он может пересушить кожу. Этот шаг не является обязательным; Смотрите раздел обсуждения.
    3. Снимите белый защитный слой с решетки электродов ЭМГ и осторожно прикрепите электроды к определенной области предплечья, как определено в шаге 3.2.1. (см. Рисунок 1). Убедитесь, что скотч находится ближе к ладони. Закрепите электродную решетку на коже легкими постукивающими движениями.
    4. После того, как электродная решетка будет прикреплена к коже, снимите прозрачный поддерживающий слой.
    5. Вставьте плату разъема электродной решетки в гнездо разъема DAU. Прикрепите DAU к скотчу рядом с электродами.
    6. Запустите пользовательский скрипт спектрограммы Python Spectrogram.py для проверки качества сигнала в режиме реального времени. Появится окно, отображающее необработанные данные (слева) и частотную область (справа) для всех электродов (см. дополнительный рисунок 1 для справки).
      1. Убедитесь, что все электроды обнаружены и функционируют правильно, а сигнал чист от чрезмерного шума и шума 50 Гц.
      2. При необходимости уменьшите уровень шума на частоте 50 Гц, отойдя от электронных устройств, которые могут создавать помехи, и отключив ненужные устройства от электропитания. Дайте время для стабилизации сигнала.
      3. Проверка захвата сигнала ЭМГ: попросите участника положить локоть на кресло и пошевелить пальцами, а затем расслабиться. Убедитесь, что отображается четкий сигнал ЭМГ, за которым следует статический базовый шум.
      4. Закройте скрипт после завершения проверки сигнала.
  3. Просмотр жестов и положения рук
    1. Откройте папку «Изображения», нажав на Finger_pose_estimation > Data_acquisition. Просмотрите изображения жестов вместе с участниками.
    2. Убедитесь, что они понимают каждое движение и могут выполнять их точно. Четко объясните участнику положение четырех рук.
    3. Проинструктируйте участника о том, как держать руку перед каждым занятием, обеспечивая правильную осанку и положение.
  4. Позиционирование участника и камеры
    1. В положении руки 1 попросите участника встать прямо на расстоянии около 1 м от стола. Попросите участника держать правую руку опущенной, прямую и расслабленную, ладонью к камере слежения за руками. Закрепите камеру слежения за руками на столе с помощью селфи-палки и направьте ее лицом к руке участника.
    2. В положении рук 2 попросите участника удобно сесть в кресло, расположенное на расстоянии 40-70 см от мониторов. Попросите участника вытянуть правую руку вперед под углом 90°, расслабив ладонь, обращенную к камере слежения за руками. При необходимости используйте опорное устройство, чтобы удерживать руку в устойчивом положении. Поместите камеру слежения за руками на стол лицевой стороной вверх.
      ПРИМЕЧАНИЕ: Поскольку участника просят оставаться в неподвижной позе, важно найти удобное положение, которое он сможет сохранять на протяжении всей сессии.
    3. В положении руки 3 попросите участника сидеть, как описано в шаге 3.4.2. Попросите участника сложить руку вверх, упираясь локтем в кресло. Ладонь должна быть расслаблена, а участник должен быть обращен к камере слежения за руками. Закрепите камеру слежения за руками на столе лицом к руке участника (при необходимости используйте селфи-палку). Убедитесь, что положение участника оптимально как для просмотра экранов, так и для нахождения в поле зрения камеры.
    4. Непрерывно следите за экраном, отображающим данные отслеживания движений рук, чтобы убедиться, что камера обнаруживает руку и пальцы на протяжении всего эксперимента. Необязательно: проверьте качество сигнала ЭМГ (шаг 3.2.6.) в каждом положении руки перед началом эксперимента.

4. Сбор данных

  1. Проведение эксперимента
    1. Откройте Python и загрузите data_collection.py. Убедитесь, что параметры num_repetition, gesture_duration rest_duration установлены по желанию.
      1. num_repetition: Определите количество показов каждого изображения жеста. Для этого эксперимента установите значение 7, то есть каждое изображение будет показано 7 раз. gesture_duration: Укажите продолжительность (в с), в течение которой участник выполняет жест рукой. Для этого эксперимента установите значение 5 с, определяя, как долго отображается изображение каждого жеста. Rest_duration: Укажите продолжительность (в с), в течение которой участник расслабляет ладонь между жестами. Для этого эксперимента установите значение 3 с.
    2. Отрегулируйте положение и угол камеры слежения за руками в соответствии с положением руки участника.
    3. Запустите сценарий data_collection.py. Появится окно для ввода данных участника (серийный номер, возраст, пол, номер сеанса и положение руки). Заполните эту информацию и нажмите OK, чтобы начать эксперимент автоматически.
  2. Сбор данных
    1. Для каждого сеанса записывайте данные ЭМГ и отслеживания рук, которые автоматически сохраняются. Повторите эксперимент по 4 раза для каждого участника, по одному разу для каждой позиции руки.

5. Окончание эксперимента и обработка данных после него

  1. По завершении эксперимента данные автоматически сохраняются. Убедитесь, что данные сохранены в папке с серийным номером участника. Каждый сеанс хранится во вложенной папке с именем S# (например, S1) с четырьмя подпапками для каждой позиции руки P# (P1, P2, P3 и P4). Размер папки для одного сеанса составляет примерно 160 МБ.
  2. Если участник завершает несколько сеансов, убедитесь, что все данные сохранены в соответствующей папке сеанса (например, S1, S2).
  3. Файлы данных
    Убедитесь, что каждая папка с положением рук (P#) содержит следующие файлы: данные EMG, сохраненные в файле EDF со следующим именем: fpe_pos{номер позиции}_{номер субъекта}_S{номер сеанса}_rep0_BT; данные отслеживания движений рук, сохраненные в CSV-файле с именем fpe_pos{номер позиции}_{номер субъекта}_S{номер сессии}_rep0_BT_full; и файл журнала log.txt, содержащий метаданные о сеансе.
  4. Обработка данных
    ПРИМЕЧАНИЕ: Пользователь может выбрать, как продолжить анализ сигналов и какие инструменты использовать. Здесь мы предоставляем скрипт для выполнения фильтрации сигналов и сегментации данных на языке Python. При использовании Python убедитесь, что все зависимости (например, Numpy, Pandas, SciPy, MNE, Sklearn) установлены.
    1. Откройте Python, загрузите data_analysis.py и запустите скрипт.
    2. В консоли появится запрос на необходимые параметры для обработки данных: путь к файлу ЭМГ, путь к кинематическим данным руки, путь, куда будут сохранены обработанные данные, частота дискретизации в Гц, длительность окна в мс, интервал шага в мс.
    3. После этого скрипт выполнит обработку данных.
    4. Фильтрация сигналов ЭМГ: Запустите скрипт, как описано выше. Сначала скрипт фильтрует сигнал sEMG, применяя фильтр высоких частот Баттерворта 4-го порядка со срезом 20 Гц для удаления сигналов, не относящихся к ЭМГ, а затем режекторный фильтр для удаления гармоник 50 Гц и 100 Гц. Кроме того, скрипт применяет нормализацию сигнала ЭМГ.
    5. EMG, данные HKD и инструктированная сегментация жестов: запустите скрипт, как описано выше. Скрипт применяет сегментацию с использованием метода скользящего окна, определяемого заданной продолжительностью окна и интервалом шага. В этом эксперименте установите их на 512 и 2 мс соответственно. Затем скрипт преобразует организацию канала sEMG в конфигурацию пространственной сетки 4 x 4 с сохранением компоновки электродной матрицы. Наконец, скрипт генерирует словарь, содержащий метаданные, в виде файла pickle.
    6. Этапы очистки и проверки данных
      1. Выявляйте и исключайте из набора данных сегменты, содержащие артефакты, шум или несогласованные метки жестов.
      2. Обеспечьте полноту сегментов и временную непрерывность между окнами для поддержания надежности данных.
      3. Сверяйте данные жестов с HKD на согласованность. Удалите окна, в которых отображаются шаблоны жестов, которые отклоняются от стандартов сеанса HKD.
      4. Обнаруживайте и отбрасывайте отклоняющиеся сегменты, которые не соответствуют ожидаемым кинематическим шаблонам для сеанса.
      5. Выполняйте дальнейший анализ данных с помощью передовых алгоритмов. В действующем протоколе они не предусмотрены.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Набор данных состоит из двух синхронизированных по времени компонентов: 16-канального набора данных ЭМГ и данных с камеры ручного слежения. 16-канальные данные ЭМГ фиксируют мышечную активность, записывая электрические сигналы от различных мышц с течением времени. Система отслеживания рук обеспечивает 16 каналов данных, соответствующих ключевым точкам на скелетной модели руки. В то время как модель имеет 21 очко, исключая запястье, это число было уменьшено до 16 из-за ограничений движения24. ЭМГ и визуальные данные были собраны путем запуска двух отдельных процессов на одном компьютере во время записи для установления синхронности. Временная метка использовалась для обозначения начала каждого процесса, что позволяло коду анализа данных согласовывать мышечную активность и данные о движениях рук в конце записи. Аннотации к меткам времени автоматически сохранялись в файлах EDF и CSV, отмечая точное время, когда были даны инструкции по конкретным жестам пальцев, и облегчая выравнивание во время анализа данных. Отфильтрованный сигнал ЭМГ (фильтр высоких частот Баттерворта 4-го порядка с частотой 20 Гц) характеризуется низкой базовой линией (серыми затененными областями), которая обычно находится в диапазоне 3-9 мкВ25. Этот исходный уровень наблюдается, когда рука испытуемого неподвижна, а мышцы находятся в состоянии покоя. Однако, если мышечный тонус присутствует даже в положении покоя, можно обнаружить отчетливый сигнал ЭМГ. Механические артефакты, вызванные движением, обычно проявляются в диапазоне 10-20 Гц и должны быть отфильтрованы соответствующим образом. Значительно завышенные базовые значения могут указывать на помехи в линии с частотой 50 Гц, и их следует избегать на этапе экспериментальной настройки. В случаях, когда сохраняется умеренный шум 50 Гц; Применяется режекторный фильтр. Резкие артефакты движения, которые труднее удалить, часто проявляются в виде выраженных высокоамплитудных всплесков сигнала (см. звездочку на рисунке 2A). Амплитуда сигнала ЭМГ на 16-электродной решетке варьируется, отражая пространственное распределение мышечной активности по измеряемой области. Эта вариативность дает ценную информацию о гетерогенности сокращения мышц во время жестов рук.

Камера слежения за руками предоставляет прямую информацию об углах наклона пальцев (кинематические данные руки, HKD), которые, как ожидается, будут тесно коррелировать с записанными сигналами ЭМГ. Во время жестов углы пальцев в пределах нормы26, в зависимости от конкретного жеста. Когда визуальный путь между камерой слежения за рукой и рукой не затруднен, результирующий сигнал является стабильным и точным, как показано на рисунке 2. Однако в случаях потери визуального контакта или когда система испытывает технические ограничения, HKD может стать неустойчивым, отображая скачки между неправильными значениями. Такие выбросы данных должны быть сведены к минимуму во время сбора данных и отброшены в окончательном анализе, чтобы сохранить целостность результатов.

HKD интуитивно понятен и обеспечивает прямое сравнение с реальными выполняемыми жестами. Он демонстрирует низкую вариабельность между объектами и в разных положениях рук. В отличие от этого, данные ЭМГ имеют тенденцию значительно различаться у разных людей из-за анатомических различий, таких как размер кистии развитие мышц. Кроме того, может наблюдаться вариативность между доминирующими и недоминирующими руками. Эта предметная вариативность может быть рассмотрена в ходе автономного анализа.

На рисунке 2 видно, что и ЭМГ, и HKD смещены относительно заданного триггера жеста. Это расхождение возникает из-за времени отклика и естественного выполнения движения28. В задачах регрессии такая изменчивость может способствовать обогащению данных, в то время как в задачах классификации ею можно управлять с помощью метода обобщенного отношения правдоподобия, который применяется в аналогичных сценариях28.

figure-results-1
Рисунок 2: Репрезентативные sEMG и HKD во время отведения пальца. Сигналы поверхностной электромиографии (ЭМГ) и кинематические данные кисти руки (HKD), записанные во время динамического отведения и покоя пальцев, выполняемого в положении руки 1 (рука опущена, прямая и расслаблена) одним участником. (A) Отфильтрованные ЭМГ-сигналы из 16 каналов в зависимости от времени. Звездочка (*) обозначает механический артефакт, обнаруженный в записи ЭМГ 5-го канала. (B) HKD, показывающий углы соединения в зависимости от времени. Углы суставов измеряются в различных суставах: трапециевидно-пястном (ТМК), пястно-фаланговом (МКП) и проксимальном межфаланговом (ПИП). Фазы эксперимента (отдых и отведение) обозначены по оси x. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Эти репрезентативные результаты продемонстрировали полезность синхронизированных данных ЭМГ и HKD для захвата жестов рук. Согласование сигналов ЭМГ с соответствующими HKD позволяет сопоставлять мышечную активность с конкретными движениями пальцев. При построении прогностической модели исследователи могут использовать HKD в качестве исходной истины, итеративно проверяя и уточняя предсказания жестов на основе ЭМГ. Такой подход подчеркивает практическую применимость протокола и предполагает необходимость дальнейших исследований в более естественных условиях.

Дополнительный рисунок 1: Окна спектрограммы, отображаемые на этапе проверки сигнала. На левой панели отображаются необработанные данные ЭМГ, а на правой — обнаруженные частотные области. (A) Пример очень зашумленного электромагнитного сигнала с сильными помехами 50 Гц и 100 Гц. (B) Пример записи того же ЭМГ-сигнала после удаления участника от электрических устройств, в результате чего получается чистый ЭМГ-сигнал с минимальными помехами. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Протокол, представленный в этом исследовании, описывает критические шаги, модификации и стратегии устранения неполадок, направленные на улучшение распознавания жестов рук за счет комбинации сигналов sEMG и HKD. В статье рассматриваются ключевые ограничения и сравнивается этот подход с существующими альтернативами, а также выделяются его потенциальные применения в различных областях исследований. Одним из наиболее важных аспектов протокола является обеспечение правильного позиционирования и выравнивания камеры слежения за руками. Точный захват жестов в значительной степени зависит от угла наклона и расстояния от камеры относительно руки участника. Даже незначительные отклонения в позиционировании камеры могут привести к неточностям отслеживания, снижая точность данных жестов. Это выравнивание должно быть тщательно отрегулировано для каждого участника и положения руки, чтобы обеспечить последовательный и надежный сбор данных. Кроме того, крайне важно, чтобы участники были хорошо знакомы с протоколом, чтобы предотвратить утечку ненужных данных, когда жесты либо выполняются неправильно, либо не согласуются с экспериментальным потоком. Обеспечение того, чтобы участники чувствовали себя комфортно и знакомы с жестами и экспериментальной установкой, может свести к минимуму шум данных и улучшить качество записей.

Общей проблемой в этом типе исследований является шумовое загрязнение как в sEMG, так и в HKD. Сигналы sEMG особенно чувствительны к таким факторам, как мышечная усталость, артефакты движения и шум окружающей среды, такой как электромагнитные помехи. Методы предварительной обработки, такие как полосовая фильтрация, необходимы для снижения шума и повышения четкости сигнала. Правильное размещение электродов и инструктаж участников по поддержанию расслабленных мышц во время фаз отдыха могут еще больше смягчить двигательные артефакты. Несмотря на эти меры предосторожности, некоторая вариабельность сигналов сЭМГ неизбежна из-за индивидуальных различий в анатомии, силе рук и паттернах мышечной активации. Эта изменчивость может быть устранена с помощью гибких алгоритмов, способных нормализовать эти различия между субъектами и условиями.

Ключевым фактором для получения высококачественных сигналов sEMG является первоначальная проверка сигнала. Традиционные протоколы с использованием гелевых электродов требуют подготовки кожи, такой как отшелушивание или очищение спиртом, для улучшения четкости сигнала. Тем не менее, в предыдущем исследовании мы показали, что при использовании сухих электродов подготовка кожи может не оказывать существенного влияния на качество сигнала. В этом протоколе чистка кожи не является обязательной и, таким образом, упрощает процесс. Еще одной проблемой, связанной с кожей, влияющей на качество сигнала, является чрезмерная и густая шерсть на руках. В таких случаях мы предлагаем либо сбрить область, либо исключить объект из исследования.

Одной из важнейших проблем при использовании sEMG для распознавания жестов является его чувствительность к положению руки. Даже при выполнении одного и того же жеста различия в ориентации рук могут привести к различным паттернам сигнала ЭМГ. Для решения этой проблемы необходимы модели машинного обучения, которые могут учитывать вариативность положения рук22. Эти модели должны быть обучены на данных из нескольких положений рук для повышения надежности и обобщаемости. Синхронизация визуальных данных и данных sEMG является еще одним важным фактором. Согласованное время жестов имеет решающее значение для предотвращения расхождений между выполнением жестов и записью данных. Этот протокол использует визуальный обратный отсчет и звуковые сигналы, чтобы обеспечить точное время и повторную калибровку, когда это необходимо для исправления любого смещения во время сбора данных.

Несмотря на свои сильные стороны, этот протокол имеет несколько ограничений. Одним из основных ограничений является ограниченное поле зрения камеры слежения за руками, которое требует, чтобы руки участника оставались в пределах дальности обнаружения камеры. Это ограничивает анализ небольшим набором движений. Для экспериментов вне лаборатории потребуется более сложная видеосъемка или использование умных перчаток. Усталость участников также представляет собой проблему во время длительных сеансов, потенциально влияя на точность жестов и активацию мышц, что может ухудшить качество данных sEMG. Чтобы смягчить эти эффекты, может потребоваться ограничить продолжительность сеанса или ввести перерывы, чтобы свести к минимуму усталость. Кроме того, помехи от линии электропередачи могут вносить шум в сигналы sEMG, особенно когда участники находятся близко к ПК для сбора данных. Беспроводная версия системы может уменьшить такие помехи, позволяя участникам находиться дальше от компьютера.

Существенным методологическим ограничением детекции пальцевых жестов на основе ЭМГ является высокая межсубъектная вариабельность сигналов сЭМГ, что требует разработки пользовательских моделей для каждого участника. Такой подход, ориентированный на конкретную тему, хотя и более точный, ограничивает масштабируемость протокола и требует дополнительного времени на калибровку и обучение для каждого нового пользователя. Потоки данных EMG и HKD демонстрируют незначительные различия во временной синхронизации из-за двойной записи процесса. Эти временные расхождения оказывают минимальное влияние на статический анализ жестов, поскольку поддерживаемые позы являются временно стабильными. Устойчивый характер статических жестов обеспечивает достаточное время для стабилизации как ЭМГ, так и кинематических функций, в отличие от динамических жестов, которые требуют более точной синхронизации.

Ключевым преимуществом этого метода является его гибкость в захвате жестов. В отличие от других систем, требующих жестких настроек и строгих параметров жестов, этот протокол обеспечивает динамическое и гибкое положение рук19. Эта гибкость особенно полезна в исследованиях, направленных на анализ широкого диапазона движений, что делает его более адаптируемым к реальным приложениям. Кроме того, этот протокол является экономически эффективным по сравнению с более совершенными системами захвата движения и sEMG, которые часто включают в себя сложные настройки. Благодаря интеграции камеры слежения за руками с полуавтоматическими алгоритмами sEMG, этот метод представляет собой жизнеспособную альтернативу для исследований распознавания жестов без ущерба для качества данных. Кроме того, потенциал системы для обработки данных в режиме реального времени открывает возможности для немедленной обратной связи в таких приложениях, как нейропротезирование и реабилитация, где важна реакция в режиме реального времени. Этот протокол имеет значительные последствия для нескольких областей, в частности для нейропротезирования. Точное прогнозирование жестов рук по сигналам sEMG имеет решающее значение для управления протезами конечностей, а гибкость в позиционировании рук, обеспечиваемая этим методом, делает его идеальным кандидатом для протезирования в режиме реального времени. В реабилитации этот протокол может быть использован для мониторинга и улучшения моторного восстановления у пациентов с нарушениями кисти или пальцев. Анализируя паттерны активации мышц во время выполнения жестов, эта система может быть использована для адаптации реабилитационных упражнений к индивидуальным потребностям, предлагая персонализированный подход к восстановлению моторики. Для взаимодействия человека и компьютера (HCI) этот метод позволяет создавать более естественные системы управления, основанные на жестах, повышая интуитивность и эффективность пользовательских интерфейсов. Наконец, протокол может быть применен к эргономическим исследованиям, чтобы оценить, как различные положения рук и жесты влияют на мышечную активность и усталость, что потенциально может привести к прогрессу в дизайне рабочего места и эргономике пользователя.

Чтобы обеспечить постоянную силу сжатия у всех участников, в будущих исследованиях можно было бы использовать перчатки с чувствительными к силе резисторами для непосредственного измерения силы. Это позволит стандартизировать работу по всем предметам, повысив надежность данных ЭМГ. Кроме того, интеграция этого измерения силы в качестве метки в кинематику суставов обеспечит более подробное представление о внутреннем состоянии мышцы, потенциально обогащая анализ мышечной функции и моделей движения. Такой подход не только повысит согласованность данных, но и обеспечит более глубокое понимание взаимосвязи между сокращением мышц и движением суставов.

В заключение следует отметить, что этот протокол обеспечивает новый и гибкий подход к распознаванию жестов рук с широким применением в нейропротезировании, реабилитации, гиперконвергентной инфраструктуре и эргономике. Несмотря на то, что система имеет ограничения, ее гибкость, экономичность и потенциал для использования в режиме реального времени представляют собой существенный шаг вперед по сравнению с существующими методами. Эти сильные стороны делают его многообещающим инструментом для дальнейшего развития и инноваций в технологиях распознавания жестов.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Яэль Ханейн заявляет о финансовой заинтересованности в компании X-trodes Ltd, которая коммерциализировала технологию трафаретной печати электродов, используемую в этой статье. Другие авторы не имеют никаких других существенных финансовых связей с какой-либо организацией или учреждением, имеющим финансовую заинтересованность или финансовый конфликт с предметом или материалами, обсуждаемыми в рукописи, кроме раскрытых.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот проект был частично профинансирован за счет гранта от ERC (OuterRetina) и ISF. Спонсоры не играли никакой роли в дизайне исследования, сборе и анализе данных, принятии решения о публикации или подготовке рукописи. Мы благодарим Дэвида Бузагло, Чени Хермона, Лирона Бен Ари и Ади Бен Ари за их помощь в разработке оригинальной версии протокола.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Регулируемая палкаИспользуется для позиционирования и наклона камеры слежения за руками в нужной ориентации для оптимального сбора данных во время эксперимента.
Спиртовая салфеткаДля очистки места установки электрода.
Блок сбора данных (DAU)X-trodes Ltd.  XTR-BT V1.3Совместимая в реальном времени DAU 2.0.17 или 4.0.1
Распознавание жестов пальцами Библиотекаhttps://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git
Leap Motion Controller 2Ultraleap129-SP4-00005-03Камера слежения за руками
Длинный кабельПодключение камеры слежения за руками к ПК.
Мониторы: один для руководства, один для просмотра данных с камеры слежения за руками 
Персональный компьютер (ПК)WindowsWindows 10+; Процессоры: Процессор Inteli7. Ресивер BT.
КодСкрипт, обеспечивающий бесшовную потоковую передачу и запись данных со скоростью до 500 Гвыб/с при подключении DAU к ПК через Bluetooth
Ultraleap Camera Python APIUltraleapPython API и инструкции от Ultraleap s репозиторий GitHub (https://github.com/ultraleap/leapc-python-bindings) использовался для сбора данных с устройства Ultraleap во время эксперимента
Ultraleap HyperionUltraleapTracking software
XTR EXG16X-trodes Ltd.XTELC0003405RM16-канальный носимый пластырь с сухими электродами для ЭМГ, мониторинга ЭКГ
X-trodes PC AppX-trodes Ltd.1.1.35.0Приложение для подключения X-trodes DAU к ПК через BT
для селфи Type-C к Type-C ПК на Python

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Fang, B., et al. Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand. IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).
  2. Yadav, D., Veer, K. Recent trends and challenges of surface electromyography in prosthetic applications. Biomed Eng Lett. 13 (3), 353-373 (2023).
  3. EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).
  4. sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).
  5. Zhang, X., Zhou, P. High-density myoelectric pattern recognition toward improved stroke rehabilitation. IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).
  6. Guo, K., et al. Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system. Bioengineering. 10 (5), 557(2023).
  7. Sun, T., Hu, Q., Libby, J., Atashzar, S. F. Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics. IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).
  8. Atzori, M., et al. Characterization of a benchmark database for myoelectric movement classification. IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).
  9. Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).
  10. Geng, W., et al. Gesture recognition by instantaneous surface EMG images. Sci Rep. 6 (1), 36571(2016).
  11. Wei, W., et al. A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 119, 131-138 (2019).
  12. Padhy, S. A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals. IEEE Sens J. 21 (5), 6634-6642 (2021).
  13. Moin, A., et al. A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition. Nat Electron. 4 (1), 54-63 (2021).
  14. Côté-Allard, U., et al. Deep learning for electromyographic hand gesture signal classification using transfer learning. IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).
  15. NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).
  16. Dere, M. D., Lee, B. A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation. IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).
  17. Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method. IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).
  18. Lee, K. H., Min, J. Y., Byun, S. Electromyogram-based classification of hand and finger gestures using artificial neural networks. Sensors. 22 (1), 225(2022).
  19. Zhou, X., et al. A novel muscle-computer interface for hand gesture recognition using depth vision. J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).
  20. Zhang, Z., Yang, K., Qian, J., Zhang, L. Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network. Sensors. 19 (14), 3170(2019).
  21. Nieuwoudt, L., Fisher, C. Investigation of real-time control of finger movements utilizing surface EMG signals. IEEE Sens J. 23 (18), 21989-21997 (2023).
  22. Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. Finger gesture recognition with smart skin technology and deep learning. Flexible Printed Electron. 8 (2), 25012(2023).
  23. Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).
  24. Lin, J., Wu, Y., Huang, T. S. Modeling the constraints of human hand motion. Proc Workshop Human Motion. , 121-126 (2000).
  25. Arché-Núñez, A., et al. Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance. Physiol Meas. 44 (9), 95006(2023).
  26. Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health. J Hand Ther. 30 (3), 337-347 (2017).
  27. Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).
  28. Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification. IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).
  29. Armitano-Lago, C., Willoughby, D., Kiefer, A. W. A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport. Front Sports Act Living. 3, 809898(2022).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Finger Gesture RecognitionSurface ElectromyographyHand TrackingDynamic Hand MovementsMuscle Activity MappingGesture Recognition SystemElectrode ArrayHuman Computer InteractionProsthetic RehabilitationDeep Learning Methods

Related Articles