Захват динамической жестикуляции пальцев с помощью поверхностной электромиографии высокого разрешения и компьютерного зрения

Наше исследование направлено на улучшение динамического распознавания жестов рук с использованием синхронизированных ЭМГ и визуальных данных. Мы стремимся определить, насколько точно мышечная активность соотносится с жестами пальцев в различных положениях рук и как это может улучшить применение в протезной реабилитации и взаимодействии человека с компьютером. Наш протокол устраняет пробел в распознавании жестов рук, позволяя сопоставлять мышечную активность с жестами пальцев в различных динамических положениях рук.

Наш подход собирает и синхронизирует DMG и визуальные данные во время динамических движений, закладывая основу для разработки надежных моделей распознавания жестов. В отличие от традиционных методов со статическими настройками, наш протокол использует беспроводную EMGRA и систему отслеживания рук во время динамических движений, обеспечивая гибкость и более реалистичный сбор данных для исследований распознавания жестов. Для начала откройте репозиторий GitHub и следуйте подробным инструкциям в разделе установки.

Найдите основной файл Python data_collection. py в папке и подготовьте его к запуску эксперимента. Используйте скриптовую спектрограмму.

py для оценки электромиографии, короче говоря, качества сигнала ЭМГ, и скрипт анализа данных для фильтрации и сегментации сигнала. Убедитесь, что блок сбора данных EMG, короче говоря, DAU, полностью заряжен перед каждым сеансом. Затем включаем DAU.

Подключите DAU к ПК через Bluetooth с помощью специального приложения. Установите скорость связи Bluetooth равной 500 выборкам в секунду. Установите и откройте программное обеспечение камеры слежения за движением рук на ПК. Подключите камеру слежения рук к ПК с помощью кабеля.

Используйте один экран для постоянного отображения программного обеспечения камеры слежения за руками. Для начала попросите участника согнуть правую руку в крепкий кулак. Когда участник сгибается, мягко надавливайте вдоль его предплечья, чтобы пальпировать мышцу и определить место с наиболее заметной активацией.

Снимите белый защитный слой с электродной решетки ЭМГ и аккуратно приложите электроды к выявленной области предплечья. Приложите клейкую ленту близко к ладони и легкими похлопывающими движениями прикрепите электродную решетку к коже. После того, как электродная решетка будет прикреплена к коже, снимите прозрачный поддерживающий слой.

Затем вставьте плату разъема электродной матрицы в гнездо разъема DAU. Прикрепите DAU к скотчу рядом с электродами. Запустите пользовательский скрипт спектрограммы Python для проверки качества сигнала в режиме реального времени.

Обратите внимание на отображаемое окно, показывающее необработанные данные слева и данные в частотной области справа для всех электродов. Убедитесь, что все электроды обнаружены и функционируют правильно, а сигнал чист от чрезмерного шума и шума 50 Гц. При необходимости отключите ненужное оборудование от сети и отойдите от электронных устройств, чтобы снизить шум и дать время для стабилизации сигнала.

Далее проинструктируйте участника положить локоть на кресло и пошевелить пальцами, после чего попросите расслабиться. Убедитесь, что отображается четкий сигнал ЭМГ, за которым следует статический базовый шум. Закройте скрипт после завершения проверки сигнала.

Чтобы просмотреть положение, нажмите на оценку положения пальца с последующим сбором данных, чтобы открыть папку с изображениями. Просмотрите изображения жестов вместе с участником. Четко объясните участнику положения форхенда.

Проинструктируйте их о том, как держать руку перед каждым занятием, обеспечивая правильную осанку и положение. В первой позиции руки попросите участника встать прямо, примерно в метре от стола. Затем попросите участника держать правую руку вниз, прямо и расслабленно, ладонью к камере слежения за руками.

Закрепите камеру слежения за руками на столе с помощью селфи-палки и направьте ее лицом к руке участника. Убедитесь, что участник делает твердые жесты в начале звукового сигнала, а затем расслабленную ладонь во время отдыха. В случае второго положения рук попросите участника удобно сесть в кресло, расположенное на расстоянии от 40 до 70 сантиметров от мониторов.

Затем попросите участника вытянуть правую руку вперед под углом 90 градусов, расслабив ладонь и повернув ее к камере слежения за руками. При необходимости используйте опорное устройство, чтобы удерживать руку в устойчивом положении. Поместите камеру слежения за руками на стол лицевой стороной вверх.

Убедитесь, что участник делает твердые жесты в начале звукового сигнала, а затем расслабленную ладонь во время отдыха. В третьем положении рук попросите участника сложить руку вверх, положив локоть на кресло. Убедитесь, что ладонь расслаблена и обращена к камере слежения за руками.

Закрепите камеру слежения за руками на столе лицом к руке участника. Убедитесь, что положение участника оптимально как для просмотра экранов, так и для нахождения в поле зрения камеры. Убедитесь, что участник делает твердые жесты в начале звукового сигнала, а затем расслабленная ладонь во время отдыха.

В четвертом положении руки попросите участника выполнить жесты пальцами, свободно двигая рукой, выбрав либо динамическое положение руки, либо динамическое положение руки, либо динамическое положение руки, либо третье динамическое положение руки. Включите компьютер, откройте Python и загрузите скрипт data_collection.py. Отрегулируйте положение и угол камеры слежения за руками, чтобы они совпадали с положением руки участника.

Запустите data_collection. py. Появится окно для ввода данных участника.

Заполните необходимую информацию и нажмите OK, чтобы начать эксперимент автоматически. Для каждого сеанса записывайте данные ЭМГ и отслеживания рук, которые автоматически сохраняются. По завершении эксперимента убедитесь, что данные автоматически сохраняются в папке с серийным номером участника.

Убедитесь, что каждый сеанс хранится во вложенной папке с именем S-номер, содержащей четыре подпапки для каждого положения руки, помеченного как P-номер. Если участник выполняет несколько сеансов, убедитесь, что все данные сохранены в соответствующей папке сеанса. Убедитесь, что каждая папка с данными о положении рук содержит данные ЭМГ, сохраненные в файле EDF, данные отслеживания рук, сохраненные в файле CSV, и файл журнала, содержащий метаданные о сеансе.

Каналы ЭМГ демонстрировали повышенную электрическую активность во время фаз абдукции по сравнению с фазами покоя, что проявляется в сигналах более высокой амплитуды по всем каналам, с механическими артефактами, отмеченными острыми всплесками. Кинематические данные рук продемонстрировали синхронизированные изменения угла наклона пальцев, соответствующие заданным жестам отведения, со стабильными траекториями сигнала при беспрепятственном отслеживании и видимыми отклонениями в смещенных участках.