Captura de gestos dinámicos con los dedos con electromiografía de superficie de alta resolución y visión artificial

Nuestra investigación se centra en mejorar el reconocimiento dinámico de gestos con la mano utilizando EMG sincronizados y datos visuales. Nuestro objetivo es determinar la precisión con la que la actividad muscular se asigna al gesto de los dedos en diferentes posiciones de la mano y cómo esto puede mejorar la aplicación en la rehabilitación protésica y la interacción humano-computadora. Nuestro protocolo aborda la brecha en el reconocimiento de gestos con las manos al permitir el mapeo de la actividad muscular al gesto de los dedos en varias posiciones dinámicas de la mano.

Nuestro enfoque recopila y sincroniza DMG y datos visuales durante movimientos dinámicos, sentando las bases para desarrollar modelos sólidos de reconocimiento de gestos. A diferencia de los métodos tradicionales con configuraciones estáticas, nuestro protocolo utiliza un EMGRA inalámbrico y el sistema de seguimiento de la mano durante los movimientos dinámicos, lo que garantiza la flexibilidad y una recopilación de datos más realista para los estudios de reconocimiento de gestos. Para comenzar, abra el repositorio de GitHub y siga las instrucciones detalladas en la sección de instalación.

Localice el archivo principal de Python, data_collection. py, en la carpeta, y prepáralo para ejecutar el experimento. Utilice el espectrograma de script.

Para evaluar la electromiografía, en resumen, la calidad de la señal EMG, y el script de análisis de datos para el filtrado y la segmentación de señales. Asegúrese de que la unidad de adquisición de datos EMG, en resumen, DAU, esté completamente cargada antes de cada sesión. A continuación, encienda el DAU.

Conecte el DAU a la PC a través de Bluetooth usando la aplicación dedicada. Establezca la velocidad de comunicación Bluetooth en 500 muestras por segundo. Instale y abra el software de la cámara de seguimiento de manos en la PC. Conecte la cámara de seguimiento de manos a la PC mediante un cable.

Utilice una pantalla para mostrar siempre el software de la cámara de seguimiento de manos. Para comenzar, indique al participante que flexione su mano derecha en un puño fuerte. A medida que el participante se flexiona, presione suavemente a lo largo de su antebrazo para palpar el músculo e identificar el punto con la activación más prominente.

Despegue la capa protectora blanca de la guía de electrodos EMG y fije con cuidado los electrodos en el área identificada del antebrazo. Coloque la cinta adhesiva cerca de la palma de la mano y golpéela suavemente para asegurar la guía de electrodos a la piel. Una vez que la guía de electrodos esté unida a la piel, retire la capa de soporte transparente.

A continuación, inserte la tarjeta del conector de la guía de electrodos en el zócalo del conector DAU. Fije el DAU a la cinta adhesiva junto a los electrodos. Ejecute el script de espectrograma de Python personalizado para verificar la calidad de la señal en tiempo real.

Observe la ventana que se muestra mostrando los datos brutos a la izquierda y los datos del dominio de frecuencia a la derecha para todos los electrodos. Verifique que todos los electrodos estén detectados y funcionen correctamente y que la señal esté limpia de ruido excesivo y ruido de 50 hercios. Si es necesario, desconecte los dispositivos innecesarios del equipo y aléjese de los dispositivos electrónicos para reducir el ruido, dando tiempo para que la señal se estabilice.

A continuación, indique al participante que coloque un codo en el sillón y mueva los dedos, luego pida relajarse. Asegúrese de que se muestre una señal EMG clara, seguida de ruido de referencia estático. Cierre el script una vez que se complete la verificación de la señal.

Para revisar la posición, haga clic en estimación de la postura de los dedos seguida de adquisición de datos para abrir la carpeta de imágenes. Revise las imágenes de gestos con el participante. Explique claramente al participante las posiciones de la derecha.

Instruya sobre cómo sostener su mano antes de cada sesión, asegurándose de que tenga la postura y el posicionamiento adecuados. Para la posición de la mano uno, pida al participante que se pare derecho, aproximadamente a un metro de distancia de la mesa. Luego, indique al participante que mantenga su mano derecha hacia abajo, recta y relajada, con la palma hacia la cámara de seguimiento de manos.

Fije la cámara de seguimiento de manos en la mesa con un palo selfie y diríjala a la mano del participante. Asegúrese de que el participante haga gestos firmes al inicio del pitido, seguido de la relajación de la palma durante el período de descanso. Para la posición de la mano dos, indique al participante que se siente cómodamente en un sillón, colocado a una distancia de 40 a 70 centímetros de los monitores.

Luego, pida al participante que extienda su mano derecha hacia adelante en un ángulo de 90 grados con la palma relajada y mirando hacia la cámara de seguimiento de manos. Utilice un dispositivo de soporte si es necesario para mantener la mano firme. Coloque la cámara de seguimiento de manos en la mesa mirando hacia arriba.

Asegúrese de que el participante haga gestos firmes al inicio del pitido, seguido de la relajación de la palma durante el período de descanso. Para la posición de la mano tres, pida al participante que doble la mano hacia arriba mientras apoya el codo en el sillón. Asegúrese de que la palma de la mano esté relajada y orientada hacia la cámara de seguimiento de manos.

Fije la cámara de seguimiento de manos en la mesa frente a la mano del participante. Asegúrese de que la posición del participante sea óptima tanto para ver las pantallas como para estar dentro del campo de visión de la cámara. Asegúrese de que el participante haga gestos firmes al inicio del pitido seguido de la relajación de la palma durante el período de descanso.

Para la posición de la mano cuatro, pida al participante que realice los gestos de los dedos mientras mueve la mano libremente, eligiendo la posición dinámica de la mano uno, la posición dinámica de la mano dos o la posición dinámica de la mano tres. Encienda la computadora, abra Python y cargue el script data_collection.py. Ajuste la posición y el ángulo de la cámara de seguimiento de la mano para alinearlos con la posición de la mano del participante.

Ejecute el data_collection. Script py. Aparecerá una ventana para introducir los datos del participante.

Complete la información requerida y presione OK para iniciar el experimento automáticamente. Para cada sesión, registre los datos de EMG y seguimiento de manos, que se guardan automáticamente. Al concluir el experimento, asegúrese de que los datos se guarden automáticamente en una carpeta etiquetada con el número de serie del participante.

Compruebe que cada sesión se almacena en una subcarpeta denominada número S, que contiene cuatro subcarpetas para cada posición de la mano etiquetada como número P. Si un participante completa varias sesiones, confirme que todos los datos estén guardados en la carpeta de sesión correspondiente. Asegúrese de que cada carpeta de posición de la mano contenga los datos de EMG guardados en un archivo EDF, los datos de seguimiento de la mano guardados en un archivo CSV y un archivo de registro que contenga los metadatos sobre la sesión.

Los canales EMG mostraron una mayor actividad eléctrica durante las fases de abducción en comparación con las fases de reposo, como se evidencia en señales de mayor amplitud en todos los canales, con artefactos mecánicos marcados por picos agudos. Los datos cinemáticos de la mano demostraron cambios sincronizados en el ángulo de los dedos correspondientes a gestos de abducción instruidos, con trayectorias de señal estables durante el seguimiento sin obstrucciones y desviaciones visibles en secciones desalineadas.