Name: Captura de gestos dinámicos con los dedos con electromiografía de superficie de alta resolución y visión artificial (Video) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Aprende a capturar gestos dinámicos con los dedos mediante electromiografía de superficie de alta resolución y visión artificial. Este protocolo sincroniza datos EMG y visuales durante movimientos naturales para desarrollar modelos robustos de reconocimiento de gestos.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Se reclutaron participantes sanos (n = 18, de 18 a 32 años, tanto hombres como mujeres) para este estudio, que fue aprobado por la Junta de Revisión de Ética de la Universidad de Tel Aviv (Aprobación No. 0004877-3). El protocolo se adhiere a las pautas de la junta para la investigación que involucra participantes humanos. Se obtuvo el consentimiento informado de todos los participantes de acuerdo con los requisitos institucionales.
1. Sesión informativa para experimentadores
<ol>
	<li>Pida a los participantes que realicen una serie de 14 gestos distintos con los dedos (véase la Figura 1) y que repitan cada gesto 7 veces en una secuencia aleatoria. Pídales que mantengan cada gesto firmemente durante 5 segundos, seguidos de un período de descanso de 3 segundos. La duración total de cada sesión es de 13:04 min.</li>
	<li>Una imagen grande del gesto que se muestra en la pantalla de una computadora va acompañada de un temporizador de cuenta regresiva para indicar el rendimiento del gesto. Durante el período de descanso, pida al participante que mire la pequeña imagen del próximo gesto que se muestra, junto con un temporizador que indica el tiempo de descanso restante. Dos pitidos distintos señalan el inicio y el final de cada gesto, lo que ayuda a los participantes a prepararse para el siguiente gesto.</li>
	<li>Pida a cada participante que ejecute el procedimiento en cuatro posiciones diferentes, similares a las22 presentadas anteriormente: Posición 1: Participante de pie. Con la mano hacia abajo, recto y relajado. Posición 2: Participante sentado en el sillón. Mano extendida hacia adelante a 90°, palma relajada (se puede usar un dispositivo de soporte). Posición 3: Mano doblada hacia arriba (con el codo apoyado en el sillón), palma relajada. Posición 4: El participante elige una de las posiciones anteriores y puede mover la mano libremente dentro del rango de detección de la cámara, monitoreado en tiempo real en la pantalla de una PC (consulte el paso 1.4 para obtener más detalles).</li>
	<li>Para cada sesión, haga que el participante use un dispositivo de electromiografía en el brazo y coloque una cámara de seguimiento de mano hacia él. Pida a los participantes que se aseguren de que sus palmas siempre miren hacia la cámara. El software de seguimiento de la mano se muestra en una pantalla separada para que tanto el participante como el conductor puedan verificar que la mano se reconoce correctamente.</li>
	<li>Para cada posición, ajuste la posición y el ángulo de la cámara de seguimiento de manos para garantizar un reconocimiento preciso de la mano. Además, evalúe la calidad de las señales de los electrodos utilizando el script del espectrograma.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
Figura 1: Representación esquemática del proceso de recolección de datos. El sujeto está equipado con una guía de electrodos blandos colocada en el antebrazo (3), que captura señales de electromiografía de superficie (sEMG) de alta resolución durante la realización de gestos. El sujeto realiza 14 gestos diferentes con los dedos presentados en orden aleatorio en la pantalla de una computadora (4). Los datos EMG se transmiten de forma inalámbrica a un ordenador personal (PC) desde la unidad de adquisición de datos (DAU; 1). Al mismo tiempo, los datos cinemáticos de la mano (HKD) que representan los ángulos de las articulaciones de los dedos se capturan utilizando una cámara de seguimiento de la mano (2). <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
2. Configuración de las unidades de adquisición de datos
<ol>
	<li>Abra el repositorio de Github en https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git y siga las instrucciones detalladas en la sección Instalación. Localice el archivo principal de Python data_collection.py en la carpeta finger_pose_estimation/data_acquisition. Utilícelo para ejecutar el experimento, utilice el spectrogram.py de script para evaluar la calidad de la señal EMG antes de que comience el experimento, y el script data_analysis.py para el filtrado y la segmentación de señales.</li>
	<li>Asegúrese de que la unidad de adquisición de datos (DAU) EMG esté completamente cargada antes de cada sesión y enciéndala.</li>
	<li>Conecte el DAU a la PC a través de Bluetooth usando la aplicación dedicada. Establezca la velocidad de comunicación Bluetooth en 500 muestras por segundo (S/s).</li>
	<li>Instale y abra el software de la cámara de seguimiento de manos en la PC. Conecte la cámara de seguimiento manual a la PC mediante un cable.</li>
	<li>Utilice una pantalla para mostrar siempre el software de la cámara de seguimiento manual. De esta manera, el conductor y el participante podrán asegurarse de que la cámara reconoce correctamente la mano durante el experimento.</li>
</ol>
3. Preparación de los participantes
<ol>
	<li>Introducción y consentimiento<ol>
		<li>Explique brevemente la relevancia del estudio y el procedimiento experimental al participante. Obtener el consentimiento informado siguiendo los lineamientos institucionales para la investigación con seres humanos.</li>
	</ol>
	</li>
	<li>Colocación de electrodos<ol>
		<li>Indique al participante que flexione su mano derecha formando un puño fuerte. Mientras el participante se flexiona, palpa el antebrazo presionando suavemente a lo largo del músculo para identificar el punto donde la activación muscular es más prominente. Esta ubicación es fácilmente identificable al palpar el área donde el músculo se abulta durante la contracción.</li>
		<li>Opcional: Prepare el área de la piel identificada limpiándola con un paño sin fibra de alcohol, gel de preparación o agua y jabón. Deje que el área se seque al aire. Evite la limpieza excesiva con alcohol, ya que puede resecar la piel. Este paso es opcional; Consulte la sección de discusión.</li>
		<li>Retire la capa protectora blanca de la guía de electrodos EMG y fije cuidadosamente los electrodos al área del antebrazo identificada como se determinó en el paso 3.2.1. (ver Figura 1). Asegúrese de que la cinta adhesiva esté más cerca de la palma. Fije la guía de electrodos a la piel dando golpecitos suaves.</li>
		<li>Una vez que la guía de electrodos esté unida a la piel, retire la capa de soporte transparente.</li>
		<li>Inserte la tarjeta del conector de la guía de electrodos en el zócalo del conector de la DAU. Fije el DAU a la cinta adhesiva junto a los electrodos.</li>
		<li>Ejecute Spectrogram.py de script de espectrograma de Python personalizado para verificar la calidad de la señal en tiempo real. Aparecerá una ventana que muestra los datos brutos (a la izquierda) y el dominio de frecuencia (a la derecha) para todos los electrodos (consulte la Figura complementaria 1 como referencia).<ol>
			<li>Verifique que todos los electrodos se detecten y funcionen correctamente y que la señal esté limpia de ruido excesivo y ruido de 50 Hz.</li>
			<li>Si es necesario, reduzca el ruido de 50 Hz alejándose de los dispositivos electrónicos que puedan causar interferencias y desconectando los dispositivos innecesarios de la alimentación. Deje tiempo para que la señal se estabilice.</li>
			<li>Verifique la captura de la señal EMG: indique al participante que coloque un codo en el sillón y mueva los dedos, luego relájese. Asegúrese de que se muestre una señal EMG clara seguida de ruido de referencia estático.</li>
			<li>Cierre el script una vez que se complete la verificación de la señal.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Revisión de la posición de los gestos y las manos<ol>
		<li>Abra la carpeta Imágenes haciendo clic en Finger_pose_estimation &gt; Data_acquisition. Revisa las imágenes de los gestos con los participantes.</li>
		<li>Asegúrese de que entiendan cada movimiento y puedan realizarlo con precisión. Explique claramente al participante las cuatro posiciones de las manos.</li>
		<li>Instruya al participante sobre cómo sostener la mano antes de cada sesión, asegurando la postura y el posicionamiento adecuados.</li>
	</ol>
	</li>
	<li>Posicionamiento de los participantes y de la cámara<ol>
		<li>Para la posición de la mano 1, indique al participante que se pare derecho a aproximadamente 1 m de distancia de la mesa. Indique al participante que mantenga la mano derecha hacia abajo, recta y relajada, con la palma hacia la cámara de seguimiento de manos. Fije la cámara de seguimiento de manos en la mesa con un palo de selfie y diríjala a la mano del participante.</li>
		<li>Para la posición de la mano 2, indique al participante que se siente cómodamente en un sillón colocado a 40-70 cm de los monitores. Indique al participante que extienda la mano derecha hacia adelante a 90° con la palma relajada frente a la cámara de seguimiento de manos. Use un dispositivo de soporte, si es necesario, para mantener la mano firme. Coloque la cámara de seguimiento de manos sobre la mesa boca arriba. NOTA: Como se solicita al participante que permanezca en una postura fija, es importante encontrar una posición cómoda que pueda mantener durante toda la sesión.</li>
		<li>Para la posición de la mano 3, indique al participante que se siente como se describe en el paso 3.4.2. Indique al participante que doble la mano hacia arriba mientras apoya el codo en el sillón. La palma de la mano debe estar relajada y el participante debe mirar hacia la cámara de seguimiento de manos. Fije la cámara de seguimiento de manos en la mesa frente a la mano del participante (use un palo de selfie si es necesario). Asegúrese de que la posición del participante sea óptima tanto para ver las pantallas como para estar dentro del campo de visión de la cámara.</li>
		<li>Supervise continuamente la pantalla que muestra los datos de seguimiento de la mano para asegurarse de que la cámara detecte la mano y los dedos durante todo el experimento. Opcional: verifique la calidad de la señal EMG (paso 3.2.6.) en cada posición de la mano antes de comenzar el experimento.</li>
	</ol>
	</li>
</ol>
4. Recopilación de datos
<ol>
	<li>Ejecución del experimento<ol>
		<li>Abra Python y cargue data_collection.py. Verifique que los parámetros num_repetition, gesture_duration rest_duration estén configurados como se desee.<ol>
			<li>num_repetition: Define el número de veces que se muestra cada imagen de gesto. Para este experimento, establézcalo en 7, lo que significa que cada imagen se muestra 7 veces. gesture_duration: Especifique la duración (en s) durante la cual el participante realiza el gesto con la mano. Para este experimento, establézcalo en 5 s, determinando cuánto tiempo se muestra cada imagen de gesto. Rest_duration: Especifique el tiempo (en s) durante el cual el participante relaja la palma de la mano entre gestos. Para este experimento, ajústelo a 3 s.</li>
		</ol>
		</li>
		<li>Ajuste la posición y el ángulo de la cámara de seguimiento de la mano a la posición de la mano del participante.</li>
		<li>Ejecute el data_collection.py script. Aparecerá una ventana para introducir los datos del participante (número de serie, edad, sexo, número de sesión y posición de la mano). Complete esta información y pulse OK para iniciar el experimento automáticamente.</li>
	</ol>
	</li>
	<li>Recogida de datos<ol>
		<li>Para cada sesión, registre los datos de EMG y seguimiento de manos que se guardan automáticamente. Repita el experimento 4 veces para cada participante, una vez por posición de la mano.</li>
	</ol>
	</li>
</ol>
5. Manejo de datos de fin de experimento y post-experimento
<ol>
	<li>A medida que se completa el experimento, los datos se guardan automáticamente. Asegúrese de que los datos se guarden en una carpeta etiquetada con el número de serie del participante. Cada sesión se almacena en una subcarpeta denominada S# (por ejemplo, S1), con cuatro subcarpetas para cada posición de mano P# (P1, P2, P3 y P4). El tamaño de la carpeta para una sola sesión es de aproximadamente 160 MB.</li>
	<li>Si un participante completa varias sesiones, asegúrese de que todos los datos se guarden en la carpeta de sesión correspondiente (por ejemplo, S1, S2).</li>
	<li>Archivos de datos Asegúrese de que cada carpeta de posición manual (P#) contenga los siguientes archivos: Datos EMG guardados en un archivo EDF, denominados de la siguiente manera: fpe_pos{número de posición}_{número de asunto}_S{número de sesión}_rep0_BT; datos de seguimiento manual guardados en un archivo CSV, llamado fpe_pos{número de posición}_{número de asunto}_S{número de sesión}_rep0_BT_full; y un archivo de registro, log.txt, que contiene metadatos sobre la sesión.</li>
	<li>Procesamiento de datos NOTA: Un usuario puede elegir cómo proceder con el análisis de la señal y qué herramientas utilizar. Aquí, proporcionamos un script para realizar el filtrado de señales y la segmentación de datos en Python. Cuando use Python, asegúrese de que todas las dependencias (por ejemplo, Numpy, Pandas, SciPy, MNE, Sklearn) estén instaladas.<ol>
		<li>Abra Python, cargue data_analysis.py y ejecute el script.</li>
		<li>Aparecerá una solicitud en la consola para proporcionar los parámetros necesarios para el procesamiento de datos: ruta al archivo EMG, ruta a los datos cinemáticos manuales, ruta donde se guardarán los datos procesados, frecuencia de muestreo en Hz, duración de la ventana en ms e intervalo de zancada en ms.</li>
		<li>Después de ese paso, el script realizará el procesamiento de datos.</li>
		<li>Filtrado de señal EMG: Ejecute el script como se indicó anteriormente. El script primero filtra la señal sEMG aplicando un filtro de paso alto Butterworth de 4º orden con un corte de 20 Hz para eliminar las señales que no son EMG, luego un filtro de muesca para eliminar los armónicos de 50 Hz y 100 Hz. Además, el script aplica la normalización de la señal EMG.</li>
		<li>EMG, datos HKD y segmentación de gestos instruidos: Ejecute el script como se indicó anteriormente. El script aplica la segmentación, utilizando una técnica de ventana móvil definida por la duración de la ventana y el intervalo de zancada especificados. En este experimento, establézcalos en 512 y 2 ms, respectivamente. A continuación, el script transforma la organización del canal sEMG en una configuración de cuadrícula espacial de 4 x 4 mientras se mantiene el diseño de la guía de electrodos. Por último, el script genera un diccionario que contiene metadatos como un archivo pickle.</li>
		<li>Pasos de limpieza y validación de datos<ol>
			<li>Identifique y excluya segmentos que contengan artefactos, ruido o etiquetas de gestos incoherentes del conjunto de datos.</li>
			<li>Garantice la integridad de los segmentos y la continuidad temporal en todas las ventanas para mantener la fiabilidad de los datos.</li>
			<li>Comprueba la coherencia de los datos de los gestos con el HKD. Elimine las ventanas que muestran patrones de gestos que se desvían de los estándares de sesión de HKD.</li>
			<li>Detecte y descarte los segmentos atípicos que no se ajusten a los patrones cinemáticos esperados para la sesión.</li>
			<li>Realice más análisis de datos utilizando algoritmos avanzados. Estos no están previstos en el protocolo actual.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Selfie Stick</td><td></td><td></td> ajustable <td>Se utiliza para posicionar e inclinar la cámara de seguimiento manual en la orientación deseada para una captura de datos óptima durante el experimento.</td></tr><tr><td>Almohadilla</td><td></td><td></td><td>con alcohol Para limpiar el área para la colocación de electrodos.</td></tr><tr><td>Unidad de adquisición de datos (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp; XTR-BT V1.3</td><td>Compatible en tiempo real DAU 2.0.17 o 4.0.1</td></tr><tr><td>Finger Gestures Recognition library</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Motion Controller 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>Cámara de seguimiento de manos</td></tr><tr><td>Cable</td><td></td><td></td> largo de tipo C a tipo C <td>Conexión de la cámara de seguimiento de mano al PC.</td></tr><tr><td>Monitores de</td><td></td><td></td> PC <td>Uno para las pautas, otro para ver los datos de la cámara de seguimiento manual&nbsp;</td></tr><tr><td>Computadora personal (PC)</td><td>Windows</td><td></td><td>Windows 10+; Procesadores: Procesador Inteli7. Receptor BT.</td></tr><tr><td>Código</td><td></td><td></td> Python: <td>Un script que permite la transmisión y grabación de datos sin interrupciones de hasta 500 S/s cuando DAU está conectado a la PC a través de Bluetooth</td></tr><tr><td>Ultraleap Camera Python API</td><td>Ultraleap</td><td></td><td>Python API e instrucciones de Ultraleap' s Repositorio de GitHub (https://github.com/ultraleap/leapc-python-bindings) utilizado para recopilar datos de la unidad Ultraleap durante el experimento</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>Software</td></tr><tr><td>de seguimiento XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>parche de matriz de electrodos secos portátil de 16 canales para EMG, monitoreo de ECG</td></tr><tr><td>X-trodes PC App</td><td>X-trodes Ltd.</td><td>1.1.35.0</td><td>Una aplicación para conectar X-trodes DAU a PC a través de BT</td></tr></tbody></table>

captura de gestos dinámicos con los dedos con electromiografía de superficie de alta resolución y visión artificial

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

El conjunto de datos consta de dos componentes sincronizados en el tiempo: un conjunto de datos EMG de 16 canales y datos de un sistema de cámara de seguimiento manual. Los datos EMG de 16 canales capturan la actividad muscular mediante el registro de señales eléctricas de diferentes músculos a lo largo del tiempo. El sistema de seguimiento de la mano proporciona 16 canales de datos correspondientes a puntos clave en un modelo esquelético de la mano. Si bien el modelo tiene 21 puntos, excluyendo la muñeca, este número se redujo a 16 debido a las restricciones de movimiento24. Los datos EMG y visuales se recopilaron ejecutando dos procesos separados en la misma computadora durante el registro para establecer la sincronía. Se utilizó una marca de tiempo para marcar el inicio de cada proceso, lo que permitió que el código de análisis de datos alineara la actividad muscular y los datos de movimiento de la mano al final de la grabación. Las anotaciones de marca de tiempo se guardaron automáticamente en archivos EDF y CSV, marcando el momento exacto en que se instruyeron gestos específicos con los dedos y facilitando la alineación durante el análisis de datos. La señal EMG filtrada (filtro de paso alto Butterworth de 4º orden de 20 Hz) se caracteriza por una línea de base baja (áreas sombreadas en gris), que normalmente se encuentra dentro del rango de 3-9 μV25. Esta línea de base se observa cuando la mano del sujeto está inmóvil y los músculos están en reposo. Sin embargo, si el tono muscular está presente incluso en la posición de reposo, se puede detectar una señal EMG distinta. Los artefactos mecánicos causados por el movimiento generalmente se manifiestan en el rango de 10-20 Hz y deben filtrarse en consecuencia. Los valores de referencia significativamente elevados pueden indicar interferencia de línea de 50 Hz y deben evitarse durante la etapa de configuración experimental. En los casos en que persista un ruido moderado de 50 Hz; Se aplica un filtro de muesca. Los artefactos de movimiento brusco, que son más difíciles de eliminar, a menudo aparecen como picos pronunciados de alta amplitud en la señal (ver asterisco en la Figura 2A). La amplitud de la señal EMG a través de la guía de 16 electrodos varía, reflejando la distribución espacial de la actividad muscular en la región medida. Esta variación proporciona información valiosa sobre la heterogeneidad de la contracción muscular durante los gestos con las manos.
La cámara de seguimiento de manos proporciona información directa de los ángulos de los dedos (datos cinemáticos de la mano, HKD), que se espera que se correlacionen estrechamente con las señales EMG registradas. Durante los gestos, los ángulos de los dedos están en el rango normalde 26, dependiendo del gesto específico. Cuando la trayectoria visual entre la cámara de seguimiento manual y la mano no está obstruida, la señal resultante es estable y precisa, como se muestra en la Figura 2. Sin embargo, en los casos en que se pierde el contacto visual o cuando el sistema experimenta limitaciones técnicas, el HKD puede volverse errático, mostrando saltos entre valores incorrectos. Estos datos atípicos deben minimizarse durante la recopilación de datos y descartarse en el análisis final para mantener la integridad de los resultados.
El HKD es intuitivo y proporciona una comparación directa con los gestos reales realizados. Presenta una baja variabilidad entre sujetos y en las diferentes posiciones de la mano. Por el contrario, los datos de EMG tienden a variar significativamente entre individuos debido a diferencias anatómicas como el tamaño de la mano y el desarrollo muscular27. Además, se puede observar variabilidad entre manos dominantes y no dominantes. Esta variabilidad específica del tema se puede abordar durante el análisis fuera de línea.
En la Figura 2, es evidente que tanto el EMG como el HKD están desplazados en relación con el disparador de gestos instruido. Esta discrepancia surge debido al tiempo de respuesta y a la ejecución natural del movimiento28. En las tareas de regresión, dicha variabilidad podría contribuir a la riqueza de los datos, mientras que en las tareas de clasificación, puede gestionarse utilizando un enfoque de razón de verosimilitud generalizada, como se aplica en escenarios similares28.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
Figura 2: Representativos de sEMG y HKD durante la abducción de los dedos. Señales de electromiografía de superficie (sEMG) y datos cinemáticos de la mano (HKD) registrados durante la abducción dinámica del dedo y el descanso realizado durante la posición de la mano 1 (mano abajo, recta y relajada) por un solo participante. (A) Señales EMG filtradas de 16 canales en función del tiempo. El asterisco (*) denota un artefacto mecánico detectado en la grabación EMG del canal 5. (B) HKD, mostrando los ángulos de unión en función del tiempo. Los ángulos articulares se miden en varias articulaciones: trapeciometacarpiana (TMC), metacarpofalángica (MCP) e interfalángica proximal (PIP). Las fases del experimento (reposo y abducción) se indican a lo largo del eje x. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
Estos resultados representativos demostraron la utilidad de los datos sincronizados de EMG y HKD en la captura de gestos con las manos. La alineación de las señales EMG con el HKD correspondiente permite mapear la actividad muscular con movimientos específicos de los dedos. Al construir un modelo predictivo, los investigadores pueden usar HKD como verdad fundamental, verificando y refinando iterativamente las predicciones de gestos basadas en EMG. Este enfoque pone de relieve la aplicabilidad práctica del protocolo y sugiere la necesidad de seguir investigando en entornos más naturales.
Figura complementaria 1: Ventanas de espectrograma mostradas durante el paso de verificación de la señal. Los paneles de la izquierda muestran los datos EMG sin procesar, mientras que los paneles de la derecha muestran los dominios de frecuencia detectados. (A) Ejemplo de una señal EMG muy ruidosa con fuertes interferencias de 50 Hz y 100 Hz. (B) Ejemplo de la misma grabación de la señal EMG después de alejar al participante de los dispositivos eléctricos, lo que resulta en una señal EMG limpia con una interferencia mínima. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">Haga clic aquí para descargar este archivo.</a>

Captura de gestos dinámicos con los dedos con electromiografía de superficie de alta resolución y visión artificial

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

Investigación

JoVE Journal

Bioengineering

Bioingeniería

Fuente:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51Escuela de Neurociencia Sagol, Universidad de Tel Aviv, 2Departamento de Otorrinolaringología, Hospital Universitario de Jena, Universidad Friedrich-Schiller de Jena, 3Escuela de Ingeniería Eléctrica, Universidad de Tel Aviv, 4División de Investigación Motora, Fisiopatología y Biomecánica, Departamento de Trauma, Cirugía Reparadora y de la Mano, Hospital Universitario de Jena,...

Electromiografía de superficie inalámbrica Registro de la actividad de los músculos faciales durante las expresiones

La monitorización de la actividad cerebral durante las tareas motoras verticales es de gran valor cuando se investiga la fuente neural de los trastornos del movimiento. Aquí, demostramos un protocolo que combina la espectroscopia funcional de infrarrojo cercano con el monitoreo continuo de la actividad muscular y cinemática durante 4 tipos de tareas motoras.

Funcional Espectroscopia de Infrarrojo Cercano de las Regiones sensoriales y motoras del cerebro con simultánea cinemática y EMG Supervisión Durante las tareas motoras

En este artículo se presenta una novedosa interfaz hombre-máquina de bajo costo para un sistema interactivo de rehabilitación del equilibrio después de un accidente cerebrovascular. El sistema integra sensores de bajo costo listos para usar hacia el paradigma de electroterapia impulsado por la voluntad. La interfaz de software de prueba de concepto se muestra en voluntarios sanos.

A-máquina humana integración de sensores de bajo coste con un sistema de estimulación eléctrica neuromuscular para la Rehabilitación de Balance post-accidente cerebrovascular

La estimulación magnética transcraneal, la electromiografía y la captura de movimiento en 3D son técnicas no invasivas comúnmente utilizadas para investigar la función neuromuscular en humanos. En este artículo, describimos un protocolo que muestrea sincrónicamente los datos generados por estas tres herramientas junto con la adición única de la presentación y retroalimentación de estímulos de realidad virtual.

Configuración de múltiples funciones para el estudio de control de motores Humano Usando estimulación magnética transcraneal, electromiografía, Captura de movimiento, y Realidad Virtual

Aquí se presenta un paradigma conductual que provoca respuestas visuomotoras rápidas y robustas en los músculos de las extremidades superiores humanas durante los alcances guiados visualmente.

Un paradigma de objetivo emergente para evocar respuestas visuomotoras rápidas en los músculos humanos de las extremidades superiores

Cuando agarramos un objeto, múltiples regiones de los dedos y la mano suelen hacer contacto con la superficie del objeto. La reconstrucción de tales regiones de contacto es un desafío. Aquí, presentamos un método para estimar aproximadamente las regiones de contacto combinando la captura de movimiento basada en marcadores con la reconstrucción de malla manual basada en aprendizaje profundo existente.

Estimación de las regiones de contacto entre las manos y los objetos durante el agarre humano de varios dígitos

La magnetoencefalografía (MEG) y la electroencefalografía de alta densidad (HD-EEG) rara vez se registran simultáneamente, aunque proporcionan información confirmatoria y complementaria. En este artículo, ilustramos la configuración experimental para el registro simultáneo de MEG y HD-EEG y la metodología para analizar estos datos con el objetivo de localizar áreas cerebrales epileptógenas y elocuentes en niños con epilepsia resistente a los medicamentos.

Imágenes de fuente electromagnética en la evaluación prequirúrgica de niños con epilepsia resistente a los medicamentos

En muchas situaciones clínicas y biológicas es conveniente estudiar los procesos celulares a medida que evolucionan en su microambiente nativa. A continuación se describe el montaje y el uso de un bajo costo de fibra óptica de microscopio que puede ofrecer imágenes en tiempo real en el cultivo celular, los estudios en animales y estudios clínicos del paciente.

De alta resolución de fibra óptica para Microendoscopy In situ Celular imágenes

No destructivos visualización de volumen sólo se puede lograr por medio de técnicas tomográficas, de los cuales el más eficiente es la tomografía de rayos X micro computarizada (TC).

3D de alta resolución de imagen de Ex-Vivo Muestras Biológicas por Micro CT

Se describe aquí la operación de un dispositivo de microfluidos que permite imágenes microscópicas continua y de alta resolución de las células de levadura en ciernes individuales durante su completa replicativa y / o cronológico vida útil.

Continua observación microscópica de alta resolución de replicativa envejecimiento en la levadura en ciernes

Aprende a capturar gestos dinámicos con los dedos mediante electromiografía de superficie de alta resolución y visión artificial. Este protocolo sincroniza datos EMG y visuales durante movimientos naturales para desarrollar modelos robustos de reconocimiento de gestos.

Captura de gestos dinámicos con los dedos con electromiografía de superficie de alta resolución y visión artificial

Explorar más videos