Estimación de las regiones de contacto entre las manos y los objetos durante el agarre humano de varios dígitos

La investigación conductual previa sobre el agarre humano se ha limitado a mediciones altamente restringidas en escenarios estrechamente controlados. Nuestro protocolo permite una caracterización mucho más rica del comportamiento de agarre naturalista complejo. Esta técnica utiliza mapas detallados de superficies de contacto con objetos manuales debido al agarre de varios dígitos.

Esto nos permite investigar cómo los humanos agarran objetos con un nivel de sofisticación sin precedentes. Las mediciones precisas de las habilidades de agarre humanas son necesarias para comprender el control motor, la percepción háptica y la interacción humano-computadora. Estos datos pueden informar el diseño de pinzas robóticas y prótesis de extremidades superiores.

Demostrando el procedimiento estará Kira Dehn, una estudiante graduada que completa su tesis de maestría en mi laboratorio. Para comenzar, coloque un banco de trabajo con un volumen de seguimiento fotografiado desde múltiples ángulos por cámaras de seguimiento de movimiento dispuestas en un marco que rodea el espacio de trabajo. Prepare marcadores reflectantes colocando cinta adhesiva de doble cara en la base de cada marcador.

Ejecute Qualisys Track Manager, o QTM, como administrador. Coloque el objeto de calibración en forma de L dentro del volumen de seguimiento. Dentro del QTM, haga clic en Calibrar en el menú Captura y espere a que se abra una ventana de calibración.

Seleccione la duración de la calibración y pulse OK. Mueva la varita de calibración a través del volumen de seguimiento durante la duración de la calibración. Pulse el botón Exportar y especifique una ruta de archivo para exportar la calibración como un archivo de texto.

Acepte la calibración pulsando Aceptar. Para crear un objeto de estímulo, construya un modelo de objetos 3D virtual en forma de malla poligonal. Utilice una impresora 3D para construir una réplica física del modelo de objetos.

Para preparar un objeto de estímulo, coloque cuatro marcadores reflectantes no planos en la superficie del objeto real. Coloque el objeto dentro del volumen de seguimiento. En el repositorio del proyecto, ejecute el script de Python indicado.

Siga las instrucciones proporcionadas por el script para realizar una captura de un segundo de la posición 3D de los marcadores de objeto. Seleccione todos los marcadores del cuerpo rígido. Haga clic con el botón derecho y seleccione Definir cuerpo rígido o 6DOF y, a continuación, Marco actual.

Introduzca el nombre del cuerpo rígido y pulse OK. En el menú Archivo, seleccione Exportar a TSV. En la nueva ventana, marque las casillas 3D, 6D y Esqueleto en la configuración de Tipo de datos.

Marque todas las casillas en la configuración general. Presione Aceptar y luego Guardar. Abra Blender y navegue hasta el espacio de trabajo Scripting.

Abra el archivo indicado y pulse Ejecutar. Desplázate hasta el espacio de trabajo Diseño y pulsa N para alternar la barra lateral. Dentro de la barra lateral, navega hasta la pestaña Personalizado.

Seleccione el archivo obj que desea registrar conjuntamente y pulse el botón Cargar objeto. Seleccione el archivo de trayectoria exportado anteriormente y especifique los nombres de los marcadores adjuntos a los objetos rígidos separados por punto y coma. En el encabezado del marcador, especifique la línea del archivo de trayectoria que contiene los nombres de columna de los datos.

A continuación, seleccione el archivo de cuerpo rígido correspondiente con el sufijo 6D y especifique el nombre del cuerpo rígido definido en el paso anterior. En el encabezado 6D, especifique la línea en el archivo de cuerpo rígido que contiene los nombres de columna de los datos. Pulse Cargar marcadores y, a continuación, traduzca y gire el objeto de marcadores o el objeto para alinearlos.

Especifique un archivo de salida de malla y pulse Ejecutar registro conjunto para generar un archivo obj que contenga la malla de estímulo coregistrada. Coloque 24 marcadores reflectantes esféricos en diferentes puntos de referencia de la mano de un participante con cinta adhesiva de doble cara. Coloque los marcadores centralmente en la parte superior de las yemas de los dedos en las articulaciones interfalángicas distales, las articulaciones interfalángicas proximales y las articulaciones metacarpofalángicas del dedo índice, el dedo medio, el anular y el dedo meñique.

Para el pulgar, coloque un marcador en la yema del dedo y la articulación metacarpiano carpiano basal y un par de marcadores en cada una de las articulaciones metacarpofalángica e interfalángica. Finalmente, coloque marcadores en el centro de la muñeca y en la articulación escatorapeziotrapezoidal. Pida al participante que coloque su mano plana sobre el banco de trabajo con la palma hacia abajo y que cierre los ojos.

Coloque el objeto de estímulo en el banco de trabajo frente al participante. Mientras se ejecuta el QTM, ejecute el script de Python indicado en el repositorio del proyecto. Pídale al participante que abra los ojos y siga las instrucciones proporcionadas por el guión para capturar una sola prueba del participante agarrando el objeto de estímulo.

Dentro del QTM, arrastre y suelte las trayectorias de marcadores individuales de las trayectorias no identificadas a las trayectorias etiquetadas y etiquételas de acuerdo con la convención de nomenclatura. Seleccione todos los marcadores adjuntos a la mano, haga clic con el botón derecho y seleccione Generar modelo AIM en la Selección. En la nueva ventana, seleccione Crear un nuevo modelo basado en conexiones de marcador a partir del modelo AIM existente y pulse el botón Siguiente.

Seleccione la definición del modelo RH_FH y pulse Abrir. Pulse Siguiente, introduzca un nombre para el modelo AIM y pulse Aceptar. Finalmente, presione Finalizar para crear un modelo AIM para la mano del participante para identificar automáticamente los marcadores en ensayos sucesivos del mismo participante.

Dentro del QTM, abra la configuración del proyecto pulsando el icono de la rueda dentada. En la barra lateral, navega hasta Skeleton Solver y presiona Cargar para seleccionar un archivo de definición de esqueleto. Ajuste el factor de escala al 100% y pulse Aplicar.

Vaya a TSV Export y marque las casillas 3D, 6D y Skeleton en la configuración del tipo de datos. Marque todas las casillas en la configuración general. Presione Aplicar y cierre la configuración del proyecto.

Presione el icono Reprocesar, luego marque las casillas Resolver esqueletos y Exportar a archivo TSV y presione OK. Abra una ventana de comandos en el repositorio del proyecto y active el entorno conda ejecutando el comando indicado. Luego ejecute el comando indicado y siga las instrucciones proporcionadas por el script para generar para cada fotograma de la prueba una malla manual que reconstruya la pose de la mano actual.

Para las estimaciones de la región de contacto entre la mano y el objeto, ejecute el comando indicado y siga las instrucciones proporcionadas por el script para generar estimaciones de la región de contacto entre la mano y el objeto calculando la intersección entre las mallas de la mano y el objeto. En este estudio, la dinámica del agarre se registró utilizando 24 marcadores reflectantes esféricos unidos a diferentes puntos de referencia de la mano. Aquí se muestran las modificaciones del decodificador de malla manual profunda previamente entrenado.

En primer lugar, como la red no está capacitada en participantes específicos, se emplea el correctivo de malla genérico dependiente de la identificación proporcionado con el modelo previamente entrenado. Además, el correctivo de esqueleto dependiente de ID se deriva utilizando el QTM Skeleton Solver. Se asume la escala proporcional de la mano con la longitud del esqueleto y el grosor de la malla se escala uniformemente por un factor derivado de la escala relativa del esqueleto.

Se muestra la reconstrucción final de malla manual 3D de la pose de mano actual en el mismo marco de coordenadas que la malla de objetos con seguimiento 3D. Se muestra un video de una mano con puntos rastreados y malla co-registrada, todos moviéndose uno al lado del otro durante un solo agarre a una figura de gato impresa en 3D. Un solo fotograma en el momento del contacto mano-objeto desde un agarre hasta un croissant impreso en 3D, junto con las reconstrucciones de malla de objetos manuales y las regiones de contacto estimadas en la superficie del croissant.

El objeto y los marcadores adjuntos a él deben estar debidamente registrados conjuntamente. Alinear completamente es importante porque las desviaciones pueden tener un gran impacto en las estimaciones de la región de contacto. Además de las superficies de contacto, el procedimiento proporciona ángulos de Euler articulares para cada articulación del dedo.

Estos se pueden usar para estudiar cómo se desarrollan las posturas de las manos durante los agarres de varios dígitos con el tiempo.