Estimativa de regiões de contato entre mãos e objetos durante a apreensão humana de múltiplos dígitos

Pesquisas comportamentais anteriores sobre apreensão humana foram limitadas a medições altamente restritas em cenários rigidamente controlados. Nosso protocolo permite uma caracterização muito mais rica do comportamento de apreensão naturalista complexo. Esta técnica utiliza mapas detalhados das superfícies de contato com objetos manuais devido à preensão de vários dígitos.

Isso nos permite investigar como os humanos agarram objetos com um nível de sofisticação sem precedentes. Medidas precisas das habilidades de preensão humana são necessárias para compreender o controle motor, a percepção háptica e a interação humano-computador. Esses dados podem subsidiar o projeto de pinças robóticas e próteses de membros superiores.

Quem demonstrará o procedimento será Kira Dehn, aluna de pós-graduação concluindo sua dissertação de mestrado em meu laboratório. Para começar, posicione uma bancada de trabalho com um volume de rastreamento obtido de vários ângulos por câmeras de rastreamento de movimento dispostas em um quadro ao redor do espaço de trabalho. Prepare marcadores reflexivos fixando fita adesiva dupla face à base de cada marcador.

Executar o Qualisys Track Manager, ou QTM, como administrador. Coloque o objeto de calibração em forma de L dentro do volume de rastreamento. Dentro do QTM, clique em Calibrar no menu Capturar e aguarde a abertura de uma janela de calibração.

Selecione a duração da calibração e pressione OK. Agite a varinha de calibração através do volume de rastreamento durante a calibração. Pressione o botão Exportar e especifique um caminho de arquivo para exportar a calibração como um arquivo de texto.

Aceite a calibração pressionando Ok. Para criar um objeto de estímulo, construa um modelo de objeto 3D virtual na forma de uma malha poligonal. Use uma impressora 3D para construir uma réplica física do modelo de objeto.

Para preparar um objeto de estímulo, anexe quatro marcadores reflexivos não planares à superfície do objeto real. Coloque o objeto dentro do volume de rastreamento. No repositório do projeto, execute o script Python indicado.

Siga as instruções fornecidas pelo script para executar uma captura de um segundo da posição 3D dos marcadores de objeto. Selecione todos os marcadores do corpo rígido. Clique com o botão direito do mouse e selecione Definir Corpo Rígido ou 6DOF e, em seguida, Quadro Atual.

Digite o nome do corpo rígido e pressione Ok. No menu Arquivo, selecione Exportar para TSV. Na nova janela, marque as caixas 3D, 6D e Esqueleto nas configurações de Tipo de Dados.

Marque todas as caixas nas configurações gerais. Pressione OK e depois em Salvar. Abra o Blender e navegue até o espaço de trabalho Scripting.

Abra o arquivo indicado e pressione Executar. Navegue até o espaço de trabalho Layout e pressione N para alternar a barra lateral. Na barra lateral, navegue até a guia Personalizado.

Selecione o arquivo obj a ser co-registrado e pressione o botão Load Object. Selecione o arquivo de trajetória exportado anteriormente e especifique os nomes dos marcadores anexados aos objetos rígidos separados por ponto-e-vírgula. No cabeçalho do marcador, especifique a linha no arquivo de trajetória que contém os nomes das colunas dos dados.

Em seguida, selecione o arquivo de corpo rígido correspondente com o sufixo 6D e especifique o nome do corpo rígido definido na etapa anterior. No cabeçalho 6D, especifique a linha no arquivo de corpo rígido que contém os nomes das colunas dos dados. Pressione Carregar marcadores e, em seguida, traduza e gire o objeto de marcadores ou o objeto para alinhá-los.

Especifique um arquivo de saída de malha e pressione Executar co-registro para gerar um arquivo obj que contenha a malha de estímulo co-registrada. Coloque 24 marcadores reflexivos esféricos em diferentes pontos de referência da mão de um participante usando fita dupla face. Coloque os marcadores centralmente na parte superior das pontas dos dedos nas articulações interfalangeanas distais, articulações interfalangeanas proximais e articulações metacarpofalangeanas do dedo indicador, dedo médio, anular e dedo mínimo.

Para o polegar, posicionar um marcador cada na ponta do dedo e na articulação metacarpal basal do carpo e um par de marcadores cada um nas articulações metacarpofalangeanas e interfalangeanas. Finalmente, coloque marcadores no centro do punho e na articulação escafotrapeziotrapezoidal. Peça ao participante que coloque a mão apoiada na bancada de trabalho com a palma da mão voltada para baixo e feche os olhos.

Coloque o objeto de estímulo na bancada de trabalho à frente do participante. Enquanto o QTM estiver em execução, execute o script Python indicado no repositório do projeto. Peça ao participante que abra os olhos e siga as instruções fornecidas pelo roteiro para capturar uma única tentativa do participante agarrando o objeto do estímulo.

Dentro do QTM, arraste e solte as trajetórias dos marcadores individuais das trajetórias não identificadas para as trajetórias rotuladas e rotule-as de acordo com a convenção de nomenclatura. Selecione todos os marcadores anexados à mão, clique com o botão direito do mouse e selecione Gerar modelo AIM na Seleção. Na nova janela, selecione Criar um novo modelo com base em conexões de marcador do modelo AIM existente e pressione o botão Avançar.

Selecione a definição do modelo RH_FH e pressione Abrir. Pressione Avançar, insira um nome para o modelo AIM e pressione OK. Finalmente, pressione Concluir para criar um modelo AIM para a mão do participante para identificar automaticamente marcadores em tentativas sucessivas do mesmo participante.

Dentro do QTM, abra as configurações do projeto pressionando o ícone da roda dentada. Na barra lateral, navegue até Skeleton Solver e pressione Load para selecionar um arquivo de definição de esqueleto. Ajuste o fator de escala para 100% e pressione Aplicar.

Navegue até Exportação TSV e marque as caixas 3D, 6D e Esqueleto nas configurações de Tipo de Dados. Marque todas as caixas nas configurações gerais. Pressione Aplicar e feche as configurações do projeto.

Pressione o ícone Reprocessar e, em seguida, marque as caixas Resolver esqueletos e Exportar para arquivo TSV e pressione OK. Abra uma janela de comando no repositório do projeto e ative o ambiente conda executando o comando indicado. Em seguida, execute o comando indicado e siga as instruções fornecidas pelo script para gerar para cada quadro do teste uma malha manual reconstruindo a pose de mão atual.

Para estimativas de região de contato de objeto manual, execute o comando indicado e siga as instruções fornecidas pelo script para gerar estimativas de região de contato de mão e objeto calculando a interseção entre as malhas de mão e objeto. Neste estudo, a dinâmica da preensão foi registrada por meio de 24 marcadores reflexivos esféricos fixados em diferentes pontos da mão. Modificações no decodificador de malha manual profunda pré-treinado são mostradas aqui.

Primeiro, como a rede não é treinada em participantes específicos, a malha genérica dependente de ID corretiva fornecida com o modelo pré-treinado é empregada. Além disso, o corretivo de esqueleto dependente de ID é derivado usando o QTM Skeleton Solver. A escala proporcional da mão com o comprimento do esqueleto é assumida e a espessura da malha é uniformemente dimensionada por um fator derivado da escala relativa do esqueleto.

A reconstrução final em malha manual 3D da pose de mão atual no mesmo quadro de coordenadas que a malha de objeto rastreada em 3D é mostrada. Um vídeo de uma mão com pontos rastreados e malha co-registrada, todos se movendo lado a lado durante uma única agarrada a uma estatueta de gato impressa em 3D é mostrado. Um único quadro no momento do contato mão-a-objeto de uma pega para um croissant impresso em 3D, juntamente com as reconstruções de malha de objeto de mão e as regiões de contato estimadas na superfície do croissant.

O objeto e os marcadores anexados a ele precisam ser devidamente co-registrados. Alinhá-los completamente é importante porque os desvios podem ter grande impacto nas estimativas de regiões de contato. Além das superfícies de contato, o procedimento fornece ângulos de Euler articular para cada articulação do dedo.

Estes podem ser usados para estudar como as poses das mãos durante as agarras de vários dígitos se desdobram ao longo do tempo.