Method Article

Estimativa de regiões de contato entre mãos e objetos durante a apreensão humana de múltiplos dígitos

DOI:

10.3791/64877

⸱

April 21st, 2023

 ,  ,  , 
1Department of Experimental Psychology, Justus Liebig University Giessen, 2Institute of Psychology & Centre for Cognitive Science, Technical University of Darmstadt, 3Centre for Mind, Brain and Behaviour (CMBB), University of Marburg and Justus Liebig University Giessen

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Quando agarramos um objeto, várias regiões dos dedos e da mão normalmente entram em contato com a superfície do objeto. Reconstruir essas regiões de contato é um desafio. Aqui, apresentamos um método para estimar aproximadamente as regiões de contato combinando captura de movimento baseada em marcadores com reconstrução de malha manual baseada em aprendizado profundo existente.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Para agarrar um objeto com sucesso, devemos selecionar regiões de contato apropriadas para nossas mãos na superfície do objeto. No entanto, identificar essas regiões é um desafio. Este documento descreve um fluxo de trabalho para estimar as regiões de contato a partir de dados de rastreamento baseados em marcadores. Os participantes agarram objetos reais, enquanto rastreamos a posição 3D dos objetos e da mão, incluindo as articulações dos dedos. Primeiro, determinamos os ângulos de Euler articulares a partir de uma seleção de marcadores rastreados posicionados no dorso da mão. Em seguida, usamos algoritmos de reconstrução de malha manual de última geração para gerar um modelo de malha da mão do participante na pose atual e na posição 3D.

O uso de objetos que foram impressos em 3D ou digitalizados em 3D - e, portanto, estão disponíveis como objetos reais e dados de malha - permite que as malhas da mão e do objeto sejam co-registradas. Por sua vez, isso permite estimar regiões de contato aproximadas por meio do cálculo das interseções entre a malha manual e a malha de objetos 3D co-registrada. O método pode ser usado para estimar onde e como os seres humanos agarram objetos sob uma variedade de condições. Portanto, o método pode ser de interesse para pesquisadores que estudam percepção visual e háptica, controle motor, interação humano-computador em realidade virtual e aumentada e robótica.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A capacidade de apreender e manipular objetos é uma habilidade chave que permite aos seres humanos remodelar o ambiente de acordo com seus desejos e necessidades. No entanto, controlar mãos multiarticuladas de forma eficaz é uma tarefa desafiadora que requer um sofisticado sistema de controle. Este sistema de controle motor é guiado por várias formas de entrada sensorial, entre as quais a visão é fundamental. Através da visão, os indivíduos podem identificar os objetos no ambiente e estimar sua posição e propriedades físicas, podendo então alcançar, agarrar e manipular esses objetos com facilidade. Compreender o complexo sistema que liga a entrada nas retinas com os comandos motores que controlam as mãos é um desafio fundamental da neurociência sensório-motora. Para modelar, prever e entender como esse sistema funciona, primeiro devemos ser capazes de estudá-lo em detalhes. Isso requer medições de alta fidelidade de entradas visuais e saídas de motores manuais.

A tecnologia de rastreamento de movimento do passado impôs uma série de limitações ao estudo da apreensão humana. Por exemplo, sistemas que requerem cabos presos às mãos dos participantes1,2 tendem a restringir a amplitude de movimentos dos dedos, potencialmente alterando os movimentos de preensão ou as próprias medidas. Apesar dessas limitações, pesquisas anteriores conseguiram identificar vários fatores que influenciam a preensão guiada visualmente. Alguns desses fatores incluem a forma do objeto 3,4,5,6, a rugosidade superficial 7,8,9 ou a orientação de um objeto em relação à mão 4,8,10. No entanto, para superar limitações tecnológicas anteriores, a maioria das pesquisas anteriores empregou estímulos simples e tarefas altamente restritas, focando predominantemente fatores individuais 3,4,6,7,10, pegas de precisão de dois dígitos 3,4,6,9,11,12, 13,14,15,16,17,18, objetos únicos19, ou formas 2D muito simples 20,21. Como as descobertas anteriores se generalizam além de tais condições de laboratório reduzidas e artificiais é desconhecido. Além disso, a medida do contato mão-objeto é frequentemente reduzida à estimativa de pontos de contato dígitos22. Essa simplificação pode ser apropriada para descrever um pequeno subconjunto de preensões em que apenas as pontas dos dedos estão em contato com um objeto. No entanto, na maioria das captações do mundo real, extensas regiões dos dedos e da palma da mão entram em contato com um objeto. Além disso, um estudo recente23 demonstrou, usando uma luva háptica, que os objetos podem ser reconhecidos pela forma como sua superfície colide com a mão. Isso ressalta a importância de se estudar as regiões de contato estendidas entre as mãos e os objetos apreendidos, e não apenas os pontos de contato entre os objetos e as pontas dos dedos22.

Avanços recentes em captura de movimento e modelagem manual 3D nos permitiram superar limitações anteriores e estudar a preensão em toda a sua complexidade. O rastreamento de movimento passivo baseado em marcadores está agora disponível com marcadores de tamanho milimétrico que podem ser fixados no dorso das mãos do participante para rastrear os movimentos articulares24. Além disso, algoritmos de identificação automática de marcadores para sistemas de marcadores passivos são agora suficientemente robustos para quase eliminar a necessidade do extenso pós-processamento manual de dados de marcadores25,26,27. As soluções sem marcadores também estão atingindo níveis impressionantes de desempenho no rastreamento de partes do corpo de animais em vídeos28. Esses métodos de rastreamento de movimento, portanto, finalmente permitem medidas confiáveis e não invasivas de movimentos complexos de mãos com vários dígitos24. Tais medidas podem nos informar sobre a cinemática articular e nos permitir estimar os pontos de contato entre a mão e um objeto. Além disso, nos últimos anos, a comunidade de visão computacional vem enfrentando o problema da construção de modelos das mãos humanas que possam replicar as deformações dos tecidos moles durante a apreensão de objetos e até mesmo durante o autocontato entre as partes da mão 29,30,31,32. Tais reconstruções em malha 3D podem ser derivadas de diferentes tipos de dados, como filmagens de vídeo 33,34, articulações esqueléticas (derivadas de rastreamento baseado em marcadores 35 ou rastreamento sem marcadores36) e imagens de profundidade 37. O primeiro avanço importante nesse domínio foi fornecido por Romero et al.38, que derivaram um modelo paramétrico de mão (MANO) a partir de mais de 1.000 varreduras manuais de 31 sujeitos em várias poses. O modelo contém parâmetros tanto para a pose quanto para a forma da mão, facilitando a regressão de diferentes fontes de dados para uma reconstrução completa da mão. A solução mais recente do DeepHandMesh29 se baseia nessa abordagem, construindo um modelo parametrizado por meio de aprendizado profundo e adicionando prevenção de penetração, que replica com mais precisão as interações físicas entre as partes da mão. Ao combinar essas reconstruções de malha manual com malhas de objetos rastreados em 3D, agora é possível estimar regiões de contato não apenas na superfície dos objetos32, mas também na superfície da mão.

Aqui, propomos um fluxo de trabalho que reúne o rastreamento 3D de alta fidelidade de objetos e articulações manuais com novos algoritmos de reconstrução de malha manual. O método produz mapas detalhados de superfícies de contato mão-objeto. Essas medidas ajudarão os neurocientistas sensório-motores a estender nossa compreensão teórica da apreensão visual humana. Além disso, o método pode ser útil para pesquisadores de áreas adjacentes. Por exemplo, pesquisadores do fator humano podem usar esse método para construir melhores sistemas de interface homem-máquina em realidade virtual e aumentada18. Medidas de alta fidelidade de comportamentos de preensão humana também podem auxiliar roboticistas a projetar sistemas robóticos de preensão inspirados em humanos baseados nos princípios da percepção interativa 39,40,41,42,43. Esperamos, portanto, que este método ajude a avançar a pesquisa de apreensão em campos de neurociência e engenharia, desde descrições esparsas de tarefas altamente restritas até caracterizações mais completas de comportamentos de apreensão naturalistas com objetos complexos e tarefas do mundo real. A abordagem geral é descrita na Figura 1.

figure-introduction-1
Figura 1: Principais passos do método proposto . (A) As câmeras de captura de movimento visualizam uma bancada de trabalho de vários ângulos. (B) Um objeto de estímulo é impresso em 3D a partir de um modelo de malha triangulada. (C) Quatro marcadores reflexivos esféricos são colados na superfície do objeto real. Um procedimento semi-automatizado identifica quatro pontos correspondentes na superfície do objeto de malha. Essa correspondência nos permite traduzir roto-o o modelo de malha para a posição rastreada em 3D do objeto real. (D) Marcadores reflexivos são fixados em diferentes pontos de referência no dorso da mão do participante usando fita dupla face. (E) O sistema de captura de movimento adquire as trajetórias no espaço 3D do objeto rastreado e marcadores manuais durante uma única tentativa. (F) Um esqueleto de mão específico do participante é construído usando software de computação gráfica 3D. As poses das articulações esqueléticas são então estimadas para cada quadro de cada ensaio em um experimento através da cinemática inversa. (G) As poses conjuntas são inseridas para uma versão modificada do DeepHandMesh29, que produz uma malha manual 3D estimada na pose e posição 3D atuais. (H) Finalmente, usamos a interseção de malha para calcular as regiões de contato mão-objeto. Clique aqui para ver uma versão maior desta figura.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Antes de iniciar um experimento, os participantes devem fornecer consentimento informado de acordo com as diretrizes institucionais e a Declaração de Helsinque. Todos os protocolos aqui descritos foram aprovados pelo comitê de ética local da Justus Liebig University Giessen (LEK-FB06).

1. Instalação de todo o software necessário

  1. Faça o download do repositório do projeto em Repositório de Dados e Código.
  2. Instale o software listado na Tabela de Materiais (observe as versões do software e siga os links para opções de compra e instruções).
  3. No Repositório de Dados e Códigos, abra uma janela de comando e execute o seguinte comando:
    conda env criar -f environment.yml
  4. Baixe e instale a instanciação pré-treinada do DeepHandMesh29 seguindo as instruções fornecidas no https://github.com/facebookresearch/DeepHandMesh.
    1. Coloque o DeepHandMesh na pasta "deephandmesh" do Repositório de Dados e Código. Substitua o arquivo "main/model.py" pelo arquivo model.py contido no Repositório de Dados e Código.

2. Preparação do sistema de captura de movimento

  1. Posicione uma bancada de trabalho dentro de um volume de rastreamento fotografado de vários ângulos por câmeras de rastreamento de movimento dispostas em um quadro ao redor do espaço de trabalho (Figura 1A). Prepare marcadores reflexivos fixando fita adesiva dupla face à base de cada marcador.
  2. Executar o Qualisys Track Manager (QTM) como Administrador.
    NOTA: Executar o QTM como administrador é necessário para que o SDK do Python assuma o controle da interface do QTM. Aconselhamos sempre executar o QTM como Administrador.

3. Calibrando as câmeras

  1. Coloque o objeto de calibração em forma de L dentro do volume de rastreamento.
  2. Dentro do QTM, clique em Calibrar no menu Capturar ou pressione o ícone de varinha na barra de ferramentas Capturar . Aguarde a abertura de uma janela de calibração . Selecione a duração da calibração e pressione OK.
  3. Agite a varinha de calibração através do volume de rastreamento durante a calibração. Pressione o botão Exportar e especifique um caminho de arquivo para exportar a calibração como um arquivo de texto. Aceite a calibração pressionando OK.

4. Criando um objeto de estímulo

  1. Construa um modelo de objeto 3D virtual na forma de uma malha poligonal. Use uma impressora 3D para construir uma réplica física do modelo de objeto.
    Observação : o repositório de dados na etapa 1.1 fornece objetos de exemplo em formatos de arquivo STL e Wavefront OBJ. Os objetos em formato STL são múltiplos e prontos para impressão 3D.

5. Preparação do objeto de estímulo

  1. Anexe quatro marcadores reflexivos não planares à superfície do objeto real. Coloque o objeto dentro do volume de rastreamento.
  2. No repositório do projeto, execute o script Python "Acquire_Object.py". Siga as instruções fornecidas pelo script para executar uma captura de 1 s da posição 3D dos marcadores de objeto.
  3. Selecione todos os marcadores do corpo rígido. Clique com o botão direito do mouse e selecione Definir corpo rígido (6DOF) | Quadro atual. Digite o nome do corpo rígido e pressione OK.
  4. No menu Arquivo , selecione Exportar | Para TSV. Na nova janela, marque as caixas 3D, 6D e Esqueleto nas configurações de Tipo de Dados . Marque todas as caixas nas configurações gerais . Pressione OK e Salvar.

6. Co-registro das versões real e do modelo de malha do objeto de estímulo

  1. Abra o Blender e navegue até o espaço de trabalho Scripts . Abra o arquivo "Object_CoRegistration.py" e pressione Executar. Navegue até o espaço de trabalho Layout e pressione n para alternar a barra lateral. Na barra lateral, navegue até a guia Personalizado .
  2. Selecione o arquivo .obj a ser registrado em conjunto e pressione o botão Carregar objeto .
  3. Selecione o arquivo de trajetória que foi exportado na etapa 3.3 e especifique os nomes dos marcadores anexados ao objeto rígido separados por ponto-e-vírgula. No cabeçalho do marcador, especifique a linha no arquivo de trajetória que contém os nomes das colunas dos dados (a contagem começa em 0).
  4. Selecione o arquivo de corpo rígido correspondente com o sufixo 6D e especifique o nome do corpo rígido definido na etapa 4.1. No cabeçalho 6D, especifique a linha no arquivo de corpo rígido que contém os nomes de coluna dos dados.
  5. Pressione Carregar marcadores. Traduza e gire o objeto Markers e/ou o objeto Object para alinhá-los. Especifique um arquivo de saída de malha e pressione Executar co-registro. Isso produzirá um arquivo .obj que contém a malha de estímulo co-registrada.

7. Configuração de marcadores nas mãos

  1. Coloque 24 marcadores reflexivos esféricos em diferentes pontos de referência da mão de um participante usando fita dupla face.
    NOTA: O posicionamento específico dos marcadores é demonstrado na Figura 2.
    1. Posicione os marcadores centralmente na parte superior das respectivas pontas dos dedos, bem como as articulações interfalangeanas distais, articulações interfalangeanas proximais e articulações metacarpofalangeanas do dedo indicador, dedo médio, anular e dedo mínimo.
    2. Para o polegar, posicionar um marcador cada na ponta do dedo e na articulação carpometacarpal basal, bem como um par de marcadores cada um nas articulações metacarpofalangeanas e interfalangeanas.
      NOTA: Esses pares de marcadores precisam ser deslocados em direções opostas perpendiculares ao eixo principal do polegar e são necessários para estimar a orientação do polegar.
    3. Finalmente, coloque marcadores no centro do punho e na articulação escafotrapeziotrapezoidal.

figure-protocol-1
Figura 2: Posicionamento do marcador na mão do participante. Abreviação: RH = mão direita. Clique aqui para ver uma versão maior desta figura.

8. Aquisição de um único teste

  1. Peça ao participante que coloque a mão apoiada na bancada com a palma da mão voltada para baixo e feche os olhos. Coloque o objeto de estímulo na bancada de trabalho à frente do participante.
  2. Enquanto o QTM estiver em execução, execute o script Python "Single_Trial_Acquisition.py" no repositório do projeto. Siga as instruções fornecidas pelo roteiro para capturar uma única tentativa do participante agarrando o objeto do estímulo.
    NOTA: O script produzirá uma pista auditiva. Isso sinalizará para o participante abrir os olhos e executar a preensão. Em nossas demonstrações, a tarefa é alcançar e agarrar o objeto alvo, erguê-lo verticalmente por aproximadamente 10 cm, colocá-lo para baixo e retornar a mão à sua posição inicial.

9. Rotulagem dos marcadores

  1. Dentro do QTM, arraste e solte as trajetórias individuais dos marcadores de trajetórias não identificadas para trajetórias rotuladas e rotule-as de acordo com a convenção de nomenclatura na Figura 2.
  2. Selecione todos os marcadores anexados à mão e clique com o botão direito do mouse e selecione Gerar modelo AIM na seleção. Na nova janela, selecione Criar novo modelo com base em conexões de marcador do modelo AIM existente e pressione o botão Avançar .
  3. Selecione a definição RH_FH modelo e pressione Abrir. Pressione Avançar, insira um nome para o modelo AIM e pressione OK. Finalmente, pressione Finish para criar um modelo AIM para a mão do participante, que será usado para identificar automaticamente marcadores em tentativas sucessivas do mesmo participante.

10. Criação de uma definição de esqueleto personalizada para o participante

  1. No QTM, navegue até o menu Reproduzir e selecione Jogar com saída em tempo real.
  2. Abra o Maya. Navegue até a prateleira QTM Connect e pressione o ícone Conectar ao QTM . Na nova janela, marque Marcadores e pressione Conectar. Agora, pressione o ícone Reproduzir na prateleira do QTM Connect .
  3. Selecione com a tecla Shift pressionada todos os marcadores de mão e pressione o ícone Wash Locators . Selecione os marcadores de mão lavados e pressione Ctrl + G. Isso criará um nó de grupo. Nomeie o grupo Marcadores.
  4. Selecione todos os marcadores de mão. No menu Modificar , clique em Pesquisar e Substituir Nomes. Procure o prefixo RH_ e exclua o prefixo dos marcadores.
  5. Pressione o ícone Importar Solver na prateleira do QTM Connect . Carregue a definição de esqueleto "RH_FH.xml".
  6. No menu Windows , navegue até Editores gerais | Editor de namespace. Dentro da nova janela, clique em :(root) e pressione Novo para criar um novo namespace, RH. Clique no namespace RH , pressione Novo e nomeie o novo namespace ModelPose.
  7. Selecione todos os marcadores, clique no namespace RH e pressione Adicionar selecionado para adicionar os marcadores ao namespace RH .
  8. Selecione os ossos do esqueleto, clique no namespace ModelPose e pressione Adicionar Selecionado para adicionar os ossos do esqueleto ao namespace ModelPoe .
  9. Gire, traduza e dimensione o esqueleto para ajustar os dados do marcador. Em seguida, para cada articulação de esqueleto individualmente, Shift + Selecione a articulação de esqueleto e seus marcadores associados e pressione o ícone Adicionar anexos . Finalmente, pressione o ícone Exportar Solver para exportar a nova definição de esqueleto para um arquivo XML que pode ser carregado no QTM (consulte a próxima etapa).
    Observação : esta etapa não é estritamente necessária, mas é útil para aumentar a precisão do ajuste do esqueleto aos dados do marcador. Leia o QSolverQuickstartGuide no https://github.com/qualisys/QTM-Connect-For-Maya para obter mais informações.

11. Reconstruir as posturas da articulação esquelética

  1. Dentro do QTM, abra as configurações do projeto pressionando o ícone da roda dentada . Na barra lateral, navegue até Skeleton Solver e pressione Load para selecionar um arquivo de definição de esqueleto. Ajuste o Fator de Escala para 100% e pressione Aplicar.
  2. Navegue até TSV Export e marque as caixas 3D, 6D e Skeleton nas configurações de Tipo de Dados . Marque todas as caixas nas configurações gerais . Pressione Aplicar e feche as configurações do projeto.
  3. Pressione o ícone Reprocessar, marque as caixas Resolver esqueletos e Exportar para o arquivo TSV e pressione OK.

12. Geração de reconstruções de malha manual

  1. Abra uma janela de comando no repositório do projeto e ative o ambiente conda executando o comando:
    conda ativar regiões de contato
  2. Em seguida, execute o seguinte comando e siga as instruções fornecidas pelo script para gerar, para cada quadro da tentativa, uma malha de mão reconstruindo a pose de mão atual.
    Hand_Mesh_Reconstruction.py python --gpu 0 --test_epoch 4
    NOTA: Essas reconstruções de malha são geradas automaticamente usando uma versão modificada da ferramenta de geração de malha manual de código aberto e pré-treinada, DeepHandMesh29.

13. Geração de estimativas de região de contato mão-objeto

  1. Abra uma janela de comando no repositório do projeto, execute o comando a seguir e siga as instruções fornecidas pelo script para gerar estimativas de região de contato de mão e objeto calculando a interseção entre as malhas de mão e objeto.
    liquidificador --background --python "Contact_Region_Estimation.py"

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O primeiro requisito para o método proposto é um sistema para rastrear com precisão a posição de objetos 3D e mãos. A configuração específica é mostrada na Figura 1A e utiliza hardware e software produzidos pela empresa de captura de movimento Qualisys. Posicionamos uma bancada de trabalho dentro de um volume de rastreamento (100 cm x 100 cm x 100 cm), que é fotografado de vários ângulos por oito câmeras de rastreamento e seis câmeras de vídeo dispostas em um quadro cúbico ao redor do espaço de trabalho. As câmeras de rastreamento rastreiam a posição 3D dos marcadores reflexivos dentro do volume de rastreamento a 180 quadros / s e com resolução espacial 3D submilimétrica. Empregamos marcadores refletivos de 4 mm, que são fixados aos objetos e às mãos usando fita adesiva dupla face amigável para a pele. As posições do marcador 3D são processadas pelo software de captura de movimento. A seção de discussão também revisa sistemas alternativos de captura de movimento que poderiam ser empregados com o método proposto.

Para obter reconstruções 3D precisas de objetos reais sendo apreendidos e manipulados, propomos duas opções. A primeira, que é a adotada aqui, é partir de um modelo de objeto 3D virtual na forma de uma malha poligonal. Tais modelos 3D podem ser construídos usando software apropriado (por exemplo, Blender 3D44) e, em seguida, impressos em 3D (Figura 1B). A segunda opção é pegar um objeto 3D real existente e usar a tecnologia de digitalização 3D para construir uma réplica de modelo de malha do objeto. Seja qual for a estratégia, o objetivo final é obter um objeto 3D real e o modelo de malha de objeto 3D virtual correspondente. Vale ressaltar que a abordagem descrita aqui funciona apenas com objetos rígidos (ou seja, não deformáveis).

Uma vez que a superfície 3D de um objeto esteja disponível como um modelo de malha, sua posição deve ser rastreada e co-registrada (Figura 1C). Para fazer isso, quatro marcadores reflexivos não planares são anexados à superfície do objeto real, e o objeto é colocado dentro do volume de rastreamento. As posições 3D dos marcadores de objeto são então brevemente capturadas. Essa captura é usada para estabelecer a correspondência entre os quatro marcadores e os quatro vértices do modelo de malha de objetos. Isso é feito usando uma rota de software ad hoc simples escrita na API Python do Blender. Dentro do Viewport do Blender, o programa apresenta o objeto virtual juntamente com as posições do marcador que são representadas como um único objeto de malha composto por uma esfera para cada marcador. O usuário pode então girar e traduzir o objeto e/ou os marcadores para alinhá-los de modo que eles co-alinhem com os marcadores reais colocados no objeto real. O programa registrará as rotações e translações que são aplicadas para calcular uma única roto-tradução que é finalmente aplicada à malha de objeto original, fornecendo uma malha de objeto que é co-registrada com a definição de corpo rígido no QTM.

Tendo a correspondência estabelecida, sempre que o objeto real é movido dentro do volume de rastreamento, o objeto virtual pode ser colocado na nova posição calculando a roto-tradução entre os marcadores rastreados e os quatro vértices de malha correspondentes. Para registrar a dinâmica da preensão, um total de 24 marcadores reflexivos esféricos são fixados em diferentes pontos da mão usando fita dupla face (Figura 1D e Figura 2).

No início de uma tentativa (Figura 1E), o participante coloca a mão apoiada na bancada com a palma da mão voltada para baixo e fecha os olhos. O experimentador coloca um objeto alvo na bancada de trabalho na frente do participante. Em seguida, uma pista auditiva sinaliza para que o participante abra os olhos e execute a preensão. Em nossas demonstrações, a tarefa é alcançar e agarrar o objeto alvo, erguê-lo verticalmente por aproximadamente 10 cm, colocá-lo para baixo e retornar a mão à sua posição inicial. Um script escrito em Python 3.7 controla o experimento. Em cada teste, o script seleciona e comunica as configurações de condição atuais ao experimentador (por exemplo, identidade e posicionamento do objeto). O roteiro também controla o tempo do teste, incluindo pistas auditivas e o início e a parada das gravações de captura de movimento.

Os membros não são caracterizados apenas por sua posição no espaço 3D, mas também por sua pose. Assim, para obter uma reconstrução 3D completa de uma mão humana executando uma preensão real, precisamos não apenas das posições de cada articulação no espaço 3D, mas também da posição relativa (translação e rotação) de cada articulação em relação à sua articulação pai (Figura 1F). As posições e orientações das articulações esqueléticas podem ser inferidas a partir das posições dos marcadores usando cinemática inversa. Para isso, aqui empregamos o solucionador de esqueleto fornecido pelo software QTM. Para que o solucionador funcione, devemos primeiro fornecer uma definição de esqueleto que ligue a posição e a orientação de cada articulação a várias posições de marcador. Uma definição de esqueleto é, portanto, construída, e a plataforma de esqueleto é ligada aos dados do marcador usando o plugin QTM Connect para Maya. Criamos definições de esqueleto personalizadas para cada participante para maximizar a precisão dos ajustes do esqueleto aos dados do marcador. Para cada participante, ajustamos manualmente um esqueleto de mão a um único quadro de dados de captura de movimento. Tendo obtido uma definição de esqueleto específica do participante, executamos o solucionador de esqueleto para estimar as poses da articulação esquelética para cada quadro de cada ensaio no experimento.

Para cada quadro de cada ensaio em um experimento, geramos uma malha manual que reconstrói a pose atual da mão usando a ferramenta de geração de malha manual de código aberto e pré-treinada, DeepHandMesh28 (Figura 1G). DeepHandMesh é uma rede codificadora-decodificadora profunda que gera malhas manuais personalizadas a partir de imagens. Primeiro, o codificador estima a pose de uma mão dentro de uma imagem (ou seja, os ângulos de Euler conjuntos). Em seguida, a pose de mão estimada e um vetor de identificação personalizado são inseridos no decodificador, que estima um conjunto de três corretivos aditivos para uma malha de modelo manipulada. Finalmente, a malha do molde é deformada de acordo com a postura estimada da mão e corretivos usando esfolamento de mistura linear. O primeiro corretivo é um corretivo de esqueleto dependente de ID através do qual a plataforma esquelética é ajustada para incorporar as posições conjuntas específicas da pessoa. Os outros dois corretivos são corretivos de malha através dos quais os vértices de malha são ajustados para melhor representar a superfície da mão do participante. Um dos corretivos de malha é um corretivo de malha dependente de ID que responde pela estrutura de superfície da mão de um participante individual. O corretivo de malha final é um corretivo de vértice dependente da pose que explica as deformações da superfície da mão devido à atual postura da mão.

O DeepHandMesh é treinado usando supervisão fraca com pontos-chave de articulação 2D e mapas de profundidade de cena. Aqui, usamos apenas o decodificador DeepHandMesh pré-treinado para gerar reconstruções de malha manual, modificadas das seguintes maneiras (Figura 3). Primeiro, como a rede não é treinada em participantes específicos, o corretivo genérico de malha dependente de ID fornecido com o modelo pré-treinado é empregado (Figura 3A). Além disso, o corretivo de esqueleto dependente de ID é derivado usando o solucionador de esqueleto QTM conforme descrito acima (Figura 3B). Assume-se a escala proporcional da mão com o comprimento do esqueleto, e a espessura da malha é uniformemente dimensionada por um fator derivado da escala relativa do esqueleto de modo que a tela se aproxime melhor do tamanho da mão do participante (Figura 3C). Esta malha modificada é introduzida no descodificador, juntamente com a posição atual da mão (derivada dos dados do marcador) e a posição e orientação 3D do pulso. O decodificador, portanto, calcula o corretivo dependente da pose atual, aplica todos os corretivos e roto-traduções, e produz uma reconstrução de malha manual 3D da pose de mão atual no mesmo quadro de coordenadas que a malha de objeto rastreado 3D (Figura 3D).

figure-results-1
Figura 3: Modificações no decodificador DeepHandMesh pré-treinado . (A) Corretivo de malha fixo, genérico dependente de ID. (B) Corretivo de esqueleto dependente de ID derivado através de cinemática inversa na etapa 10. (C) O tamanho da malha manual é dimensionado pelo mesmo fator que as articulações esqueléticas. (D) Reconstrução final em malha manual 3D da atual postura da mão. Clique aqui para ver uma versão maior desta figura.

Tendo reconstruído modelos de malha 3D tanto para a mão de um participante quanto para um objeto agarrado, as regiões de contato mão-objeto podem ser estimadas calculando-se a intersecção entre as malhas da mão e do objeto (Figura 1H). A suposição por trás disso é que a mão real é deformada pelo contato com a superfície, o que significa que o esqueleto pode se aproximar mais da superfície do que seria possível se a mão fosse rígida, o que permite que partes da malha da mão passem pela malha do objeto. Como resultado, as áreas de contato podem ser aproximadas como as regiões de sobreposição entre as duas malhas.

Especificamente, para calcular essas regiões de sobreposição, definimos vértices de malha de objeto que estão contidos no volume 3D da malha da mão como estando em contato com a mão. Esses vértices são identificados usando uma abordagem padrão de raytracing45. Para cada vértice da malha do objeto, um raio é lançado desse vértice para um ponto 3D arbitrário fora da malha manual. Em seguida, avaliamos o número de interseções que ocorrem entre o raio fundido e os triângulos que compõem a superfície da mão. Se o número de interseções for ímpar, o vértice do objeto estará contido dentro da malha manual. Se o número de interseções for par, o vértice do objeto estará fora da malha manual. As regiões de contato na superfície do objeto podem, assim, ser aproximadas como o conjunto de faces triangulares cujos vértices estão todos contidos na malha manual. Podemos aplicar o mesmo raciocínio aos vértices da malha manual contidos no volume 3D da malha do objeto para estimar as regiões de contato na superfície da mão. Notavelmente, abordagens mais avançadas para operações de malha booleana também poderiam ser usadas31.

O vídeo 1 mostra um vídeo de uma mão, pontos rastreados e malha co-registrada, todos se movendo lado a lado durante uma única pegada para uma estatueta de gato impressa em 3D. Em vez disso, a Figura 4A mostra um único quadro no momento do contato mão-objeto de uma pega para um croissant impresso em 3D, juntamente com as reconstruções de malha mão-objeto (Figura 4B) e as regiões de contato estimadas na superfície do croissant (Figura 4C).

figure-results-2
Figura 4: Regiões estimadas de contato mão-objeto. (A) Mão rastreada e objeto visualizado de uma das câmeras de rastreamento durante uma pegada. (B) Malha manual reconstruída e malha de objeto rastreada renderizada do mesmo ponto de vista da câmera de rastreamento. (C) Regiões de contato na superfície do objeto vistas de múltiplos pontos de vista. Clique aqui para ver uma versão maior desta figura.

Vídeo 1: Reconstruções de malha da mão e do objeto. Animação Gif da mão, marcadores rastreados e reconstruções de malha de mão e objeto durante uma única pegada vista do mesmo ponto de vista da câmera. Clique aqui para baixar este vídeo.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Propomos um método que permite estimar regiões de contato para interações mão-objeto durante apreensão de múltiplos dígitos. Como o rastreamento completo de toda a superfície de uma mão é atualmente intratável, propomos o uso de uma reconstrução de uma malha de mão cuja pose é determinada por pontos-chave esparsos na mão. Para rastrear esses pontos-chave esparsos, nossa solução emprega um sistema de captura de movimento de nível de pesquisa baseado no rastreamento passivo de marcadores. Naturalmente, outros sistemas de captura de movimento também poderiam ser empregados com o método proposto, desde que produzam dados de posição 3D suficientemente precisos. Desaconselhamos sistemas ativos de captura de movimento com marcadores (como o popular, mas descontinuado Optotrak Certus), uma vez que estes requerem a fixação de cabos e/ou dispositivos eletrônicos às mãos dos participantes, o que pode restringir os movimentos ou, pelo menos, produzir agarrões menos típicos à medida que os participantes são tornados mais conscientes da pose de suas mãos. Luvas de rastreamento de movimento usando unidades de medida inerciais podem ser uma possibilidade, embora esses sistemas sejam conhecidos por sofrer de deriva, também podem restringir os movimentos das mãos e não permitem que a superfície da mão entre em contato total e direto com as superfícies dos objetos. Soluções comerciais de rastreamento manual sem marcadores (por exemplo, o Leap Motion46,47,48) também podem ser uma possibilidade, embora não seja possível rastrear posições de objetos apenas com esses sistemas. A opção alternativa mais promissora para um sistema de captura de movimento de nível de pesquisa é dada por soluções de rastreamento de código aberto e sem marcadores (por exemplo, Mathis et al.28). Se usados com várias câmeras co-registradas49, tais sistemas poderiam rastrear posições de juntas manuais e posições de objetos em 3D sem a necessidade de marcadores, luvas ou cabos. Estas soluções, bem como este sistema baseado em marcadores, podem sofrer, no entanto, de problemas de perda de dados devido a oclusões.

Limitações e direções futuras
Como as reconstruções manuais obtidas através deste método não serão totalmente precisas, existem algumas limitações para os tipos de experimentos para os quais o método deve ser usado. Desvios nas reconstruções de malha manual da verdade do solo se manifestarão em desvios nas regiões estimadas de contato mão/objeto. Assim, a aplicação desse método para derivar medidas absolutas exigiria avaliar a fidelidade das estimativas da região de contato. No entanto, mesmo estimativas aproximadas ainda podem ser úteis em desenhos experimentais intraparticipantes, porque os vieses potenciais do método provavelmente afetarão diferentes condições experimentais dentro de um participante de maneira semelhante. Portanto, análises estatísticas e inferências devem ser realizadas apenas em medidas como as diferenças de área de contato entre condições, onde a direção de um efeito se correlacionará com a respectiva verdade fundamental. Em pesquisas futuras, planejamos validar ainda mais nossa abordagem, por exemplo, comparando estimativas de regiões de contato com impressões digitais térmicas em objetos cobertos por tinta termocrômica.

A maioria das etapas de processamento, desde a coleta de dados até a estimativa da região de contato final, é totalmente automatizada e, portanto, oferece contribuições importantes para um procedimento padronizado de estimação da região de contato mão-objeto. No entanto, um ajuste inicial dos esqueletos individualizados às posições 3D dos marcadores rastreados ainda deve ser realizado manualmente para obter uma definição de esqueleto para cada participante. À medida que o número de participantes para um experimento aumenta, aumenta também o número de ajustes manuais, e esta é atualmente a etapa mais demorada do procedimento e requer alguma familiaridade com o rigging manual no Autodesk Maya Software. No futuro, pretendemos automatizar esta etapa para evitar a influência humana no procedimento, adicionando um procedimento automático de calibração do esqueleto.

O fluxo de trabalho descrito aqui depende do hardware e software da Qualisys (por exemplo, o QTM skeleton solver). Atualmente, isso limita a acessibilidade do nosso método a laboratórios que possuem uma configuração semelhante. Em princípio, no entanto, o método pode ser aplicado a qualquer fonte de dados de captura de movimento. Para expandir a acessibilidade, em trabalhos contínuos, estamos explorando alternativas que devem generalizar nosso fluxo de trabalho e torná-lo menos dependente de licenças específicas de hardware e software.

Outra limitação importante do método é que, em sua forma atual, ele só pode ser aplicado a objetos rígidos (não deformáveis). No futuro, essa limitação poderia ser superada usando métodos para registrar a forma da superfície do objeto apreendido à medida que ele se deforma. Além disso, devido à sua natureza aproximada, o método não é atualmente adequado para objetos muito pequenos ou finos.

Em conclusão, ao integrar o rastreamento de movimento de última geração com a modelagem de superfície manual de alta fidelidade, fornecemos um método para estimar as regiões de contato mão-objeto durante a preensão e manipulação. Em pesquisas futuras, planejamos implantar esse método para investigar e modelar o comportamento de preensão guiado visualmente em humanos16. Planejamos ainda integrar essas ferramentas com o rastreamento ocular 46,50,51,52 e sistemas de realidade virtual/aumentada 53,54,55 para investigar o controle motor dos movimentos oculares e das mãos guiados visualmente em ambientes naturalísticos reais e virtuais 18,46,56,57 . Por essas razões, o método proposto pode ser de interesse para pesquisadores que estudam percepção háptica58, controle motor e interação humano-computador em realidade virtual e aumentada. Finalmente, medidas precisas das habilidades de preensão humana podem informar o projeto de sistemas robóticos robustos baseados nos princípios da percepção interativa 39,40,41,42,43 e podem ter aplicações translacionais para próteses de membros superiores.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores declaram que não existem interesses concorrentes.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Esta pesquisa foi financiada pela Deutsche Forschungsgemeinschaft (DFG, Fundação Alemã de Pesquisa: projeto No. 222641018-SFB/TRR 135 TP C1 e IRTG-1901 "The Brain in Action") e pelo Research Cluster "The Adaptive Mind" financiado pelo Programa de Excelência do Ministério Hessian de Ensino Superior, Ciência, Pesquisa e Arte. Os autores agradecem à equipe de suporte da Qualisys, incluindo Mathias Bankay e Jeffrey Thingvold, pelo auxílio no desenvolvimento de nossos métodos. Os autores também agradecem a Michaela Jeschke por posar como modelo de mão. Todos os dados e roteiros de análise para reproduzir o método e os resultados apresentados no manuscrito estão disponíveis no Zenodo (doi: 10.5281/zenodo.7458911).

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Distribuição do Anaconda Python (Anaconda 5.3.1 ou posterior); https://repo.anaconda.com/archive/scripts e funções foram gerados no Python versão 3.7
Autodesk MayaAutodesk, Inc.Maya2022; https://www.autodesk.com/products/maya/overviewaplicativo de computação gráfica 3D.   
Liquidificador Fundação BlenderBlender 2.92; https://download.blender.org/release/Aplicativo de computação gráfica 3D.   
Estação de trabalho do computadorN/AN/ASO: Windows 10 ou superior.
DeepHandMeshMeta Platforms, Inc. (Meta Open Source)https://github.com/facebookresearch/DeepHandMeshferramenta de geração de malha manual pré-treinada.
Miqus M5Qualisys Abhttps://www.qualisys.com/cameras/miqus/ Câmera passiva de rastreamento de movimento de marcador (8 unidades).
Câmera de vídeo MiqusQualisys Abhttps://www.qualisys.com/cameras/miqus-video/Câmera de vídeo colorida, sincronizada com câmeras de rastreamento Miquis M5 (6 unidades).
Repositório do projeto N/ARepositório de Dados e Códigos Dados e código para replicar o projeto atual. O repositório está atualmente em construção, mas fornecemos um link privado onde os revisores podem baixar a versão atual e mais atualizada do repositório. O repositório final será disponibilizado publicamente após a aceitação. 
Python 3Python Software FoundationPython Versão 3.7Python3 e bibliotecas internas associadas.
QTM Connect para MayaQualisys Abhttps://github.com/qualisys/QTM-Connect-For-Maya Transmita dados de esqueleto, corpos rígidos e marcadores do QTM para o Maya
Gerente de Pista QTM QualisysAbQualisys Track Manager 2021.2; https://www.qualisys.com/software/qualisys-track-manager/ Software de captura de movimento
Qualisys SDK para PythonQualisys abhttps://github.com/qualisys/qualisys_python_sdk Implementa a comunicação entre QTM e Python

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Derzsi, Z., Volcic, R. MOTOM toolbox: MOtion Tracking via Optotrak and Matlab. Journal of Neuroscience Methods. 308, 129-134 (2018).
  2. Franz, V. H. Optotrak Toolbox. The Optotrak Toolbox: Control your Optotrak from within Matlab. , Available from: http://www.ecogsci.cs.uni-tuebingen.de/OptotrakToolbox/ (2004).
  3. Eloka, O., Franz, V. H. Effects of object shape on the visual guidance of action. Vision Research. 51 (8), 925-931 (2011).
  4. Lederman, S. J., Wing, A. M. Perceptual judgement, grasp point selection and object symmetry. Experimental Brain Research. 152 (2), 156-165 (2003).
  5. Schettino, L. F., Adamovich, S. V., Poizner, H. Effects of object shape and visual feedback on hand configuration during grasping. Experimental Brain Research. 151 (2), 158-166 (2003).
  6. Chen, Z., Saunders, J. A. Online processing of shape information for control of grasping. Experimental Brain Research. 233 (11), 3109-3124 (2015).
  7. Burstedt, M. K., Flanagan, J. R., Johansson, R. S. Control of grasp stability in humans under different frictional conditions during multidigit manipulation. Journal of Neurophysiology. 82 (5), 2393-2405 (1999).
  8. Paulun, V. C., Gegenfurtner, K. R., Goodale, M. A., Fleming, R. W. Effects of material properties and object orientation on precision grip kinematics. Experimental Brain Research. 234 (8), 2253-2265 (2016).
  9. Klein, L. K., Maiello, G., Fleming, R. W., Voudouris, D. Friction is preferred over grasp configuration in precision grip grasping. Journal of Neurophysiology. 125 (4), 1330-1338 (2021).
  10. Mamassian, P. Prehension of objects oriented in three-dimensional space. Experimental Brain Research. 114 (2), 235-245 (1997).
  11. Paulun, V. C., Kleinholdermann, U., Gegenfurtner, K. R., Smeets, J. B. J., Brenner, E. Center or side: biases in selecting grasp points on small bars. Experimental Brain Research. 232 (7), 2061-2072 (2014).
  12. Goodale, M. A., et al. Separate neural pathways for the visual analysis of object shape in perception and prehension. Current Biology. 4 (7), 604-610 (1994).
  13. Kleinholdermann, U., Franz, V. H., Gegenfurtner, K. R. Human grasp point selection. Journal of Vision. 13 (8), 23(2013).
  14. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. Object visibility, not energy expenditure, accounts for spatial biases in human grasp selection. i-Perception. 10 (1), 204166951982760-20 (2019).
  15. Maiello, G., Schepko, M., Klein, L. K., Paulun, V. C., Fleming, R. W. Humans can visually judge grasp quality and refine their judgments through visual and haptic feedback. Frontiers in Neuroscience. 14, 591898(2021).
  16. Klein, L. K., Maiello, G., Paulun, V. C., Fleming, R. W. Predicting precision grip grasp locations on three-dimensional objects. PLoS Computational Biology. 16 (8), 1008081(2020).
  17. Maiello, G., Paulun, V. C., Klein, L. K., Fleming, R. W. The sequential-weight illusion. i-Perception. 9 (4), 204166951879027(2018).
  18. Chessa, M., Maiello, G., Klein, L. K., Paulun, V. C., Solari, F. Grasping objects in immersive Virtual Reality. 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR). , 1749-1754 (2019).
  19. Crajé, C., Lukos, J. R., Ansuini, C., Gordon, A. M., Santello, M. The effects of task and content on digit placement on a bottle). Experimental Brain Research. 212 (1), 119-124 (2011).
  20. Lukos, J., Ansuini, C., Santello, M. Choice of contact points during multidigit grasping: Effect of predictability of object center of mass location. Journal of Neuroscience. 27 (14), 3894-3903 (2007).
  21. Gilster, R., Hesse, C., Deubel, H. Contact points during multidigit grasping of geometric objects. Experimental Brain Research. 217 (1), 137-151 (2012).
  22. Schot, W. D., Brenner, E., Smeets, J. B. J. Robust movement segmentation by combining multiple sources of information. Journal of Neuroscience Methods. 187 (2), 147-155 (2010).
  23. Sundaram, S., et al. Learning the signatures of the human grasp using a scalable tactile glove. Nature. 569 (7758), 698-702 (2019).
  24. Yan, Y., Goodman, J. M., Moore, D. D., Solla, S. A., Bensmaia, S. J. Unexpected complexity of everyday manual behaviors. Nature Communications. 11 (1), 3564(2020).
  25. Han, S., et al. Online optical marker-based hand tracking with deep labels. ACM Transactions on Graphics. 37 (4), 1-10 (2018).
  26. Clouthier, A. L., et al. Development and validation of a deep learning algorithm and open-source platform for the automatic labelling of motion capture markers. IEEE Access. 9, 36444-36454 (2021).
  27. Qualisys AB Qualisys Track Manager User Manual (Version 2022.1). , Available from: https://www.qualisys.com/ (2022).
  28. Mathis, A., et al. DeepLabCut: Markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
  29. Moon, G., Shiratori, T., Lee, K. M. DeepHandMesh: A weakly-supervised deep encoder-decoder framework for high-fidelity hand mesh modeling. ECCV 2020. , (2020).
  30. Smith, B., et al. Constraining dense hand surface tracking with elasticity. ACM Transactions on Graphics. 39 (6), 219(2020).
  31. Taheri, O., Ghorbani, N., Black, M. J., Tzionas, D. GRAB: A dataset of whole-body human grasping of objects. Computer Vision - ECCV 2020: 16th European Conference. , Glasgow, UK. 581-600 (2020).
  32. Brahmbhatt, S., Tang, C., Twigg, C. D., Kemp, C. C., Hays, J. ContactPose: A dataset of grasps with object contact and hand pose. Computer Vision - ECCV 2020. , 361-378 (2020).
  33. Wang, J., et al. RGB2Hands: Real-time tracking of 3D hand interactions from monocular RGB video. ACM Transactions on Graphics. 39 (6), 218(2020).
  34. Zhang, X., Li, Q., Mo, H., Zhang, W., Zheng, W. End-to-end hand mesh recovery from a monocular RGB image. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). , 2354-2364 (2019).
  35. Endo, Y., Tada, M., Mochimaru, M. Reconstructing individual hand models from motion capture data). Journal of Computational Design and Engineering. 1 (1), 1-12 (2014).
  36. Mueller, F., et al. GANerated hands for real-time 3D hand tracking from monocular RGB. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. , 49-59 (2018).
  37. Mueller, F., et al. Real-time pose and shape reconstruction of two interacting hands with a single depth camera. ACM Transactions on Graphics. 38 (4), 49(2019).
  38. Romero, J., Tzionas, D., Black, M. J. Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics. 36 (6), 245(2017).
  39. Kappler, D., Bohg, J., Schaal, S. Leveraging big data for grasp planning. 2015 IEEE International Conference on Robotics and Automation (ICRA). , 4304-4311 (2015).
  40. Kokic, M., Kragic, D., Bohg, J. Learning task-oriented grasping from human activity datasets). IEEE Robotics and Automation Letters. 5 (2), 3352-3359 (2020).
  41. Shao, L., et al. UniGrasp: Learning a unified model to grasp with multifingered robotic hands. IEEE Robotics and Automation Letters. 5 (2), 2286-2293 (2020).
  42. Shao, L., Migimatsu, T., Zhang, Q., Yang, K., Bohg, J. Concept2Robot: Learning manipulation concepts from instructions and human demonstrations. Robotics: Science and Systems XVI. , (2020).
  43. Bohg, J. Interactive perception: Leveraging action in perception and perception in action. IEEE Transactions on Robotics. 33 (6), 1273-1291 (2017).
  44. Blender Foundation. , Available from: https://www.blender.org (2022).
  45. Roth, S. D. Ray casting for modeling solids. Computer Graphics and Image Processing. 18 (2), 109-144 (1982).
  46. Maiello, G., Kwon, M., Bex, P. J. Three-dimensional binocular eye-hand coordination in normal vision and with simulated visual impairment. Experimental Brain Research. 236 (3), 691-709 (2018).
  47. Weichert, F., Bachmann, D., Rudak, B., Fisseler, D. Analysis of the accuracy and robustness of the leap motion controller. Sensors. 13 (5), 6380-6393 (2013).
  48. Guna, J., Jakus, G., Pogačnik, M., Tomažič, S., Sodnik, J. An analysis of the precision and reliability of the leap motion sensor and its suitability for static and dynamic tracking. Sensors. 14 (2), 3702-3720 (2014).
  49. Sheshadri, S., Dann, B., Hueser, T., Scherberger, H. 3D reconstruction toolbox for behavior tracked with multiple cameras. Journal of Open Source Software. 5 (45), 1849(2020).
  50. Maiello, G., Harrison, W. J., Bex, P. J. Monocular and binocular contributions to oculomotor plasticity. Scientific Reports. 6, 31861(2016).
  51. Caoli, A., et al. A dichoptic feedback-based oculomotor training method to manipulate interocular alignment. Scientific Reports. 10, 15634(2020).
  52. Gibaldi, A., Vanegas, M., Bex, P. J., Maiello, G. Evaluation of the Tobii EyeX eye tracking controller and Matlab toolkit for research. Behavior Research Methods. 49 (3), 923-946 (2017).
  53. Chessa, M., Maiello, G., Borsari, A., Bex, P. J. The Perceptual quality of the Oculus Rift for immersive virtual reality. Human-Computer Interaction. 34 (1), 51-82 (2016).
  54. Maiello, G., Chessa, M., Bex, P. J., Solari, F. Near-optimal combination of disparity across a log-polar scaled visual field. PLoS Computational Biology. 16 (4), 1007699(2020).
  55. Maiello, G., Chessa, M., Solari, F., Bex, P. J. The (in)effectiveness of simulated blur for depth perception in naturalistic images. PLoS One. 10 (10), 0140230(2015).
  56. Maiello, G., Chessa, M., Solari, F., Bex, P. J. Simulated disparity and peripheral blur interact during binocular fusion. Journal of Vision. 14 (8), 13(2014).
  57. Maiello, G., Kerber, K. L., Thorn, F., Bex, P. J., Vera-Diaz, F. A. Vergence driven accommodation with simulated disparity in myopia and emmetropia. Experimental Eye Research. 166, 96-105 (2018).
  58. Moscatelli, A., et al. The change in fingertip contact area as a novel proprioceptive cue. Current Biology. 26 (9), 1159-1163 (2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Multi Digit GraspingContact Region EstimationHand Mesh ReconstructionMarker Based Tracking3D Object MeshHuman GraspingMotion Tracking CamerasJoint Euler AnglesHaptic PerceptionMotor Control

Related Articles