Guia do Clínico Baseado na Web para Gravar Vídeo Compatível com Cinemática Padronizada de Tarefas de Consumo de Álcool para Análise de Visão Computacional

Resumo

Métricas cinemáticas da tarefa de consumo de álcool têm sido recomendadas para uso na reabilitação de AVC no membro superior, mas abordagens convencionais para estudos cinemáticos são consideradas impraticáveis. O protocolo atual descreve um guia baseado na web para capturar vídeos da tarefa de beber, que são compatíveis com visão computacional para extrair métricas cinemáticas recomendadas.

Resumo

A avaliação do membro superior é fundamental para o ciclo de reabilitação. Nas últimas duas décadas, a avaliação cinemática da atividade de tarefa de consumo de álcool demonstrou ser válida e responsiva a mudanças clínicas em populações de reabilitação afetadas por doenças de larga variedade, incluindo AVC e doenças musculoesqueléticas. Esse trabalho fundamental sobre cinemática de tarefas de consumo de álcool levou a recomendações consensuais para a adoção da cinemática dos membros superiores em pesquisas de reabilitação. No entanto, questões práticas foram levantadas, o que coloca em risco a adoção na comunidade de pesquisa e a sua tradução na prática clínica. As barreiras à adoção incluem as complexidades técnicas dos métodos convencionais de captura de movimento para adquirir cinemática e a fidelidade dos protocolos de atividade por trás da cinemática. No caso da primeira, avanços no subcampo da IA conhecidos como visão computacional estão reduzindo drasticamente o ônus técnico da análise cinemática. Quanto a este último, agora apresentamos um aplicativo web (app) projetado para guiar os clínicos por meio da captura em vídeo de um protocolo altamente padronizado de atividade de consumo de álcool, usando uma câmera estéreo pronta, um computador pessoal e materiais básicos acessíveis em um ambiente clínico ambulatorial. Além disso, demonstramos a compatibilidade dessa captura de vídeo com um pipeline de visão computacional personalizado para extrair métricas cinemáticas da tarefa de beber. Por meio de validação contínua e estudos de usabilidade, prevemos que tal ferramenta melhorará significativamente o acesso a métricas cinemáticas altamente padronizadas dos membros superiores, que devem avançar na pesquisa e no cuidado clínico em populações de reabilitação com comprometimento dos membros superiores.

Introdução

A maioria das tarefas dos membros superiores no dia a dia exige ambos os membros. A perda das capacidades dos membros superiores ocorre frequentemente após lesões neurológicas, com cerca de 80% dos sobreviventes de AVC apresentando déficits nos^{membros superiores.} Esses déficits são conhecidos por reduzir a função e a qualidade de^{vida 2}. A reabilitação continua sendo uma intervenção primária para restaurar^{a função 3}, e a reabilitação tem sido descrita como um ciclo baseado em avaliação^{precisa 4}. A avaliação cinemática do membro superior ganhou maior atenção nas últimas duas décadas. Essa atenção se deve em parte aos limites das avaliações clínicas atuais, que reconheceram desvantagens, incluindo subjetividade dos avaliadores humanos e má resolução para mudanças^{sutis 5}.

Cinemática é um subcampo da biomecânica que envolve o estudo do movimento humano durante movimentos do corpo, membros e articulações. Entre os trabalhos anteriores, estudos cinemáticos da tarefa de beber atraíram atenção significativa da comunidade^{de pesquisa 6}. A popularidade da tarefa de beber na avaliação cinemática tem sido atribuída à sua complexidade de movimento, à sua especificidade orientada para a tarefa de objetivos e ao seu movimento^{cíclico 7}. Além de um conjunto de estudos em adultos e crianças neurotípicas, a tarefa do consumo de álcool também foi investigada em uma ampla variedade de doenças neurológicas 8,9,10,11. Em populações com AVC, esses estudos identificaram métricas cinemáticas importantes, que são válidas, confiáveis e responsivas a mudanças^clínicas 12,13,14. No entanto, a avaliação cinemática há muito tempo é considerada impraticável devido aos sistemas complexos/caros e ao conhecimento técnico^{necessários 15}.

Com o advento da inteligência artificial, barreiras práticas para avaliação cinemática estão sendo significativamente reduzidas. Por exemplo, a visão computacional — um subcampo da IA que extrai informações de imagens digitais — agora pode ser utilizada para alcançar sistemas de captura de movimento sem marcadores usando câmeras e computadores relativamente^{simples 16, 17, 18}. Para aproveitar esses avanços na visão computacional, o objetivo deste artigo sobre métodos é descrever uma ferramenta baseada na web desenvolvida para orientar os clínicos sobre o seguinte: (i) implementar um protocolo padronizado de atividade para a tarefa de beber e (ii) gravar vídeos da tarefa de beber que sejam compatíveis com um fluxo de trabalho de visão computacional para extração de métricas cinemáticas. Embora essas métricas cinemáticas ainda não façam parte do cuidado clínico padrão, o objetivo do protocolo atual é envolver profissionais que desejam integrar a pesquisa biomecânica em sua prática. O impacto esperado é um acesso clínico muito maior às métricas cinemáticas do membro superior, que devem informar os protocolos atuais de tratamento de reabilitação e apoiar a pesquisa e o desenvolvimento de novos protocolos de tratamento.

Protocolo

Os números apresentados na seção de resultados representativos correspondem a dois estudos de caso separados realizados de acordo com a Declaração de Helsinque. O consentimento informado foi obtido de todos os participantes antes da coleta dos dados. Como esses estudos de caso separados envolveram apenas dois participantes, eles não se encaixaram na definição de pesquisa clínica conforme definida pelo Conselho de Revisão Institucional local; assim, um número de protocolo IRB atribuído não está disponível.

NOTA: O protocolo e o aplicativo web associado são divididos principalmente em três etapas, conforme segue: (i) configuração do espaço de trabalho; (ii) atividade de calibração; e (iii) atividade de tarefa de bebida. Um infográfico (Figura 1) apresenta uma ilustração visual desses passos, incluindo os fluxos de trabalho que os usuários podem esperar encontrar durante o uso do aplicativo baseado na web (https://mobile-motion-lab-public.web.app).

Figura 1: Infográfico resumindo o protocolo. Junto com capturas de tela do aplicativo baseado na web, uma ilustração é fornecida para cada etapa principal, incluindo a configuração do espaço de trabalho (painel esquerdo), o fluxo de trabalho de calibração (painel do meio) e o fluxo de trabalho da tarefa de bebida (painel direito). Por favor, clique aqui para ver uma versão ampliada desta figura.

1. Configuração do espaço de trabalho

NOTA: Esta etapa descreve como configurar corretamente o espaço de trabalho (Figura 2) para a atividade subsequente de calibração e tarefa de bebida. A configuração adequada é fundamental para garantir padronização e qualidade das capturas de vídeo para pós-processamento e extração confiáveis de medidas cinemáticas usando um fluxo de trabalho de visão computacional.

1. Posição da cadeira, mesa e sujeito
   1. Posicione uma cadeira de altura ajustável com encosto para que o participante possa sentar com as palmas das mãos apoiadas na mesa e com a dobra do pulso alinhada à borda da mesa.
   2. Ajuste a altura do assento para garantir que os quadris e joelhos do sujeito estejam em aproximadamente 90° de flexão.
   3. Ajuste a altura da mesa para garantir que os braços descansem confortavelmente ao lado, mantendo a postura sentada ereta e com flexão dos cotovelos de 90°.
2. Colocação do tarefa de bebida para o jogo individual
   1. Crie o jogo americano usando o arquivo imprimível (Colocação de Atividade de Tarefa de Beber) no menu Recursos do aplicativo web (https://mobile-motion-lab-public.web.app/resources) e papel de impressora do tamanho de tabloide medindo 10 polegadas x 17 polegadas.
   2. Alinhe a borda frontal do jogo americano com a borda da mesa diretamente à frente do sujeito. Certifique-se de que a caixa quadrada do alvo esteja centralizada na linha média do sujeito.
   3. Fixe o jogo americano firmemente na superfície da mesa com fita adesiva.
3. Classificação na Copa
   1. Coloque um copo plástico de 250 mL no quadrado sobre o jogo americano. Isso posiciona a xícara a 30 cm da borda da mesa e diretamente à frente do sujeito. Encha o copo com 100 mL de água potável.
4. Posicionamento da câmera
   1. Posicione a câmera estéreo (com distância focal de 4 mm) para capturar o sujeito e cope a partir de uma vista frontal aérea. É necessária uma câmera estéreo com conexão compatível com um computador pessoal com acesso à web (por exemplo, conexão USB para uma estação de trabalho baseada em clínica). Recomenda-se uma câmera estéreo com maior distância focal para minimizar os efeitos da distorção da lente em imagens/vídeos gravados. Um tripé padrão para câmera pode ser utilizado.
      NOTA: Uma vez calibrada a câmera (a ser realizada em etapas futuras), manter essa calibração depende de manter a posição da câmera. Por essa razão, a câmera prefere uma base sólida, como um tripé montado no chão ou um tripé montado na mesa sobre uma superfície sólida, por exemplo, uma bancada permanente ou uma mesa pesada.
   2. Ajuste a posição da câmera para capturar o volume alvo, ou seja, o cubo imaginário que contém completamente o sujeito em sua posição inicial, com margem suficiente para capturar completamente a atividade proximal e distal dos membros superiores (por exemplo, incluindo movimentos da mão) que será realizada pelo sujeito durante os testes subsequentes de atividade (por exemplo, durante a tarefa de beber).
      1. Embora a posição ideal da câmera estereoscópica dependa dos parâmetros intrínsecos do dispositivo específico (ou seja, tamanho do sensor de imagem, distância focal, campo de visão), comece posicionando a câmera estéreo cerca de 150 cm da borda da mesa (ou seja, a borda da mesa mais próxima do sujeito) e com a altura da câmera ajustada a cerca de 100 cm acima da superfície da mesa.
      2. A partir dessa posição inicial, ajuste ainda mais conforme necessário para otimizar a posição da câmera de modo que o volume do alvo mencionado seja capturado. Vale notar que o processo de calibração da câmera leva automaticamente em conta variações nos parâmetros extrínsecos da câmera (por exemplo, rolamento/guinada/arfagem).
5. Configuração de iluminação
   1. Certifique-se de que o ambiente esteja bem iluminado, com iluminação suave e uniforme, se possível. Evite retroiluminação forte, como luz solar forte de uma janela próxima, pois o encandeamento pode dificultar a detecção bem-sucedida do padrão da grade xadrez durante a atividade de calibração.
   2. Evite introduzir sombras na visão da câmera, pois as sombras podem degradar o sucesso da calibração e o sucesso da estimativa subsequente da pose humana por visão computacional. Use luzes ou lâmpadas no teto posicionadas para reduzir as sombras do sujeito. Se o encandeamento for problemático, considere modificar as luzes com difusores de luz.

2. Atividade de calibração

NOTA: Esta etapa descreve como completar com sucesso a atividade de calibração e garantir a curadoria adequada das imagens para um destino de salvamento apropriado através do aplicativo web. A calibração pode ser realizada uma vez ao dia antes da coleta de dados em vídeo com os participantes. Se a posição da câmera for alterada por qualquer motivo ao longo do dia, incluindo mudanças inadvertidas causadas por um transeunte batendo na câmera/tripé, recomenda-se uma nova calibração, e todas as atividades gravadas em vídeo subsequentes precisam estar associadas a essa nova calibração durante qualquer fluxo de trabalho de visão computacional.

1. Preparação para calibração
   1. Crie o padrão de grade de xadrez para calibração usando o arquivo imprimível (Calibration Checkerboard Printout) no menu Recursos do aplicativo web (https://mobile-motion-lab-public.web.app/resources).
   2. Imprima o padrão de grade xadrez preto e branco usando papel padrão tamanho carta medindo 8,5 polegadas x 11 polegadas. Use opções de papel e impressora sem acabamento brilhante.
   3. Prenda a impressão do padrão de grade xadrez em uma superfície plana (por exemplo, o verso de uma prancheta) e prenda com fita. Certifique-se de que a fita não obstrua nenhuma parte do padrão xadrez e que a impressão em papel fixada tenha deformações mínimas. Caso contrário, oclusões ou deformações do padrão de grade em tabuleiro de xadrez podem reduzir as chances de calibração bem-sucedida por uma solução de visão computacional.
2. Capturando imagens de calibração
   1. Abra o módulo de atividade de calibração (Guia de Atividade de Calibração) localizado no menu do painel do aplicativo web (https://mobile-motion-lab-public.web.app/calibrationActivity). Este módulo foi projetado para orientar o processo de calibração.
      1. Realize a calibração com o seguinte processo: (i) visualizar uma demonstração em vídeo da atividade de calibração; (ii) verificar a identidade da câmera estéreo; e (iii) prévia do feed ao vivo da câmera estéreo antes da gravação. Por fim, realize uma gravação para registrar a atividade de calibração, que envolve mover o padrão de tabuleiro de xadrez pela área do espaço de trabalho enquanto as imagens são capturadas.
   2. Prossiga pelo guia até que uma prévia da câmera estéreo e o ícone de Iniciar Gravação estejam disponíveis.
   3. Antes de iniciar a gravação, posicione o tabuleiro de xadrez na posição inicial. Com base em um indivíduo sentado à mesa, como descrito anteriormente, a posição inicial do tabuleiro de xadrez envolve segurar o padrão aproximadamente ao nível do peito e perpendicular à superfície da mesa (Figura 3).
   4. Inicie a gravação clicando no ícone de Iniciar Gravação no aplicativo web. Quando iniciado, uma contagem regressiva visual/áudio de 3 segundos será fornecida pelo app, após a qual um sinal visual/sonoro subsequente indicará quando iniciar a atividade de calibração.
      NOTA: Se a calibração estiver sendo realizada sozinho, a contagem regressiva permite que o usuário tenha tempo para iniciar a gravação e então posicionar o padrão do tabuleiro antes do início da captura da gravação.
   5. Quando for indicado para iniciar a atividade de calibração, mova o padrão de tabuleiro de xadrez para frente pela área do espaço de trabalho (em direção à câmera) de forma suave e controlada. Depois de avançar completamente pelo espaço de trabalho (o cubo imaginário reservado para o sujeito e o copo), então o movimento revertido para mover o padrão para trás (afastando-se da câmera) de forma suave e controlada. Repita esse movimento para frente e para trás do padrão de tabuleiro de xadrez até que a captura de imagem esteja completa. A duração total da captura da imagem é de 10 s.
      1. Evite mover o padrão do tabuleiro de xadrez muito rápido. Movimentos rápidos podem introduzir desfoque das imagens capturadas pela câmera, e esse desfoque pode reduzir a capacidade de um fluxo de trabalho de visão computacional de extrair parâmetros de calibração apropriados.
         NOTA: Como lembrete, o aplicativo web inclui uma demonstração em vídeo durante o módulo de atividade de calibração. Alternativamente, o movimento do padrão de calibração também é demonstrado no Vídeo de Início localizado na página de recursos do aplicativo web.
3. Revisão da gravação de calibração
   1. Revise a calibração registrada. Imediatamente após a gravação da atividade de calibração, uma reprodução de vídeo é apresentada no aplicativo web. Revise esta reprodução de vídeo com atenção cuidadosa aos itens a seguir.
      1. Qualidade da imagem: Certifique-se de que todo o padrão de xadrez esteja totalmente visível ao longo do vídeo. O desfoque de imagem deve ser evitado ao máximo e, se houver evidências substanciais de desfoque, considere tentar novamente a gravação de calibração com movimentos mais lentos do padrão de xadrez. Ao melhorar a qualidade da imagem, fluxos de trabalho de visão computacional subsequentes terão mais chances de detectar com sucesso o padrão de tabuleiro de xadrez, que é uma referência necessária para extrair medições de profundidade e posição.
      2. Visibilidade clara: Certifique-se de que a iluminação esteja adequada. Evite sombras escuras óbvias ou reflexos brancos que obstruam a visão do padrão do tabuleiro. Certifique-se de que não haja obstruções à linha de visão da câmera durante a captura da imagem (por exemplo, um espectador caminhando pelo primeiro plano).
         NOTA: Como referência para medir qualidade e visibilidade da imagem, exemplos de vídeo de calibração estão disponíveis no módulo de atividade de calibração, bem como no Vídeo de Início localizado no menu Recursos do aplicativo web.
      3. Tente novamente, se necessário. Se houver alguma preocupação sobre o desempenho da atividade de calibração e a qualidade da gravação de vídeo de calibração, selecione a opção Retry para reiniciar a gravação de vídeo para uma nova tentativa. Caso contrário, prossiga enviando/salvando as imagens de calibração.
4. Salvando imagens de calibração
   1. Após a conclusão bem-sucedida da atividade de calibração e da gravação, selecione o ícone Salvar Imagens de Calibração . Isso abrirá um prompt de janela permitindo a escolha do destino de salvamento de arquivos para imagens de calibração. Por padrão, o destino de salvamento do arquivo é definido como a área de trabalho com uma convenção padrão de nomes de arquivo (ou seja, calibration_[Data]_[Hora]_[Tipo de Câmera]).
   2. Uma vez que o salvamento das imagens de calibração seja verificado, selecione Confirmar Salvar para prosseguir. Uma mensagem de confirmação aparecerá após o salvamento, assim como opções para prosseguir para o módulo de Guia de Atividades de Tarefa de Bebida ou reiniciar o módulo de Guia de Atividades de Tarefa de Calibração.

3. Atividade de tarefa de beber

NOTA: Esta etapa descreve como guiar os participantes na conclusão da atividade da tarefa de bebida, como criar gravações em vídeo da tarefa de beber e como garantir a curadoria adequada dos vídeos para um destino salvo usando o aplicativo web.

1. Preparação para a atividade de tarefa de beber
   1. Posicione o sujeito na posição de início/fim apropriada para a tarefa de beber. Ajuste a altura do assento para que o sujeito possa sentar confortavelmente com quadris e joelhos flexionados em um ângulo de 90°. Ajuste a altura da mesa conforme necessário. Certifique-se de que o sujeito esteja sentado ereto em uma cadeira, com os braços relaxados ao lado do corpo, cotovelos flexionados em um ângulo de 90°, as palmas das mãos confortavelmente apoiadas na mesa à largura dos ombros, a dobra dos pulsos alinhada com a borda da mesa e a linha média alinhada com a posição do copo no jogo americano.
   2. Instrua o sujeito a usar uma mão específica (direita ou esquerda) para a gravação inicial.
      NOTA: Testes adicionais subsequentes da atividade de tarefa de beber são possíveis através do aplicativo web. Durante quaisquer testes adicionais, a lateralidade da mão pode ser indicada no aplicativo web, que será automaticamente associado aos nomes dos respectivos arquivos de ensaio durante a curadoria dos dados.
   3. Instrua o sujeito a praticar a tarefa de beber. Os participantes podem realizar um ou dois testes práticos da atividade de tarefa de beber (sem gravação). Lembre ao sujeito que apenas um pequeno gole é necessário antes de retornar a xícara e a mão para suas respectivas posições iniciais.
      1. Evite sobrecarregar o treinamento do sujeito em relação à tarefa de beber. A intenção é capturar o comportamento como ele ocorreria no mundo real. Se o sujeito solicitar mais instrução, então aconselhe-o a considerar uma situação real em seu dia a dia.
2. Registre a atividade de bebida
   1. Abra o módulo de atividade de tarefa de beber (Guia de Atividades de Tarefa de Beber) localizado no menu do painel do aplicativo web (https://mobile-motion-lab-public.web.app/drinkingTaskActivity).
      NOTA: Este módulo foi projetado para guiar a gravação de vídeo de um sujeito realizando a atividade de tarefa de beber. Esse processo inclui o seguinte: (i) visualização de um exemplo de gravação da atividade de tarefa de bebida; (ii) verificar a identidade da câmera estereoscópica e inserir o identificador do sujeito; (iv) entrar na lateralidade da mão a ser usada no teste específico, por exemplo, direita ou esquerda; e (v) prévia o feed ao vivo da câmera estéreo antes da gravação.
   2. Antes de iniciar a gravação, oriente o sujeito para a contagem regressiva. Uma contagem regressiva visual/sonora de 3 s será fornecida pelo aplicativo móvel, após a qual um sinal visual/áudio subsequente indicará quando começar a realizar a tarefa de bebida.
   3. Inicie a gravação de vídeo clicando no ícone Iniciar Gravação no aplicativo web. Usando a contagem regressiva/sinais, peça ao sujeito para realizar a atividade de tarefa de beber (Figura 3). A duração total destinada à atividade de bebida é de 20 s.
      NOTA: O sujeito só precisa tomar um pequeno gole do copo antes de retornar o copo à sua área delineada no jogo e, em seguida, retornar a mão à área delineada.
3. Revise o vídeo da tarefa de beber. Imediatamente após a gravação, uma reprodução de vídeo é apresentada no aplicativo web. Revise esta reprodução de vídeo com atenção aos seguintes itens.
   1. Sujeito no quadro: Certifique-se de que o rosto, torso, membros superiores e o copo do sujeito estejam totalmente capturados em todos os quadros de vídeo durante toda a tarefa de beber.
   2. Ausência de distúrbios visuais: Certifique-se de que a iluminação seja adequada, sem sombras ou reflexos que distraiam. Evite capturar outras pessoas sem querer em primeiro plano/fundo do vídeo. Caso contrário, as chances de um fluxo de trabalho de visão computacional identificar com sucesso o assunto de interesse podem ser comprometidas.
   3. Conclusão da tarefa: Certifique-se de que o sujeito complete toda a tarefa, incluindo pegar o copo, tomar um gole do copo, devolver o copo à posição original e retornar o corpo/mãos à posição inicial.
   4. Tente novamente, se necessário. Se houver alguma preocupação sobre a qualidade da gravação do vídeo da tarefa de beber, selecione a opção Retentar para reiniciar a gravação para outra tentativa.
      NOTA: A opção Retry irá descartar a gravação de vídeo anterior. Se descartar o vídeo não for desejado, evite selecionar Retry e, em vez disso, prossiga com testes adicionais conforme descrito abaixo.
4. Registro de testes adicionais da atividade de tarefa de consumo de álcool
   1. Se forem desejadas tentativas adicionais da tarefa de beber para o mesmo sujeito, selecione a opção Repetir Outra Tentativa.
      NOTA: O módulo Drinking Task Activity Guide foi projetado para ser executado como uma instância única para cada assunto único (por exemplo, o módulo precisa ser reiniciado para cada assunto único).
   2. Prossiga com a gravação e revisão de ensaios adicionais para o mesmo sujeito usando as instruções mencionadas.
      NOTA: Para tentativas repetidas com o mesmo sujeito, o identificador original do sujeito e o identificador da câmera serão automaticamente associados a todos os ensaios. Caso contrário, cada teste requer apenas os seguintes passos: (i) entrar na lateralidade da mão a ser usada pelo sujeito, por exemplo, direita ou esquerda; (ii) prévia o feed ao vivo da câmera estéreo antes da gravação; (iii) iniciar a gravação em vídeo da atividade de tarefa de beber; e (iv) gravação de revisão/retentativa conforme necessário.
5. Salvar gravações de vídeo
   1. Após todos os testes desejados serem gravados, selecione Finalizado com todos os testes para prosseguir com o salvamento dos arquivos de vídeo no destino desejado.
   2. No campo indicado Notas, adicione quaisquer comentários pertinentes ao processamento, análise e interpretação futuros dos dados. Selecione o Pacote e adicione Notas para prosseguir.
   3. Selecione o ícone Salvar Tarefa de Beber Vídeos . Isso abrirá um aviso de janela permitindo a escolha do destino do salvamento do arquivo. Por padrão, o destino de salvamento do arquivo está definido como a área de trabalho.
      NOTA: Uma vez definido o destino de salvamento do arquivo, o aplicativo web automaticamente curou os dados de vídeo com uma estrutura de pasta/subpasta que possui uma nomenclatura baseada em entradas anteriores do usuário durante a conclusão do guia do aplicativo web. Isso resulta em uma pasta principal com nome padronizado (ou seja, subj[identificador]_drinktask_[Data]_[Tempo]_[Tipo de Câmera]), assim como subpastas com nomes padronizados (ou seja, [Lateralidade]_[Número do Teste]_[Taxa de Quadros]), que contêm os respectivos vídeos para cada teste de atividade.
   4. Depois que o arquivo de vídeo salvo for verificado, selecione Confirmar Salvar para prosseguir. Uma mensagem de confirmação aparecerá após salvar, assim como uma opção para reiniciar o módulo de Guia de Atividades de Tarefa de Beber. Como demonstrado na seção de resultados abaixo, os vídeos salvos podem então ser acoplados a um fluxo de trabalho de visão computacional para extrair cinemática.

Resultados

Uma das principais motivações do guia para clínicos baseado na web é reduzir as barreiras técnicas que poderiam impedir os clínicos de usar visão computacional para avaliar a biomecânica dos membros superiores de seus pacientes. Espera-se que o guia clínico baseado na web produza dois resultados principais para o usuário: (i) uma série de imagens sincronizadas do padrão de calibração em tabuleiro de xadrez baseadas nos sensores duplos de imagem de uma câmera estereoscópica, e (ii) para cada ensaio realizado pelo participante, um par de vídeos sincronizados da atividade padronizada de tarefa de consumo de álcool (Figura 3). O guia baseado na web fornece instruções em vários formatos, incluindo procedimentos escritos, demonstrações em vídeo/áudio e um guia virtual interativo. Para reduzir a carga administrativa, a curadoria de dados é automatizada. Os dados de imagem e vídeo são salvos em uma pasta digital preferencial, conforme indicado pelo usuário, por exemplo, localizada em uma área de trabalho de computador ou em uma rede institucional baseada em nuvem. Os dados são automaticamente organizados em pastas comprimidas, incluindo subpastas aninhadas e nomes de arquivos padronizados baseados no identificador do sujeito, data/hora da aquisição dos dados, lateralidade manual, tipo/lateralidade da câmera e número do teste.

Figura 2: Configuração de clínica ambulatorial para gravação de imagens e vídeos. A cinemática da tarefa de beber pode ser extraída de vídeo compatível usando visão computacional, o que pode ser feito com o sistema representado de uma câmera estéreo, um computador e itens comumente encontrados em clínicas (cadeiras, mesas, recursos de impressão, pranchetas, copos, água potável). Embora a posição e a orientação exatas da câmera variem dependendo do modelo do dispositivo, (A) uma posição aproximada é mostrada, (B) que pode ser ajustada para capturar o espaço de trabalho esperado que contenha totalmente o corpo e os membros superiores do sujeito durante a tarefa de beber. Por favor, clique aqui para ver uma versão ampliada desta figura.

Figura 3: Imagens e vídeos compatíveis criados por um guia clínico baseado na web. Os principais resultados do guia clínico baseado na web incluem (A) uma série de imagens sincronizadas do padrão de calibração em tabuleiro de xadrez e (B) um par de vídeos sincronizados capturando o desempenho do sujeito em todas as fases da tarefa de beber. Por favor, clique aqui para ver uma versão ampliada desta figura.

Com base nos dados de imagem e vídeo coletados, a biomecânica dos membros superiores durante a tarefa de beber pode ser extraída usando visão computacional. Importante, a coleta de dados brutos e a aplicação da visão computacional podem ser desacopladas. Uma variedade de fluxos de trabalho de visão computacional foi descrita em literatura anterior para aplicação a tais^{dados 16,18} ou os usuários podem aplicar seus próprios fluxos de trabalho personalizados. Por exemplo, já desenvolvemos anteriormente um fluxo de trabalho de visão computacional para estimar a pose humana tridimensional (Figura 4) e, posteriormente, extrair três métricas cinemáticas. Resumindo, esse fluxo de trabalho de visão computacional envolve as seguintes etapas-chave: (i) calibração para extrair propriedades intrínsecas e extrínsecas da câmera para mapear pixels em dimensões do mundo real; (ii) detecção de pose humana para anotar a localização dos pixels de pontos-chave anatômicos do corpo humano em imagens bidimensionais; (iii) aplicação de um procedimento de elevação para calcular informações tridimensionais a partir de imagens bidimensionais duais; e (iv) aplicação de filtros para suavização de trajetórias, por exemplo, médias móveis e filtros de Kalman. Uma descrição mais detalhada está além do escopo do artigo atual, mas pode ser acessada no trabalho^{anterior 16}. Ao aplicar esse fluxo de trabalho, as métricas cinemáticas extraídas quantificam a suavidade do movimento (por exemplo, número de unidades de movimento, NMU), compensação (por exemplo, deslocamento do tronco, TD) e tempo de movimento (MT), que têm se mostrado válidos, confiáveis e responsivos a mudanças clínicas em estudos de reabilitação de^{AVC 5,13,14}. Quando comparado a um sistema convencional de captura de movimento baseado em marcadores, esse fluxo de trabalho de visão computacional gera pequenos erros (_erro NMU -0,12 unidades,_erro TD 3,4 mm e_erro MT 0,15 s) em relação às estimativas de mudança clinicamente significativa (3-7 NMU, 20-50 mm TD e 2,5-5 s MT)¹⁶. Para ilustrar uma métrica cinemática específica, ou seja, suavidade do movimento pela NMU (Figura 5), um gráfico do perfil de velocidade do punho durante a tarefa de beber representa a NMU (por exemplo, cada unidade de movimento denotada por um asterisco vermelho) medida durante um estudo de caso de um indivíduo com histórico de AVC (mulher de 51 anos, dominante direita, histórico de AVC isquêmico da medula direita resultando em hemiparesia esquerda leve, Início do AVC >6 meses antes, comorbidades incluindo hipertensão e síndrome do túnel do carpo direito).

Figura 4: Aplicação de visão computacional para imagens e vídeos para extração de dados de movimento humano. Uma variedade de fluxos de trabalho de visão computacional foi descrita para alcançar a cinemática da tarefa de beber. (A) Uma etapa inicial de calibração exige que imagens 2D mapeem pixels para as dimensões do mundo real, (B) que podem ser convertidas para coordenadas 3D usando geometria projetiva. Subsequentemente, aplicando estimativas de pose humana a vídeos da tarefa de beber, (C) pontos-chave anatômicos 2D podem ser detectados automaticamente, que podem ser convertidos em (D) pontos-chave 3D para vários cálculos e visualizações métricas, por exemplo, trajetórias de pontos-chave. Por favor, clique aqui para ver uma versão ampliada desta figura.

Figura 5: Métrica cinemática da suavidade do movimento durante a tarefa de beber. Com base em dados 3D do movimento humano da tarefa de beber, uma variedade de métricas cinemáticas pós-AVC podem ser alcançadas. Com base em um sujeito na fase crônica de recuperação do AVC, uma métrica cinemática da suavidade do movimento (por exemplo, número de unidades de movimento, NMU, conforme representado pelo número de asteriscos vermelhos no perfil de velocidade do punho) pode ser extraída de vídeo com visão computacional para revelar uma diferença objetiva na função motora entre o membro superior (A) esquerdo e (B) direito. Por favor, clique aqui para ver uma versão ampliada desta figura.

Discussão

A avaliação cinemática da tarefa de beber tem sido recomendada para uso em pesquisas de reabilitação de^{AVC 6}. No entanto, preocupações práticas têm sido citadas como barreiras à adoção da cinemática em pesquisas de reabilitação, e essas preocupações incluem o custo e os requisitos técnicos para tecnologias de captura de movimento convencionalmente usadas para medir a biomecânica^{humana 15}. Essas preocupações subsequentemente dificultam a adoção clínica e a tradução da avaliação cinemática para a prática clínica. Alternativamente, uma abordagem mais prática para extrair cinemática por meio de visão computacional pode ser realizada usando uma única câmera estéreo, um computador pessoal e itens comumente encontrados em um ambiente^{ambulatorial 16}. Apresentamos um protocolo projetado para clínicos que utiliza um guia baseado na web para registrar imagens e vídeos compatíveis com um fluxo de trabalho de visão computacional para extrair métricas cinemáticas da tarefa de beber. O objetivo de longo prazo é aumentar a acessibilidade a essas métricas, que já foram desenvolvidas e recomendadas para uso em pesquisas de reabilitação de AVC 5,6,12,13,14.

A sincronização de vídeo é importante para abordagens de câmera dupla para visão computacional. Configurações de câmera dupla imitam os olhos humanos, que simultaneamente percebem uma cena no mundo real de pontos de vista ligeiramente diferentes para permitir a percepção de profundidade. No caso da visão computacional, a sincronização adequada é então crítica para a precisão das informações tridimensionais (por exemplo, posição do pulso humano em um sistema de coordenadas cartesianas) determinadas a partir de duas fontes bidimensionais (por exemplo, localização em pixels do pulso humano em uma foto). Na nossa experiência, câmeras duplas podem fornecer resultados razoáveis quando sincronizadas com até 1 ms¹⁶. Vários fatores podem reduzir a sincronização, incluindo taxas de quadros de câmera pouco confiáveis, taxas limitadas de transmissão de dados em cabos, ineficiências de software e especificações de hardware limitadas (por exemplo, baixa RAM ou processadores de baixo nível). Para aliviar problemas de sincronização, esse protocolo utiliza uma câmera estéreo pronta a usar, que se beneficia de uma área física menor e é projetada como um dispositivo plug-and-play (por exemplo, conexão USB única a um computador pessoal padrão) para capturar automaticamente imagens sincronizadas de dois sensores de imagem embutidos.

As características da câmera exigem uma consideração cuidadosa para qualquer aplicação de visão computacional. Em teoria, imagens de maior resolução e registros de maior taxa de quadros do movimento humano oferecem mais dados para detectar pontos-chave anatômicos com maior precisão espaço-temporal. No entanto, é necessário um equilíbrio inevitável entre a quantidade de dados e os recursos computacionais disponíveis para processá-los. O protocolo descrito é baseado em uma câmera estéreo que grava vídeo com resolução de 1280 x 720 pixels a uma taxa de quadros de 60 Hz, o que é comparável a estudos anteriores aplicando visão computacional para a cinemática de tarefas^{de consumo 16,18}. Para gravar esses vídeos, observamos sucesso confiável usando um computador de nível consumidor de nível superior (por exemplo, CPU de 3,2 GHz com 128 GB de RAM) e sucesso misto usando um laptop (por exemplo, CPU de 2,6 GHz com 16 GB de RAM). Ao aplicar computadores de linha inferior, um problema típico é a ausência de quadros de vídeo, que frequentemente se apresenta como um vídeo de saída com duração menor que a gravação de vídeo prevista de 20 s. Vale notar que, embora a computação de dados seja um dos culpados comuns por causa da ausência de quadros de vídeo, a transmissão de dados também é importante. No ambiente de saúde, por exemplo, configurações de segurança associadas a portas de acesso de computador (por exemplo, drives USB) podem causar atrasos na transmissão de dados que interferem na gravação de vídeo confiável.

A interferência de linha de visão desafiará etapas-chave em um fluxo de trabalho de visão computacional, incluindo calibração e estimativa da pose humana. A calibração depende de imagens digitais de um padrão padrão de tabuleiro de xadrez, o que permite que a visão computacional mapeie pixels da imagem para as dimensões físicas do mundo real. A visualização clara do padrão de tabuleiro de xadrez melhora a taxa de sucesso desse mapeamento. Interferência visual pode surgir por vários motivos, incluindo, mas não se limitando aos seguintes: (i) problemas de iluminação (por exemplo, brilho forte de uma janela próxima ou sombras escuras); (ii) movimentos excessivamente rápidos do tabuleiro de xadrez (por exemplo, desfoque da imagem devido ao tempo prolongado de exposição da câmera); ou (iii) propriedades intrínsecas inadequadas da câmera (por exemplo, distância focal incorreta ou distorção severa da lente). A estimativa de poses humanas utiliza inteligência artificial para anotar automaticamente marcos anatômicos a partir de imagens de uma única pessoa (estimativa de uma única pose) ou de várias pessoas (estimativa de múltiplas poses). A visualização clara do humano é então fundamental para a taxa de sucesso da estimativa da pose. Alguma interferência visual pode ser tolerada dependendo dos parâmetros da visão computacional (por exemplo, arquitetura de IA, limiares de previsão). No entanto, para avaliar a adequação de um vídeo para estimação de pose humana, armadilhas comuns a serem observadas incluem o seguinte: (i) espectadores em vista em caso de estimação de pose única; (ii) segmentos do corpo intermitentemente fora do campo de visão da câmera; e (iii) auto-oclusão devido à sobreposição de segmentos corporais.

Desacoplar a coleta de dados do próprio fluxo de trabalho de visão computacional oferece tanto vantagens quanto desvantagens. Uma desvantagem notável é o atraso nas informações clinicamente relevantes disponíveis para clínicos e pacientes para orientar a tomada de decisões. Uma vantagem potencial é a redução da interferência na interação entre clínico e paciente. Por exemplo, assumindo que a calibração seja realizada antes da consulta do paciente, gravar em vídeo 10 repetições da tarefa de beber conforme descrito na literatura^{anterior 12} idealmente exigiria menos de 4 minutos de tempo de gravação em vídeo, além de qualquer tempo necessário para orientar pacientes que não conhecem o protocolo. Além disso, essa separação pode aumentar a aceitação dos profissionais ao dividir a responsabilidade pela informação. Dentro dessa separação de funções, o clínico assume a responsabilidade por quando e por que as avaliações em vídeo ocorrem, e cientistas/engenheiros de dados assumem a direção de refinar o fluxo de trabalho de visão computacional responsável por métricas clínicas precisas e confiáveis (por exemplo, cinemática de tarefas de bebida). De fato, isso pode ser comparado à realidade atual de muitos exames baseados em sangue (por exemplo, painéis metabólicos completos) e baseados em imagem (por exemplo, estudos de ressonância magnética) rotineiramente solicitados por clínicos. Por fim, esse desacoplamento pode ser vantajoso à medida que o campo da IA continua avançando. Os dados de vídeo adquiridos hoje podem passar por análises repetidas por soluções de visão computacional mais avançadas do futuro, que podem extrair mais métricas cinemáticas com maior velocidade, precisão e confiabilidade.

Nosso objetivo é avançar ainda mais o acesso à cinemática dos membros superiores entre a comunidade de reabilitação, que inclui profissionais de saúde ambulatorial e, previsivelmente, indivíduos em ambiente domiciliar (por exemplo, telereabilitação). Esse protocolo e o aplicativo baseado na web devem ser vistos como um estágio inicial de desenvolvimento, que até agora tem sido considerado uma atividade muito focada (ou seja, a tarefa de beber) e um grupo relativamente focado de partes interessadas (ou seja, usuários clínicos e sujeitos que podem realizar facilmente a tarefa de beber). Versões futuras serão necessárias para acomodar um grupo de usuários mais diversificado, atividades mais diversas e populações de sujeitos mais diversas (por exemplo, indivíduos com déficits severos que necessitam de acomodação de atividades). Além disso, o desenvolvimento futuro incluirá pontos importantes antes da implementação em larga escala, como integração em prontuários eletrônicos e manutenção da privacidade e confidencialidade do paciente. Essas versões futuras provavelmente também incorporarão novas tecnologias e aprimorarão as tecnologias atualmente disponíveis. Por exemplo, o protocolo atual assume um fluxo de trabalho de visão computacional baseado em visão binocular (por exemplo, câmeras estereoscópicas). Um desenvolvimento lógico próximo é um protocolo com visão monocular (por exemplo, câmeras mais básicas), que pode ser alcançável utilizando IA treinada com conjuntos de dados binoculares. Vale destacar que o protocolo atual fornece dados de imagem e vídeo compatíveis com as soluções de visão computacional de última geração, que já estão sendo superadas em desempenho pelas soluções^{mais recentes 18}. O protocolo baseado na web descrito aqui pode permitir que os profissionais implementem em sua prática uma base para visão computacional, que provavelmente avançará dramaticamente à medida que a tecnologia de IA permeia a indústria da saúde.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Braço de Montagem de Câmera, articulado de 2 seções simples com plataforma de câmera	Manfrotto	196B-2	Montagem para câmera estéreo
Tripé de câmera, compatível com parafusos de montagem padrão de 1/4 e 3/8 de polegada	iFilmagem	CB3 Base	Tripé para montagem em câmera estéreo
Prancheta, tamanho padrão de carta	N/A	N/A	Superfície para fixar o padrão de calibração
Copo, plástico de 8 oz	N/A	N/A	Recipiente de água para tarefas de consumo
Cadeira ajustável em altura, com rodas rodas travadoras	Vermund Larsen A/S	Independência da VELA	Cadeira para a disciplina
Mesa ajustável em altura, com rodas rodas travantes	Midmark Corporation	Estação de Trabalho Retangular 6215	Tabela para configuração de tarefas de beber
Impressão do tabuleiro de calibração	N/A	N/A	Padrão para vídeo de calibração
Impressão do Tarefa de Bebida para Tarefa de Bebida,	N/A	N/A	Jogo americano para guiar a preparação da tarefa de beber
Câmera estéreo, distância focal de 4mm, sem polarizador, cabo USB 3.0 de 5m	Stereolabs	Zed 2i	Câmera estéreo para gravação de vídeo
Fita	N/A	N/A	Adesivo para impressões