Summary
WheelCon é uma plataforma nova, gratuita e de código aberto para projetar videogames que não invasivamente simula mountain bike por uma trilha íngreme, tortuosa e esburacada. Contém componentes apresentados no controle sensorimotor humano (atraso, quantização, ruído, perturbação e múltiplos loops de feedback) e permite que os pesquisadores estudem a arquitetura em camadas no controle sensorial.
Abstract
A teoria do controle de feedback foi extensivamente implementada para teoricamente modelar o controle sensorial humano. No entanto, plataformas experimentais capazes de manipular componentes importantes de múltiplos loops de feedback carecem de desenvolvimento. Este artigo descreve a WheelCon, uma plataforma de código aberto destinada a resolver tais insuficiências. Usando apenas um computador, um display padrão e um volante de jogo barato equipado com um motor de feedback de força, o WheelCon simula com segurança a tarefa sensorial canônica de andar de mountain bike por uma trilha íngreme, tortuosa e esburacada. A plataforma fornece flexibilidade, como será demonstrado nas demonstrações fornecidas, para que os pesquisadores possam manipular os distúrbios, atrasos e quantização (taxa de dados) nos loops de feedback em camadas, incluindo uma camada de plano avançado de alto nível e uma camada de reflexo atrasada de baixo nível. Neste artigo, ilustramos a interface gráfica de usuário (GUI) da WheelCon, a entrada e saída das demonstrações existentes e como projetar novos jogos. Além disso, apresentamos o modelo básico de feedback e os resultados experimentais dos jogos de demonstração, que se alinham bem com a previsão do modelo. A plataforma WheelCon pode ser baixada em https://github.com/Doyle-Lab/WheelCon. Em suma, a plataforma é caracterizada por ser barata, simples de usar e flexível para programar para uma pesquisa eficaz de neurociência sensorial e educação de engenharia de controle.
Introduction
O sistema de controle sensorimotor humano é extremamente robusto1,embora a detecção seja distribuída, variável, esparsa, quantizada, ruiva e atrasada2,,3,,4; a computação no sistema nervoso central é lenta5,6,7; e a atuação muscular fadiga e satura8. Muitos modelos teóricos computacionais foram propostos para explicar o complicado processo de controle sensorial humano4,9,,10,11,12,13,14, que é um processo de troca em alcance humano e resposta15,16. Por exemplo, a teoria do controle de feedback prevê a política de controle ideal12, modelos teóricos bayesianos de aprendizagem sensorimotor17,,18,19 e teoria da informação sensorimotor foundation20,21. Em contraste com a abundância de modelos teóricos, plataformas experimentais capazes de manipular componentes importantes de múltiplos loops de feedback carecem de desenvolvimento. Isso se deve, em parte, ao fato de que projetar uma plataforma para fazer a ponte e testar esses aspectos do controle sensorial requer uma gama diversificada de conhecimentos, estendendo-se desde a teoria do controle motor, processamento de sinais e interação, até computação gráfica e programação. Os pesquisadores frequentemente desenvolvem seus próprios sistemas personalizados de hardware/software para caracterizar o desempenho do controle sensorimotor humano, o que pode limitar a capacidade de comparar/contrastar e integrar conjuntos de dados entre grupos de pesquisa. O desenvolvimento de um sistema fácil de usar e validado poderia ampliar a caracterização quantitativa do controle sensorial.
Neste artigo, apresentamos a plataforma WheelCon, uma plataforma nova, gratuita e de código aberto para projetar videogames para um ambiente virtual que simula não invasivamente uma Lei de Fitts chegando ao jogo e uma tarefa de mountain bike com a derrubada de uma trilha íngreme, tortuosa e esburacada. A lei dos Fitts para alcançar a tarefa quantifica a troca entre velocidade e precisão em que o tempo necessário para atingir um alvo de largura em escalas de distância éde 22,23. A "tarefa de mountain bike" é uma combinação de uma tarefa de rastreamento de perseguição e compensação, que são dois componentes clássicos da pesquisa sobre o desempenho sensorial humano, especialmente em termos de estudo de loops de feedback.
A WheelCon contém os componentes básicos altamente exigidos apresentados em cada teoria: atraso, quantização, ruído, perturbação e múltiplos loops de feedback. É uma ferramenta potencial para estudar as seguintes questões no controle sensorial humano:
• Como o sistema sensorimotor humano lida com o atraso e a quantização na sinalização neural, que é fundamentalmente constrangida pelos recursos limitados (como o espaço e os custos metabólicos) no cérebro24,25;
• Como a correlação neural no córtex humano com o controle sensorial26;
• Como os seres humanos lidam com os distúrbios externos imprevisíveis no controle sensorial27;
• Como o controle hierárquico se enrola em camadas e integrado dentro do sistema sensorimotor humano16,,28,,29;
• A consequência do atraso e quantização no feedback visual humano30 e feedback reflexo31 no controle sensorial;
• A política e estratégia ideal para o aprendizado sensorial sob atraso e quantização16,,17,24,29.
O WheelCon se integra com um volante e pode simular condições de jogo que manipulam as variáveis nessas questões, como atraso de sinalização, quantização, ruído e perturbação, ao mesmo tempo em que registra a política de controle dinâmico e erros do sistema. Também permite que os pesquisadores estudem a arquitetura em camadas no controle sensorial. No exemplo de andar de mountain bike, duas camadas de controle estão envolvidas nesta tarefa: o plano de alta camada e o reflexo de baixa camada. Para distúrbios visíveis (ou seja, a trilha), planejamos antes da perturbação chegar. Para distúrbios desconhecidos com antecedência (ou seja, pequenas lombadas), o controle conta com reflexos atrasados. A teoria do controle de feedback propõe que arquiteturas em camadas eficazes podem integrar as metas, planos, decisões com o sensor, reflexo e ação24das camadas inferiores . A WheelCon fornece ferramentas experimentais para induzir distúrbios distintos no plano e camadas de reflexo separadamente para testar tal arquitetura em camadas(Figura 1).
Fornecemos uma plataforma barata, fácil de usar e flexível para programar, a WheelCon que faz a ponte entre estudos teóricos e experimentais sobre neurociência. Para ser específico, pode ser usado para examinar os efeitos de atraso, quantização, perturbação, compensações potencialmente de precisão de velocidade. As variáveis que podem ser manipuladas em loops de controle são mostradas na Tabela 1. Também pode ser aplicado para estudar a tomada de decisões e a capacidade de multiplexação em diferentes camadas de controle no controle sensorial humano. Além disso, a WheelCon é compatível com gravações neurais não invasivas, como a eletroencefalografia (EEG), para medir a resposta neural durante o controle sensorial32,33,,34,,35, e as técnicas de estimulação cerebral não invasiva, como estimulação elétrica transcraniana (tES) e estimulação magnética transcraniana (TMS), para manipular a atividade neural36,,37.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
O desenvolvimento e a aplicação do protocolo foram aprovados pelo Conselho de Revisão Institucional do Instituto de Tecnologia da Califórnia (IRB) e pela Universidade do Sul de Ciência e Tecnologia IRB. O sujeito forneceu consentimento informado antes de qualquer procedimento que está sendo realizado.
1. Preparação e configuração do sistema
- O hardware básico recomendado é um processador dual-core de 2 GHz e 4 GB de memória do sistema.
- Construa a plataforma de jogos sob a plataforma Unity, enquanto usa o idioma de programação C#. O driver de roda de jogos Logitech e o Volante Logitech SDK são necessários para o desenvolvimento de plataformas de jogos.
- Os arquivos executáveis da plataforma de jogos suportam apenas o Sistema Operacional Windows 10 (OS). Portanto, em um PC rodando o Windows 10, baixe e instale o driver correspondente da roda de corrida. Em seguida, baixe o software WheelCon compactado (https://github.com/Doyle-Lab/WheelCon/archive/master.zip) e extraia os arquivos para o disco rígido local.
- Monte a roda de corrida com segurança no nível sentado na frente de um monitor e, em seguida, conecte o cabo USB da roda ao PC e ao adaptador de energia a uma tomada.
- Inicie a GUI do driver para testar a leitura correta da entrada e forçar o feedback. É importante ressaltar que mantenha a GUI do motorista funcionando em segundo plano durante o teste.
- Para iniciar o programa, clique duas vezes no WheelCon.exe no diretório '\WheelCon-master\Executable & Output Files\'.
- Na tela de configuração, escolha as configurações para monitor e clique em Reproduzir! (Figura 2a). O menu principal aparecerá. Certifique-se de que o tamanho e a localização do display estão especificados.
NOTA: O valor 'Sensibilidade da roda', definindo a velocidade do cursor, varia de 0 a 1 e padrão para 0,5. Caso a amplitude de movimento proporcionada pela roda de corrida não se adapte a parâmetros específicos de tarefa, ajuste este valor. Por exemplo, diminuir a sensibilidade para o envelhecimento da população. No entanto, para comparar entre tarefas, é necessário manter esse valor constante para a bateria e entre grupos.
2. Implementação de tarefas
- Lei de Fitts chegando ao jogo
NOTA: A lei dos Fitts que chega ao jogo simula o processo de alcance. O sujeito requer girar a roda para colocar a linha vertical na região desejada (Figura 2d).- Sente o assunto confortavelmente atrás das rodas. Ajuste a altura da roda, se necessário.
- No menu principal, clique na Tarefa de Lei dos Equipamentos (Figura 2b)e digite um nome para o arquivo de saída indicando a identificação do assunto e informações de tarefas na caixa de texto.
- Clique em Selecionar arquivo, escolha o Law.txt do Fitt no diretório '\WheelCon-master\ Demo Input Files\' e clique em Iniciar o Jogo.
- Instrua o sujeito a mover a linha vertical verde com a roda para colocá-la dentro da zona cinza. Esta tarefa serve para familiarizar o sujeito com manobras na roda, bem como com a convenção de cores utilizada em diferentes tarefas.
- Tarefas de mountain bike
NOTA: A tarefa do mountain bike é uma combinação de perseguição e tarefa de rastreamento compensatória. Ele simula andar de mountain bike por uma trilha íngreme, torção e esburacada. O sujeito pode ver a trilha e girar a roda para rastreá-la, enquanto um motor pode torque da roda para imitar lombadas invisíveis no ensaio (Figura 2e).-
Jogo 1: Testando o efeito do atraso visual
NOTA: Neste jogo, o comprimento da janela de olhar para frente (aviso avançado vs. atraso) é manipulado.- No menu principal, clique em Mountain Bike Task ( Figura2c) e digite um nome para o arquivo de saída indicando a identificação do assunto e informações de tarefas na caixa de texto.
- Clique em Selecionar arquivo, escolha Vision_Delay.txt no diretório '\WheelCon-master\ Demo Input Files\' e clique em Iniciar o jogo.
- Instrua o sujeito a mover a linha vertical verde com a roda, a fim de rastrear a parte da trilha cinza que cruza a linha horizontal roxa.
-
Jogo 2: Testando o efeito do atraso de ação
NOTA: Neste jogo, um atraso de vários comprimentos é adicionado entre o movimento da roda e a saída de ação.- No menu principal, clique em Mountain Bike Task e digite um nome para o arquivo de saída indicando a identificação do assunto e informações de tarefas na caixa de texto.
- Clique em Selecionar arquivo, escolha Action_Delay.txt no diretório '\WheelCon-master\ Demo Input Files\' e clique em Iniciar o Jogo.
- Instrua o sujeito a mover a linha vertical verde com a roda, a fim de rastrear a parte da trilha cinza que cruza a linha horizontal roxa.
-
Jogo 3: Testando o efeito da quantização visual
NOTA: Neste jogo, a entrada visual é quantificada para limitar a taxa de dados.- No menu principal, clique em Mountain Bike Task e digite um nome para o arquivo de saída indicando a identificação do assunto e informações de tarefas na caixa de texto.
- Clique em Selecionar arquivo, escolha Vision Quantization.txt no diretório '\WheelCon-master\ Demo Input Files\' e clique em Iniciar o Jogo.
- Instrua o sujeito a mover a linha vertical verde com a roda, a fim de rastrear a parte da trilha cinza que cruza a linha horizontal roxa.
-
Jogo 4: Testando o efeito da quantização de ação
NOTA: Neste jogo, a saída de ação é quantificada para limitar a taxa de dados.- No menu principal, clique em Mountain Bike Task e digite um nome para o arquivo de saída indicando a identificação do assunto e informações de tarefas na caixa de texto.
- Clique em Selecionar arquivo,escolha Action Quantization.txt no diretório '\WheelCon-master\ Demo Input Files\' e clique em Iniciar o Jogo.
- Instrua o sujeito a mover a linha vertical verde com a roda, a fim de rastrear a parte da trilha cinza que cruza a linha horizontal roxa.
-
Jogo 5: Testando o efeito da perturbação da colisão e da trilha
NOTA: Esta tarefa consiste em três cenários:
a) "Bumps", rastreando um sujeito de trilha constante apesar de distúrbios de torque na roda que imitam colisões ao andar de mountain bike;
b) "Trilha", rastreando uma trilha em movimento com curvas aleatórias, mas sem solavancos;
c) "Trilha com Colisões", seguindo uma trilha em movimento com curvas aleatórias e lombadas.- No menu principal, clique em Mountain Bike Task e digite um nome para o arquivo de saída indicando a identificação do assunto e informações de tarefas na caixa de texto.
- Clique em Selecionar arquivo,escolha Bump & Trail.txt no diretório '\WheelCon-master\ Demo Input Files\' e clique em Iniciar o Jogo.
- Instrua o sujeito a mover a linha vertical verde com a roda, a fim de rastrear a parte da trilha cinza que cruza a linha horizontal roxa.
-
Jogo 1: Testando o efeito do atraso visual
3. Saída de dados
- Localize o arquivo de saída TXT no diretório '\WheelCon-master\Executable & Output Files\MountainBikeData\' e, em seguida, abra com o Matlab' WheelCon Data Analysis Code.m' no diretório '\WheelCon-master\Source Code'.
- Especifique no script MATLAB a pasta e file_names variáveis de acordo com o diretório de arquivos de saída e, em seguida, execute o script (Ctrl + Enter), e as variáveis de saída serão salvas como vetores de coluna para o Espaço de Trabalho. A política de erro e controle será exportada para cada tempo de amostragem. Consulte a Tabela 2 para obter a descrição detalhada.
4. Desenvolvimento de arquivos de entrada
- Abra o código de design de trilha 'WheelCon Mntn Bike Trail.m' no diretório '\WheelCon-master\Source Code\'.
- Uncomment (Ctrl + T) a seção para os parâmetros de jogo desejados e execute o script (Ctrl + Enter). O arquivo de entrada será salvo no diretório '\WheelCon-master\Source Code\' no formato .txt. Cada coluna nos arquivos de entrada é uma variável de controle. Consulte a Tabela 1 para obter a lista de variáveis de controle.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Controle de feedback de modelagem
Mostramos um modelo simplificado de controle de feedback mostrado na Figura 1. A dinâmica do sistema é dada por:
onde x(t) é o erro no momento t, r(t) é a perturbação da trilha w(t),é a perturbação da colisão, e u(t) é a ação de controle.
Atraso de ação de modelagem na perturbação da trilha
Quando há um T de atraso em ação, e uma perturbação de trilha r(t), modelamos a ação de controle por
O jogo começa com zero condição inicial: x(0) = 0. O controlador κ gera o comando de controle u(t) usando as informações completas sobre as histórias de estado, perturbação e entrada de controle. Aqui, o atraso líquido T é composto pelos atrasos internos no feedback sensorimotor humano e os atrasos adicionados externamente. O comando de controle é executado com atraso T ≥ 0. O controle sensorial na configuração de reconhecimento de risco motiva o uso do controle ideal L1 e, como tal, o objetivo é verificar o seguinte problema de controle robusto
Este problema admite uma solução simples e intuitiva. O custo ideal é dado por
Este custo ideal é alcançado pela política de controle de pior caso u(t + T) = −r(t), que rende
Modelagem de Ação Quantização em Perturbação de Trilha
Quando a taxa de dados, R, no loop de controle é limitada, a ação de controle é gerada pelo seguinte loop de feedback com restrições de comunicação,
onde 
é um controlador, e é um 
quantizador com taxa de dados R ≥ 1, ou seja, S é um conjunto finito de cardinalidade 2R. A perturbação r(t) é infinity-norm vinculado e sem perda de generalidade, 
. O pior desvio do estado é menor de limites por
e o esforço mínimo de controle é dado por
Medidas de Erro
Para quantificar o desempenho, medimos o erro da norma 
infinita, erro absoluto médio (MAE) e erro quadrado médio raiz (RMSE). A norma infinita é definida como o máximo dos erros absolutos, onde
Erro absoluto médio é calculado da seguinte forma
Erro ao quadrado da média raiz é calculado da seguinte forma
Jogo 1: Aviso ou Atraso Avançado Visual
O jogo 1 avalia como o comprimento da janela de olhar para frente (aviso/atraso avançado) afeta o desempenho do controle sensorial sem ser exposto a distúrbios adicionais.
O jogo 1 dura 360 segundos e consiste em uma "Trilha" contínua, que reduz a quantidade de olhar à frente a cada 30 segundos. O jogo começa com 1 s de aviso avançado, e depois diminui para 0,75 s, e depois para 0,5 s. A partir daí, o jogo diminui o olhar para frente em 0,1 s até que um mínimo de -0,4 s seja alcançado. Atraso positivo, ou aviso avançado negativo, significa que apenas a trilha atrás do jogador é visível.
Uma evolução da dinâmica de erro do jogador à medida que o jogo progride com 1 s advanced warning e 0.4 s delay foram retratados na Figura 3a-3b separadamente. Ambos os gráficos exibem apenas os 20 segundos médios de cada um dos intervalos de 30 segundos para negligenciar os efeitos do jogador se ajustando à nova janela de olhar para frente. A progressão do erro nos blocos parece estável na configuração avançada de aviso 1 s enquanto na configuração de atraso de 0,4s, o erro vira de cabeça para baixo durante o progresso. Para quantificar esse efeito com mais detalhes, avaliamos L1-/L2-/L◗- norma para a dinâmica de erro para cada grupo de 20 s correspondente a um nível de atraso. Resumir esses cálculos em uma trama dá a Figura 3c,que demonstra como a norma de erro dos jogadores não muda até que o aviso avançado atinja 0,5 s e, em seguida, aumente de forma aproximadamente linear.
Jogo 2: Atraso na saída de ação
Ao contrário do atraso visual externo do Jogo 1, o Jogo 2 adiciona um atraso interno específico à saída de ação; em outras palavras, a atual política de controle u(t) funciona em u(t + Tact) onde Tato é o atraso externo na ação. O jogo 2 dura 180 s. Ajustando tato a cada 30 s, Tato começa em 0 s, e incrementos em 0.1 s até chegar a 0,4 s.
Os efeitos do atraso na ação são mostrados na Figura 4. Semelhante ao atraso de visão, o erro aumenta linearmente com o atraso, que está bem em linha com a previsão da teoria em Eq(3).
Jogo 3 e Jogo 4: Quantização em Entrada de Visão e Saída de Ação
Os jogos 3 e o Jogo 4 estudam os efeitos da quantização na entrada da visão e na saída de ação, respectivamente. Cada jogo tem 210 anos de duração, e a quantização muda a cada 30 s, com a taxa de dados aumentando de 1 para 7 bits. Por exemplo, quando o Rvis é 1 no Jogo 3, a posição desejada (linha cinza na GUI do jogo) é apresentada tanto no centro-esquerdo quanto no centro-direito da tela. Quando Rvis = n, a posição desejada pode ser apresentada em 2n possíveis locais na tela. Para o Jogo 4, quando Ragir = 1, o jogador está indo para a esquerda ou para a direita com uma velocidade. Quando rato é n, o jogador pode dirigir o volante para ir para a esquerda ou para a direita com 2 velocidadesn-1.
Os efeitos da quantização (taxa limitada de dados) na visão e ação são mostrados na Figura 5. Consistente com a previsão da teoria em Eq(6), o desempenho do controle sensorial melhora com taxas de dados mais altas e atinge o desempenho ideal de controle quando R está em torno de 5.
Jogo 5: Perturbação de colisão e trilha
O jogo 5 foi projetado para testar os efeitos de perturbações de colisão e trilha no controle sensorimotor humano. O jogo 5 consiste em três cenários:
a) "Bumps", rastreando um sujeito de trilha constante apesar de distúrbios de torque na roda que imitam colisões ao andar de mountain bike;
b) "Trilha", rastreando uma trilha em movimento com curvas aleatórias, mas sem solavancos;
c) "Trilha com Colisões", seguindo uma trilha em movimento com curvas aleatórias e lombadas.
Cada cenário dura 60 s na ordem (Bumps, Trail, Trail with Bumps) com um descanso de 5 s antes de cada cenário. Além disso, os distúrbios e a trilha durante as fases isoladas são duplicados na fase combinada "Trilhas com Colisões", de modo que uma comparação de desempenho adequada pode ser desenhada entre as tarefas separadas e aquela em que o jogador deve multiplex. Durante todo o jogo, há 1 s de aviso avançado na entrada de visão, sem atraso na saída de ação e uma taxa de dados de 10 bits para visão e ação.
Como perturbação, usamos um sinal aleatório e binário, cuja amplitude é o torque máximo possível que o motor do volante pode exercer. A cada 100 ms, o torque alterna entre o máximo positivo e o negativo (100 ou -100 para a roda). Uma comutação binária aleatória semelhante controla a derivada da trilha. Mais especificamente, a trilha viaja a uma velocidade constante, mas alterna aleatoriamente sua direção de modo que ele sempre permanece na faixa de tela confortavelmente visível para o jogador. Ajustamos a velocidade da trilha na tela de tal forma que a taxa de giro do volante necessária seja de aproximadamente 75°/s. A Figura 6 ilustra os instantâneos de 5 s da dinâmica de erro para cada cenário durante o jogo.
NOTA: Como este é usado para estudar o desempenho do controle sensorial com limites de atraso e taxa de dados, só analisamos os dados após a formação dos sujeitos para a tarefa, e seu desempenho ficou estável. Os efeitos de aprendizagem foram excluídos dos dados. Além disso, o modelo de controle de feedback não considerou aprender.
Figura 1: Diagrama de bloco básico para uma plataforma experimental com assunto e roda de jogo com motor.
Cada caixa é um componente que comunica ou computa e tem potencialmente atraso e quantização, inclusive dentro do jogo em G. O aviso prévio T também é implementado em uma tela de computador com visão. Clique aqui para ver uma versão maior desta figura.
Figura 2: A interface usuário-gráfico para WheelCon.
(a) o menu principal; (b) o menu Tarefa de Direito do Instalado; (c) o menu Tarefa de Mountain Bike; ddA interface do videogame para a Tarefa de Direito do Fitt; (e) a interface do videogame para Mountain Bike Task. Clique aqui para ver uma versão maior desta figura.
Figura 3: Adicionando atraso na entrada de visão durante a tarefa de mountain bike.
(a-b) A dinâmica do sistema com tempo para a sessão com 1 s aviso avançado (a) e com 0,4 s de atraso(b). A linha preta e a linha azul são a posição trail e a posição do jogador, respectivamente. A linha vermelha é a dinâmica do erro. (c) O erro aumenta com o atraso crescente. O atraso negativo significa aviso avançado. Clique aqui para ver uma versão maior desta figura.
Figura 4: Efeitos do atraso externo na ação sobre o desempenho.
A norma L◗ de erro, MAE e RMSE aumenta com o atraso crescente. Clique aqui para ver uma versão maior desta figura.
Figura 5: Quantização na entrada da visão (a) e saída de ação (b).
O erro L◗, MAE e RMSE são mostrados na linha azul, preta e vermelha, respectivamente. Clique aqui para ver uma versão maior desta figura.
Figura 6: Efeitos da colisão e perturbação da trilha no controle sensorial humano.
(a) a dinâmica de erro induzida pela perturbação da colisão; bbA dinâmica de erro induzida pela perturbação da trilha; (c) a dinâmica de erro induzida pela perturbação da colisão e da trilha; (d) o erro sobreposto em lombadas (azul), trilhas (vermelhas), Trilhas com lombadas (verde). As parcelas de haste roxa-vazia e alaranjada indicam o tempo e a direção dos distúrbios da colisão e perturbação da trilha, respectivamente. Note que tanto as forças das rodas quanto as taxas de trilha são ondas quadradas, e as hastes indicam onde essas ondas quadradas mudam (ou seja, derivativos das forças e taxas). Clique aqui para ver uma versão maior desta figura.
| Notação | Variável | Unidade | Restringe |
| w(t) | Perturbação do bump | n Newton | 0 ≤ w(t) ≤ 100 |
| r(t) | Perturbação da trilha | 100 pixels | 0 ≤ r(t) ≤ 100; |
| r(t) | w(t) | |||
| Tvis | Aviso/atraso de avanço da visão | Segundo | -1 ≤ Tvis < 1 |
| AtoT | Atraso de ação | Segundo | 0 ≤ Tvis < ◗ |
| Rvis | Taxa de dados externos na entrada de visão | Pouco | 1 ≤ Rvis ≤ 10 |
| Rato | Taxa de dados externos na saída da roda | Pouco | 1 ≤ Rato ≤ 10 |
| Qvis | Quantizador externo na entrada de visão | 1 | Qvis = 2Rvis |
| Qato | Quantizador externo na saída da roda | 1 | Qato = 2Rvis |
Tabela 1: As variáveis em loops de controle que podem ser manipuladas.
| Notação | Variável | Unidade | |
| T | Hora | Segundo | |
| x(t) | Dinâmica de erro, medida pela distância entre a posição do jogador e a posição desejada | 100 pixels | |
| u(t) | Política de controle, medida pelo ângulo desviado do volante | Grau | |
Tabela 2: A variável estatal e o sinal de entrada no sistema dinâmico.
| Plataforma | Código Aberto? | Baixar Link | Função |
| Ambiente Virtual 2D (2DVE) | Não | 1.Movimentos de alcance para apreensão do braço após o AVC; | |
| ETH MIKE | Não | 1.Para a avaliação de deficiências prorioceptivas, motoras e sensoriais da mão | |
| Opensim | Sim | https://opensim.stanford.edu/ | 1. Estudar a coordenação neuromuscular; 2. Permitir que os usuários desenvolvam modelos de estruturas musculoesqueléticos e criem simulações dinâmicas de movimentos. |
| Pneuglove | Não | 1.To treinar e avaliar individuação do dedo em crianças com paralisia cerebral hemplégica | |
| VirtualEnaction | Sim | http://virtualenaction.gforge.inria.fr/ | 1. Para simulação de neurociência sistêmica; 2. Verificar os modelos funcionais do cérebro; 3.To experimentar comportamentos complexos de sobrevivência |
| VR-SPIRIT | Não | 1.To melhorar as habilidades preditivas em cenários sociais. 2. Treinamento intensivo de reabilitação para pacientes pediátricos |
|
| WheelCon | Sim | https://github.com/Doyle-Lab/WheelCon | 1. Verificar a Lei dos Fitts no controle sensorial humano; 2.To estudar a arquitetura em camadas no controle Sensorimotor. |
Tabela 3: A lista de algumas plataformas sensorimotores existentes.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Neste artigo, apresentamos uma plataforma de jogos de código aberto, WheelCon, para estudar os efeitos do atraso, quantização, perturbação e loops de feedback em camadas no controle sensorimotor humano. Mostramos o hardware, o software e a GUI. Foram implementadas as configurações de um único loop de controle sensorial com atraso e quantização, o que nos permite medir os efeitos do atraso, quantização e perturbação no controle sensorial. Os resultados experimentais estão bem alinhados com a previsão da teoria do controle de feedback.
Os protocolos fornecem uma maneira de manipular invasivamente atrasos externos e limitar a taxa de dados tanto em entradas de visão quanto em saída de ação, e analisar o desempenho do controle sensorial. No protocolo, pedimos aos participantes que joguem o jogo em vários cenários de tarefas que foram pré-definidos na plataforma. Com essas tarefas, verificamos o efeito linear do atraso(Figura 3 e Figura 4) e o efeito não linear da quantização(Figura 5). Esses efeitos implicam a otimização dada a troca de precisão de velocidade no controle sensorimotor humano. O protocolo também nos permite estudar os loops de feedback em camadas no sistema sensorimotor humano com uma camada de plano avançado de alto nível e uma camada de reflexo retardada de baixo nível(Figura 6).
Neste protocolo, é fundamental treinar, mas não sobre o trem, o participante com antecedência; caso contrário, os efeitos de aprendizagem ou o cansaço dos participantes impactarão as previsões do modelo. A variabilidade da capacidade sensorial entre os participantes é inevitável e, portanto, alguns parâmetros no protocolo (ou seja, a sensibilidade da roda e o torque da colisão) precisam ser ajustados com base na idade, força e habilidades motoras dos participantes. É necessário combinar esses parâmetros entre os grupos. Aqui, sugerimos que o usuário escolha uma sensibilidade adequada para o grupo velho e jovem, a fim de fazer uma comparação.
Uma limitação do método é que o modelo aqui apresentado não considerou o processo de aprendizagem. É importante ressaltar que só analisamos os dados após a formação dos sujeitos, e seu desempenho ficou estável para evitar os efeitos de aprendizagem.
Nicolas Denoyelle et al. desenvolveram uma plataforma (VirtualEnaction) para simulação de neurociência sistêmica38. VirtualEnaction pode ser usado para validar modelos funcionais do cérebro. Além disso, alguma plataforma de reabilitação foi desenvolvida para a realização de tarefas sensoriais39,,40,41,42,43. Scott L. Delp et al. desenvolveram um software de código aberto (OpenSim) para criar e analisar simulações dinâmicas do Movement in rehabilitation science43. Marika Demers et al. propuseram um ambiente virtual 2D para reabilitação de braço após o derrame41. Zbytniewska Monika et al. projetam um dispositivo robótico para a avaliação dos prejuízos sensoriais manuais42. James V. McCall et al. propuseram uma plataforma para reabilitação de dedos em crianças com paralisia cerebral hemplégica40. Niccolò Butti et al. desenvolvem uma plataforma baseada em VR sobre melhoria de previsão social e treinamento intensivo de reabilitação para pacientes pediátricos39. A Tabela 3 listou as comparações entre essas plataformas com a plataforma apresentada aqui.
Para as futuras direções de pesquisa, a plataforma é compatível com a técnica de gravações neurais não invasivas (EEG) para medir a resposta neural durante o controle sensorial. Investigando a relação de mapeamento entre o controle sensorial e o sinal de frequência espacial do EEG, podemos revelar o mecanismo cerebral do controle sensorial. Será uma importante questão de pesquisa para a compreensão do sistema sensorimotor humano. Além disso, a maior parte da teoria neste estudo baseia-se no controle ideal após o aprendizado. O tempo de parada para o treinamento é bastante arbitrário e empiricamente escolhido no estudo. Por isso, é uma questão importante avaliar se os participantes atingem um assíntoto ou um planalto44. Estudos futuros poderiam investigar o estudo de aprendizagem sensorial usando o WheelCon para testar ainda mais o assíntote/planalto e suas possíveis explicações com a teoria do aprendizado sensorial.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Os autores revelam que não têm conflitos de interesse.
Acknowledgments
Agradecemos ao Sr. Zhengyang Wang por remodelar os roteiros, filmar e editar o vídeo, e o Sr. Ziyuan Ye por editar o vídeo. Este estudo recebeu apoio da CIT Endowment & National Science Foundation (para JCD), bolsa boswell (para QL) e High-Level University Fund (No. G02386301, G02386401), Fundo Conjunto da Fundação Guangdong de Ciências Naturais (nº 2019A15111038).
Materials
| Name | Company | Catalog Number | Comments |
| Gaming Wheel | Logitech | ||
| Windows 10 OS | Microsoft |
References
- Franklin, D. W., Wolpert, D. M.
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R.
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E.
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R.
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M.
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
- Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
