Uma configuração naturalista para apresentar pessoas reais e ações vivas em estudos de psicologia experimental e neurociência cognitiva

Summary

Este estudo apresenta uma configuração experimental naturalística que permite aos pesquisadores apresentar estímulos de ação em tempo real, obter tempo de resposta e dados de rastreamento do mouse enquanto os participantes respondem após cada exibição de estímulo e mudar os atores entre as condições experimentais com um sistema único, incluindo uma tela especial de diodo emissor de luz orgânica transparente (OLED) e manipulação de luz.

Abstract

A percepção das ações dos outros é crucial para a sobrevivência, interação e comunicação. Apesar de décadas de pesquisa em neurociência cognitiva dedicadas a entender a percepção de ações, ainda estamos longe de desenvolver um sistema de visão computacional neuronicamente inspirado que se aproxime da percepção da ação humana. Um grande desafio é que as ações no mundo real consistem em eventos que se desdobram temporalmente no espaço que acontecem "aqui e agora" e são estáveis. Em contraste, a percepção visual e a pesquisa em neurociência cognitiva até o momento têm estudado amplamente a percepção de ação por meio de exibições 2D (por exemplo, imagens ou vídeos) que não têm a presença de atores no espaço e no tempo, portanto, essas exibições são limitadas em proporcionar atuabilidade. Apesar do crescente corpo de conhecimento na área, esses desafios devem ser superados para uma melhor compreensão dos mecanismos fundamentais da percepção das ações dos outros no mundo real. O objetivo deste estudo é introduzir uma nova configuração para conduzir experimentos laboratoriais naturalísticos com atores vivos em cenários que se aproximam de cenários do mundo real. O elemento central da configuração usada neste estudo é uma tela de diodo emissor de luz orgânica transparente (OLED) através da qual os participantes podem assistir às ações ao vivo de um ator fisicamente presente enquanto o tempo de sua apresentação é precisamente controlado. Neste trabalho, essa configuração foi testada em um experimento comportamental. Acreditamos que a configuração ajudará os pesquisadores a revelar mecanismos cognitivos e neurais fundamentais e anteriormente inacessíveis de percepção de ação e será uma base para estudos futuros que investiguem a percepção social e a cognição em ambientes naturalísticos.

Introduction

Uma habilidade fundamental para a sobrevivência e interação social é a capacidade de perceber e dar sentido às ações dos outros e interagir com eles no ambiente circundante. Pesquisas anteriores realizadas nas últimas décadas têm trazido contribuições significativas para a compreensão dos princípios fundamentais de como os indivíduos percebem e compreendem as ações dos outros 1,2,3,4,5,6,7,8,9,10,11 . No entanto, dada a complexidade das interações e as circunstâncias em que elas ocorrem, há uma necessidade óbvia de desenvolver ainda mais o corpo de conhecimento em ambientes naturalistas, a fim de alcançar uma compreensão mais completa dessa habilidade complexa em cenários da vida cotidiana.

Em ambientes naturais, como nossos ambientes de vida diária, a percepção e a cognição exibem características corporificadas, incorporadas, estendidas e enativas¹². Em contraste com os relatos internalistas de funções cerebrais que tendem a subestimar os papéis do corpo e do ambiente, as abordagens contemporâneas da cognição incorporada se concentram no acoplamento dinâmico do cérebro, corpo e ambiente. Por outro lado, a maioria das pesquisas em psicologia social, psicologia cognitiva e neurociência sobre percepção de ação tende a assumir que a utilização de desenhos experimentais bem controlados e simplificados em condições de laboratório (por exemplo, imagens ou vídeos em tarefas computadorizadas) produz resultados que podem ser generalizados para cenários mais complexos, como interações no mundo real 1,2,3,4,5,6,7 8,9,10,11. Essa suposição garante que dados robustos e confiáveis possam ser obtidos em muitas circunstâncias. No entanto, um desafio bem conhecido é que a validade dos modelos derivados de experimentos cuidadosamente controlados é limitada quando testada em um contexto do mundo real¹³. Consequentemente, novas investigações 13,14,15,16,17,18,19,20,21,22 têm sido conduzidas para abordar a validade ecológica e externa de estímulos e desenhos experimentais em vários campos de pesquisa.

Neste estudo, sugere-se um novo método para investigar como os indivíduos percebem e avaliam as ações dos outros usando ações ao vivo realizadas por um ator real e fisicamente presente. Cenários semelhantes a contextos da vida real são empregados, enquanto os experimentadores têm controle sobre possíveis fatores de confusão. Este estudo é uma forma de "pesquisa laboratorial naturalística", no âmbito de Matusz et ^al.14, que pode ser concebida como uma etapa intermediária entre a "pesquisa laboratorial clássica", que faz uso do máximo controle sobre os estímulos e o ambiente, muitas vezes em detrimento da naturalidade, e a "pesquisa totalmente naturalista do mundo real", que visa maximizar a naturalidade em detrimento do controle sobre a estimulação e o^ambiente14. O estudo visa abordar a necessidade de investigações empíricas neste nível na pesquisa de percepção de ação, a fim de preencher a lacuna entre os achados obtidos em experimentos laboratoriais tradicionais com alto grau de controle experimental e os achados obtidos em estudos conduzidos em ambientes naturais totalmente irrestritos.

Experimentos controlados versus irrestritos
O controle experimental é uma estratégia eficiente para projetar experimentos para testar uma hipótese específica, pois permite aos pesquisadores isolar variáveis-alvo de prováveis fatores de confusão. Também permite revisitar a mesma hipótese com certos níveis de alterações, como usar estímulos ligeiramente ou totalmente diferentes no mesmo desenho ou testar os mesmos estímulos em montagens experimentais alternativas. A investigação sistemática por meio de experimentos controlados é uma forma tradicional de metodologia em pesquisa em ciência cognitiva e domínios relevantes. Experimentos controlados ainda ajudam a estabelecer o corpo de conhecimento sobre os princípios fundamentais dos processos cognitivos em vários domínios de pesquisa, como atenção, memória e percepção. No entanto, pesquisas recentes também reconheceram as limitações dos experimentos laboratoriais tradicionais em termos de generalização dos achados para cenários do mundo real, e os pesquisadores têm sido encorajados a realizar estudos em ambientes ecológicos aprimorados 13,14,15,16,17,18,19,20,21 . Essa mudança visa abordar duas questões importantes sobre a discrepância entre experimentos laboratoriais tradicionais e cenários do mundo real. Primeiro, o mundo fora do laboratório é menos determinista do que nos experimentos, o que limita o poder representativo das manipulações experimentais sistemáticas. Em segundo lugar, o cérebro humano é altamente adaptativo, e isso é frequentemente subestimado devido às limitações práticas do planejamento e condução de estudos experimentais²². O conceito de "validade ecológica"^23,24 tem sido utilizado para abordar métodos para resolver essa questão. O termo é geralmente usado para se referir a um pré-requisito para a generalização de achados experimentais para o mundo real fora do contexto laboratorial. A validade ecológica também tem sido interpretada como referindo-se à validação de montagens experimentais virtualmente naturalistas com estímulos irrestritos para garantir que o desenho do estudo seja análogo aos cenários da vida real²⁵. Devido ao alto grau de variância na interpretação desse termo, é necessário compreender as vantagens e limitações das metodologias alternativas e da seleção de estímulos.

Níveis de naturalismo em estímulos e planejamento de experimentos
Trabalhos anteriores em psicologia experimental e neurociência cognitiva utilizaram uma ampla gama de estímulos com diferentes níveis de naturalismo²⁶. A maioria dos pesquisadores prefere usar imagens estáticas ou vídeos dinâmicos curtos porque esses estímulos são mais fáceis de preparar do que aqueles que poderiam simular uma ação real ou um evento. Apesar de apresentarem vantagens, esses estímulos não permitem mensurar comportamentos contingentes entre agentes sociais. Em outras palavras, eles não são acionáveis e não têm acessibilidade social²⁷. Nos últimos anos, uma alternativa a esses estímulos não interativos tem sido desenvolvida: animações em tempo real de avatares virtuais. Esses avatares permitem a investigação das interações entre avatares e seus usuários. No entanto, o uso de avatares virtuais está sujeito à redução da apreensão dos usuários, especialmente quando eles não parecem particularmente engajados em termos de seus comportamentos realistas e contingentes²⁶. Portanto, há agora mais interesse em utilizar estímulos sociais reais em estudos experimentais. Embora seu projeto, registro e análise de dados possam exigir equipamentos avançados e análise de dados complexos, eles são os melhores candidatos para a compreensão do comportamento humano naturalista e da cognição.

O presente estudo propõe uma metodologia para o uso de estímulos sociais da vida real em ambiente laboratorial. Este estudo tem como objetivo investigar como as pessoas percebem e avaliam as ações dos outros em um ambiente com validade ecológica aprimorada em comparação com experimentos laboratoriais tradicionais. Desenvolvemos e descrevemos uma nova configuração na qual os participantes são expostos a atores reais que estão fisicamente presentes e compartilham o mesmo ambiente com eles. Neste protocolo, os tempos de resposta e as trajetórias dos camundongos são medidos, o que requer um tempo preciso de apresentação dos estímulos e um controle rigoroso sobre as condições experimentais neste ambiente ecológico aprimorado. Portanto, o paradigma experimental destaca-se entre os referenciais presentes na literatura, uma vez que a naturalidade dos estímulos é maximizada sem sacrificar o controle sobre o ambiente. A seguir, o protocolo apresenta as etapas para o estabelecimento de tal sistema e, em seguida, continua com os resultados representativos para os dados amostrais. Finalmente, apresenta-se a significação, as limitações e os planos de modificação do paradigma.

Delineamento experimental
Antes de prosseguir para a seção de protocolo, descrevemos os parâmetros utilizados no presente estudo e apresentamos os detalhes dos estímulos juntamente com o planejamento experimental.

Parâmetros do estudo
Este estudo tem como objetivo mensurar como o tipo de ator e a classe de ações que realizam afetam os processos de percepção da mente dos participantes. No protocolo, o processo de percepção da mente é medido em duas dimensões principais, a saber, agência e experiência, conforme proposto por pesquisa^anterior28. As extremidades alta e baixa dessas duas dimensões também estão incluídas, como recentemente introduzido por Li et ^al.29.

A estrutura do estudo foi inspirada na versão³⁰ de categoria única da tarefa de associação implícita (IAT) comumente ^utilizada31. Nesta tarefa, os tempos de resposta dos participantes ao combinarem um conceito de atributo com o conceito-alvo são usados como uma indicação da força de suas associações implícitas para esses dois conceitos. Na adaptação dessa tarefa implícita, os participantes são apresentados a ações ao vivo realizadas por atores reais e solicitados a combiná-los com conceitos-alvo. Os conceitos-alvo são os extremos altos e baixos das dimensões da agência ou da experiência, dependendo do bloco do experimento.

Em resumo, as variáveis independentes são Tipo de Ator e Classe de Ação. O Tipo de Ator tem dois níveis (ou seja, dois atores diferentes, Ator1 e Ator2, atuando no estudo). A Classe de Ação tem dois níveis: Classe de Ação1 e Classe de Ação2, e cada classe contém quatro ações. Os participantes avaliam os dois atores separadamente em quatro blocos (um ator em cada bloco) e, em cada bloco, os atores executam todas as ações em uma ordem contrabalanceada. Os participantes realizam avaliações com relação a duas dimensões pré-definidas e forçadas: Agência e Experiência. Os quatro blocos do experimento são (1) Ator1 em Bloco de Agência, (2) Ator2 em Bloco de Agência, (3) Ator1 em Bloco de Experiência e (4) Ator2 em Bloco de Experiência. A ordem dos blocos também é contrabalançada entre os participantes para que os blocos com o mesmo agente nunca se sucedam.

Além das respostas dos participantes, são registrados os tempos de resposta e as coordenadas x-y do mouse sem fio que eles usam enquanto se movem em direção a uma das duas alternativas de resposta. Assim, as variáveis dependentes são a resposta e o tempo de resposta (TR) dos participantes, bem como as medidas de desvio máximo (DM) e área sob a curva (AUC), derivadas do rastreamento do mouse computadorizado. A variável resposta é categórica; pode ser Alta ou Baixa, e como as avaliações são feitas em um dos blocos determinados, as respostas também podem ser rotuladas como Alta Agência, Baixa Agência, Alta Experiência ou Baixa Experiência. O tempo de resposta é uma variável contínua; Sua unidade é segundos, e refere-se ao tempo decorrido entre o início da apresentação de uma ação e a ocorrência de um clique do mouse em uma das alternativas de resposta. A DM de uma trajetória é uma variável contínua e refere-se ao maior desvio perpendicular entre a trajetória do(s) participante(s) e a trajetória idealizada (reta). A AUC de uma trajetória também é uma variável contínua e refere-se à área geométrica entre a trajetória do(s) participante(s) e a trajetória idealizada³².

Estímulos e planejamento do experimento
Um experimento em três estágios é utilizado no presente estudo. As medidas da terceira parte são utilizadas para as análises; As duas primeiras partes servem de preparação para a parte final. A seguir, descrevemos cada parte do experimento juntamente com os estímulos e hipóteses experimentais.

No Experimento Parte 1 (parte de treinamento lexical), os participantes completam uma sessão de treinamento para compreender os conceitos de Agência e Experiência e os níveis de capacidade representados com as palavras Alto e Baixo. Para selecionar os conceitos (n = 12) a serem utilizados nesta sessão de treinamento, alguns dos autores do presente trabalho realizaram um estudo normativo³³. Como o presente estudo foi planejado para ser realizado nas línguas nativas dos participantes, os conceitos também foram traduzidos para o turco antes de serem normalizados. Os conceitos foram selecionados dentre aqueles que estavam fortemente associados com as extremidades Alta (n= 3) e Baixa (n= 3) das duas dimensões (seis conceitos para cada). Essa parte é fundamental, uma vez que se espera que a compreensão dos conceitos pelos participantes norteie seus processos avaliativos.

Na Parte 2 do Experimento (parte de identificação da ação), os participantes assistem às mesmas oito ações realizadas pelo Ator1 e pelo Ator2, uma após a outra, e relatam qual é a ação para o experimentador. Esta seção serve como uma verificação de manipulação; Ao apresentar todas as ações quando ambos os atores as estão executando, é possível garantir que os participantes compreendam as ações e estejam familiarizados com os atores antes de iniciarem o teste implícito, onde precisam fazer avaliações rápidas. As ações selecionadas para Classe de Ação1 e Classe de Ação2 são aquelas que apresentaram os maiores escores H e níveis de confiança (quatro exemplares de ação diferentes em cada classe de ação) de acordo com os resultados dos dois estudos normativos (N = 219) para cada condição de ator conduzidos por alguns dos autores (manuscrito em preparação). Todas as ações são executadas dentro de uma duração de tempo igual de 6 s.

Este é um estudo em andamento, e tem alguns outros componentes; No entanto, as hipóteses para as seções descritas acima são as seguintes: (i) o tipo de ator afetará as variáveis dependentes; O Actor2 produzirá RTs mais longos, MDs mais altos e AUCs maiores em comparação com o Actor1; (ii) o tipo de ação afetará as medidas dependentes; A Classe de Ação1 produzirá RTs mais longos, MDs mais altos e AUCs maiores em comparação com a Classe de Ação2; (iii) as medidas dependentes para respostas Alta e Baixa para o mesmo ator e classe de ação serão diferentes entre as dimensões do bloco: Agência e Experiência.

Protocol

Os protocolos experimentais deste estudo foram aprovados pelo Comitê de Ética em Pesquisa com Seres Humanos da Universidade de Bilkent. Todos os participantes incluídos no estudo eram maiores de 18 anos, leram e assinaram o termo de consentimento livre e esclarecido antes de iniciar o estudo.

1. Etapas gerais do projeto

OBS: A Figura 1A (vista superior) e a Figura 1B e Figura 1C (vistas frontal e traseira) demonstram o layout do laboratório; Essas figuras foram criadas com relação à instalação e configuração original do laboratório desenhadas para este estudo em particular. A Figura 1A mostra o layout de exibição superior do laboratório. Nesta figura, é possível ver luzes de LED no teto e no gabinete do ator. O sistema de cortina blackout divide a sala ao meio e ajuda na manipulação da luz, evitando que a luz vaze para a parte frontal da sala (Área do Participante). A Figura 1B apresenta a visão do laboratório sob a perspectiva do experimentador. O participante senta-se em frente à tela OLED e, usando o visor transparente, pode assistir às ações ao vivo realizadas pelos atores. Eles dão suas respostas usando o dispositivo de resposta (um mouse sem fio) na frente deles. O experimentador pode assistir simultaneamente ao ator através do display do participante (tela OLED) e das imagens provenientes da câmera de segurança. A Figura 1C demonstra os bastidores do estudo (Área do Ator) com a câmera de segurança e o computador pessoal (CP) do Ator, que não são visíveis para o participante. As imagens da câmera de segurança vão para o PC da câmera para estabelecer a comunicação entre os atores e o experimentador. O Actor PC exibe a ordem dos blocos e as informações da próxima ação para o ator para que o experimento flua sem qualquer interrupção. Os atores podem verificar a próxima ação rapidamente enquanto os participantes respondem à ação no teste anterior.

Figura 1: Configuração do laboratório naturalístico. (A) Visão de cima para baixo da configuração do laboratório naturalístico. (B) As laterais traseira e frontal da configuração experimental naturalista do ponto de vista do participante. (C) As laterais traseira e frontal da configuração experimental naturalista do ponto de vista do ator. Clique aqui para ver uma versão maior desta figura.

1. Projete uma configuração que inclua três computadores, incluindo (1) uma área de trabalho de controle principal (Experimenter PC), (2) um laptop ator (Actor PC) e (3) um PC com câmera, um dispositivo de resposta sem fio (mouse participante), dois monitores, um circuito de iluminação e uma câmera de segurança (consulte a Figura 2A para o diagrama de sistema da configuração deste estudo).
   NOTA: O PC Experimentador será usado pelo experimentador para executar os roteiros do experimento, o PC Ator será usado pelo ator para rastrear os blocos do experimento e a ordem das ações nos blocos, e o terceiro dispositivo, o PC Câmera, será conectado à câmera de segurança localizada na área do ator e usado pelo experimentador para monitorar os bastidores.
2. Conecte os monitores separados (um para a apresentação dos estímulos [Participant Display], que é a tela OLED) e uma tela para o monitoramento do experimento, do dispositivo de resposta e do circuito de iluminação (através de fios ou conexões sem fio) ao PC do Experimentador (ver Figura 2A).
3. Conecte o PC Experimentador e o PC Ator por uma rede sem fio para transmitir informações relacionadas ao status do experimento (por exemplo, "o ID da próxima ação é 'saudação'") aos atores.
4. Projete e construa um circuito de iluminação que (veja a Figura 2B para a placa de circuito) possa ser controlado por um microcontrolador para ligar e desligar os LEDs.
   NOTA: A Figura 3A mostra o uso opaco da tela OLED usada no estudo a partir da visão do experimentador. Para garantir a opacidade, o fundo da tela é ajustado para branco (RGB: 255, 255, 255), e todas as luzes da sala (tanto na Área do Participante quanto na Área do Ator) são apagadas. O participante vê a fixação antes dos estímulos. A Figura 3B mostra o uso transparente da tela digital no estudo a partir da visão do experimentador. Para permitir a transparência, o fundo da tela é ajustado para preto (RGB: 0, 0, 0) e as luzes de LED no teto são acesas. O participante observa o ator. A Figura 3C mostra o uso opaco da tela digital no estudo. Para garantir a opacidade, o fundo da tela é ajustado para branco (RGB: 255, 255, 255), e todas as luzes da sala são apagadas. O participante é apresentado com a tela de avaliação para dar uma resposta. Eles precisam arrastar o cursor para o canto superior esquerdo ou superior direito da tela (uma das duas opções de resposta, Alta ou Baixa) usando um mouse sem fio. A trajetória do mouse e o tempo de resposta são registrados.
5. Conecte o microcontrolador ao PC Experimenter.
6. Armazene os scripts que executam o experimento no PC do Experimentador.
   NOTA: A Figura 4A mostra os bastidores (Área do ator) durante o experimento. As luzes frontais da sala (Área do Participante) estão apagadas, e o PC do Ator está mostrando o nome da ação que será executada pelo ator. A Figura 4B mostra o gabinete do ator no qual os atores podem esperar sua vez e mudar de roupa. O gabinete do ator não é visível da visão do participante, e como um sistema de cortina é usado, os atores podem usar qualquer entrada que quiserem. Durante o experimento, as luzes fluorescentes exibidas na figura são apagadas.

Figura 2: Diagrama do sistema e da fiação . (A) O diagrama do sistema da configuração experimental naturalística. (B) O diagrama de fiação do circuito de luz que suporta a tela OLED durante o experimento. Clique aqui para ver uma versão maior desta figura.

Figura 3: Tela OLED do ponto de vista do experimentador. (A) Uso opaco da tela digital OLED do ponto de vista do experimentador. (B) Uso transparente da tela digital OLED do ponto de vista do experimentador. (C) Uso opaco da tela digital OLED do ponto de vista do experimentador durante um período de resposta. Clique aqui para ver uma versão maior desta figura.

Figura 4: Bastidores do experimento . (A) Bastidores durante um experimento. (B) O gabinete do ator fica na parte de trás da tela OLED, na qual os atores podem esperar sua vez ser visível durante o experimento. Clique aqui para ver uma versão maior desta figura.

2. Projeto e implantação do circuito de iluminação

1. Passos a seguir antes de ligar os dispositivos/componentes do circuito
   1. Para alterar os estados dos LEDs instalados nos bastidores (Área do ator), forneça ao PC Experimentador a capacidade de alternar os LEDs para ON ou OFF.
   2. Para transmitir os comandos digitais que serão enviados do PC Experimenter através de um cabo USB, selecione um dispositivo microcontrolador que possa receber entradas digitais e gerar uma saída digital (consulte a Tabela de Materiais para o microcontrolador usado neste estudo).
   3. Selecione uma porta USB específica do PC Experimenter para se conectar à entrada USB do microcontrolador através de um cabo USB. Não ligue o PC antes de se certificar de que todas as ligações foram estabelecidas com êxito.
   4. Incluir um módulo de comutação para aumentar a amplitude do sinal de saída (em torno de 3,3 V) gerado pelo microcontrolador.
   5. Conecte o pino de saída digital designado (para este experimento, o pino designado é D9) e os pinos de terra do microcontrolador ao módulo de comutação.
   6. Para executar a carga (os LEDs), inclua um módulo de transistor de efeito de campo (MOSFET) de alta potência (ou módulo MOSFET) que é acionado pelo sinal gerado pelo módulo de comutação, e conecte os pinos de sinal do módulo MOSFET ao par sinal-terra correspondente no módulo de comutação.
   7. Conecte os pinos de leito quente do módulo MOSFET à carga.
   8. Para fornecer uma tensão constante regulada para os módulos (e indiretamente, para os LEDs), inclua uma fonte de alimentação LED que receba a entrada da rede de corrente alternada (CA) e gere uma tensão DC constante no circuito.
   9. Conecte as saídas da fonte de alimentação LED às entradas de alimentação do módulo MOSFET e do módulo de comutação.
2. Passos a seguir após a fiação dos componentes do circuito
   1. Conecte o cabo USB à porta USB selecionada do PC Experimenter.
   2. Crie um link de comunicação serial entre o microcontrolador e o ambiente de software em execução no Experimenter PC (consulte a subseção Conectando o microcontrolador ao Experimenter PC).
   3. Conecte a fonte de alimentação LED à entrada de rede CA.

3. Programação do experimento

NOTA: Crie três scripts experimentais principais (ExperimentScript1.m [Supplemental Coding File 1], ExperimentScript2.m [Supplemental Coding File 2] e ExperimentScript3.m [Supplemental Coding File 3]), bem como várias funções (RecordMouse.m [Supplemental Coding File 4], InsideROI.m [Supplemental Coding File 5], RandomizeTrials.m [Supplemental Coding File 6], RandomizeBlocks.m [Supplemental Coding File 7], GenerateResponsePage.m [Supplemental Coding File 8], GenerateTextures.m [Supplemental Coding File 9], ActorMachine.m [Supplemental Coding File 10], MatchIDtoClass.m [Supplemental Coding File 11] e RandomizeWordOrder.m [Supplemental Coding File 12]) para realizar o experimento.

NOTA: Consulte os scripts relacionados para obter explicações detalhadas.

1. Randomização do ensaio e ordens de bloqueio
   1. Defina e crie duas funções para randomizar as ordens de ensaio (RandomizeTrials.m) e ordens de bloco (RandomizeBlocks.m) que tomam os parâmetros de randomização (como o ID do participante) como entradas e retornam uma matriz de sequências pseudorandomizadas.
   2. Consulte os scripts RandomizeBlocks.m (linhas 2-24) e RandomizeTrials.m (linhas 3-26) para obter detalhes sobre como as sequências aleatórias são geradas.
2. Rastreamento da resposta (RecordMouse, InsideRoi)
   1. Crie uma função que rastreie e registre a trajetória do mouse dos participantes e o tempo decorrido durante o experimento (consulte RecordMouse.m).
   2. Crie uma função auxiliar para verificar se as coordenadas clicadas estão dentro das regiões aceitáveis ou não (consulte o script InsideRoi.m).
3. Geração de texturas para instruções e feedbacks (GenerateTextures.m, GenerateResponsePage.m)
   1. Preparar as instruções relacionadas ao experimento e o feedback relacionado aos ensaios como imagens.
   2. Salve o conteúdo dessas imagens em um arquivo .mat (consulte o arquivo ExperimentImages.mat [Supplemental Coding File 13]).
   3. Carregue o arquivo .mat no espaço de trabalho (consulte GenerateTextures.m linha 25) depois de criar uma janela na tela.
   4. Crie uma textura separada e seu identificador para cada imagem (consulte GenerateTextures.m linhas 27-165).
   5. Defina uma função para desenhar as texturas de página de resposta relacionadas para cada script de experimento (consulte GenerateResponsePage.m).
4. Conectando o PC do Ator ao PC do Experimentador sobre TCP/IP
   1. Crie um soquete de servidor TCP no script (consulte ExperimentScript2.m linha 174) em execução no PC do Experimenter.
   2. Crie um soquete de cliente TCP correspondente no script (consulte ActorMachine.m linha 16) em execução no Actor PC.
   3. Envie informações sobre o próximo bloco/teste para os atores do roteiro (consulte as linhas 207, 229 e 278 no ExperimentScript2.m ou veja as linhas 136, 141, 153, 159 e 297 no ExperimentScript3.m) em execução no Experimenter PC.
   4. Exiba as informações recebidas do PC do Experimentador na janela na tela do PC do Ator (consulte as linhas 31-47 em ActorMachine.m).
5. Conectando o microcontrolador ao PC Experimenter
   1. Conecte o microcontrolador a uma porta USB específica (por exemplo, PORTA 9) para controlar o estado (LIGADO ou DESLIGADO) dos LEDs instalados no backstage.
   2. Estabeleça uma comunicação serial entre o dispositivo microcontrolador e o Experimenter PC (consulte a linha 185 no script ExperimentScript2.m).
   3. Envie um sinal lógico alto (1) para o microcontrolador a partir do script em execução no Experimenter PC (veja a linha 290 em ExperimentScript2.m ou veja a linha 311 em scripts ExperimentScript3.m) para ligar os LEDs quando as ações estiverem sendo exibidas através do cabo USB.
   4. Envie um sinal lógico baixo (0) para o microcontrolador a partir do script em execução no Experimenter PC (veja a linha 292 em ExperimentScript2.m ou veja a linha 314 em scripts ExperimentScript3.m) para desligar os LEDs quando o participante deve dar uma resposta.

4. O fluxo de um experimento de amostra

1. Etapas pré-experimento
   1. Certifique-se de que todos os dispositivos no laboratório (PC Experimentador, PC Câmera, PC Ator e Exibição do Participante) estejam alimentados por um no-break.
   2. Ligue o microcontrolador lightning ao PC Experimenter através de um cabo USB, para que se ligue automaticamente à medida que o PC Experimenter é ligado.)
   3. Ligue o PC Experimenter e verifique se ele está conectado ao Wi-Fi de 5 GHz.
   4. Escolha o dispositivo de som (os alto-falantes na Tabela de Materiais) como o dispositivo de saída de som do Experimenter PC.
   5. Ligue a tela do participante e defina as configurações de volume para 80%.
   6. Defina as configurações de tela do Experimenter PC para vários monitores. Estenda a exibição do PC do experimento para a exibição do participante. A exibição do PC Experimentador será 1 e a Exibição do Participante será 2.
   7. Ligue o Actor PC e verifique se ele está conectado ao Wi-Fi de 5 GHz.
   8. Conecte a câmera de segurança ao Actor PC através de um cabo USB, para que ele seja ligado automaticamente à medida que o Actor PC for ligado.
   9. Ligue o PC da câmera e abra o aplicativo da câmera na área de trabalho. Certifique-se de que cada ator, seus movimentos e suas entradas e saídas para o gabinete estejam visíveis da câmera.
   10. Certifique-se de que todos os computadores, monitores e dispositivos (o dispositivo de resposta [mouse sem fio do participante], alto-falantes, teclado e mouse do Experimenter PC e do Actor PC e do microcontrolador lightning) funcionem corretamente.
   11. Receber o participante em outra sala; Após breve informação sobre o estudo, fornecer o Termo de Consentimento Livre e Esclarecido e assiná-lo.
   12. Peça ao participante que desenhe um número de uma bolsa e diga-lhe que o número será seu ID de participante durante todo o estudo.
   13. Permita que o participante preencha o formulário de dados demográficos on-line com sua ID de participante anônima.
       OBS: É fundamental que os participantes não vejam os atores antes do experimento. Assim, essa papelada é concluída em outra sala, em vez da sala de experimentos principal, para que os atores possam fazer pausas entre os participantes.
2. As etapas do experimento
   1. Abra o software de experimento no Experimenter PC, abra o script ExperimentScript1.m e execute-o.
   2. Preencher o documento de identificação do participante e idade; em seguida, o roteiro iniciará a primeira parte do experimento (o primeiro estímulo visível será uma cruz no centro da Exibição do Participante).
   3. Abra o software de experimento no Actor PC e abra o script ActorMachine.m.
   4. Coloque o PC da câmera perto do PC do experimentador e verifique se as imagens provenientes da câmera de segurança não estão visíveis para o participante.
   5. Dê as boas-vindas ao participante na sala principal do experimento e deixe-o sentar-se na frente do visor do participante.
   6. Diga ao participante para se organizar de tal forma que a cruz esteja no meio e em frente.
   7. Dê instruções sobre as partes do experimento brevemente, consultando as explicações e durações escritas no quadro branco.
   8. Desligue todas as luzes da sala de experimentos.
3. Experimento parte 1:
   1. Diga ao participante que ele completará o treinamento lexical/conceitual na primeira parte do experimento. Avise-os sobre o cuidado de seguir as instruções para que possam passar no treinamento.
   2. Diga ao participante que o experimento pode ser iniciado quando ele estiver pronto.
   3. Pressione o botão ESC quando o participante disser que está pronto para a primeira parte.
      NOTA: A partir de agora, o participante progredirá no experimento lendo as instruções na Tela do Participante e selecionando uma das opções. Eles receberão feedback sobre suas respostas certas e erradas para que possam progredir bem no treinamento. A correspondência continuará até que os participantes atinjam o limiar mínimo (80%) dentro de 10 repetições em bloco.
   4. Quando o participante completar a parte de treinamento, pressione o botão ESC e diga ao participante que o experimentador está assumindo o controle do mouse para iniciar a segunda parte do experimento.
4. Experimento parte 2:
   1. Abra o script ExperimentScript2.m e aguarde o prompt Aguardando o PC do ator.
   2. Toque a campainha quando o prompt for visto para que um dos atores possa executar o script no PC do ator para habilitar a conexão com o PC do experimentador.
   3. Aguarde até que o prompt Experimento Parte 2 esteja pronto.
   4. Diga ao participante que agora que a tela será transparente enquanto eles assistem a algumas ações curtas através dela.
   5. Avise-os para observar cada ação com cuidado e informe-os de que eles devem dizer qual é a ação em voz alta.
   6. Diga ao participante que o experimento pode ser iniciado quando ele estiver pronto.
   7. Pressione o botão ESC quando o participante disser que está pronto para a primeira parte.
      NOTA: O participante progride nas instruções e assiste à primeira ação. O Actor1 executa as ações quando as luzes LED são acesas e eles verificam a próxima ação no prompt no Actor PC quando as luzes são apagadas. Quando cada ação terminar, uma caixa de diálogo surgirá na tela do Experimenter PC.
   8. Digite o que o participante diz sobre a ação na caixa de diálogo e digite 1 ou 0 na segunda caixa de diálogo, dependendo da identificação certa ou errada da ação, respectivamente.
      NOTA: Estes passos serão repetidos oito vezes para o primeiro ator, e a música de fundo começará a tocar quando for a hora de os atores mudarem de lugar.
   9. Assista aos bastidores das imagens da câmera de segurança no PC da câmera.
   10. Pressione o botão ESC para iniciar a identificação do Actor2 quando o ator acenar com as mãos em direção à câmera de segurança com o gesto I am ready .
   11. Repita as etapas 4.4.7 e 4.4.8 junto com o participante até que as mesmas oito ações também sejam identificadas enquanto estiverem sendo executadas pelo Ator2.
   12. Quando o participante vê o aviso de Identificação completa e sai da parte clicando na seta, pressione o botão ESC e diga ao participante que o experimentador está assumindo o controle do mouse para iniciar a terceira parte do experimento.
5. Experimento parte 3:
   1. Abra o script ExperimentScript3.m.
   2. Diga ao participante que ele assistirá às ações de ambos os atores e, em seguida, clicará na opção que achar adequada.
      OBS: Os participantes avaliarão as ações dos atores em quatro blocos. Em dois dos blocos, o Ator1 executará as ações e, nos outros dois, o Ator2 executará as mesmas ações. Em dois dos blocos, os participantes avaliarão as ações atribuindo altas ou baixas capacidades de agência, e nos outros dois, atribuirão capacidades de alta ou baixa experiência.
   3. Pressione o botão ESC quando o participante disser que está pronto para a terceira parte.
      NOTA: O participante progride através das instruções, e elas começam com o primeiro bloco. Os atores executam as ações na luz e, enquanto os participantes dão suas respostas, a tela fica opaca e as luzes são apagadas para que os atores possam ver qual ação está por vir. Quando cada bloco terminar, os atores mudarão de lugar seguindo os prompts no Actor PC.
   4. Verifique se tudo vai bem nos bastidores e se o ator certo está conduzindo a ação certa durante os blocos.
   5. Pressione o botão ESC para iniciar o próximo bloco quando o ator direito acenar com as mãos com o gesto Estou pronto após a substituição dos atores.
   6. Repita as etapas 4.5.4 e 4.5.5 em cooperação com o participante e o ator até que os quatro blocos estejam completos.
   7. Quando o participante vir o O experimento acabou, aviso de agradecimento, pressione o botão ESC .
   8. Agradeça ao participante e, após o debriefing e a retirada das assinaturas, envie o participante para fora.

A Figura 5 mostra uma amostra de tentativa a partir da visão do participante. A Figura 5A mostra o participante olhando para o cursor no centro da tela em seu uso opaco. A Figura 5B mostra o participante assistindo aos estímulos live-action através da tela. A Figura 5C mostra a tela de avaliação apresentada ao participante após os estímulos, na qual ele precisa arrastar o mouse para uma das duas alternativas em cada canto superior da tela.

Figura 5: Tela OLED do ponto de vista do participante. (A) Uso opaco da tela digital OLED do ponto de vista do participante durante uma tela de fixação. (B) Uso transparente da tela digital OLED do ponto de vista do participante durante a apresentação de uma ação ao vivo.(C) Uso opaco da tela digital OLED do ponto de vista do participante durante o período de resposta. Clique aqui para ver uma versão maior desta figura.

5. Pré-processamento e análise dos dados

1. Segmentando dados em condições
   1. Leia todos os arquivos de dados do participante no espaço de trabalho do ambiente de software.
   2. Defina as condições para agrupar os dados (duas classes de ação [Action Class1 e Action Class2] x dois atores [Actor1 e Actor2] x duas dimensões [Agency and Experience] x dois níveis [High and Low]).
   3. Segmente os dados em quatro grupos principais: Agência Alta, Agência Baixa, Experiência Alta e Experiência Baixa.
   4. Divida esses grupos principais em quatro subgrupos (dois atores x duas classes de ação).
   5. Faça um loop por cada arquivo de dados para agrupar as avaliações que pertencem a um dos quatro subgrupos definidos anteriormente.
   6. Armazene as informações de avaliação relevantes (tempo de resposta, movimento do cursor e pontos de tempo em que a posição do cursor é amostrada) em estruturas de dados separadas para cada subgrupo.
   7. Saia do loop quando todas as avaliações estiverem agrupadas.
2. Visualização das trajetórias
   1. Depois de segmentar os dados, execute as etapas a seguir para visualizar as trajetórias do mouse.
   2. Para aplicar a interpolação de tempo às trajetórias de resposta, para cada tentativa, selecione 101 pares (x,y) da matriz de trajetória para que cada subgrupo de dados tenha tentativas com um número igual de etapas de tempo.
      NOTA: Ao ancorar o número de pares em 101, certifique-se de seguir a convenção³²para realizar a normalização de tempo correta. Assim, obtenha a normalização do tempo usando a seguinte equação, onde n é o número de amostras em uma matriz de trajetória:
      
   3. Calcule a soma de pares (x,y) em cada um dos 101 pontos de tempo e, em seguida, divida o resultado obtido pelo número total de tentativas desse subgrupo para obter as médias para cada subgrupo (por exemplo, Experience Low Actor1 ou Experience Low Actor2).
   4. Aplique uma operação de dimensionamento aos valores de linha para visualizar as trajetórias médias.
      NOTA: O plano de coordenadas 2D assume que ambos os eixos aumentam a partir do ponto zero localizado no canto inferior esquerdo da janela (supondo que as coordenadas sejam inteiros positivos), enquanto o formato de pixel usa o canto superior esquerdo da janela como referência (por exemplo, ponto zero). Assim, aplique uma operação de dimensionamento para as coordenadas y (correspondentes aos valores de linha em formato de pixel) dos locais amostrados extraindo a coordenada y amostrada de cada tentativa do valor do número total de linhas.
   5. Plote os subgrupos relacionados na mesma figura para comparação.
      NOTA: Cada trajetória começa no centro do retângulo localizado no centro inferior, rotulado START, e termina dentro dos retângulos localizados nos cantos superior esquerdo ou superior direito.

6. Condições que podem levar a falhas e precauções do sistema

OBS: Em caso de falha do sistema, é fundamental ter um sinal físico (tocar um sino) para avisar o ator sobre a falha e avisá-lo para ficar em um local que seja invisível para o participante.

1. Falhas devido à conexão de rede
   1. Se um dos computadores estiver conectado a uma rede diferente, a solicitação de conexão TCP/IP falhará e o sistema mostrará um erro. Para evitar isso, verifique se o Experimenter PC e o Actor PC estão na mesma banda da mesma rede sem fio.
   2. Para garantir que ambos os PCs permaneçam na mesma rede, apague as redes sem fios anteriormente ligadas de ambos os PCs.
   3. Defina endereços IP estáticos para os dispositivos na rede selecionada, pois os endereços IP em uma rede podem ser alterados sem aviso prévio.
   4. Qualquer desconexão momentânea (por exemplo, devido a uma queda de energia, queda de Internet, etc.) à rede pode causar falha no script. Nessas circunstâncias, o sistema precisa ser reiniciado desde o início para restabelecer a conexão TCP/IP.
      Observação : O requisito de IPs estáticos para dispositivos pode ser atendido pelo provedor de serviços de Internet. Determinadas portas podem ser desativadas pelo sistema operacional ou pelo hardware em um determinado dispositivo; portanto, as portas que devem ser usadas no experimento devem ser abertas e não devem ter uma conexão ativa até que o script do experimento seja iniciado.
2. Falhas devido a falhas de software
   1. O ambiente de software pode falhar devido a conexões com falha (por exemplo, conexão de porta serial, conexão TCP/IP, conexão de vídeo, etc.), e isso pode levar a uma perda de dados. Para superar isso, divida o script do experimento principal em vários scripts. Por exemplo, se houver um bloco que precise ser concluído antes que os atores comecem a executar ações, não há necessidade de criar um servidor no PC do Experimentador durante esse bloco. O servidor pode ser criado quando o bloco que envolve ações e, portanto, requer comunicação entre o Experimenter PC e o Actor PC, está prestes a começar.

Representative Results

Comparações de tempo de resposta (TR)
O presente estudo é um projeto em andamento, portanto, como resultados representativos, são apresentados dados da parte principal do experimento (Experimento Parte 3). Esses dados são de 40 participantes, sendo 23 do sexo feminino e 17 do sexo masculino, com idades variando de 18 a 28 anos (M = 22,75, DP = 3,12).

Investigar a extensão da normalidade da distribuição das variáveis dependentes foi necessário para a escolha do método estatístico adequado para as análises. Assim, o teste de Shapiro-Wilk foi realizado para entender se as três variáveis dependentes, ou seja, tempo de resposta (TR), desvio máximo (DM) e área sob a curva (AUC), estavam distribuídas normalmente. Os escores mostraram que os dados de tempo de resposta, W = 0,56, p < 0,001, desvio máximo, W = 0,56, p < 0,001, e área sob a curva, W = 0,71, p < 0,001, foram todos significativamente não normais.

A homogeneidade das variâncias das variáveis dependentes também foi verificada aplicando-se o teste de Levene para os níveis das variáveis independentes, a saber: Tipo de Ator (Ator1 e Ator2) e Classe de Ação (Classe de Ação1 e Classe de Ação2). Para os escores do tempo de resposta, as variâncias foram semelhantes para Ator1 e Ator2, F(1, 1260) = 0,32, p = 0,571, mas as variâncias para Classe de Ação1 e Classe de Ação2 foram significativamente diferentes, F(1, 1260) = 8,82, p = 0,003. Para os escores no desvio máximo, as variâncias foram semelhantes para Ator1 e Ator2, F(1, 1260) = 3,71, p = 0,542, mas as variâncias para Classe de Ação1 e Classe de Ação2 foram significativamente diferentes, F(1, 1260) = 7,51, p = 0,006. Para os escores da área sob a curva, as variâncias foram semelhantes para Classe de Ação1 e Classe de Ação2, F(1, 1260) = 3,40, p = 0,065, mas as variâncias para Ator1 e Ator2 foram significativamente diferentes, F(1, 1260) = 4,32, p = 0,037.

Como os dados deste estudo não atenderam aos pressupostos de distribuição normal e homogeneidade de variância da ANOVA regular (análise de variância) e tivemos quatro grupos independentes em um desfecho contínuo, aplicou-se o equivalente não paramétrico de uma ANOVA, o teste de Kruskal-Wallis. Os quatro grupos independentes foram derivados das duas variáveis de resposta categórica (Alta ou Baixa) dentro das duas dimensões pré-bloqueio forçado (Agência e Experiência). Como estávamos interessados em como as variáveis dependentes diferiam entre as respostas dos participantes entre as dimensões, os dados foram divididos em quatro subgrupos de acordo com as respostas na dimensão Agência, incluindo Agência-Alta e Agência-Baixa, e na dimensão Experiência, incluindo Experiência-Alta e Experiência-Baixa. A seguir, são apresentados os resultados dos testes de Kruskal-Wallis para as três variáveis independentes. Em todos os casos, o limiar de significância foi estabelecido em p < 0,05.

Resultados do tempo de resposta
A Figura 6 apresenta os tempos de resposta dos participantes de acordo com suas respostas de Alto ou Baixo nas quatro dimensões de blocos. Os tempos de resposta dos participantes são apresentados para cada nível das duas variáveis independentes: Tipo de Ator e Classe de Ação. A1 e A2 representam Ator 1 e Ator 2, respectivamente, enquanto AC1 e AC2 representam Classe de Ação 1 e Classe de Ação 2, respectivamente.

Figura 6: Tempos de resposta dos participantes na tarefa entre o tipo de ator e a classe de ação. Cada painel mostra o tempo que os participantes gastaram respondendo a um dos níveis (Alto ou Baixo) da dimensão específica (Agência e Experiência). Os asteriscos mostram diferenças significativas entre os níveis de tipo de ator ou classe de ação (p < ,05). Clique aqui para ver uma versão maior desta figura.

Os tempos de resposta não foram significativamente afetados pelo tipo de ator para as respostas Agência-Alta, H(1) = 1,03, p = 0,308, Agência-Baixa, H(1) = 2,84, p = 0,091, e Experiência-Alta, H(1) = 0,001, p = 0,968, mas foram significativamente afetados pelo tipo de ator para as respostas Experiência-Baixa, H(1) = 8,54, p = 0,003. Um teste de Wilcoxon foi computado para investigar o efeito do tipo de ator nas respostas de Experience-Low. A mediana do tempo de resposta do Ator1 (Mdn = 1,14) foi significativamente menor que a mediana do tempo de resposta do Ator2 (Mdn = 1,31), W = 8727, p = 0,001.

Os tempos de resposta não foram significativamente afetados pela classe de ação para Agência-Baixa, H(1) = 1,99, p = 0,158, e Experiência-Alta, H(1) = 0,17, p = 0,675 respostas, mas foram significativamente afetados pela classe de ação para Agência-Alta, H(1) = 10,56, p = 0,001, e Experiência-Baixa, H(1) = 5,13, p = 0,023, respostas. Os resultados do teste dos postos sinalizados de Wilcoxon demonstraram que, para as respostas Agência-Alta, o tempo mediano de resposta para Classe de Ação1 (Mdn = 1,30 ) foi significativamente maior do que o tempo de resposta mediano para Classe de Ação 2 (Mdn = 1,17 ), W = 17433, p = 0,0005; adicionalmente, para as respostas Experiência-Baixa, o tempo mediano de resposta para Classe de Ação1 (Mdn = 1,44) foi significativamente maior do que o tempo de resposta mediano para Classe de Ação2 (Mdn = 1,21), W = 10002, p = 0,011.

Resultados do rastreamento do mouse
Os movimentos do mouse dos participantes enquanto decidiam sua resposta final também foram registrados. As informações de tempo e local foram coletadas para calcular as trajetórias motoras médias dos participantes. A gravação iniciou-se quando os participantes visualizaram os estímulos verbais na tela e terminou quando eles deram uma resposta clicando em uma das opções (Alto ou Baixo) nos cantos superior direito ou superior esquerdo da tela.

A Figura 7 apresenta os desvios máximos dos movimentos do mouse dos participantes de acordo com suas respostas de Alto ou Baixo em quatro dimensões de blocos. Os desvios máximos dos participantes da reta idealizada da resposta selecionada para a resposta alternativa não selecionada são apresentados para cada nível das duas variáveis independentes, Tipo de Ator e Classe de Ação. A1 e A2 representam o Ator 1 e o Ator 2, respectivamente, enquanto AC1 e AC2 representam a Classe de Ação 1 e a Classe de Ação 2, respectivamente.

Figura 7: O desvio máximo das trajetórias do mouse dos participantes entre o tipo de ator e a classe de ação. Cada painel mostra o desvio máximo dos participantes da linha reta idealizada da resposta selecionada para a resposta alternativa não selecionada enquanto respondem em direção a um dos níveis (Alto ou Baixo) para a dimensão particular (Agência e Experiência). Os asteriscos mostram diferenças significativas entre os níveis de tipo de ator ou classe de ação (p < ,05). Clique aqui para ver uma versão maior desta figura.

Os desvios máximos não foram significativamente afetados pelo tipo de ator para as respostas Agência-Alta, H(1) = 1,42, p = 0,232, Agência-Baixa, H(1) = 0,19, p = 0,655, e Experiência-Alta, H(1) = 0,12, p = 0,720, mas foram significativamente afetados pelo tipo de ator para as respostas Experiência-Baixa, H(1) = 7,07, p = 0,007. Um teste de Wilcoxon foi realizado para investigar o efeito do tipo de ator nas respostas Experience-Low. A mediana do desvio máximo para Actor1 (Mdn = 0,03) foi significativamente menor que a mediana do desvio máximo para Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

Os desvios máximos não foram significativamente afetados pela classe de ação para as respostas Agência-Alta, H(1) = 0,37, p = 0,539, e Experiência-Alta, H(1) = 1,84, p = 0,174, mas foram significativamente afetados pela classe de ação para as respostas Agência-Baixa, H(1) = 8,34, p = 0,003, e Experiência-Baixa, H(1) = 11,53, p = 0,0006, respostas. Os resultados do teste dos postos sinalizados de Wilcoxon demonstraram que, para as respostas Agência-Baixa, a mediana do desvio máximo para a Classe de Ação1 (Mdn = 0,06) foi significativamente maior do que a mediana do desvio máximo para a Classe de Ação2 (Mdn = 0,02), W = 12516, p = 0,0019. Adicionalmente, para as respostas Experiência Baixa, a mediana do desvio máximo para a Classe de Ação1 (Mdn = 0,09) foi significativamente maior do que a mediana do desvio máximo para a Classe de Ação2 (Mdn = 0,03), W = 10733, p = 0,0003.

A Figura 8 apresenta as áreas sob a curva das trajetórias dos participantes de acordo com suas respostas de Alto ou Baixo em quatro dimensões de blocos. As áreas sob a curva de respostas dos participantes em referência à reta idealizada da resposta selecionada são apresentadas para cada nível das duas variáveis independentes, Tipo de Ator e Classe de Ação. A1 e A2 representam o Ator 1 e o Ator 2, respectivamente, enquanto AC1 e AC2 representam a Classe de Ação 1 e a Classe de Ação 2, respectivamente.

Figura 8: As áreas sob a curva em relação à trajetória idealizada dos movimentos do mouse dos participantes. Cada painel mostra a área sob a curva enquanto os participantes estão respondendo em direção a um dos níveis (Alto ou Baixo) na dimensão específica (Agência ou Experiência). Os asteriscos mostram diferenças significativas entre os níveis de tipo de ator ou classe de ação (p < ,05). Clique aqui para ver uma versão maior desta figura.

As áreas sob as curvas não foram significativamente afetadas pelo tipo de ator para as respostas Agência-Alta, H(1) = 0,001, p = 0,968, Agência-Baixa, H(1) = 0,047, p = 0,827, e Experiência-Alta, H(1) = 0,96, p = 0,324, mas foram significativamente afetadas pelo tipo de ator para as respostas Experiência-Baixa, H(1) = 8,51, p = 0,003. Um teste de Wilcoxon foi computado para investigar o efeito do tipo de ator nas respostas de Experience-Low. A mediana da área sob a curva para Actor1 (Mdn = −0,03) foi significativamente mais níbil do que a mediana da área sob a curva para Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

As áreas sob as curvas não foram significativamente afetadas pela classe de ação para as respostas Agência-Alta, H(1) = 0,01, p = 0,913, mas foram significativamente afetadas pela classe de ação para as respostas Agência-Baixa, H(1) = 7,54, p = 0,006, Experiência-Alta, H(1)= 5,87, p = 0,015, e Experiência-Baixa, H(1) = 15,05, p = 0,0001, respostas. Os resultados do teste dos postos sinalizados de Wilcoxon demonstraram que, para as respostas Agência-Baixa, a mediana da área sob a curva para a Classe de Ação1 (Mdn = 0,03) foi significativamente maior do que a mediana da área sob a curva para a Classe de Ação2 (Mdn = −0,03), W = 12419, p = 0,003, e para as respostas Experiência-Alta, a mediana da área sob a curva para a Classe de Ação1 (Mdn = −0,06) foi significativamente menor que a mediana do desvio máximo para Classe de Ação2 (Mdn = −0,02), W = 9827, p = 0,007. Para as respostas Experiência-Baixa, a mediana da área sob a curva para a Classe de Ação1 (Mdn = 0,05) foi significativamente maior do que a mediana da área sob a curva para a Classe de Ação2 (Mdn = −0,03), W = 11049, p < 0,0001.

Resumo e avaliação dos resultados representativos
Por se tratar de um estudo em andamento, foi apresentada uma parcela representativa dos dados que teremos ao final da coleta de dados em larga escala. No entanto, mesmo esses dados amostrais corroboram a efetividade do método proposto no presente estudo. Pudemos obter os tempos de resposta e as trajetórias dos ratos dos participantes enquanto eles davam suas respostas após assistir a ações em tempo real. Pudemos completar todas essas etapas através da mesma tela para que os participantes não mudassem uma modalidade entre assistir aos atores reais e dar as respostas do mouse, permitindo, assim, estender os procedimentos nos experimentos para cenários da vida real.

A Tabela 1 resume os resultados de como as medidas dependentes, incluindo os tempos de resposta, DM e AUC das trajetórias dos camundongos, foram afetadas pelo tipo de ator e classe de ação, que foram as principais variáveis independentes do estudo.

	Tempo de Resposta (TR)		Desvio Máximo (DM)		Área sob a curva (AUC)
	Tipo de ator	Classe de ação	Tipo de ator	Classe de ação	Tipo de ator	Classe de ação
Agência High	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agência Baixa	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Experiência Alta	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Experiência Baixa	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabela 1: Síntese dos resultados. A tabela mostra como as medidas dependentes (tempos de resposta, DM e AUC das trajetórias dos camundongos) foram afetadas pelas principais variáveis independentes (tipo de ator e classe de ação) do estudo. *, **, e *** representam os níveis de significância p ≤ 0,05, p ≤ 0,01 e p ≤ 0,001, respectivamente.

O tipo de ator teve um efeito significativo sobre os tempos de resposta dos participantes; enquanto eles estavam atribuindo baixa capacidade na dimensão Experiência, eles gastaram mais tempo fazendo isso para o Ator2 em comparação com o Ator1 na mesma condição (veja a Figura 6D). Também observamos esse maior tempo de resposta nas medidas dos movimentos do mouse com base na DM e AUC (ver Figura 9 para as trajetórias). Os DMs das trajetórias do mouse em direção a respostas baixas (ver Figura 7D) foram significativamente maiores, e as AUCs das trajetórias do mouse (ver Figura 8D) foram significativamente maiores quando os participantes estavam avaliando o Ator 2 em comparação com o Ator 1 (comparando as linhas azuis na Figura 9A,B).

Figura 9: Trajetórias médias dos participantes ao avaliarem as ações realizadas pelo Ator1 e pelo Ator2 na dimensão Experiência. As linhas laranjas mostram as trajetórias médias dos ratos em direção às respostas Altas; as linhas azuis mostram as trajetórias médias do mouse em direção a respostas baixas. As linhas retas tracejadas pretas representam as trajetórias de resposta idealizadas, enquanto as áreas sombreadas em cinza representam os desvios padrão quadrados médios da raiz. Clique aqui para ver uma versão maior desta figura.

Os tempos de resposta dos participantes, enquanto respondiam Alto às ações pertencentes à Classe de Ação1 na dimensão Agência (ver Figura 6A), foram significativamente maiores do que para as ações pertencentes à Classe de Ação 2; no entanto, estes tempos de resposta mais longos não foram observados nas medições de DM (ver Figura 7A) e AUC (ver Figura 8A). Ao responderem Low à Action Class1 na dimensão Experiência, os participantes gastaram significativamente mais tempo do que gastaram para Action Class2 (ver Figura 6D), e isso também ficou evidente nas pontuações MD (ver Figura 7D) e AUC (ver Figura 8D). A Figura 10 demonstra que os DMs das trajetórias dos camundongos em direção a respostas baixas (ver Figura 7D) foram significativamente maiores, e as AUCs das trajetórias dos camundongos (ver Figura 8D) foram significativamente maiores, enquanto os participantes estavam avaliando ações pertencentes à Classe de Ação 1 em comparação com a Classe de Ação 2 (comparando as linhas azuis na Figura 10A,B).

Figura 10: Trajetórias médias dos participantes ao avaliar os atores que executam as ações pertencentes à Classe de Ação1 e à Classe de Ação2 na dimensão Experiência. As linhas laranjas mostram as trajetórias médias dos ratos em direção às respostas Altas; as linhas azuis mostram as trajetórias médias do mouse em direção a respostas baixas. As linhas retas tracejadas pretas representam as trajetórias de resposta idealizadas, enquanto as áreas sombreadas em cinza representam os desvios padrão quadrados médios da raiz. Clique aqui para ver uma versão maior desta figura.

Embora não tenham sido observados efeitos significativos da classe de ação nas medidas de tempo de resposta para as outras combinações bloco-resposta, foi observado um efeito significativo da classe de ação nos escores MD (ver Figura 7B) e AUC (ver Figura 8B) de Respostas baixas na dimensão Agência. A Figura 11 demonstra que os participantes hesitaram em direção à alternativa Alta e se moveram mais em direção à Baixa quando estavam avaliando as ações da Classe de Ação1 em comparação com as da Classe de Ação 2 (comparando as linhas azuis nas Figuras 11A,B). Finalmente, embora não tenha havido efeito significativo da classe de ação sobre os escores de TR e DM para as respostas Altas na dimensão Experiência, um efeito significativo foi observado para as AUCs (ver Figura 8C) das trajetórias (ver Figura 10); especificamente, os participantes hesitaram mais ao avaliar a Classe de Ação 2 em comparação com a Classe de Ação 1 (comparando as linhas laranjas na Figura 10A,B).

Figura 11: Trajetórias médias dos participantes ao avaliar os atores que executam as ações pertencentes à Classe de Ação1 e à Classe de Ação 2 na dimensão Agência. As linhas laranjas mostram as trajetórias médias dos ratos em direção às respostas Altas; as linhas azuis mostram as trajetórias médias do mouse em direção a respostas baixas. As linhas retas tracejadas pretas representam as trajetórias de resposta idealizadas, enquanto as áreas sombreadas em cinza representam os desvios padrão quadrados médios da raiz. Clique aqui para ver uma versão maior desta figura.

Os resultados até agora apoiam nossas hipóteses, que sugeriram que haveria um efeito do tipo de ator e da classe de ação e que as medidas dependentes para respostas altas e baixas para o mesmo ator e classe de ação difeririam entre as dimensões de bloco de Agência e Experiência. Por se tratar de um estudo em andamento, foge ao escopo deste artigo discutir as possíveis razões para os achados. No entanto, como observação inicial, podemos enfatizar que, embora alguns resultados para o tempo de resposta e as medidas provenientes do rastreamento do mouse do computador se complementassem, em algumas condições de bloqueio-resposta, observamos que os participantes hesitavam em relação à outra alternativa mesmo quando eram rápidos em suas avaliações.

Se uma tela OLED especial não fosse incluída na configuração, os tempos de resposta dos participantes ainda poderiam ser coletados com algumas outras ferramentas, como botões para pressionar. No entanto, os movimentos do mouse dos participantes não poderiam ser rastreados sem fornecer uma tela adicional e fazer com que os participantes assistissem a essa tela e os atores reais para frente e para trás, o que, por sua vez, atrasaria suas respostas. Assim, embora os tempos de resposta sejam indicadores úteis da dificuldade do processo decisório, as trajetórias dos participantes revelam mais sobre a dinâmica em tempo real de seus processos decisórios antes de suas respostas finais^32,34.

Arquivo de codificação suplementar 1: ExperimentScript1.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 2: ExperimentScript2.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 3: ExperimentScript3.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 4: RecordMouse.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 5: InsideROI.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 6: RandomizeTrials.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 7: RandomizeBlocks.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 8: GenerateResponsePage.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 9: GenerateTextures.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 10: ActorMachine.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 11: MatchIDtoClass.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 12: RandomizeWordOrder.m Clique aqui para baixar este arquivo.

Arquivo de codificação suplementar 13: Arquivo ExperimentImages.mat Clique aqui para baixar este arquivo.

Discussion

O objetivo geral do presente estudo é contribuir para a compreensão de como a percepção visual e a cognição humanas de alto nível funcionam em situações da vida real. Este estudo centrou-se na percepção da ação e sugeriu um paradigma experimental naturalista, mas controlável, que permite aos pesquisadores testar como os indivíduos percebem e avaliam as ações dos outros, apresentando atores reais em um ambiente de laboratório.

A importância desta metodologia proposta em comparação com as metodologias existentes é tripla. (1) A naturalidade dos estímulos é maximizada pela apresentação de ações ao vivo aos participantes. (2) Os estímulos do mundo real (i.e., atores), outros estímulos verbais (e.g., palavras ou instruções) e a tela de resposta dos atores e ações são apresentados utilizando-se a mesma modalidade (i.e., a tela digital OLED) para que os participantes não percam o foco enquanto mudam de modalidade, como nos casos do uso do vidro do obturador, por exemplo³⁵. (3) Dados sensíveis ao tempo, como dados sobre a duração da resposta e trajetórias do mouse, que precisam de um controle de tempo rigoroso, são registrados usando uma tarefa natural do mundo de hoje, o uso do mouse.

Certas etapas críticas do protocolo são importantes para que esse paradigma funcione perfeitamente e permita que os pesquisadores atinjam seus objetivos, proporcionando uma experiência decente para os participantes. Essas etapas são igualmente importantes para a criação de tal sistema, por isso as apresentamos individualmente sem ordená-las de acordo com seus níveis de criticidade.

O primeiro passo crítico diz respeito à manipulação da iluminação da sala e à mudança da cor do fundo utilizado para a tela de exibição do participante. Esta etapa permite uma transição suave entre o desempenho da ação em tempo real e a tela de resposta após cada tentativa de ação. Quando todas as luzes da sala são apagadas e o fundo da tela é ajustado para branco, 100% de opacidade é alcançada para que as instruções de estudo e estímulos verbais possam ser exibidos sem distrações que possam vir de movimentos em segundo plano. Para tornar o display transparente e apresentar os estímulos verbais imediatamente após os estímulos de ação, as luzes de LED nos tetos são acesas, mantendo as luzes dianteiras apagadas para ter um display transparente. O circuito de iluminação é essencial para a manipulação adequada da luz na sala. Quando as luzes fluorescentes na frente (Área do Participante) e atrás (Área do Ator) do laboratório estão acesas, a filmagem do ator parece um pouco inclinada, e o participante vê o reflexo de si mesmo e da sala. Quando as luzes frontais na área do participante estão apagadas e as luzes de LED na área do ator estão acesas, o participante pode observar claramente os atores sem distrações. A Figura 1 e a Figura 3 mostram como as manipulações da luz funcionam no experimento.

A segunda etapa crítica do protocolo é o controle do tempo. As ações duram 6 s, e a iluminação na parte de trás da tela é automatizada em relação às durações das ações para que não tenhamos nenhum atraso ou aceleração entre as tentativas. No entanto, a duração entre os blocos é controlada manualmente (ou seja, quando precisamos de uma mudança de ator), para que possamos iniciar o próximo bloco depois de verificar se tudo está indo conforme planejado nos bastidores. Esse período também é indicado para solicitações de participantes ou atores, como a necessidade de água ou uma mudança na temperatura da sala.

O terceiro passo crítico diz respeito ao uso da câmera de segurança e da campainha. A câmera de segurança permite a comunicação entre o condutor do experimento e os atores. O experimentador verifica continuamente o que está acontecendo nos bastidores, como se o ator está pronto ou se o ator certo está no palco. Os atores acenam com as mãos quando estão prontos para realizar as ações e fazem um sinal de cruz quando há um problema. O experimentador pode até perceber se há algum problema com a aparência de um ator, como esquecer um brinco em uma orelha. O sino permite que o experimentador avise os atores sobre um provável problema. Quando ouvem o sino, os atores primeiro verificam se algo sobre eles está errado e, se for o caso, corrigem a questão e dizem ao experimentador que estão prontos. Se houver um problema do lado do experimentador, os atores ouvem o experimentador explicando a questão ao participante. Eles esperam silenciosamente até que o experimentador chegue aos bastidores para resolver o problema, como se reconectar depois de perder a conexão com a Internet.

O quarto passo diz respeito ao uso de uma pesada cortina blackout para dividir a sala, já que tal material evita que a luz vaze para a parte frontal da sala. Essa cortina também impede o som até certo ponto, de modo que os participantes não ouçam os pequenos movimentos dos atores e as conversas silenciosas entre o experimentador e os atores em caso de problema.

O quinto passo é a inclusão do Actor PC e o estabelecimento do TCP/IP como protocolo de rede, pois isso garante que as mensagens sejam entregues na outra extremidade, ao contrário do UDP. Dessa forma, os atores podem ser informados sobre a próxima ação que irão realizar, e os participantes não percebem isso do seu ponto de vista. Além disso, como todos os dispositivos estão na mesma rede, qualquer possível latência adicional causada pelo TCP/IP torna-se insignificante.

O sexto passo essencial no protocolo é a inclusão de música de fundo entre os blocos. Organizamos a música e os blocos para que, quando o participante respondesse à última tentativa em um bloco, a música começasse a tocar alto (a 80% do volume máximo) para que os atores saibam que é hora de uma mudança, e os participantes saibam que podem beber água ou descansar os olhos. Tocar música permite uma transição suave entre os atores sem ouvir seus movimentos ou outros sons, proporcionando uma sensação semelhante a assistir a uma peça no teatro.

Acreditamos que a configuração naturalística apresentada neste artigo é uma ótima ferramenta para investigar se os mecanismos subjacentes à percepção visual das ações dos outros que foram revelados por experimentos tradicionais de laboratório se aproximam do comportamento natural no mundo real. Observar atores reais e suas ações ao vivo obviamente fornecerá uma rica fonte de informações visuais e multissensoriais 3D e proporcionará a capacidade de atuação devido à presença física e social do ator. Portanto, hipotetizamos que a percepção de ações ao vivo pode provocar respostas comportamentais e neurais mais rápidas e aprimoradas na conhecida rede de percepção de ação previamente revelada por experimentos tradicionais de laboratório usando imagens e vídeos estáticos. Além disso, a percepção de ações ao vivo pode conduzir circuitos neurais adicionais que processam pistas de profundidade 3D³⁶ e informações vestibulares para coordenar o corpo no espaço enquanto se prepara para agir no mundo³⁷. Uma limitação do presente estudo é que as respostas dos atores reais na configuração naturalística não foram comparadas com as respostas que se obteria para estímulos simplistas, como imagens estáticas ou vídeos. Em estudos futuros, trabalharemos em direção a esse objetivo comparando sistematicamente as respostas comportamentais e neurais durante a percepção de ação em ambientes de laboratório tradicionais com aquelas na configuração naturalística.

Notam-se, ainda, algumas limitações do paradigma proposto no presente estudo em diversas frentes. A primeira é que, como a maioria dos estudos naturalísticos, esse método requer recursos financeiros e de tempo. Tal estudo será superior em termos de orçamento aos estudos que utilizaram estímulos dinâmicos pré-gravados apresentados em um display regular, uma vez que o presente estudo inclui equipamentos especiais para exibir as ações reais, e atores reais participam do estudo para cada sessão de coleta de dados. Além disso, o processo de coleta de dados para o presente estudo poderia levar mais tempo, uma vez que os atores reais realizam as ações repetidamente; Há um limite físico para eles, diferentemente dos estudos que utilizam imagens ou vídeos apresentados em telas de computador. Outra limitação relacionada poderia ser a dificuldade de garantir que os atores executassem cada ação da mesma maneira entre os blocos e participantes; No entanto, com treinamento suficiente, os atores podem se tornar confiantes em cada ação, já que eles têm 6 s de duração. Trabalhos futuros poderiam registrar ações ao vivo e, em seguida, usar visão computacional para quantificar a variabilidade entre diferentes ensaios dos experimentos.

Em segundo lugar, o nível de brilho da tela, quando usado de forma opaca, e as rápidas mudanças no raio entre os monitores opacos e transparentes podem causar um problema para os participantes com problemas visuais ou distúrbios como epilepsia. Essa potencial limitação foi abordada perguntando aos participantes se eles têm tal transtorno ou preocupação com tal cenário e recrutando aqueles que relataram que não seriam incomodados por tal cenário. Além disso, nenhum dos participantes reclamou da música que tocamos ao fundo durante as trocas de ator e bloco, mas alguns participantes podem ser perturbados por esse ruído. Um remédio para isso pode ser o uso de fones de ouvido com cancelamento de ruído. No entanto, também podem impedir qualquer intervenção do experimentador durante o estudo ou afetar a naturalidade do arranjo experimental.

Outras possíveis modificações poderiam ser aplicadas ao paradigma atual; Por exemplo, se o design do experimento exigir que os participantes interajam com os atores oralmente, ambos os lados podem usar microfones de lapela . Todas as conexões de rede podem ser com ou sem fio, desde que as conexões TCP/IP possam ser estabelecidas. Formas de apresentar as ações em algum contexto poderiam ser investigadas e aplicadas para ver se isso ajudaria a aumentar a naturalidade do paradigma.

A presente configuração poderia ser uma plataforma ideal para estudos de neurociência cognitiva e psicologia cognitiva que requerem tempo preciso e estímulos rigorosamente controlados sob condições pré-definidas. Isso inclui estudos que empregam técnicas como eye-tracking, EEG do couro cabeludo ou intracraniano, fNIRS e até MEG, seja com setups tradicionais ou em setups mais móveis, hoje mais viáveis³⁸. Pesquisadores dessas áreas podem personalizar as propriedades externas do cenário, como a iluminação da sala ou o número de atores, bem como os objetos a serem apresentados. Outra possibilidade é que os pesquisadores poderiam manipular as propriedades de exibição da tela digital para fornecer uma exibição mais opaca ou transparente de acordo com as necessidades de seu estudo. Outras possíveis áreas de pesquisa nas quais a metodologia proposta pode ser usada podem ser a pesquisa de interação humano-robô, onde interações em tempo real entre humanos e robôs são necessárias em cenários realistas.

Em conclusão, dada a necessidade de se avançar para estudos mais naturalísticos que se aproximem mais de situações do mundo real em neurociência cognitiva13,14,15,16,17,18,19,20,21,38 , desenvolvimentos tecnológicos significativos em imagens naturalísticas cérebro-corpo (por exemplo, uso simultâneo de EEG, captura de movimento, EMG e rastreamento ocular) e o uso de aprendizagem profunda como uma estrutura fundamental para o processamento de informações humanas^39,40, acreditamos que é o momento certo para começar a estudar a percepção de ações ao vivo^, bem como seus fundamentos neurais.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)