Una configuración naturalista para presentar personas reales y acciones en vivo en estudios de psicología experimental y neurociencia cognitiva

Summary

Este estudio presenta una configuración experimental naturalista que permite a los investigadores presentar estímulos de acción en tiempo real, obtener datos de tiempo de respuesta y seguimiento del ratón mientras los participantes responden después de cada visualización de estímulo, y cambiar de actor entre condiciones experimentales con un sistema único que incluye una pantalla especial de diodo orgánico emisor de luz transparente (OLED) y manipulación de luz.

Abstract

La percepción de las acciones de los demás es crucial para la supervivencia, la interacción y la comunicación. A pesar de décadas de investigación en neurociencia cognitiva dedicada a comprender la percepción de las acciones, todavía estamos lejos de desarrollar un sistema de visión por computadora inspirado neuralmente que se acerque a la percepción de la acción humana. Un desafío importante es que las acciones en el mundo real consisten en eventos que se desarrollan temporalmente en el espacio que suceden "aquí y ahora" y son estables. En contraste, la percepción visual y la investigación de la neurociencia cognitiva hasta la fecha han estudiado en gran medida la percepción de acción a través de pantallas 2D (por ejemplo, imágenes o videos) que carecen de la presencia de actores en el espacio y el tiempo, por lo tanto, estas pantallas son limitadas para permitir la actuabilidad. A pesar del creciente cuerpo de conocimiento en el campo, estos desafíos deben superarse para una mejor comprensión de los mecanismos fundamentales de la percepción de las acciones de los demás en el mundo real. El objetivo de este estudio es introducir una configuración novedosa para llevar a cabo experimentos de laboratorio naturalistas con actores en vivo en escenarios que se aproximan a los entornos del mundo real. El elemento central de la configuración utilizada en este estudio es una pantalla transparente de diodo orgánico emisor de luz (OLED) a través de la cual los participantes pueden ver las acciones en vivo de un actor físicamente presente mientras se controla con precisión el momento de su presentación. En este trabajo, esta configuración se probó en un experimento de comportamiento. Creemos que la configuración ayudará a los investigadores a revelar mecanismos cognitivos y neuronales fundamentales y previamente inaccesibles de la percepción de la acción y será una base para futuros estudios que investiguen la percepción social y la cognición en entornos naturalistas.

Introduction

Una habilidad fundamental para la supervivencia y la interacción social es la capacidad de percibir y dar sentido a las acciones de los demás e interactuar con ellas en el entorno circundante. Investigaciones anteriores en las últimas décadas han hecho contribuciones significativas a la comprensión de los principios fundamentales de cómo los individuos perciben y entienden las acciones de los demás 1,2,3,4,5,6,7,8,9,10,11 . Sin embargo, dada la complejidad de las interacciones y las circunstancias en las que ocurren, existe una necesidad obvia de desarrollar aún más el cuerpo de conocimiento en entornos naturalistas para alcanzar una comprensión más completa de esta compleja habilidad en entornos de la vida diaria.

En ambientes naturales como nuestros entornos de la vida diaria, la percepción y la cognición exhiben características incorporadas, incrustadas, extendidas y enactivas¹². En contraste con los relatos internalistas de las funciones cerebrales que tienden a subestimar los roles del cuerpo y el medio ambiente, los enfoques contemporáneos de la cognición incorporada se centran en el acoplamiento dinámico del cerebro, el cuerpo y el medio ambiente. Por otro lado, la mayoría de las investigaciones en psicología social, psicología cognitiva y neurociencia sobre la percepción de la acción tienden a asumir que la utilización de diseños de experimentos bien controlados y simplificados en condiciones de laboratorio (por ejemplo, imágenes o videos en tareas computarizadas) produce resultados que pueden generalizarse a escenarios más complejos, como las interacciones del mundo real. 1,2,3,4,5,6,7 ,8,9,10,11. Esta suposición garantiza que se puedan obtener datos sólidos y fiables en muchas circunstancias. Sin embargo, un desafío bien conocido es que la validez de los modelos derivados de experimentos cuidadosamente controlados es limitada cuando se prueban en un contexto del mundo real¹³. En consecuencia, se han realizado investigaciones adicionales 13,14,15,16,17,18,19,20,21,22 para abordar la validez ecológica y externa de estímulos y diseños experimentales en diversos campos de investigación.

En este estudio, se sugiere un método novedoso para investigar cómo los individuos perciben y evalúan las acciones de los demás mediante el uso de acciones en vivo realizadas por un actor real y físicamente presente. Se emplean escenarios similares a contextos de la vida real, mientras que los experimentadores tienen control sobre posibles factores de confusión. Este estudio es una forma de "investigación naturalista de laboratorio", en el marco de Matusz et al.14 que puede concebirse como una etapa intermedia entre la "investigación clásica de laboratorio", que hace uso del máximo control sobre los estímulos y el medio ambiente, a menudo a expensas de la naturalidad, y la "investigación del mundo real totalmente naturalista", que tiene como objetivo maximizar la naturalidad a expensas del control sobre la estimulación y el medio ambiente ¹⁴. El estudio tiene como objetivo abordar la necesidad de investigaciones empíricas a este nivel en la investigación de percepción de acción para cerrar la brecha entre los hallazgos obtenidos en experimentos de laboratorio tradicionales con un alto grado de control experimental y los hallazgos obtenidos en estudios realizados en entornos naturales sin restricciones.

Experimentos controlados versus experimentos sin restricciones
El control experimental es una estrategia eficiente para diseñar experimentos para probar una hipótesis específica, ya que permite a los investigadores aislar las variables objetivo de los posibles factores de confusión. También permite revisar la misma hipótesis con ciertos niveles de enmiendas, como usar estímulos ligeramente o totalmente diferentes en el mismo diseño o probar los mismos estímulos en configuraciones experimentales alternativas. La investigación sistemática a través de experimentos controlados es una forma tradicional de metodología en la investigación en ciencia cognitiva y dominios relevantes. Los experimentos controlados todavía ayudan a establecer el cuerpo de conocimiento sobre los principios fundamentales de los procesos cognitivos en varios dominios de investigación, como la atención, la memoria y la percepción. Sin embargo, investigaciones recientes también han reconocido las limitaciones de los experimentos de laboratorio tradicionales en términos de generalizar los hallazgos a entornos del mundo real, y se ha alentado a los investigadores a realizar estudios en entornos ecológicos mejorados 13,14,15,16,17,18,19,20,21 . Este cambio tiene como objetivo abordar dos cuestiones importantes con respecto a la discrepancia entre los experimentos de laboratorio tradicionales y los entornos del mundo real. En primer lugar, el mundo fuera del laboratorio es menos determinista que en los experimentos, lo que limita el poder representativo de las manipulaciones experimentales sistemáticas. En segundo lugar, el cerebro humano es altamente adaptable, y esto a menudo se subestima debido a las limitaciones prácticas del diseño y la realización de estudios experimentales²². El concepto de "validez ecológica"^23,24 se ha utilizado para abordar los métodos para resolver este problema. El término se usa generalmente para referirse a un requisito previo para la generalización de los hallazgos experimentales al mundo real fuera del contexto del laboratorio. La validez ecológica también ha sido interpretada como referida a la validación de configuraciones experimentales virtualmente naturalistas con estímulos sin restricciones para asegurar que el diseño del estudio sea análogo a los escenarios de la vida real²⁵. Debido al alto grado de varianza en la interpretación de este término, se requiere una comprensión de las ventajas y limitaciones de las metodologías alternativas y la selección de estímulos.

Niveles de naturalismo en estímulos y diseño de experimentos
Trabajos previos en psicología experimental y neurociencia cognitiva han utilizado una amplia gama de estímulos con diferentes niveles de naturalismo²⁶. La mayoría de los investigadores prefieren usar imágenes estáticas o videos dinámicos cortos porque estos estímulos son más fáciles de preparar que aquellos que podrían simular una acción real o un evento. A pesar de tener ventajas, estos estímulos no permiten a los investigadores medir comportamientos contingentes entre los agentes sociales. En otras palabras, no son actuables y no tienen asequibilidad social²⁷. En los últimos años, se ha desarrollado una alternativa a estos estímulos no interactivos: animaciones en tiempo real de avatares virtuales. Estos avatares permiten la investigación de las interacciones entre los avatares y sus usuarios. Sin embargo, el uso de avatares virtuales está sujeto a una menor aprehensión del usuario, especialmente cuando no parecen particularmente atractivos en términos de sus comportamientos realistas y contingentes²⁶. Por lo tanto, ahora hay más interés en utilizar estímulos sociales reales en estudios experimentales. Aunque su diseño, registro de datos y análisis pueden requerir equipos avanzados y análisis de datos complejos, son los mejores candidatos para comprender el comportamiento y la cognición humana naturalista.

El presente estudio propone una metodología para utilizar estímulos sociales de la vida real en un entorno de laboratorio. Este estudio tiene como objetivo investigar cómo las personas perciben y evalúan las acciones de los demás en un entorno con mayor validez ecológica en comparación con los experimentos de laboratorio tradicionales. Hemos desarrollado y descrito una configuración novedosa en la que los participantes están expuestos a actores reales que están físicamente presentes y comparten el mismo entorno con ellos. En este protocolo, se miden los tiempos de respuesta de los participantes y las trayectorias de los ratones, lo que requiere un momento preciso de la presentación de los estímulos y un control estricto sobre las condiciones experimentales en este entorno ecológico mejorado. Por lo tanto, el paradigma experimental se destaca entre los marcos presentes en la literatura ya que la naturalidad de los estímulos se maximiza sin sacrificar el control sobre el medio ambiente. A continuación, el protocolo presenta los pasos para establecer dicho sistema y luego continúa con los resultados representativos para los datos de muestra. Finalmente, se presenta una discusión sobre el significado del paradigma, las limitaciones y los planes de modificación.

Diseño experimental
Antes de pasar a la sección de protocolo, describimos los parámetros utilizados en el presente estudio y presentamos los detalles de los estímulos junto con el diseño experimental.

Parámetros en el estudio
Este estudio tiene como objetivo medir cómo el tipo de actor y la clase de acciones que realizan afectan los procesos de percepción mental de los participantes. En el protocolo, el proceso de percepción mental se mide en dos dimensiones principales, a saber, la agencia y la experiencia, como lo proponen investigaciones anteriores²⁸. También se incluyen los extremos superior e inferior de estas dos dimensiones, como introdujeron recientemente Li et ^al.29.

La estructura del estudio se inspiró en la versión³⁰ de categoría única de la tarea de asociación implícita (IAT) comúnmente ^utilizada31. En esta tarea, los tiempos de respuesta de los participantes mientras hacen coincidir un concepto de atributo con el concepto objetivo se utilizan como una indicación de la fuerza de sus asociaciones implícitas para estos dos conceptos. En la adaptación de esta tarea implícita, a los participantes se les presentan acciones en vivo realizadas por actores reales y se les exige que las hagan coincidir con los conceptos objetivo. Los conceptos objetivo son los extremos superior e inferior de la agencia o dimensiones de experiencia, dependiendo del bloque del experimento.

En resumen, las variables independientes son Tipo de actor y Clase de acción. El tipo de actor tiene dos niveles (es decir, dos actores diferentes, Actor1 y Actor2, que actúan en el estudio). Action Class tiene dos niveles: Action Class1 y Action Class2, y cada clase contiene cuatro acciones. Los participantes evalúan a los dos actores por separado en cuatro bloques (un actor en cada bloque), y en cada bloque, los actores realizan todas las acciones en un orden contrapesado. Los participantes realizan evaluaciones con respecto a dos dimensiones predefinidas y forzadas: Agencia y Experiencia. Los cuatro bloques en el experimento son (1) Actor1 en Bloque de agencia, (2) Actor2 en Bloque de agencia, (3) Actor1 en Bloque de experiencia y (4) Actor2 en Bloque de experiencia. El orden de los bloques también se contrapone entre los participantes, de modo que los bloques con el mismo agente nunca se siguen.

Además de las respuestas de los participantes, se registran los tiempos de respuesta y las coordenadas x-y del ratón inalámbrico que utilizan mientras se mueven hacia una de las dos alternativas de respuesta. Por lo tanto, las variables dependientes son la respuesta y el tiempo de respuesta (RT) de los participantes, así como las mediciones de desviación máxima (DM) y área bajo la curva (AUC), derivadas del seguimiento del ratón de la computadora. La respuesta variable es categórica; puede ser Alta o Baja, y dado que las evaluaciones se realizan en uno de los bloques dados, las respuestas también se pueden etiquetar como Alta Agencia, Baja Agencia, Alta Experiencia o Baja Experiencia. El tiempo de respuesta es una variable continua; Su unidad es segundos, y se refiere al tiempo transcurrido entre el inicio de la presentación de una acción y la ocurrencia de un clic del mouse en una de las alternativas de respuesta. El DM de una trayectoria es una variable continua, y se refiere a la mayor desviación perpendicular entre la trayectoria del participante (s) y la trayectoria idealizada (línea recta). El AUC de una trayectoria es también una variable continua, y se refiere al área geométrica entre la trayectoria del participante (s) y la trayectoria idealizada³².

Estímulos y diseño del experimento
En el presente estudio se utiliza un experimento en tres etapas. Las mediciones de la tercera parte se utilizan para los análisis; Las dos primeras partes sirven como preparación para la parte final. A continuación, describimos cada parte del experimento junto con los estímulos e hipótesis experimentales.

En el Experimento Parte 1 (parte de entrenamiento léxico), los participantes completan una sesión de capacitación para comprender los conceptos de Agencia y Experiencia y los niveles de capacidad representados con las palabras Alto y Bajo. Para seleccionar los conceptos (n = 12) a ser utilizados en esta sesión de capacitación, algunos de los autores del presente trabajo realizaron un estudio normativo³³. Dado que el presente estudio estaba previsto que se realizara en los idiomas nativos de los participantes, los conceptos también se tradujeron al turco antes de normalizarse. Los conceptos fueron seleccionados de entre aquellos que estaban fuertemente asociados con los extremos Alto (n = 3) y Bajo (n = 3) de las dos dimensiones (seis conceptos para cada uno). Esta parte es crucial ya que se espera que la comprensión de los conceptos por parte de los participantes guíe sus procesos de evaluación.

En el Experimento Parte 2 (parte de identificación de acciones), los participantes observan las mismas ocho acciones realizadas por Actor1 y Actor2 una tras otra e informan cuál es la acción al experimentador. Esta sección sirve como una comprobación de manipulación; Al presentar todas las acciones cuando ambos actores las están realizando, es posible asegurarse de que los participantes entiendan las acciones y estén familiarizados con los actores antes de comenzar la prueba implícita, donde necesitan hacer evaluaciones rápidas. Las acciones seleccionadas para Action Class1 y Action Class2 son aquellas que tuvieron los puntajes H y niveles de confianza más altos (cuatro ejemplos de acción diferentes en cada clase de acción) de acuerdo con los resultados de los dos estudios normativos (N = 219) para cada condición de actor realizado por algunos de los autores (manuscrito en preparación). Todas las acciones se realizan en un tiempo igual de 6 s.

Este es un estudio en curso, y tiene algunos otros componentes; Sin embargo, las hipótesis para las secciones descritas anteriormente son las siguientes: (i) el tipo de actor afectará a las variables dependientes; Actor2 producirá RT más largos, MD más altos y AUC más grandes en comparación con Actor1; ii) el tipo de acción afectará a las mediciones dependientes; Action Class1 producirá RT más largos, MD más altos y AUC más grandes en comparación con Action Class2; (iii) las mediciones dependientes para las respuestas altas y bajas para el mismo actor y clase de acción diferirán entre las dimensiones del bloque: Agencia y Experiencia.

Protocol

Los protocolos experimentales en este estudio fueron aprobados por el Comité de Ética para la Investigación con Participantes Humanos de la Universidad de Bilkent. Todos los participantes incluidos en el estudio eran mayores de 18 años, y leyeron y firmaron el formulario de consentimiento informado antes de comenzar el estudio.

1. Pasos generales de diseño

NOTA: La Figura 1A (vista superior) y la Figura 1B y la Figura 1C (vistas frontal y posterior) muestran el diseño del laboratorio; Estas figuras se crearon con respecto a la configuración original del laboratorio diseñada para este estudio en particular. La figura 1A muestra el diseño de la vista superior del laboratorio. En esta figura, es posible ver luces LED en el techo y el gabinete del actor. El sistema de cortina opaca divide la habitación por la mitad y ayuda a la manipulación de la luz al evitar que la luz se filtre en la parte frontal de la habitación (Área de participantes). La Figura 1B presenta la visión del laboratorio desde la perspectiva del experimentador. El participante se sienta justo en frente de la pantalla OLED, y usando la pantalla transparente, puede ver las acciones en vivo realizadas por los actores. Dan sus respuestas utilizando el dispositivo de respuesta (un ratón inalámbrico) frente a ellos. El experimentador puede ver simultáneamente al actor a través de la pantalla del participante (pantalla OLED) y las imágenes provenientes de la cámara de seguridad. La Figura 1C muestra el backstage del estudio (Área de Actores) con la cámara de seguridad y la computadora personal (PC) del Actor, que no son visibles para el participante. Las imágenes de la cámara de seguridad van a la PC de la cámara para establecer la comunicación entre los actores y el experimentador. El PC Actor muestra el orden de los bloques y la siguiente información de acción al actor para que el experimento fluya sin ninguna interrupción. Los actores pueden verificar la siguiente acción rápidamente mientras los participantes responden a la acción en el ensayo anterior.

Figura 1: Configuración del laboratorio naturalista. (A) Vista de arriba hacia abajo de la configuración del laboratorio naturalista. (B) Los lados posterior y frontal de la configuración experimental naturalista desde el punto de vista del participante. (C) La parte posterior y frontal de la configuración experimental naturalista desde el punto de vista del actor. Haga clic aquí para ver una versión más grande de esta figura.

1. Diseñe una configuración que incluya tres computadoras, incluyendo (1) una computadora de escritorio de control principal (Experimenter PC), (2) una computadora portátil de actor (Actor PC) y (3) una PC con cámara, un dispositivo de respuesta inalámbrica (Mouse participante), dos pantallas, un circuito de iluminación y una cámara de seguridad (consulte la Figura 2A para el diagrama del sistema de la configuración de este estudio).
   NOTA: El Experimenter PC será utilizado por el experimentador para ejecutar los guiones del experimento, el Actor PC será utilizado por el actor para rastrear los bloques del experimento y el orden de las acciones en los bloques, y el tercer dispositivo, el Camera PC, se conectará a la cámara de seguridad ubicada en el área del actor y será utilizado por el experimentador para monitorear el backstage.
2. Conecte las pantallas separadas (una para la presentación de estímulos [Participant Display], que es la pantalla OLED) y una pantalla para el monitoreo del experimento, el dispositivo de respuesta y el circuito de iluminación (a través de cables o conexiones inalámbricas) a la PC del Experimentador (ver Figura 2A).
3. Conecte el PC del experimentador y el PC del actor a través de una red inalámbrica para transmitir información relacionada con el estado del experimento (por ejemplo, "el ID de la próxima acción es 'saludo'") a los actores.
4. Diseñe y construya un circuito de iluminación que (consulte la Figura 2B para la placa de circuito) pueda ser controlado por un microcontrolador para encender y apagar los LED.
   NOTA: La Figura 3A muestra el uso opaco de la pantalla OLED utilizada en el estudio desde el punto de vista del experimentador. Para garantizar la opacidad, el fondo de la pantalla se ajusta a blanco (RGB: 255, 255, 255), y todas las luces de la sala (tanto en el Área de participantes como en el Área de actores) se apagan. El participante ve la fijación ante los estímulos. La Figura 3B muestra el uso transparente de la pantalla digital en el estudio desde el punto de vista del experimentador. Para permitir la transparencia, el fondo de la pantalla se ajusta a negro (RGB: 0, 0, 0) y las luces LED del techo están encendidas. El participante observa al actor. La Figura 3C muestra el uso opaco de la pantalla digital en el estudio. Para garantizar la opacidad, el fondo de la pantalla se ajusta a blanco (RGB: 255, 255, 255) y todas las luces de la habitación se apagan. Al participante se le presenta la pantalla de evaluación para dar una respuesta. Deben arrastrar el cursor a la parte superior izquierda o superior derecha de la pantalla (una de las dos opciones de respuesta, ya sea Alta o Baja) con un mouse inalámbrico. Se registra su trayectoria de ratón y tiempo de respuesta.
5. Conecte el microcontrolador al PC del experimentador.
6. Almacene los scripts que ejecutan el experimento en el equipo del experimentador.
   NOTA: La Figura 4A muestra el backstage (Área de actores) durante el experimento. Las luces delanteras de la sala (Área de participantes) están apagadas y el PC del actor muestra el nombre de la acción que realizará el actor. La Figura 4B muestra el gabinete de actores en el que los actores pueden esperar su turno y cambiar sus atuendos. El gabinete del actor no es visible desde la vista del participante, y dado que se utiliza un sistema de cortina, los actores pueden usar cualquier entrada que deseen. Durante el experimento, las luces fluorescentes que se muestran en la figura están apagadas.

Figura 2: Sistema y diagrama de cableado . (A) El diagrama del sistema de la configuración experimental naturalista. (B) El diagrama de cableado del circuito de luz que soporta la pantalla OLED durante el experimento. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Pantalla OLED desde el punto de vista del experimentador. (A) Uso opaco de la pantalla digital OLED desde el punto de vista del experimentador. (B) Uso transparente de la pantalla digital OLED desde el punto de vista del experimentador. (C) Uso opaco de la pantalla digital OLED desde el punto de vista del experimentador durante un período de respuesta. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Backstage del experimento. (A) Backstage durante un ensayo experimental. (B) El gabinete del actor está en la parte posterior de la pantalla OLED, en el que los actores pueden esperar a que su turno sea visible durante el experimento. Haga clic aquí para ver una versión más grande de esta figura.

2. Diseño e implementación del circuito de iluminación

1. Pasos a seguir antes de alimentar los dispositivos/componentes del circuito
   1. Para cambiar los estados de los LED instalados entre bastidores (Área de actores), proporcione al PC del experimentador la capacidad de cambiar los LED a ON o OFF.
   2. Para transmitir los comandos digitales que se enviarán desde el PC del Experimentador a través de un cable USB, seleccione un dispositivo microcontrolador que pueda tomar entradas digitales y generar una salida digital (consulte la Tabla de materiales para el microcontrolador utilizado en este estudio).
   3. Seleccione un puerto USB específico del PC Experimenter para conectarlo a la entrada USB del microcontrolador mediante un cable USB. No encienda el PC antes de asegurarse de que todas las conexiones se han establecido correctamente.
   4. Incluye un módulo de conmutación para aumentar la amplitud de la señal de salida (alrededor de 3,3 V) generada por el microcontrolador.
   5. Conecte el pin de salida digital designado (para este experimento, el pin designado es D9) y los pines de tierra del microcontrolador al módulo de conmutación.
   6. Para ejecutar la carga (los LED), incluya un módulo de transistor de efecto de campo (MOSFET) de metal-óxido-semiconductor de alta potencia (o módulo MOSFET) impulsado por la señal generada por el módulo de conmutación, y conecte los pines de señal del módulo MOSFET al par señal-tierra correspondiente en el módulo de conmutación.
   7. Conecte los pines de la cama caliente del módulo MOSFET a la carga.
   8. Para suministrar un voltaje constante regulado a los módulos (e indirectamente, a los LED), incluya una fuente de alimentación LED que tome la entrada de corriente alterna (CA) y genere un voltaje de CC constante en el circuito.
   9. Conecte las salidas de la fuente de alimentación LED a las entradas de alimentación tanto del módulo MOSFET como del módulo de conmutación.
2. Pasos a seguir después de cablear los componentes del circuito
   1. Conecte el cable USB al puerto USB seleccionado del PC del experimentador.
   2. Cree un enlace de comunicación serie entre el microcontrolador y el entorno de software que se ejecuta en el PC del experimentador (consulte la subsección Conexión del microcontrolador al PC del experimentador).
   3. Conecte la fuente de alimentación LED a la entrada de red de CA.

3. Programación del experimento

NOTA: Cree tres scripts experimentales principales (ExperimentScript1.m [Archivo de codificación complementaria 1], ExperimentScript2.m [Archivo de codificación complementaria 2] y ExperimentScript3.m [Archivo de codificación complementaria 3]), así como varias funciones (RecordMouse.m [Archivo de codificación complementaria 4], InsideROI.m [Archivo de codificación complementaria 5], RandomizeTrials.m [Archivo de codificación complementaria 6], RandomizeBlocks.m [Archivo de codificación complementaria 7], GenerateResponsePage.m [Archivo de codificación complementario 8], GenerateTextures.m [Archivo de codificación complementario 9], ActorMachine.m [Archivo de codificación complementario 10], MatchIDtoClass.m [Archivo de codificación complementario 11] y RandomizeWordOrder.m [Archivo de codificación complementario 12]) para realizar el experimento.

NOTA: Consulte los scripts relacionados para obtener explicaciones detalladas.

1. Aleatorización de las órdenes de ensayo y bloqueo
   1. Defina y cree dos funciones para aleatorizar las órdenes de ensayo (RandomizeTrials.m) y las órdenes de bloque (RandomizeBlocks.m) que toman los parámetros de aleatorización (como el ID del participante) como entradas y devuelven una matriz de secuencias pseudoaleatorias.
   2. Consulte los scripts RandomizeBlocks.m (líneas 2-24) y RandomizeTrials.m (líneas 3-26) para obtener detalles sobre cómo se generan las secuencias aleatorias.
2. Seguimiento de la respuesta (RecordMouse, InsideRoi)
   1. Cree una función que rastree y registre la trayectoria del mouse de los participantes y el tiempo transcurrido durante el experimento (consulte RecordMouse.m).
   2. Cree una función auxiliar para comprobar si las coordenadas en las que se ha hecho clic se encuentran dentro de las regiones aceptables o no (consulte el script InsideRoi.m).
3. Generación de texturas para instrucciones y comentarios (GenerateTextures.m, GenerateResponsePage.m)
   1. Prepare las instrucciones relacionadas con el experimento y los comentarios relacionados con los ensayos como imágenes.
   2. Guarde el contenido de estas imágenes en un archivo .mat (consulte Archivo ExperimentImages.mat [Archivo de codificación suplementario 13]).
   3. Cargue el archivo .mat en el área de trabajo (consulte GenerateTextures.m, línea 25) después de crear una ventana en pantalla.
   4. Cree una textura independiente y su identificador para cada imagen (consulte GenerateTextures.m líneas 27-165).
   5. Defina una función para dibujar las texturas de página de respuesta relacionadas para cada script de experimento (consulte GenerateResponsePage.m).
4. Conexión del PC Actor al PC Experimenter a través de TCP/IP
   1. Cree un socket de servidor TCP en el script (consulte ExperimentScript2.m línea 174) que se ejecuta en el equipo del experimentador.
   2. Cree un socket de cliente TCP correspondiente en el script (consulte ActorMachine.m línea 16) que se ejecuta en el PC de Actor.
   3. Envíe información sobre el próximo bloque/prueba a los actores desde el guión (consulte las líneas 207, 229 y 278 en ExperimentScript2.m o consulte las líneas 136, 141, 153, 159 y 297 en ExperimentScript3.m) que se ejecuta en el equipo del experimentador.
   4. Muestre la información recibida del PC del Experimentador en la ventana en pantalla del PC del Actor (consulte las líneas 31-47 en ActorMachine.m).
5. Conexión del microcontrolador al PC del experimentador
   1. Conecte el microcontrolador a un puerto USB específico (por ejemplo, PUERTO 9) para controlar el estado (ON o OFF) de los LED instalados detrás del escenario.
   2. Establezca una comunicación serie entre el dispositivo microcontrolador y el PC del experimentador (consulte la línea 185 en el script ExperimentScript2.m).
   3. Envíe una señal lógica alta (1) al microcontrolador desde el script que se ejecuta en el PC del Experimentador (consulte la línea 290 en ExperimentScript2.m o consulte la línea 311 en los scripts ExperimentScript3.m) para encender los LED cuando las acciones se muestren a través del cable USB.
   4. Envíe una señal lógica baja (0) al microcontrolador desde el script que se ejecuta en el PC del experimentador (consulte la línea 292 en ExperimentScript2.m o consulte la línea 314 en los scripts de ExperimentScript3.m) para apagar los LED cuando se espera que el participante dé una respuesta.

4. El flujo de un experimento de muestra

1. Pasos previos al experimento
   1. Asegúrese de que todos los dispositivos del laboratorio (Experimenter PC, Camera PC, Actor PC y Participant Display) estén alimentados por un UPS.
   2. Vincule el microcontrolador Lightning a la PC del Experimentador a través de un cable USB, para que se encienda automáticamente cuando se encienda el PC del Experimentador).
   3. Encienda el PC del experimentador y compruebe si está conectado a Wi-Fi de 5 GHz.
   4. Elija el dispositivo de sonido (los altavoces de la Tabla de materiales) como dispositivo de salida de sonido del PC del experimentador.
   5. Encienda la pantalla del participante y establezca la configuración de volumen al 80%.
   6. Establezca la configuración de pantalla del PC Experimenter para varios monitores. Extienda la visualización del PC experimental a la pantalla del participante. La pantalla del PC del Experimentador será 1 y la Pantalla del Participante será 2.
   7. Encienda el PC Actor y compruebe si está conectado a Wi-Fi de 5 GHz.
   8. Conecte la cámara de seguridad al Actor PC a través de un cable USB, para que se encienda automáticamente cuando se encienda el Actor PC.
   9. Encienda el PC con cámara y abra la aplicación de la cámara en el escritorio. Asegúrese de que cada actor, sus movimientos y su entrada y salida al gabinete sean visibles desde la cámara.
   10. Asegúrese de que todas las computadoras, pantallas y dispositivos (el dispositivo de respuesta [mouse inalámbrico del participante], los altavoces, el teclado y el mouse de la PC Experimenter y Actor PC y el microcontrolador Lightning) funcionen correctamente.
   11. Dar la bienvenida al participante a otra sala; Después de dar información breve sobre el estudio, proporcione el formulario de consentimiento y deje que el participante lo firme.
   12. Pídale al participante que saque un número de una bolsa y dígales que el número será su identificación de participante durante todo el estudio.
   13. Deje que el participante complete el formulario de datos demográficos en línea con su ID de participante anónimo.
       NOTA: Es crucial que los participantes no vean a los actores antes del experimento. Por lo tanto, este papeleo se completa en otra sala en lugar de la sala de experimentos principal para que los actores puedan tomar descansos entre los participantes.
2. Los pasos del experimento
   1. Abra el software del experimento en el equipo del experimentador, abra el script ExperimentScript1.m y ejecútelo.
   2. Complete la identificación del participante y la edad; luego, el guión iniciará la primera parte del experimento (el primer estímulo visible será una cruz en el centro de la pantalla del participante).
   3. Abra el software del experimento en el PC Actor y abra el script ActorMachine.m.
   4. Coloque el PC con cámara cerca del PC del experimentador y asegúrese de que el material de archivo procedente de la cámara de seguridad no sea visible para el participante.
   5. Dé la bienvenida al participante a la sala principal de experimentos y déjelo sentarse frente a la pantalla del participante.
   6. Dígale al participante que se organice de tal manera que la cruz esté en el medio y recto.
   7. Dé instrucciones sobre las partes del experimento brevemente haciendo referencia a las explicaciones y duraciones escritas en la pizarra.
   8. Apaga todas las luces de la sala de experimentos.
3. Experimento parte 1:
   1. Dígale al participante que completará el entrenamiento léxico/conceptual en la primera parte del experimento. Adviérteles sobre tener cuidado de seguir las instrucciones para que puedan pasar el entrenamiento.
   2. Dígale al participante que el experimento se puede iniciar cuando esté listo.
   3. Presione el botón ESC cuando el participante diga que está listo para la primera parte.
      NOTA: A partir de ahora, el participante progresará a través del experimento leyendo las instrucciones en la pantalla del participante y seleccionando una de las opciones. Recibirán retroalimentación sobre sus respuestas correctas e incorrectas para que puedan progresar bien en la capacitación. El emparejamiento continuará hasta que los participantes alcancen el umbral mínimo (80%) dentro de 10 repeticiones de bloque.
   4. Cuando el participante complete la parte de entrenamiento, presione el botón ESC y dígale al participante que el experimentador está tomando el control del mouse para iniciar la segunda parte del experimento.
4. Experimento parte 2:
   1. Abra el script ExperimentScript2.m y espere el mensaje Esperando el PC de Actor.
   2. Toque el timbre cuando se vea el mensaje para que uno de los actores pueda ejecutar el guión en el PC Actor para habilitar la conexión con el PC Experimenter.
   3. Espere a que aparezca el mensaje Experimento Parte 2 está listo.
   4. Dígale al participante que ahora que la pantalla será transparente mientras observa algunas acciones cortas a través de ella.
   5. Adviérteles que observen cada acción cuidadosamente e infórmeles que deben decir cuál es la acción en voz alta.
   6. Dígale al participante que el experimento se puede iniciar cuando esté listo.
   7. Presione el botón ESC cuando el participante diga que está listo para la primera parte.
      NOTA: El participante avanza a través de las instrucciones y observa la primera acción. Actor1 realiza las acciones cuando las luces LED están encendidas, y comprueba la siguiente acción desde el mensaje en la PC Actor cuando las luces están apagadas. Cuando finalice cada acción, aparecerá un cuadro de diálogo en la pantalla del PC del experimentador.
   8. Escriba lo que dice el participante sobre la acción en el cuadro de diálogo y escriba 1 o 0 en el segundo cuadro de diálogo según la identificación correcta o incorrecta de la acción, respectivamente.
      NOTA: Estos pasos se repetirán ocho veces para el primer actor, y la música de fondo comenzará a reproducirse cuando sea el momento de que los actores cambien de lugar.
   9. Mira el backstage de las imágenes de la cámara de seguridad en el Camera PC.
   10. Presione el botón ESC para iniciar la identificación de Actor2 cuando el actor agite sus manos hacia la cámara de seguridad con el gesto Estoy listo .
   11. Repita los pasos 4.4.7 y 4.4.8 junto con el participante hasta que también se identifiquen las mismas ocho acciones mientras el Actor2 las realiza.
   12. Cuando el participante vea la advertencia Identificación está completa y salga de la pieza haciendo clic en la flecha, presione el botón ESC y dígale al participante que el experimentador está tomando el control del mouse para iniciar la tercera parte del experimento.
5. Experimento parte 3:
   1. Abra el script ExperimentScript3.m.
   2. Dígale al participante que observará las acciones de ambos actores, y luego hará clic en la opción que crea adecuada.
      NOTA: Los participantes evaluarán las acciones de los actores en cuatro bloques. En dos de los bloques, Actor1 realizará las acciones, y en los otros dos, Actor2 realizará las mismas acciones. En dos de los bloques, los participantes evaluarán las acciones atribuyendo capacidades de Agencia Alta o Baja, y en los otros dos, atribuirán capacidades de Alta o Baja Experiencia.
   3. Presione el botón ESC cuando el participante diga que está listo para la tercera parte.
      NOTA: El participante progresa a través de las instrucciones, y comienzan con el primer bloque. Los actores realizan las acciones a la luz, y mientras los participantes dan sus respuestas, la pantalla se vuelve opaca y las luces se apagan para que los actores puedan ver qué acción viene a continuación. Cuando termine cada bloque, los actores cambiarán de lugar siguiendo las indicaciones en la PC del actor.
   4. Compruebe si todo va bien entre bastidores y si el actor adecuado está llevando a cabo la acción correcta durante los bloqueos.
   5. Presione el botón ESC para comenzar el siguiente bloque cuando el actor correcto agite sus manos con el gesto Estoy listo después del reemplazo de los actores.
   6. Repita los pasos 4.5.4 y 4.5.5 en cooperación con el participante y el actor hasta que se completen los cuatro bloques.
   7. Cuando el participante vea el El experimento ha terminado, mensaje de agradecimiento, presione el botón ESC .
   8. Agradezca al participante, y después de informar y tomar firmas, envíe al participante.

La Figura 5 muestra un ensayo de muestra desde el punto de vista del participante. La Figura 5A muestra al participante mirando el cursor en el centro de la pantalla en su uso opaco. La Figura 5B muestra al participante observando los estímulos de acción en vivo a través de la pantalla. La Figura 5C muestra la pantalla de evaluación presentada al participante después de los estímulos, en la que necesita arrastrar el mouse a una de las dos alternativas en cada esquina superior de la pantalla.

Figura 5: Pantalla OLED desde el punto de vista del participante. (A) Uso opaco de la pantalla digital OLED desde el punto de vista del participante durante una pantalla de fijación. (B) Uso transparente de la pantalla digital OLED desde el punto de vista del participante durante la presentación de una acción en vivo. (C) Uso opaco de la pantalla digital OLED desde el punto de vista del participante durante el período de respuesta. Haga clic aquí para ver una versión más grande de esta figura.

5. Preprocesamiento y análisis de datos

1. Segmentación de datos en condiciones
   1. Lea todos los archivos de datos de los participantes en el espacio de trabajo del entorno de software.
   2. Defina las condiciones para agrupar los datos (dos clases de acción [Action Class1 y Action Class2] x dos actores [Actor1 y Actor2] x dos dimensiones [Agencia y Experiencia] x dos niveles [Alto y Bajo]).
   3. Segmente los datos en cuatro grupos principales: Agencia alta, Agencia baja, Experiencia alta y Experiencia baja.
   4. Divida estos grupos principales en cuatro subgrupos (dos actores x dos clases de acción).
   5. Recorra cada archivo de datos para agrupar los ensayos que pertenecen a uno de los cuatro subgrupos definidos anteriormente.
   6. Almacene la información relevante del ensayo (tiempo de respuesta, movimiento del cursor y puntos de tiempo en los que se muestrea la posición del cursor) en estructuras de datos separadas para cada subgrupo.
   7. Salga del bucle cuando todos los ensayos estén agrupados.
2. Visualización de las trayectorias
   1. Después de segmentar los datos, siga estos pasos para visualizar las trayectorias del ratón.
   2. Para aplicar interpolación de tiempo a las trayectorias de respuesta, para cada ensayo, seleccione 101 pares (x,y) de la matriz de trayectorias para que cada subgrupo de datos tenga ensayos con el mismo número de pasos de tiempo.
      NOTA: Al anclar el número de pares a 101, asegúrese de seguir la convención³²para realizar la normalización de tiempo correcta. Por lo tanto, logre la normalización del tiempo usando la siguiente ecuación, donde n es el número de muestras en una matriz de trayectoria:
      
   3. Calcule la suma de los pares (x,y) en cada uno de los 101 puntos de tiempo, y luego divida el resultado obtenido por el número total de ensayos de ese subgrupo para obtener las medias para cada subgrupo (p. ej., Experimente un actor bajo1 o un actor bajo con experiencia2).
   4. Aplique una operación de escala a los valores de fila para visualizar las trayectorias medias.
      NOTA: El plano de coordenadas 2D supone que ambos ejes aumentan desde el punto cero que se encuentra en la esquina inferior izquierda de la ventana (suponiendo que las coordenadas son enteros positivos), mientras que el formato de píxel toma la esquina superior izquierda de la ventana como referencia (por ejemplo, punto cero). Por lo tanto, aplique una operación de escala para las coordenadas y (correspondientes a los valores de fila en formato de píxeles) de las ubicaciones muestreadas extrayendo la coordenada y muestreada de cada ensayo del valor del número total de filas.
   5. Trazar los subgrupos relacionados en la misma figura para comparar.
      NOTA: Cada trayectoria comienza en el centro del rectángulo situado en la parte inferior central, etiquetado como START, y termina dentro de los rectángulos situados en las esquinas superior izquierda o superior-derecha.

6. Condiciones que pueden conducir a fallas del sistema y precauciones

NOTA: En caso de fallo del sistema, es crucial tener una señal física (tocando una campana) para informar al actor sobre la falla y advertirle que permanezca en un lugar que sea invisible para el participante.

1. Fallos debidos a la conexión de red
   1. Si uno de los equipos está conectado a una red diferente, la solicitud de conexión TCP/IP fallará y el sistema mostrará un error. Para evitar esto, asegúrese de que el PC Experimenter y el PC Actor estén en la misma banda de la misma red inalámbrica.
   2. Para asegurarse de que ambos equipos permanezcan en la misma red, borre las redes inalámbricas conectadas previamente de ambos equipos.
   3. Establezca direcciones IP estáticas para los dispositivos en la red seleccionada, ya que las direcciones IP en una red pueden cambiar sin previo aviso.
   4. Cualquier desconexión momentánea (por ejemplo, debido a un corte de energía, corte de Internet, etc.) a la red puede hacer que el script falle. En estas circunstancias, el sistema debe reiniciarse desde el principio para restablecer la conexión TCP/IP.
      NOTA: El proveedor de servicios de Internet puede cumplir el requisito de IP estáticas para dispositivos. Ciertos puertos pueden estar deshabilitados por el sistema operativo o el hardware en un dispositivo determinado; Por lo tanto, los puertos que se van a utilizar en el experimento deben abrirse y no deben tener una conexión activa hasta que se inicie el script del experimento.
2. Fallos debidos a fallas de software
   1. El entorno de software puede bloquearse debido a conexiones fallidas (por ejemplo, conexión de puerto serie, conexión TCP / IP, conexión de pantalla, etc.), y esto puede provocar una pérdida de datos. Para superar esto, divida el script del experimento principal en varios scripts. Por ejemplo, si hay un bloque que debe completarse antes de que los actores comiencen a realizar acciones, no es necesario crear un servidor en la PC del experimentador durante este bloque. El servidor se puede crear cuando el bloque que implica acciones y, por lo tanto, requiere comunicación entre el PC del Experimentador y el PC del Actor, está a punto de iniciarse.

Representative Results

Comparaciones de tiempo de respuesta (RT)
El estudio actual es un proyecto en curso, por lo que, como resultados representativos, se presentan datos de la parte principal del experimento (Experimento Parte 3). Estos datos provienen de 40 participantes, incluidas 23 mujeres y 17 hombres, con edades comprendidas entre 18 y 28 años (M = 22,75, SD = 3,12).

Fue necesario investigar el grado de normalidad de la distribución de las variables dependientes para elegir el método estadístico apropiado para los análisis. Por lo tanto, se realizó la prueba de Shapiro-Wilk para comprender si las tres variables dependientes, a saber, el tiempo de respuesta (RT), la desviación máxima (DM) y el área bajo la curva (AUC), se distribuyeron normalmente. Los puntajes mostraron que los datos para el tiempo de respuesta, W = 0,56, p < 0,001, desviación máxima , W = 0,56, p < 0,001 y área bajo la curva, W = 0,71, p < 0,001, fueron significativamente no normales.

La homogeneidad de las varianzas de las variables dependientes también se verificó aplicando la prueba de Levene para los niveles de las variables independientes, a saber, Tipo de Actor (Actor1 y Actor2) y Clase de Acción (Clase de Acción 1 y Clase de Acción 2). Para las puntuaciones en el tiempo de respuesta, las varianzas fueron similares para Actor1 y Actor2, F(1, 1260) = 0,32, p = 0,571, pero las varianzas para Action Class1 y Action Class2 fueron significativamente diferentes, F(1, 1260) = 8,82, p = 0,003. Para los puntajes en la desviación máxima, las varianzas fueron similares para Actor1 y Actor2, F(1, 1260) = 3.71, p = 0.542, pero las varianzas para Action Class1 y Action Class2 fueron significativamente diferentes, F(1, 1260) = 7.51, p = 0.006 . Para los puntajes en el área bajo la curva, las varianzas fueron similares para Action Class1 y Action Class2, F(1, 1260) = 3.40, p = 0.065, pero las varianzas para Actor1 y Actor2 fueron significativamente diferentes, F(1, 1260) = 4.32, p = 0.037 .

Dado que los datos de este estudio no cumplieron con la distribución normal y la homogeneidad de los supuestos de varianza del ANOVA regular (análisis de varianza) y tuvimos cuatro grupos independientes en un resultado continuo, se aplicó el equivalente no paramétrico de un ANOVA, la prueba de Kruskal-Wallis. Los cuatro grupos independientes se derivaron de las dos variables de respuesta categórica (Alta o Baja) dentro de las dos dimensiones de bloque preforzadas (Agencia y Experiencia). Dado que estábamos interesados en cómo las variables dependientes diferían entre las respuestas de los participantes en todas las dimensiones, los datos se dividieron en cuatro subgrupos de acuerdo con las respuestas en la dimensión Agencia, incluyendo Agencia-Alta y Agencia-Baja, y en la dimensión Experiencia, incluyendo Experiencia-Alta y Experiencia-Baja. A continuación, se presentan los resultados de las pruebas de Kruskal-Wallis para las tres variables independientes. En todos los casos, el umbral de significancia se fijó en p < 0,05.

Resultados del tiempo de respuesta
La Figura 6 presenta los tiempos de respuesta de los participantes según sus respuestas de Alto o Bajo en las cuatro dimensiones de bloque. Los tiempos de respuesta de los participantes se presentan para cada nivel de las dos variables independientes: Tipo de Actor y Clase de Acción. A1 y A2 representan al Actor 1 y al Actor 2, respectivamente, mientras que AC1 y AC2 representan la Clase de Acción 1 y la Clase de Acción 2, respectivamente.

Figura 6: Tiempos de respuesta de los participantes en la tarea en todo el tipo de actor y la clase de acción. Cada panel muestra el tiempo que los participantes pasaron respondiendo hacia uno de los niveles (Alto o Bajo) de la dimensión particular (Agencia y Experiencia). Los asteriscos muestran diferencias significativas entre los niveles de tipo de actor o clase de acción (p < .05). Haga clic aquí para ver una versión más grande de esta figura.

Los tiempos de respuesta no fueron afectados significativamente por el tipo de actor para las respuestas Agencia-Alta, H(1) = 1,03, p = 0,308, Agencia-Baja, H(1) = 2,84, p = 0,091, y Experiencia-Alta, H(1) = 0,001, p = 0,968, pero fueron significativamente afectadas por el tipo de actor para las respuestas Experiencia-Baja, H(1) = 8,54, p = 0,003. Se calculó una prueba de rango con signo de Wilcoxon para investigar el efecto del tipo de actor en las respuestas de Experiencia-Baja. La mediana del tiempo de respuesta para el Actor1 (Mdn = 1,14) fue significativamente más corta que la mediana del tiempo de respuesta para el Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

Los tiempos de respuesta no se vieron afectados significativamente por la clase de acción para las respuestas Agencia-Baja, H(1) = 1,99, p = 0,158 y Experiencia-Alta, H(1) = 0,17, p = 0,675, pero se vieron significativamente afectados por la clase de acción para la Agencia-Alta, H(1) = 10,56, p = 0,001, y Experiencia-Baja, H(1) = 5,13, p = 0,023, respuestas. Los resultados de la prueba de rango con signo de Wilcoxon demostraron que para las respuestas altas de la Agencia, el tiempo de respuesta medio para la Clase de Acción 1 (Mdn = 1.30 ) fue significativamente mayor que el tiempo de respuesta mediano para la Clase de Acción 2 (Mdn = 1.17 ), W = 17433, p = 0.0005; además, para las respuestas de Experiencia-Baja, el tiempo de respuesta medio para la Clase de Acción 1 (Mdn = 1.44) fue significativamente mayor que el tiempo de respuesta mediano para la Clase de Acción 2 (Mdn = 1.21), W = 10002, p = 0.011.

Resultados de seguimiento del ratón
También se registraron los movimientos del ratón de los participantes mientras decidían su respuesta final. La información de tiempo y ubicación se recolectó para calcular las trayectorias motoras promedio de los participantes. La grabación comenzó cuando los participantes vieron los estímulos verbales en la pantalla y terminó cuando dieron una respuesta haciendo clic en una de las opciones (Alta o Baja) en las esquinas superior derecha o superior izquierda de la pantalla.

La Figura 7 presenta las desviaciones máximas de los movimientos del ratón de los participantes según sus respuestas de Alto o Bajo en cuatro dimensiones de bloque. Las desviaciones máximas de los participantes de la línea recta idealizada de la respuesta seleccionada hacia la respuesta alternativa no seleccionada se presentan para cada nivel de las dos variables independientes, Tipo de Actor y Clase de Acción. A1 y A2 representan al Actor 1 y al Actor 2, respectivamente, mientras que AC1 y AC2 representan la Clase de Acción 1 y la Clase de Acción 2, respectivamente.

Figura 7: La desviación máxima de las trayectorias del ratón de los participantes a través del tipo de actor y la clase de acción. Cada panel muestra la desviación máxima de los participantes de la línea recta idealizada de la respuesta seleccionada hacia la respuesta alternativa no seleccionada mientras responden hacia uno de los niveles (Alto o Bajo) para la dimensión particular (Agencia y Experiencia). Los asteriscos muestran diferencias significativas entre los niveles de tipo de actor o clase de acción (p < .05). Haga clic aquí para ver una versión más grande de esta figura.

Las desviaciones máximas no fueron afectadas significativamente por el tipo de actor para las respuestas Agencia-Alta, H(1) = 1,42, p = 0,232, Agencia-Baja, H(1) = 0,19, p = 0,655, y Experiencia-Alta, H(1) = 0,12, p = 0,720, pero fueron significativamente afectadas por el tipo de actor para las respuestas Experiencia-Baja, H(1) = 7,07, p = 0,007. Se realizó una prueba de rango con signo de Wilcoxon para investigar el efecto del tipo de actor en las respuestas de Experiencia-Baja. La mediana de la desviación máxima para el Actor1 (Mdn = 0,03) fue significativamente más corta que la mediana de la desviación máxima para el Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

Las desviaciones máximas no se vieron afectadas significativamente por la clase de acción para las respuestas Agencia-Alta, H(1) = 0,37, p = 0,539, y Experiencia-Alta, H(1) = 1,84, p = 0,174, pero se vieron significativamente afectadas por la clase de acción para la Agencia-Baja, H(1) = 8,34, p = 0,003, y Experiencia-Baja, H(1) = 11,53, p = 0,0006, respuestas. Los resultados de la prueba de rango con signo de Wilcoxon demostraron que para las respuestas bajas de la Agencia, la desviación máxima mediana para la Clase de Acción 1 (Mdn = 0.06) fue significativamente más larga que la desviación máxima mediana para la Clase de Acción 2 (Mdn = 0.02), W = 12516, p = 0.0019. Además, para las respuestas de Experiencia-Baja, la desviación máxima mediana para la Clase de Acción 1 (Mdn = 0.09) fue significativamente mayor que la desviación máxima mediana para la Clase de Acción 2 (Mdn = 0.03), W = 10733, p = 0.0003.

La Figura 8 presenta las áreas bajo la curva de las trayectorias de ratón de los participantes de acuerdo con sus respuestas de Alto o Bajo en cuatro dimensiones de bloque. Las áreas bajo la curva de las respuestas de los participantes en referencia a la línea recta idealizada de la respuesta seleccionada se presentan para cada nivel de las dos variables independientes, Tipo de Actor y Clase de Acción. A1 y A2 representan al Actor 1 y al Actor 2, respectivamente, mientras que AC1 y AC2 representan la Clase de Acción 1 y la Clase de Acción 2, respectivamente.

Figura 8: Las áreas bajo la curva con respecto a la trayectoria idealizada de los movimientos del ratón de los participantes. Cada panel muestra el área bajo la curva mientras los participantes responden hacia uno de los niveles (Alto o Bajo) en la dimensión particular (Agencia o Experiencia). Los asteriscos muestran diferencias significativas entre los niveles de tipo de actor o clase de acción (p < .05). Haga clic aquí para ver una versión más grande de esta figura.

Las áreas bajo las curvas no fueron afectadas significativamente por el tipo de actor para las respuestas Agencia-Alta, H(1) = 0,001, p = 0,968, Agencia-Baja, H(1) = 0,047, p = 0,827, y Experiencia-Alta, H(1) = 0,96, p = 0,324, pero fueron afectadas significativamente por el tipo de actor para las respuestas Experiencia-Baja, H(1) = 8,51, p = 0,003. Se calculó una prueba de rango con signo de Wilcoxon para investigar el efecto del tipo de actor en las respuestas de Experiencia-Baja. La mediana del área bajo la curva para Actor1 (Mdn = −0.03) fue significativamente más profunda que el área mediana bajo la curva para Actor2 (Mdn = 0.02), W = 8731, p = 0.0017.

Las áreas bajo las curvas no se vieron afectadas significativamente por la clase de acción para las respuestas Agencia-Alta, H(1) = 0.01, p = 0.913, pero fueron afectadas significativamente por la clase de acción para la Agencia-Baja, H(1) = 7.54, p = 0.006, Experiencia-Alta, H(1)= 5.87, p = 0.015, y Experiencia-Baja, H(1) = 15.05, p = 0,0001, respuestas. Los resultados de la prueba de rango con signo de Wilcoxon demostraron que para las respuestas bajas de la Agencia, el área mediana bajo la curva para la Clase de Acción 1 (Mdn = 0.03) fue significativamente mayor que el área mediana bajo la curva para la Clase de Acción 2 (Mdn = −0.03), W = 12419, p = 0.003, y para las respuestas de Experiencia-Alta, el área mediana bajo la curva para la Clase de Acción 1 (Mdn = −0,06) fue significativamente menor que la mediana de la desviación máxima para la clase de acción2 (Mdn = −0,02), W = 9827, p = 0,007. Para las respuestas Experiencia-Baja, el área mediana bajo la curva para la Clase de Acción 1 (Mdn = 0.05) fue significativamente mayor que el área mediana bajo la curva para la Clase de Acción 2 (Mdn = −0.03), W = 11049, p < 0.0001.

Resumen y evaluación de los resultados representativos
Dado que este es un estudio en curso, se ha presentado una parte representativa de los datos que tendremos al final de la recopilación de datos a gran escala. Sin embargo, incluso estos datos muestrales apoyan la efectividad del método propuesto en el presente estudio. Pudimos obtener los tiempos de respuesta de los participantes y las trayectorias del ratón mientras daban sus respuestas después de ver las acciones en tiempo real. Podríamos completar todos estos pasos a través de la misma pantalla para que los participantes no cambiaran una modalidad entre observar a los actores reales y dar las respuestas del ratón, lo que nos permitió extender los procedimientos en los experimentos a escenarios de la vida real.

La Tabla 1 resume los resultados de cómo las medidas dependientes, incluyendo los tiempos de respuesta, DM y AUC de las trayectorias del ratón, fueron afectadas por el tipo de actor y la clase de acción, que fueron las principales variables independientes del estudio.

	Tiempo de respuesta (RT)		Desviación máxima (DM)		Área bajo la curva (AUC)
	Tipo de actor	Clase Action	Tipo de actor	Clase Action	Tipo de actor	Clase Action
Agencia Alta	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agencia Baja	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Experiencia alta	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Experiencia baja	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabla 1: Resumen de los resultados. La tabla muestra cómo las medidas dependientes (los tiempos de respuesta, DM y AUC de las trayectorias del ratón) se vieron afectadas por las principales variables independientes (tipo de actor y clase de acción) del estudio. *, ** y *** representan los niveles de significancia p ≤ 0,05, p ≤ 0,01 y p ≤ 0,001, respectivamente.

El tipo de actor tuvo un efecto significativo en los tiempos de respuesta de los participantes; mientras asignaban baja capacidad en la dimensión Experiencia, pasaron más tiempo haciendo esto para Actor2 en comparación con Actor1 en la misma condición (ver Figura 6D). También observamos este mayor tiempo de respuesta en las mediciones de los movimientos del ratón basadas en la DM y el AUC (ver Figura 9 para las trayectorias). Los DM de las trayectorias del ratón hacia respuestas bajas (ver Figura 7D) fueron significativamente mayores, y las AUC de las trayectorias del ratón (ver Figura 8D) fueron significativamente mayores cuando los participantes evaluaron Actor2 en comparación con el Actor 1 (comparando las líneas azules en la Figura 9A, B).

Figura 9: Las trayectorias promedio de los participantes al evaluar las acciones realizadas por Actor1 y Actor2 en la dimensión Experiencia. Las líneas naranjas muestran las trayectorias promedio del ratón hacia respuestas altas; las líneas azules muestran las trayectorias promedio del ratón hacia respuestas bajas. Las líneas rectas discontinuas negras representan las trayectorias de respuesta idealizadas, mientras que las áreas sombreadas grises representan las desviaciones estándar cuadráticas medias. Haga clic aquí para ver una versión más grande de esta figura.

Los tiempos de respuesta de los participantes, mientras respondían Alto a las acciones pertenecientes a la clase de acción1 en la dimensión de la Agencia (véase la ilustración 6A), fueron significativamente más altos que para las acciones pertenecientes a la clase de acción 2; sin embargo, estos tiempos de respuesta más largos no se observaron en las mediciones de DM (ver Figura 7A) y AUC (ver Figura 8A). Mientras respondían Bajo a la Clase de Acción 1 en la dimensión Experiencia, los participantes pasaron significativamente más tiempo del que pasaron para la Clase de Acción 2 (ver Figura 6D), y esto también fue evidente en las puntuaciones de DM (ver Figura 7D) y AUC (ver Figura 8D). La Figura 10 demuestra que los DM de las trayectorias del ratón hacia respuestas bajas (ver Figura 7D) fueron significativamente mayores, y las AUC de las trayectorias del ratón (ver Figura 8D) fueron significativamente mayores mientras los participantes evaluaban acciones pertenecientes a la Clase de Acción 1 en comparación con la Clase de Acción 2 (comparando las líneas azules en la Figura 10A, B).

Figura 10: Las trayectorias promedio de los participantes al evaluar a los actores que realizan las acciones pertenecientes a Action Class1 y Action Class2 en la dimensión Experiencia. Las líneas naranjas muestran las trayectorias promedio del ratón hacia respuestas altas; las líneas azules muestran las trayectorias promedio del ratón hacia respuestas bajas. Las líneas rectas discontinuas negras representan las trayectorias de respuesta idealizadas, mientras que las áreas sombreadas grises representan las desviaciones estándar cuadráticas medias. Haga clic aquí para ver una versión más grande de esta figura.

Aunque no se observaron efectos significativos de la clase de acción en las mediciones del tiempo de respuesta para las otras combinaciones bloque-respuesta, se observó un efecto significativo de la clase de acción en las puntuaciones DM (ver Figura 7B) y AUC (ver Figura 8B) de respuestas bajas en la dimensión Agencia. La Figura 11 demuestra que los participantes dudaron más hacia la alternativa Alta y se movieron más hacia la respuesta Baja cuando estaban evaluando acciones de la Clase de Acción 1 en comparación con las de la Clase de Acción 2 (comparando las líneas azules en las Figuras 11A, B). Finalmente, aunque no hubo un efecto significativo de la clase de acción en las puntuaciones de RT y DM para las respuestas altas en la dimensión Experiencia, se observó un efecto significativo para las AUC (ver Figura 8C) de las trayectorias (ver Figura 10); específicamente, los participantes dudaron más al evaluar la Clase de Acción 2 en comparación con la Clase de Acción 1 (comparando las líneas naranjas en la Figura 10A, B).

Figura 11: Las trayectorias promedio de ratón de los participantes al evaluar a los actores que realizan las acciones pertenecientes a la Clase de Acción 1 y la Clase de Acción 2 en la dimensión Agencia. Las líneas naranjas muestran las trayectorias promedio del ratón hacia respuestas altas; las líneas azules muestran las trayectorias promedio del ratón hacia respuestas bajas. Las líneas rectas discontinuas negras representan las trayectorias de respuesta idealizadas, mientras que las áreas sombreadas grises representan las desviaciones estándar cuadráticas medias. Haga clic aquí para ver una versión más grande de esta figura.

Los resultados hasta ahora apoyan nuestras hipótesis, que sugirieron que habría un efecto del tipo de actor y la clase de acción y que las mediciones dependientes para las respuestas altas y bajas para el mismo actor y clase de acción diferirían en las dimensiones de bloque de Agencia y Experiencia. Dado que este es un estudio en curso, está fuera del alcance de este documento discutir las posibles razones de los hallazgos. Sin embargo, como observación temprana, podríamos enfatizar que aunque algunos resultados para el tiempo de respuesta y las mediciones provenientes del seguimiento del mouse de la computadora se complementaron entre sí, en algunas condiciones de respuesta de bloqueo, observamos que los participantes dudaron hacia la otra alternativa incluso cuando fueron rápidos en sus evaluaciones.

Si no se incluyera una pantalla OLED especial en la configuración, los tiempos de respuesta de los participantes aún podrían recopilarse con algunas otras herramientas, como botones para presionar. Sin embargo, los movimientos del ratón de los participantes no podían ser rastreados sin proporcionar una pantalla adicional y hacer que los participantes vieran esa pantalla y los actores reales de un lado a otro, lo que, a su vez, retrasaría sus respuestas. Así, aunque los tiempos de respuesta son indicadores útiles de la dificultad del proceso de toma de decisiones, las trayectorias de ratón de los participantes revelan más sobre la dinámica en tiempo real de sus procesos de decisión antes de sus respuestas finales^32,34.

Archivo de codificación suplementario 1: ExperimentScript1.m Haga clic aquí para descargar este archivo.

Archivo de codificación complementario 2: ExperimentScript2.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 3: ExperimentScript3.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 4: RecordMouse.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 5: InsideROI.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 6: RandomizeTrials.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 7: RandomizeBlocks.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 8: GenerateResponsePage.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 9: GenerateTextures.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 10: ActorMachine.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 11: MatchIDtoClass.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 12: RandomizeWordOrder.m Haga clic aquí para descargar este archivo.

Archivo de codificación suplementario 13: archivo ExperimentImages.mat Haga clic aquí para descargar este archivo.

Discussion

El objetivo general del presente estudio es contribuir a nuestra comprensión de cómo funcionan la percepción visual humana de alto nivel y la cognición en situaciones de la vida real. Este estudio se centró en la percepción de la acción y sugirió un paradigma experimental naturalista pero controlable que permite a los investigadores probar cómo los individuos perciben y evalúan las acciones de los demás mediante la presentación de actores reales en un entorno de laboratorio.

La importancia de esta metodología propuesta en comparación con las metodologías existentes es triple. (1) La naturalidad de los estímulos se maximiza presentando acciones en vivo a los participantes. (2) Los estímulos del mundo real (es decir, actores), otros estímulos verbales (por ejemplo, palabras o instrucciones) y la pantalla de respuesta de actores y acciones se presentan utilizando la misma modalidad (es decir, la pantalla OLED digital) para que los participantes no pierdan su enfoque mientras cambian la modalidad, como en los casos de uso del vidrio del obturador, por ejemplo³⁵. (3) Los datos sensibles al tiempo, como los datos sobre la duración de la respuesta y las trayectorias del ratón, que necesitan un control estricto del tiempo, se registran utilizando una tarea natural del mundo actual, el uso del ratón.

Ciertos pasos críticos en el protocolo son importantes para que este paradigma funcione sin problemas y permita a los investigadores alcanzar sus objetivos al tiempo que proporciona una experiencia decente para los participantes. Estos pasos son igualmente importantes para crear un sistema de este tipo, por lo que los presentamos individualmente sin ordenarlos de acuerdo con sus niveles de criticidad.

El primer paso crítico se refiere a la manipulación de la iluminación de la sala y el cambio del color del fondo utilizado para la pantalla de visualización del participante. Este paso permite una transición fluida entre el rendimiento de la acción en tiempo real y la pantalla de respuesta después de cada prueba de acción. Cuando se apagan todas las luces de la habitación y se ajusta el fondo de la pantalla a blanco, se logra una opacidad del 100% para que las instrucciones de estudio y los estímulos verbales se puedan mostrar sin distracciones que puedan provenir de los movimientos en el fondo. Para que la pantalla sea transparente y presente los estímulos verbales inmediatamente después de los estímulos de acción, las luces LED en los techos se encienden mientras se mantienen las luces delanteras apagadas para tener una pantalla transparente. El circuito de iluminación es esencial para la manipulación adecuada de la luz en la habitación. Cuando las luces fluorescentes en la parte delantera (Área del participante) y trasera (Área del actor) del laboratorio están encendidas, el metraje del actor parece un poco inclinado y el participante ve el reflejo de sí mismo y de la habitación. Cuando las luces delanteras en el área del participante están apagadas y las luces LED en el área del actor están encendidas, el participante puede ver claramente a los actores sin distracciones. La Figura 1 y la Figura 3 muestran cómo funcionan las manipulaciones de luz en el experimento.

El segundo paso crítico en el protocolo es el control del tiempo. Las acciones duran 6 s, y la iluminación en la parte posterior de la pantalla está automatizada con respecto a las duraciones de las acciones para que no tengamos ningún retraso o aceleración entre los ensayos. Sin embargo, la duración entre los bloques se controla manualmente (es decir, cuando necesitamos un cambio de actor), por lo que podemos comenzar el siguiente bloque después de verificar si todo va según lo planeado detrás del escenario. Este período también es adecuado para solicitudes de participantes o actores, como la necesidad de agua o un cambio en la temperatura en la sala.

El tercer paso crítico se refiere al uso de la cámara de seguridad y la campana. La cámara de seguridad permite la comunicación entre el conductor del experimento y los actores. El experimentador verifica continuamente lo que está sucediendo detrás del escenario, como si el actor está listo o si el actor correcto está en el escenario. Los actores agitan sus manos cuando están listos para realizar las acciones y hacen una señal de cruz cuando hay un problema. El experimentador puede incluso notar si hay un problema con la apariencia de un actor, como olvidar un pendiente en una oreja. La campana permite al experimentador advertir a los actores sobre un problema probable. Cuando escuchan la campana, los actores primero verifican si algo en ellos está mal, y si es el caso, corrigen el problema y le dicen al experimentador que están listos. Si hay un problema del lado del experimentador, los actores escuchan al experimentador explicando el problema al participante. Esperan en silencio hasta que el experimentador llega detrás del escenario para resolver el problema, como volver a conectarse después de perder la conexión a Internet.

El cuarto paso se refiere al uso de una cortina opaca pesada para dividir la habitación, ya que dicho material evita que la luz se filtre en la parte frontal de la habitación. Esta cortina también impide el sonido hasta cierto punto para que los participantes no escuchen los pequeños movimientos de los actores y las conversaciones tranquilas entre el experimentador y los actores en caso de un problema.

El quinto paso es la inclusión del Actor PC y establecer el TCP/IP como protocolo de red, ya que esto garantiza que los mensajes se entreguen al otro extremo, a diferencia de UDP. De esta manera, los actores pueden estar informados sobre la próxima acción que realizarán, y los participantes no se dan cuenta de esto desde su punto de vista. Además, dado que todos los dispositivos están en la misma red, cualquier posible latencia adicional causada por TCP / IP se vuelve insignificante.

El sexto paso esencial en el protocolo es la inclusión de música de fondo entre los bloques. Organizamos la música y los bloques para que cuando el participante responda a la última prueba en un bloque, la música comience a sonar fuerte (al 80% de volumen máximo) para que los actores sepan que es hora de un cambio, y los participantes sepan que pueden beber agua o descansar los ojos. Reproducir música permite una transición suave entre los actores sin escuchar sus movimientos u otros sonidos, proporcionando una sensación similar a ver una obra de teatro en el teatro.

Creemos que la configuración naturalista presentada en este documento es una gran herramienta para investigar si los mecanismos que subyacen a la percepción visual de las acciones de los demás que han sido revelados por los experimentos de laboratorio tradicionales se aproximan al comportamiento natural en el mundo real. Observar a los actores reales y sus acciones en vivo obviamente proporcionará una rica fuente de información visual y multisensorial en 3D y permitirá la actuabilidad debido a la presencia física y social del actor. Por lo tanto, planteamos la hipótesis de que la percepción de acciones en vivo puede provocar respuestas conductuales y neuronales más rápidas y mejoradas en la conocida red de percepción de acción previamente revelada por experimentos de laboratorio tradicionales utilizando imágenes y videos estáticos. Además, la percepción de acciones en vivo puede conducir circuitos neuronales adicionales que procesan señales de profundidad^{3D 36} e información vestibular para coordinar el cuerpo en el espacio mientras se prepara para actuar en el mundo³⁷. Una limitación del presente estudio es que las respuestas de los actores reales en la configuración naturalista no se compararon con las respuestas que se obtendrían para estímulos simplistas como imágenes estáticas o videos. En estudios futuros, trabajaremos hacia este objetivo comparando sistemáticamente las respuestas conductuales y neuronales durante la percepción de la acción en entornos de laboratorio tradicionales con las de la configuración naturalista.

También observamos algunas limitaciones del paradigma propuesto en el presente estudio en varios frentes. La primera es que, como la mayoría de los estudios naturalistas, este método requiere recursos financieros y de tiempo. Dicho estudio será más alto en términos de presupuesto que los estudios que utilizan estímulos dinámicos pregrabados presentados en una pantalla regular, ya que el presente estudio incluye equipos especiales para mostrar las acciones reales, y los actores reales participan en el estudio para cada sesión de recolección de datos. Además, el proceso de recolección de datos para el presente estudio podría tomar más tiempo ya que los actores reales realizan las acciones repetidamente; Hay un límite físico para ellos, a diferencia de los estudios que utilizan imágenes o videos presentados en pantallas de computadora. Otra limitación conexa podría ser la dificultad de asegurarse de que los actores realicen cada acción de la misma manera en todos los bloques y participantes; Sin embargo, con suficiente entrenamiento, los actores pueden tener confianza en cada acción, ya que tienen 6 s de largo. El trabajo futuro podría registrar acciones en vivo y luego usar la visión por computadora para cuantificar la variabilidad entre diferentes ensayos de los experimentos.

En segundo lugar, el nivel de brillo de la pantalla, cuando se usa de forma opaca, y los rápidos cambios en la iluminación entre las pantallas opacas y transparentes pueden causar un problema para los participantes con problemas visuales o trastornos como la epilepsia. Esta limitación potencial se abordó preguntando a los participantes si tenían tal trastorno o preocupación por tal escenario y reclutando a aquellos que informaron que no les molestaría tal escenario. Además, ninguno de los participantes se quejó de la música que tocamos de fondo durante los cambios de actor y bloque, pero algunos participantes podrían ser molestados por ese ruido. Un remedio para esto podría ser el uso de auriculares con cancelación de ruido. Sin embargo, también pueden impedir cualquier intervención del experimentador durante el estudio o afectar la naturalidad de la configuración experimental.

Otras posibles modificaciones podrían aplicarse al paradigma actual; Por ejemplo, si el diseño del experimento requiere que los participantes interactúen con los actores oralmente, ambas partes pueden usar micrófonos de solapa. Todas las conexiones de red pueden ser cableadas o inalámbricas siempre que se puedan establecer conexiones TCP/IP. Las formas de presentar las acciones en algún contexto podrían investigarse y aplicarse para ver si esto ayudaría a aumentar la naturalidad del paradigma.

La configuración actual podría ser una plataforma ideal para estudios de neurociencia cognitiva y psicología cognitiva que requieren un tiempo preciso y estímulos estrictamente controlados en condiciones predefinidas. Esto incluye estudios que emplean técnicas como el seguimiento ocular, el EEG del cuero cabelludo o intracraneal, fNIRS e incluso MEG, ya sea con configuraciones tradicionales o en configuraciones más móviles, que son más factibles hoy en día³⁸. Los investigadores de estos campos pueden personalizar las propiedades externas de la configuración, como la iluminación de la sala o el número de actores, así como los objetos que se presentarán. Otra posibilidad es que los investigadores puedan manipular las propiedades de visualización de la pantalla digital para proporcionar una visualización más opaca o transparente de acuerdo con las necesidades de su estudio. Otras posibles áreas de investigación en las que se puede utilizar la metodología propuesta podrían ser la investigación de interacción humano-robot, donde se necesitan interacciones en tiempo real entre humanos y robots en escenarios realistas.

En conclusión, dada la necesidad de pasar a estudios más naturalistas que se parezcan más a situaciones del mundo real en neurociencia cognitiva 13,14,15,16,17,18,19,20,21,38 , desarrollos tecnológicos significativos en imágenes naturalistas del cuerpo cerebral (por ejemplo, uso simultáneo de EEG, captura de movimiento, EMG y seguimiento ocular), y el uso del aprendizaje profundo como marco fundamental para el procesamiento de información humana^39,40, creemos que es el momento adecuado para comenzar a estudiar la percepción de las acciones en vivo^, así como sus fundamentos neuronales.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)