Una configurazione naturalistica per presentare persone reali e azioni dal vivo in psicologia sperimentale e studi di neuroscienze cognitive

Summary

Questo studio presenta una configurazione sperimentale naturalistica che consente ai ricercatori di presentare stimoli di azione in tempo reale, ottenere tempi di risposta e dati di tracciamento del mouse mentre i partecipanti rispondono dopo ogni visualizzazione dello stimolo e cambiare gli attori tra le condizioni sperimentali con un sistema unico che include uno speciale schermo a diodi organici trasparenti a emissione di luce (OLED) e manipolazione della luce.

Abstract

La percezione delle azioni altrui è cruciale per la sopravvivenza, l'interazione e la comunicazione. Nonostante decenni di ricerca sulle neuroscienze cognitive dedicate alla comprensione della percezione delle azioni, siamo ancora lontani dallo sviluppo di un sistema di visione artificiale ispirato neuralmente che si avvicini alla percezione dell'azione umana. Una grande sfida è che le azioni nel mondo reale consistono in eventi che si svolgono temporalmente nello spazio che accadono "qui e ora" e sono actable. Al contrario, la percezione visiva e la ricerca sulle neuroscienze cognitive fino ad oggi hanno ampiamente studiato la percezione dell'azione attraverso display 2D (ad esempio, immagini o video) che mancano della presenza di attori nello spazio e nel tempo, quindi questi display sono limitati nell'offrire agibilità. Nonostante il crescente corpo di conoscenze nel campo, queste sfide devono essere superate per una migliore comprensione dei meccanismi fondamentali della percezione delle azioni altrui nel mondo reale. Lo scopo di questo studio è quello di introdurre una nuova configurazione per condurre esperimenti di laboratorio naturalistico con attori dal vivo in scenari che si avvicinano alle impostazioni del mondo reale. L'elemento centrale della configurazione utilizzata in questo studio è uno schermo OLED (Organic Light-Emitting Diode) trasparente attraverso il quale i partecipanti possono guardare le azioni dal vivo di un attore fisicamente presente mentre i tempi della loro presentazione sono controllati con precisione. In questo lavoro, questa configurazione è stata testata in un esperimento comportamentale. Riteniamo che la configurazione aiuterà i ricercatori a rivelare meccanismi cognitivi e neurali fondamentali e precedentemente inaccessibili della percezione dell'azione e sarà una base per studi futuri che indagano la percezione sociale e la cognizione in contesti naturalistici.

Introduction

Un'abilità fondamentale per la sopravvivenza e l'interazione sociale è la capacità di percepire e dare un senso alle azioni degli altri e interagire con loro nell'ambiente circostante. Ricerche precedenti negli ultimi decenni hanno dato contributi significativi alla comprensione dei principi fondamentali di come gli individui percepiscono e comprendono le azioni degli altri 1,2,3,4,5,6,7,8,9,10,11 . Tuttavia, data la complessità delle interazioni e le circostanze in cui si verificano, vi è un'ovvia necessità di sviluppare ulteriormente il corpo delle conoscenze in contesti naturalistici al fine di raggiungere una comprensione più completa di questa complessa abilità nei contesti della vita quotidiana.

In ambienti naturali come le nostre impostazioni di vita quotidiana, la percezione e la cognizione mostrano caratteristiche incarnate, incorporate, estese ed enattive¹². In contrasto con i resoconti internalisti delle funzioni cerebrali che tendono a sottovalutare i ruoli del corpo e dell'ambiente, gli approcci contemporanei alla cognizione incarnata si concentrano sull'accoppiamento dinamico di cervello, corpo e ambiente. D'altra parte, la maggior parte della psicologia sociale, della psicologia cognitiva e della ricerca neuroscientifica sulla percezione dell'azione tendono a presumere che l'utilizzo di progetti di esperimenti ben controllati e semplificati in condizioni di laboratorio (ad esempio, immagini o video in attività computerizzate) produca risultati che possono essere generalizzati a scenari più complessi come le interazioni del mondo reale 1,2,3,4,5,6,7 ,8,9,10,11. Questa ipotesi garantisce che dati robusti e affidabili possano essere ottenuti in molte circostanze. Tuttavia, una sfida ben nota è che la validità dei modelli derivati da esperimenti attentamente controllati è limitata quando testati in un contesto reale¹³. Di conseguenza, ulteriori indagini 13,14,15,16,17,18,19,20,21,22 sono state condotte per affrontare la validità ecologica ed esterna di stimoli e disegni sperimentali in vari campi di ricerca.

In questo studio, viene suggerito un nuovo metodo per indagare su come gli individui percepiscono e valutano le azioni degli altri utilizzando azioni dal vivo eseguite da un attore reale e fisicamente presente. Vengono impiegati scenari simili ai contesti di vita reale, mentre gli sperimentatori hanno il controllo sui possibili fattori confondenti. Questo studio è una forma di "ricerca naturalistica di laboratorio", nel quadro di Matusz et al.14 che può essere concepita come una fase intermedia tra la "ricerca di laboratorio classica", che fa uso del massimo controllo sugli stimoli e sull'ambiente, spesso a scapito della naturalezza, e la "ricerca del mondo reale completamente naturalistica", che mira a massimizzare la naturalezza a scapito del controllo sulla stimolazione e sull'ambiente¹⁴. Lo studio mira ad affrontare la necessità di indagini empiriche a questo livello nella ricerca sulla percezione dell'azione al fine di colmare il divario tra i risultati ottenuti in esperimenti di laboratorio tradizionali con un alto grado di controllo sperimentale e i risultati ottenuti in studi condotti in contesti naturali completamente non vincolati.

Esperimenti controllati e esperimenti non vincolati
Il controllo sperimentale è una strategia efficiente per la progettazione di esperimenti per testare un'ipotesi specifica, in quanto consente ai ricercatori di isolare le variabili target da probabili fattori confondenti. Consente inoltre di rivisitare la stessa ipotesi con determinati livelli di modifiche, come l'uso di stimoli leggermente o totalmente diversi nello stesso progetto o testare gli stessi stimoli in configurazioni sperimentali alternative. L'indagine sistematica attraverso esperimenti controllati è una forma tradizionale di metodologia nella ricerca nelle scienze cognitive e nei domini pertinenti. Gli esperimenti controllati aiutano ancora a stabilire il corpo delle conoscenze sui principi fondamentali dei processi cognitivi in vari domini della ricerca, come l'attenzione, la memoria e la percezione. Tuttavia, recenti ricerche hanno anche riconosciuto i limiti degli esperimenti di laboratorio tradizionali in termini di generalizzazione dei risultati alle impostazioni del mondo reale, e i ricercatori sono stati incoraggiati a condurre studi in impostazioni ecologiche migliorate 13,14,15,16,17,18,19,20,21 . Questo cambiamento mira ad affrontare due importanti questioni riguardanti la discrepanza tra gli esperimenti di laboratorio tradizionali e le impostazioni del mondo reale. In primo luogo, il mondo al di fuori del laboratorio è meno deterministico che negli esperimenti, il che limita il potere rappresentativo delle manipolazioni sperimentali sistematiche. In secondo luogo, il cervello umano è altamente adattivo, e questo è spesso sottovalutato a causa dei limiti pratici della progettazione e della conduzione di studi sperimentali²². Il concetto di "validità ecologica"^23,24 è stato utilizzato per affrontare i metodi per risolvere questo problema. Il termine è solitamente usato per riferirsi a un prerequisito per la generalizzazione dei risultati sperimentali al mondo reale al di fuori del contesto di laboratorio. La validità ecologica è stata anche interpretata come riferita alla convalida di configurazioni sperimentali virtualmente naturalistiche con stimoli non vincolati per garantire che il disegno dello studio sia analogo agli scenari della vita reale²⁵. A causa dell'elevato grado di varianza nell'interpretazione di questo termine, è necessaria una comprensione dei vantaggi e dei limiti delle metodologie alternative e della selezione degli stimoli.

Livelli di naturalismo negli stimoli e nella progettazione di esperimenti
Precedenti lavori in psicologia sperimentale e neuroscienze cognitive hanno utilizzato una vasta gamma di stimoli con diversi livelli di naturalismo²⁶. La maggior parte dei ricercatori preferisce utilizzare immagini statiche o brevi video dinamici perché questi stimoli sono più facili da preparare rispetto a quelli che potrebbero simulare un'azione reale o un evento. Nonostante abbiano dei vantaggi, questi stimoli non consentono ai ricercatori di misurare i comportamenti contingenti tra gli agenti sociali. In altre parole, non sono attuabili e non hanno accessibilità sociale²⁷. Negli ultimi anni è stata sviluppata un'alternativa a questi stimoli non interattivi: animazioni in tempo reale di avatar virtuali. Questi avatar consentono l'indagine delle interazioni tra gli avatar e i loro utenti. Tuttavia, l'uso di avatar virtuali è soggetto a una ridotta apprensione degli utenti, soprattutto quando non appaiono particolarmente coinvolgenti in termini di comportamenti realistici e contingenti²⁶. Pertanto, ora c'è più interesse nell'utilizzare stimoli sociali reali negli studi sperimentali. Sebbene la loro progettazione, registrazione dei dati e analisi possa richiedere attrezzature avanzate e analisi di dati complessi, sono i migliori candidati per comprendere il comportamento umano naturalistico e la cognizione.

Il presente studio propone una metodologia per l'utilizzo di stimoli sociali reali in un ambiente di laboratorio. Questo studio mira a indagare come le persone percepiscono e valutano le azioni degli altri in un ambiente con una maggiore validità ecologica rispetto ai tradizionali esperimenti di laboratorio. Abbiamo sviluppato e descritto una nuova configurazione in cui i partecipanti sono esposti ad attori reali che sono fisicamente presenti e condividono lo stesso ambiente con loro. In questo protocollo, vengono misurati i tempi di risposta dei partecipanti e le traiettorie dei topi, il che richiede tempi precisi di presentazione degli stimoli e un rigoroso controllo delle condizioni sperimentali in questo ambiente ecologico migliorato. Pertanto, il paradigma sperimentale spicca tra i quadri presenti in letteratura poiché la naturalezza degli stimoli è massimizzata senza sacrificare il controllo sull'ambiente. Di seguito, il protocollo presenta i passaggi per stabilire un tale sistema e quindi continua con i risultati rappresentativi per i dati di esempio. Infine, viene presentata una discussione sul significato del paradigma, sui limiti e sui piani di modifica.

Progettazione sperimentale
Prima di procedere alla sezione del protocollo, descriviamo i parametri utilizzati nel presente studio e presentiamo i dettagli degli stimoli insieme al disegno sperimentale.

Parametri nello studio
Questo studio mira a misurare come il tipo di attore e la classe di azioni che compiono influenzano i processi di percezione mentale dei partecipanti. Nel protocollo, il processo di percezione della mente è misurato in due dimensioni principali, vale a dire l'agenzia e l'esperienza, come proposto da precedenti ricerche²⁸. Sono incluse anche le estremità alte e basse di queste due dimensioni, come recentemente introdotto da Li et ^al.29.

La struttura dello studio è stata ispirata dalla versione³⁰ a categoria singola del compito di associazione implicita comunemente usato (IAT)³¹. In questo compito, i tempi di risposta dei partecipanti mentre corrispondono a un concetto di attributo con il concetto di destinazione vengono utilizzati come indicazione della forza delle loro associazioni implicite per questi due concetti. Nell'adattamento di questo compito implicito, ai partecipanti vengono presentate azioni dal vivo eseguite da attori reali e richiesto di abbinarle ai concetti target. I concetti target sono le estremità alte e basse dell'agenzia o delle dimensioni dell'esperienza, a seconda del blocco dell'esperimento.

Per riassumere, le variabili indipendenti sono Actor Type e Action Class. Il tipo di attore ha due livelli (cioè due attori diversi, Actor1 e Actor2, che si esibiscono nello studio). La classe di azione ha due livelli: Classe di azione1 e Classe di azione2 e ogni classe contiene quattro azioni. I partecipanti valutano i due attori separatamente in quattro blocchi (un attore in ogni blocco), e in ogni blocco, gli attori eseguono tutte le azioni in un ordine controbilanciato. I partecipanti eseguono valutazioni rispetto a due dimensioni predefinite e forzate: Agenzia ed Esperienza. I quattro blocchi dell'esperimento sono (1) Actor1 in Agency Block, (2) Actor2 in Agency Block, (3) Actor1 in Experience Block e (4) Actor2 in Experience Block. L'ordine dei blocchi è anche controbilanciato tra i partecipanti in modo che i blocchi con lo stesso agente non si susseguano mai.

Oltre alle risposte dei partecipanti, vengono registrati i tempi di risposta e le coordinate x-y del mouse wireless che usano mentre si muovono verso una delle due alternative di risposta. Quindi, le variabili dipendenti sono la risposta e il tempo di risposta (RT) dei partecipanti, nonché le misurazioni della deviazione massima (MD) e dell'area sotto la curva (AUC), derivate dal tracciamento del mouse del computer. La risposta variabile è categorica; può essere Alto o Basso e, poiché le valutazioni vengono eseguite in uno dei blocchi dati, le risposte possono anche essere etichettate come Alta Agenzia, Bassa Agenzia, Alta Esperienza o Bassa Esperienza. Il tempo di risposta è una variabile continua; La sua unità è secondi e si riferisce al tempo trascorso tra l'inizio della presentazione di un'azione e il verificarsi di un clic del mouse su una delle alternative di risposta. La MD di una traiettoria è una variabile continua e si riferisce alla più grande deviazione perpendicolare tra la traiettoria dei partecipanti e la traiettoria idealizzata (linea retta). L'AUC di una traiettoria è anche una variabile continua e si riferisce all'area geometrica tra la traiettoria dei partecipanti e la traiettoria idealizzata³².

Stimoli e progettazione dell'esperimento
Nel presente studio viene utilizzato un esperimento in tre fasi. Le misure della terza parte sono utilizzate per le analisi; Le prime due parti servono come preparazione per la parte finale. Di seguito, descriviamo ogni parte dell'esperimento insieme agli stimoli e alle ipotesi sperimentali.

In Esperimento Parte 1 (parte di formazione lessicale), i partecipanti completano una sessione di formazione per comprendere i concetti di Agenzia ed Esperienza e i livelli di capacità rappresentati con le parole Alto e Basso. Per selezionare i concetti (n = 12) da utilizzare in questa sessione di formazione, alcuni degli autori del lavoro attuale hanno condotto uno studio normativo³³. Poiché il presente studio è stato pianificato per essere condotto nelle lingue native dei partecipanti, i concetti sono stati tradotti anche in turco prima di essere normalizzati. I concetti sono stati selezionati tra quelli che erano fortemente associati alle estremità Alta (n = 3) e Bassa (n = 3) delle due dimensioni (sei concetti per ciascuna). Questa parte è cruciale poiché ci si aspetta che la comprensione dei concetti da parte dei partecipanti guidi i loro processi di valutazione.

Nell'esperimento Parte 2 (parte di identificazione dell'azione), i partecipanti guardano le stesse otto azioni eseguite da Actor1 e Actor2 una dopo l'altra e riferiscono qual è l'azione allo sperimentatore. Questa sezione funge da controllo di manipolazione; Presentando tutte le azioni quando entrambi gli attori le stanno eseguendo, è possibile assicurarsi che i partecipanti comprendano le azioni e abbiano familiarità con gli attori prima di iniziare il test implicito, dove devono fare valutazioni rapide. Le azioni selezionate per Action Class1 e Action Class2 sono quelle che hanno avuto i punteggi H e i livelli di confidenza più alti (quattro diversi esempi di azione in ogni classe di azione) in base ai risultati dei due studi normativi (N = 219) per ciascuna condizione dell'attore condotti da alcuni degli autori (manoscritto in preparazione). Tutte le azioni vengono eseguite entro una durata di tempo uguale di 6 s.

Questo è uno studio in corso, e ha alcuni altri componenti; Tuttavia, le ipotesi per le sezioni sopra descritte sono le seguenti: (i) il tipo di attore influenzerà le variabili dipendenti; Actor2 produrrà RT più lunghi, MD più elevati e AUC più grandi rispetto ad Actor1; ii) il tipo di azione influirà sulle misurazioni dipendenti; La Classe d'azione1 produrrà RT più lunghi, MD più elevati e AUC più grandi rispetto alla Classe d'azione2; (iii) le misurazioni dipendenti per le risposte High e Low per lo stesso attore e classe d'azione differiranno tra le dimensioni del blocco: Agenzia ed Esperienza.

Protocol

I protocolli sperimentali in questo studio sono stati approvati dal Comitato etico per la ricerca con partecipanti umani dell'Università di Bilkent. Tutti i partecipanti inclusi nello studio avevano più di 18 anni e hanno letto e firmato il modulo di consenso informato prima di iniziare lo studio.

1. Fasi generali di progettazione

NOTA: la Figura 1A (vista dall'alto) e la Figura 1B e la Figura 1C (vista anteriore e posteriore) illustrano il layout del laboratorio; Queste figure sono state create rispetto all'impostazione e alla configurazione originali del laboratorio progettate per questo particolare studio. Nella Figura 1A viene illustrato il layout top-view del lab. In questa figura, è possibile vedere luci a LED sul soffitto e sul cabinet dell'attore. Il sistema di tende oscuranti divide la stanza a metà e aiuta la manipolazione della luce impedendo alla luce di fuoriuscire nella parte anteriore della stanza (Area partecipanti). La figura 1B presenta la vista del laboratorio dal punto di vista dello sperimentatore. Il partecipante si siede proprio di fronte allo schermo OLED e, utilizzando il display trasparente, può guardare le azioni dal vivo eseguite dagli attori. Danno le loro risposte utilizzando il dispositivo di risposta (un mouse wireless) di fronte a loro. Lo sperimentatore può guardare contemporaneamente l'attore attraverso il display del partecipante (schermo OLED) e il filmato proveniente dalla telecamera di sicurezza. La figura 1C mostra il backstage dello studio (Actor Area) con la telecamera di sicurezza e il personal computer Actor (PC), che non sono visibili al partecipante. Il filmato della telecamera di sicurezza va al PC della fotocamera per stabilire la comunicazione tra gli attori e lo sperimentatore. Il PC Actor visualizza l'ordine dei blocchi e le informazioni sull'azione successiva all'attore in modo che l'esperimento scorra senza alcuna interruzione. Gli attori possono controllare rapidamente l'azione successiva mentre i partecipanti rispondono all'azione nella prova precedente.

Figura 1: Configurazione del laboratorio naturalistico. (A) Vista dall'alto verso il basso dell'allestimento del laboratorio naturalistico. (B) I lati posteriore e anteriore dell'impostazione sperimentale naturalistica dal punto di vista del partecipante. (C) I lati posteriore e anteriore dell'impostazione sperimentale naturalistica dal punto di vista dell'attore. Fare clic qui per visualizzare una versione ingrandita di questa figura.

1. Progettare una configurazione che includa tre computer, tra cui (1) un desktop di controllo principale (Experimenter PC), (2) un laptop attore (Actor PC) e (3) un PC fotocamera, un dispositivo di risposta wireless (Participant Mouse), due display, un circuito di illuminazione e una telecamera di sicurezza (vedere la Figura 2A per il diagramma sistema della configurazione di questo studio).
   NOTA: il PC dello sperimentatore verrà utilizzato dallo sperimentatore per eseguire gli script dell'esperimento, il PC dell'attore verrà utilizzato dall'attore per tenere traccia dei blocchi dell'esperimento e dell'ordine delle azioni nei blocchi e il terzo dispositivo, il PC della fotocamera, sarà collegato alla telecamera di sicurezza situata nell'area dell'attore e utilizzato dallo sperimentatore per monitorare il backstage.
2. Collegare i display separati (uno per la presentazione degli stimoli [Participant Display], che è lo schermo OLED) e uno schermo per il monitoraggio dell'esperimento, il dispositivo di risposta e il circuito di illuminazione (tramite fili o connessioni wireless) al PC dello sperimentatore (vedere Figura 2A).
3. Collegare il PC sperimentatore e il PC attore tramite una rete wireless per trasmettere informazioni relative allo stato dell'esperimento (ad esempio, "l'ID azione successiva è 'saluto''") agli attori.
4. Progettare e costruire un circuito di illuminazione che (vedere la Figura 2B per il circuito stampato) può essere controllato da un microcontrollore per accendere e spegnere i LED.
   NOTA: La Figura 3A mostra l'uso opaco dello schermo OLED utilizzato nello studio dal punto di vista dello sperimentatore. Per garantire l'opacità, lo sfondo dello schermo viene regolato su bianco (RGB: 255, 255, 255) e tutte le luci nella stanza (sia nell'area partecipanti che nell'area attore) sono spente. Il partecipante vede la fissazione prima degli stimoli. La figura 3B mostra l'uso trasparente dello schermo digitale nello studio dal punto di vista dello sperimentatore. Per consentire la trasparenza, lo sfondo dello schermo viene regolato su nero (RGB: 0, 0, 0) e le luci LED sul soffitto sono accese. Il partecipante guarda l'attore. La figura 3C mostra l'uso opaco dello schermo digitale nello studio. Per garantire l'opacità, lo sfondo dello schermo viene regolato su bianco (RGB: 255, 255, 255) e tutte le luci nella stanza sono spente. Al partecipante viene presentata la schermata di valutazione per dare una risposta. Devono trascinare il cursore in alto a sinistra o in alto a destra dello schermo (una delle due opzioni di risposta, Alta o Bassa) utilizzando un mouse wireless. La loro traiettoria del mouse e il tempo di risposta vengono registrati.
5. Collegare il microcontrollore al PC sperimentatore.
6. Archiviare gli script che eseguono l'esperimento nel PC Experimenter.
   NOTA: la Figura 4A mostra il backstage (Area attore) durante l'esperimento. Le luci anteriori della stanza (Area partecipanti) sono spente e il PC Actor mostra il nome dell'azione che verrà eseguita dall'attore. La figura 4B mostra il gabinetto degli attori in cui gli attori possono aspettare il loro turno e cambiare i loro abiti. Il gabinetto degli attori non è visibile dalla vista del partecipante e, poiché viene utilizzato un sistema di tende, gli attori possono utilizzare qualsiasi ingresso desiderino. Durante l'esperimento, le luci fluorescenti visualizzate nella figura sono spente.

Figura 2: Sistema e schema elettrico . (A) Lo schema sistematico dell'impianto sperimentale naturalistico. (B) Lo schema elettrico del circuito luminoso che supporta lo schermo OLED durante l'esperimento. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figura 3: Schermo OLED dal punto di vista dello sperimentatore. (A) Uso opaco dello schermo digitale OLED dal punto di vista dello sperimentatore. (B) Uso trasparente dello schermo digitale OLED dal punto di vista dello sperimentatore. (C) Uso opaco dello schermo digitale OLED dal punto di vista dello sperimentatore durante un periodo di risposta. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Figura 4: Backstage dell'esperimento. (A) Backstage durante una prova sperimentale. (B) Il cabinet attore è sul retro dello schermo OLED, in cui gli attori possono aspettare che il loro turno sia visibile durante l'esperimento. Fare clic qui per visualizzare una versione ingrandita di questa figura.

2. Progettazione e realizzazione del circuito di illuminazione

1. Passi da seguire prima di alimentare i dispositivi/componenti del circuito
   1. Per modificare gli stati dei LED installati nel backstage (Area attore), fornire al PC sperimentatore la possibilità di commutare i LED su ON o OFF.
   2. Per trasmettere i comandi digitali che verranno inviati dal PC sperimentatore tramite un cavo USB, selezionare un dispositivo a microcontrollore in grado di prendere ingressi digitali e generare un'uscita digitale (vedere la tabella dei materiali per il microcontrollore utilizzato in questo studio).
   3. Selezionare una porta USB specifica del PC Experimenter per collegarlo all'ingresso USB del microcontroller tramite un cavo USB. Non accendere il PC prima di aver verificato che tutte le connessioni siano state stabilite correttamente.
   4. Includere un modulo di commutazione per aumentare l'ampiezza del segnale di uscita (circa 3,3 V) generato dal microcontrollore.
   5. Collegare il pin di uscita digitale designato (per questo esperimento, il pin designato è D9) e i pin di massa del microcontrollore al modulo di commutazione.
   6. Per eseguire il carico (i LED), includere un modulo MOSFET (Field-Effect Transistor) ad alta potenza metallo-ossido-semiconduttore (o modulo MOSFET) guidato dal segnale generato dal modulo di commutazione e collegare i pin del segnale del modulo MOSFET alla corrispondente coppia segnale-terra sul modulo di commutazione.
   7. Collegare i perni del letto caldo del modulo MOSFET al carico.
   8. Per fornire una tensione costante regolata ai moduli (e indirettamente, ai LED), includere un alimentatore LED che prende l'ingresso di rete a corrente alternata (CA) e genera una tensione CC costante nel circuito.
   9. Collegare le uscite dell'alimentatore LED agli ingressi di alimentazione sia del modulo MOSFET che del modulo di commutazione.
2. Passi da seguire dopo il cablaggio dei componenti del circuito
   1. Collegare il cavo USB alla porta USB selezionata del PC Experimenter.
   2. Creare un collegamento di comunicazione seriale tra il microcontroller e l'ambiente software in esecuzione sul PC sperimentatore (vedere la sottosezione Collegamento del microcontroller al PC sperimentatore).
   3. Collegare l'alimentatore LED all'ingresso di rete CA.

3. Programmazione dell'esperimento

NOTA: creare tre script sperimentali principali (ExperimentScript1.m [file di codifica supplementare 1], ExperimentScript2.m [file di codifica supplementare 2] e ExperimentScript3.m [file di codifica supplementare 3]), nonché diverse funzioni (RecordMouse.m [file di codifica supplementare 4], InsideROI.m [file di codifica supplementare 5], RandomizeTrials.m [file di codifica supplementare 6], RandomizeBlocks.m [file di codifica supplementare 7], GenerateResponsePage.m [file di codifica supplementare 8], GenerateTextures.m [file di codifica supplementare 9], ActorMachine.m [file di codifica supplementare 10], MatchIDtoClass.m [file di codifica supplementare 11] e RandomizeWordOrder.m [file di codifica supplementare 12]) per eseguire l'esperimento.

NOTA: Fare riferimento agli script correlati per spiegazioni dettagliate.

1. Randomizzazione degli ordini di prova e blocco
   1. Definire e creare due funzioni per randomizzare gli ordini di prova (RandomizeTrials.m) e gli ordini di blocco (RandomizeBlocks.m) che accettano i parametri di randomizzazione (ad esempio l'ID partecipante) come input e restituiscono una matrice di sequenze pseudorandomizzate.
   2. Vedere gli script RandomizeBlocks.m (righe 2-24) e RandomizeTrials.m (righe 3-26) per i dettagli su come vengono generate le sequenze randomizzate.
2. Tracciamento della risposta (RecordMouse, InsideRoi)
   1. Creare una funzione che tenga traccia e registri la traiettoria del mouse dei partecipanti e il tempo trascorso durante l'esperimento (vedere RecordMouse.m).
   2. Creare una funzione di supporto per verificare se le coordinate cliccate si trovano all'interno delle regioni accettabili o meno (vedere lo script InsideRoi.m).
3. Generazione di texture per istruzioni e feedback (GenerateTextures.m, GenerateResponsePage.m)
   1. Preparare le istruzioni relative all'esperimento e il feedback relativo alle prove come immagini.
   2. Salvare il contenuto di queste immagini in un file .mat (vedere File ExperimentImages.mat [File di codifica supplementare 13]).
   3. Caricare il file .mat nell'area di lavoro (vedere GenerateTextures.m riga 25) dopo aver creato una finestra sullo schermo.
   4. Create una texture separata e il relativo identificatore per ogni immagine (consultate GenerateTextures.m righe 27-165).
   5. Definire una funzione per disegnare le trame della pagina di risposta correlate per ogni script dell'esperimento (vedere GenerateResponsePage.m).
4. Connessione del PC Actor al PC sperimentatore tramite TCP/IP
   1. Creare un socket server TCP nello script (vedere ExperimentScript2.m riga 174) in esecuzione sul PC Experimenter.
   2. Creare un socket client TCP corrispondente nello script (vedere ActorMachine.m riga 16) in esecuzione sul PC Actor.
   3. Inviare informazioni sul blocco/versione di prova imminente agli attori dallo script (vedere le righe 207, 229 e 278 in ExperimentScript2.m o vedere le righe 136, 141, 153, 159 e 297 in ExperimentScript3.m) in esecuzione sul PC Experimenter.
   4. Visualizzare le informazioni ricevute dal PC Experimenter nella finestra sullo schermo del PC Actor (vedere le righe 31-47 in ActorMachine.m).
5. Collegamento del microcontroller al PC Experimenter
   1. Collegare il microcontrollore a una porta USB specifica (ad esempio, PORTA 9) per controllare lo stato (ON o OFF) dei LED installati nel backstage.
   2. Stabilire una comunicazione seriale tra il dispositivo microcontroller e il PC Experimenter (vedere la riga 185 nello script ExperimentScript2.m).
   3. Inviare un segnale logico alto (1) al microcontrollore dallo script in esecuzione sul PC Experimenter (vedere la riga 290 in ExperimentScript2.m o vedere la riga 311 negli script ExperimentScript3.m) per accendere i LED quando le azioni vengono visualizzate tramite il cavo USB.
   4. Inviare un segnale logico basso (0) al microcontrollore dallo script in esecuzione sul PC Experimenter (vedere la riga 292 in ExperimentScript2.m o vedere la riga 314 negli script ExperimentScript3.m) per spegnere i LED quando ci si aspetta che il partecipante dia una risposta.

4. Il flusso di un esperimento campione

1. Fasi preliminari all'esperimento
   1. Assicurarsi che tutti i dispositivi in laboratorio (Experimenter PC, Camera PC, Actor PC e Participant Display) siano alimentati da un UPS.
   2. Collegare il microcontroller Lightning al PC Experimenter tramite un cavo USB, in modo che si accenda automaticamente all'accensione del PC Experimenter.)
   3. Accendi il PC Experimenter e controlla se è connesso a una rete Wi-Fi a 5 GHz.
   4. Scegliere il dispositivo audio (gli altoparlanti nella tabella dei materiali) come dispositivo di uscita audio del PC Experimenter.
   5. Accendere il display del partecipante e impostare le impostazioni del volume su 80%.
   6. Impostare le impostazioni dello schermo del PC Experimenter per più monitor. Estendere la visualizzazione del PC dell'esperimento allo schermo del partecipante. La visualizzazione del PC dello sperimentatore sarà 1 e la visualizzazione del partecipante sarà 2.
   7. Accendi Actor PC e controlla se è connesso a una rete Wi-Fi a 5 GHz.
   8. Collegare la telecamera di sicurezza all'Actor PC tramite un cavo USB, in modo che si accenda automaticamente all'accensione dell'Actor PC.
   9. Accendere il PC fotocamera e aprire l'applicazione fotocamera sul desktop. Assicurati che ogni attore, i suoi movimenti e le sue entrate e uscite dal cabinet siano visibili dalla telecamera.
   10. Assicurarsi che tutti i computer, i display e i dispositivi (il dispositivo di risposta [mouse wireless del partecipante], gli altoparlanti, la tastiera e il mouse del PC sperimentatore e del PC Actor e il microcontroller Lightning) funzionino correttamente.
   11. Accogliere il partecipante in un'altra stanza; Dopo aver fornito brevi informazioni sullo studio, fornire il modulo di consenso e farlo firmare al partecipante.
   12. Chiedi al partecipante di estrarre un numero da una borsa e dì loro che il numero sarà il loro ID partecipante durante lo studio.
   13. Consenti al partecipante di compilare il modulo demografico online con il proprio ID partecipante anonimo.
       NOTA: È fondamentale che i partecipanti non vedano gli attori prima dell'esperimento. Quindi, questi documenti vengono completati in un'altra stanza piuttosto che nella stanza principale dell'esperimento in modo che gli attori possano fare delle pause tra i partecipanti.
2. Fasi dell'esperimento
   1. Aprire il software dell'esperimento sul PC Experimenter, aprire lo script ExperimentScript1.m ed eseguirlo.
   2. Inserire l'ID del partecipante e l'età; quindi, lo script inizierà la prima parte dell'esperimento (il primo stimolo visibile sarà una croce al centro del Participant Display).
   3. Aprire il software di esperimento sul PC Actor e aprire lo script ActorMachine.m.
   4. Posizionare il PC della fotocamera vicino al PC dello sperimentatore e assicurarsi che il filmato proveniente dalla telecamera di sicurezza non sia visibile al partecipante.
   5. Accogli il partecipante nella sala principale dell'esperimento e lascia che abbia un posto di fronte al display del partecipante.
   6. Dì al partecipante di sistemarsi in modo che la croce sia nel mezzo e dritto davanti.
   7. Dare istruzioni sulle parti dell'esperimento brevemente facendo riferimento alle spiegazioni e alle durate scritte sulla lavagna.
   8. Spegni tutte le luci nella stanza degli esperimenti.
3. Esperimento parte 1:
   1. Dì al partecipante che completerà la formazione lessicale / concettuale nella prima parte dell'esperimento. Avvertili di fare attenzione a seguire le istruzioni in modo che possano superare l'allenamento.
   2. Dì al partecipante che l'esperimento può essere avviato quando è pronto.
   3. Premere il pulsante ESC quando il partecipante dice di essere pronto per la prima parte.
      NOTA: d'ora in poi, il partecipante procederà nell'esperimento leggendo le istruzioni sul display del partecipante e selezionando una delle scelte. Riceveranno feedback sulle loro risposte giuste e sbagliate in modo che possano progredire bene nella formazione. L'abbinamento continuerà fino a quando i partecipanti non raggiungeranno la soglia minima (80%) entro 10 ripetizioni di blocco.
   4. Quando il partecipante completa la parte di addestramento, premere il pulsante ESC e dire al partecipante che lo sperimentatore sta prendendo il controllo del mouse per avviare la seconda parte dell'esperimento.
4. Esperimento parte 2:
   1. Aprire lo script ExperimentScript2.m e attendere il prompt In attesa del PC Actor.
   2. Suonare il campanello quando viene visualizzato il prompt in modo che uno degli attori possa eseguire lo script sul PC Actor per abilitare la connessione con il PC Experimenter.
   3. Attendi il prompt L'esperimento Parte 2 è pronto.
   4. Dì al partecipante che ora lo schermo sarà trasparente mentre guardano alcune brevi azioni attraverso di esso.
   5. Avvertili di osservare attentamente ogni azione e informali che dovrebbero dire ad alta voce qual è l'azione.
   6. Dì al partecipante che l'esperimento può essere avviato quando è pronto.
   7. Premere il pulsante ESC quando il partecipante dice di essere pronto per la prima parte.
      NOTA: Il partecipante procede attraverso le istruzioni e osserva la prima azione. Actor1 esegue le azioni quando le spie LED sono accese e controlla l'azione successiva dal prompt sul PC Actor quando le luci sono spente. Al termine di ogni azione, verrà visualizzata una finestra di dialogo sullo schermo del PC Experimenter.
   8. Digitare ciò che il partecipante dice sull'azione nella finestra di dialogo e digitare 1 o 0 nella seconda finestra di dialogo, a seconda dell'identificazione corretta o errata dell'azione, rispettivamente.
      NOTA: Questi passaggi verranno ripetuti otto volte per il primo attore e la musica di sottofondo inizierà a suonare quando è il momento per gli attori di cambiare posto.
   9. Guarda il backstage dal filmato della telecamera di sicurezza sul PC della fotocamera.
   10. Premere il pulsante ESC per avviare l'identificazione per Actor2 quando l'attore agita le mani verso la telecamera di sicurezza con il gesto I am ready .
   11. Ripetere i passaggi 4.4.7 e 4.4.8 insieme al partecipante fino a quando non vengono identificate anche le stesse otto azioni mentre vengono eseguite dall'Attore2.
   12. Quando il partecipante visualizza l'avviso Identificazione è completa ed esce dalla parte facendo clic sulla freccia, premere il pulsante ESC e informare il partecipante che lo sperimentatore sta assumendo il controllo del mouse per avviare la terza parte dell'esperimento.
5. Esperimento parte 3:
   1. Aprire lo script ExperimentScript3.m.
   2. Dì al partecipante che guarderà le azioni di entrambi gli attori, quindi farà clic sull'opzione che ritiene adatta.
      NOTA: I partecipanti valuteranno le azioni degli attori in quattro blocchi. In due dei blocchi, Actor1 eseguirà le azioni e negli altri due, Actor2 eseguirà le stesse azioni. In due dei blocchi, i partecipanti valuteranno le azioni attribuendo capacità di Agenzia Alta o Bassa, e negli altri due, attribuiranno capacità di Esperienza Alta o Bassa.
   3. Premere il pulsante ESC quando il partecipante dice di essere pronto per la terza parte.
      NOTA: Il partecipante procede attraverso le istruzioni e inizia con il primo blocco. Gli attori eseguono le azioni alla luce e, mentre i partecipanti danno le loro risposte, lo schermo diventa opaco e le luci vengono spente in modo che gli attori possano vedere quale azione verrà dopo. Al termine di ogni blocco, gli attori cambieranno posto seguendo le istruzioni sul PC Actor.
   4. Controlla se tutto va bene dietro le quinte e se l'attore giusto sta conducendo l'azione giusta durante i blocchi.
   5. Premi il pulsante ESC per iniziare il blocco successivo quando l'attore giusto agita le mani con il gesto Sono pronto dopo la sostituzione degli attori.
   6. Ripetere il passaggio 4.5.4 e il passaggio 4.5.5 in collaborazione con il partecipante e l'attore fino al completamento dei quattro blocchi.
   7. Quando il partecipante vede che l'esperimento è finito, grazie prompt, premere il pulsante ESC .
   8. Ringrazia il partecipante e, dopo aver fatto il debriefing e preso le firme, invia il partecipante.

La Figura 5 mostra un esempio di prova dal punto di vista del partecipante. La Figura 5A mostra il partecipante che guarda il cursore al centro dello schermo nel suo utilizzo opaco. La Figura 5B mostra il partecipante che osserva gli stimoli live-action attraverso lo schermo. La Figura 5C mostra la schermata di valutazione presentata al partecipante dopo gli stimoli, in cui è necessario trascinare il mouse su una delle due alternative in ciascun angolo superiore dello schermo.

Figura 5: Schermo OLED dal punto di vista del partecipante. (A) Uso opaco dello schermo digitale OLED dal punto di vista del partecipante durante uno schermo di fissaggio. (B) Uso trasparente dello schermo digitale OLED dal punto di vista del partecipante durante la presentazione di un'azione dal vivo. (C) Uso opaco dello schermo digitale OLED dal punto di vista del partecipante durante il periodo di risposta. Fare clic qui per visualizzare una versione ingrandita di questa figura.

5. Pre-elaborazione e analisi dei dati

1. Segmentazione dei dati in condizioni
   1. Leggere tutti i file di dati dei partecipanti nell'area di lavoro dell'ambiente software.
   2. Definire le condizioni per raggruppare i dati (due classi di azione [Classe di azione1 e Classe di azione2] x due attori [Actor1 e Actor2] x due dimensioni [Agenzia ed esperienza] x due livelli [Alto e Basso]).
   3. Segmenta i dati in quattro gruppi principali: Agenzia alta, Agenzia bassa, Esperienza alta ed Esperienza bassa.
   4. Dividi questi gruppi principali in quattro sottogruppi (due attori x due classi di azione).
   5. Scorrere ogni file di dati per raggruppare le prove che appartengono a uno dei quattro sottogruppi definiti in precedenza.
   6. Memorizzare le informazioni di prova rilevanti (tempo di risposta, movimento del cursore e punti temporali in cui viene campionata la posizione del cursore) in strutture di dati separate per ciascun sottogruppo.
   7. Uscire dal ciclo quando tutte le versioni di prova sono raggruppate.
2. Visualizzazione delle traiettorie
   1. Dopo aver segmentato i dati, eseguire i passaggi seguenti per visualizzare le traiettorie del mouse.
   2. Per applicare l'interpolazione temporale alle traiettorie di risposta, per ogni prova selezionare 101 (x,y) coppie dalla matrice di traiettorie in modo che ogni sottogruppo di dati abbia prove con un numero uguale di passaggi temporali.
      NOTA: mentre si fissa il numero di coppie a 101, assicurarsi di seguire la convenzione³²per eseguire la corretta normalizzazione dell'ora. Quindi, ottenere la normalizzazione del tempo usando la seguente equazione, dove n è il numero di campioni in una matrice di traiettorie:
      
   3. Calcola la somma delle coppie (x,y) in ciascuno dei 101 punti temporali, quindi dividi il risultato ottenuto per il numero totale di prove di quel sottogruppo per ottenere i mezzi per ciascun sottogruppo (ad esempio, Experience Low Actor1 o Experience Low Actor2).
   4. Applicare un'operazione di ridimensionamento ai valori delle righe per visualizzare le traiettorie medie.
      NOTA: il piano di coordinate 2D presuppone che entrambi gli assi aumentino dal punto zero che si trova nell'angolo inferiore sinistro della finestra (supponendo che le coordinate siano numeri interi positivi), mentre il formato pixel accetta l'angolo superiore sinistro della finestra come riferimento (ad esempio, punto zero). Pertanto, applicare un'operazione di ridimensionamento per le coordinate y (corrispondenti ai valori delle righe in formato pixel) delle posizioni campionate estraendo la coordinata y campionata di ciascuna prova dal valore del numero totale di righe.
   5. Tracciare i sottogruppi correlati nella stessa figura per il confronto.
      NOTA: ogni traiettoria inizia al centro del rettangolo situato nella parte inferiore centrale, denominata START, e termina all'interno dei rettangoli situati negli angoli superiore sinistro o superiore destro.

6. Condizioni che possono portare a guasti del sistema e precauzioni

NOTA: In caso di guasto del sistema, è fondamentale avere un segno fisico (suonare un campanello) per informare l'attore del fallimento e avvertirlo di rimanere in un luogo invisibile al partecipante.

1. Errori dovuti alla connessione di rete
   1. Se uno dei computer è connesso a una rete diversa, la richiesta di connessione TCP/IP avrà esito negativo e il sistema visualizzerà un errore. Per evitare ciò, assicurarsi che Experimenter PC e Actor PC si trovino sulla stessa banda della stessa rete wireless.
   2. Per assicurarsi che entrambi i PC rimangano sulla stessa rete, cancellare le reti wireless connesse in precedenza da entrambi i PC.
   3. Impostare indirizzi IP statici per i dispositivi sulla rete selezionata poiché gli indirizzi IP su una rete possono cambiare senza preavviso.
   4. Qualsiasi disconnessione momentanea (ad esempio, a causa di un'interruzione dell'alimentazione, di Internet, ecc.) alla rete può causare l'errore dello script. In queste circostanze, il sistema deve essere riavviato dall'inizio per ristabilire la connessione TCP/IP.
      NOTA: il requisito degli IP statici per i dispositivi può essere soddisfatto dal provider di servizi Internet. Alcune porte potrebbero essere disabilitate dal sistema operativo o dall'hardware su un determinato dispositivo; Pertanto, le porte da utilizzare nell'esperimento devono essere aperte e non devono avere una connessione attiva fino all'avvio dello script dell'esperimento.
2. Guasti dovuti a crash del software
   1. L'ambiente software potrebbe bloccarsi a causa di connessioni non riuscite (ad esempio, connessione alla porta seriale, connessione TCP / IP, connessione al display, ecc.) e ciò potrebbe comportare una perdita di dati. Per ovviare a questo problema, dividere lo script principale dell'esperimento in più script. Ad esempio, se c'è un blocco che deve essere completato prima che gli attori inizino a eseguire azioni, non è necessario creare un server sul PC Experimenter durante questo blocco. Il server può essere creato quando il blocco che comporta azioni e, quindi, richiede la comunicazione tra il PC sperimentatore e il PC Actor, sta per iniziare.

Representative Results

Confronti dei tempi di risposta (RT)
Lo studio attuale è un progetto in corso, quindi, come risultati rappresentativi, vengono presentati i dati della parte principale dell'esperimento (Esperimento Parte 3). Questi dati provengono da 40 partecipanti, tra cui 23 femmine e 17 maschi, con età compresa tra 18 e 28 anni (M = 22,75, SD = 3,12).

Per scegliere il metodo statistico appropriato per le analisi è stato necessario studiare l'entità della normalità della distribuzione delle variabili dipendenti. Quindi, il test di Shapiro-Wilk è stato eseguito per capire se le tre variabili dipendenti, vale a dire il tempo di risposta (RT), la deviazione massima (MD) e l'area sotto la curva (AUC), fossero distribuite normalmente. I punteggi hanno mostrato che i dati per il tempo di risposta , W = 0,56, p < 0,001, deviazione massima, W = 0,56, p < 0,001 e area sotto la curva, W = 0,71, p < 0,001, erano tutti significativamente non normali.

L'omogeneità delle varianze delle variabili dipendenti è stata verificata anche applicando il test di Levene per i livelli delle variabili indipendenti, vale a dire Actor Type (Actor1 e Actor2) e Action Class (Action Class1 e Action Class2). Per i punteggi sul tempo di risposta, le varianze erano simili per Actor1 e Actor2, F(1, 1260) = 0.32, p = 0.571, ma le varianze per Action Class1 e Action Class2 erano significativamente diverse, F(1, 1260) = 8.82, p = 0.003. Per i punteggi sulla deviazione massima, le varianze erano simili per Actor1 e Actor2, F(1, 1260) = 3.71, p = 0.542, ma le varianze per Action Class1 e Action Class2 erano significativamente diverse, F(1, 1260) = 7.51, p = 0.006. Per i punteggi sull'area sotto la curva, le varianze erano simili per Action Class1 e Action Class2, F(1, 1260) = 3.40, p = 0.065, ma le varianze per Actor1 e Actor2 erano significativamente diverse, F(1, 1260) = 4.32, p = 0.037.

Poiché i dati di questo studio non soddisfacevano la normale distribuzione e omogeneità delle ipotesi di varianza dell'ANOVA regolare (analisi della varianza) e avevamo quattro gruppi indipendenti su un risultato continuo, è stato applicato l'equivalente non parametrico di un ANOVA, il test di Kruskal-Wallis. I quattro gruppi indipendenti sono stati derivati dalle due variabili di risposta categoriale (Alto o Basso) all'interno delle due dimensioni di blocco pre-forzate (Agenzia ed Esperienza). Poiché eravamo interessati a come le variabili dipendenti differivano tra le risposte dei partecipanti attraverso le dimensioni, i dati sono stati divisi in quattro sottogruppi in base alle risposte nella dimensione dell'Agenzia, tra cui Agenzia-Alta e Agenzia-Bassa, e nella dimensione Esperienza, tra cui Esperienza-Alta e Esperienza-Bassa. Di seguito vengono presentati i risultati dei test di Kruskal-Wallis per le tre variabili indipendenti. In tutti i casi, la soglia di significatività è stata fissata a p < 0,05.

Risultati dei tempi di risposta
La figura 6 presenta i tempi di risposta dei partecipanti in base alle loro risposte di Alto o Basso nelle quattro dimensioni del blocco. I tempi di risposta dei partecipanti sono presentati per ogni livello delle due variabili indipendenti: Actor Type e Action Class. A1 e A2 rappresentano rispettivamente l'attore 1 e l'attore 2, mentre AC1 e AC2 rappresentano rispettivamente la classe di azione 1 e la classe di azione 2.

Figura 6: Tempi di risposta dei partecipanti nell'attività per il tipo di attore e la classe di azione. Ogni pannello mostra il tempo che i partecipanti hanno speso rispondendo verso uno dei livelli (Alto o Basso) della particolare dimensione (Agenzia ed Esperienza). Gli asterischi mostrano differenze significative tra i livelli del tipo di attore o della classe di azione (p < .05). Fare clic qui per visualizzare una versione ingrandita di questa figura.

I tempi di risposta non sono stati influenzati in modo significativo dal tipo di attore per Agency-High, H(1) = 1.03, p = 0.308, Agency-Low, H(1) = 2.84, p = 0.091 e Experience-High, H(1) = 0.001, p = 0.968 risposte, ma sono stati significativamente influenzati dal tipo di attore per le risposte Experience-Low, H(1) = 8.54, p = 0,003. È stato calcolato un test di Wilcoxon per studiare l'effetto del tipo di attore sulle risposte Experience-Low. Il tempo di risposta mediano per Actor1 (Mdn = 1,14) è stato significativamente più breve del tempo di risposta mediano per Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

I tempi di risposta non sono stati influenzati in modo significativo dalla classe di azione per Agency-Low, H(1) = 1,99, p = 0,158, e Experience-High, H(1) = 0,17, p = 0,675 risposte, ma sono stati significativamente influenzati dalla classe di azione per Agency-High, H(1) = 10,56, p = 0,001 e Experience-Low, H(1) = 5,13, p = 0,023, risposte. I risultati del test Wilcoxon signed-rank hanno dimostrato che per le risposte Agency-High, il tempo di risposta mediano per Action Class1 (Mdn = 1,30 ) era significativamente più lungo del tempo di risposta mediano per Action Class2 (Mdn = 1,17 ), W = 17433, p = 0,0005; inoltre, per le risposte Experience-Low, il tempo di risposta mediano per Action Class1 (Mdn = 1,44) è stato significativamente più lungo del tempo di risposta mediano per Action Class2 (Mdn = 1,21), W = 10002, p = 0,011.

Risultati del tracciamento del mouse
Sono stati registrati anche i movimenti del mouse dei partecipanti mentre decidevano la loro risposta finale. Le informazioni sull'ora e sulla posizione sono state raccolte per calcolare le traiettorie motorie medie dei partecipanti. La registrazione è iniziata quando i partecipanti hanno visto gli stimoli verbali sullo schermo e si è conclusa quando hanno dato una risposta facendo clic su una delle opzioni (Alto o Basso) negli angoli in alto a destra o in alto a sinistra dello schermo.

La figura 7 presenta le deviazioni massime dei movimenti del mouse dei partecipanti in base alle loro risposte di Alto o Basso in quattro dimensioni di blocco. Le deviazioni massime dei partecipanti dalla linea retta idealizzata della risposta selezionata verso la risposta alternativa non selezionata sono presentate per ciascun livello delle due variabili indipendenti, Tipo di attore e Classe di azione. A1 e A2 rappresentano rispettivamente l'attore 1 e l'attore 2, mentre AC1 e AC2 rappresentano la classe di azione 1 e la classe di azione 2, rispettivamente.

Figura 7: La deviazione massima delle traiettorie del mouse dei partecipanti attraverso il tipo di attore e la classe di azione. Ogni pannello mostra la deviazione massima dei partecipanti dalla linea retta idealizzata della risposta selezionata verso la risposta alternativa non selezionata mentre rispondono verso uno dei livelli (Alto o Basso) per la particolare dimensione (Agenzia ed Esperienza). Gli asterischi mostrano differenze significative tra i livelli del tipo di attore o della classe di azione (p < .05). Fare clic qui per visualizzare una versione ingrandita di questa figura.

Le deviazioni massime non sono state influenzate in modo significativo dal tipo di attore per Agency-High, H(1) = 1.42, p = 0.232, Agency-Low, H(1) = 0.19, p = 0.655 e Experience-High, H(1) = 0.12, p = 0.720, risposte, ma sono state significativamente influenzate dal tipo di attore per le risposte Experience-Low, H(1) = 7.07, p = 0,007. È stato eseguito un test di grado firmato Wilcoxon per studiare l'effetto del tipo di attore sulle risposte Experience-Low. La deviazione massima mediana per Actor1 (Mdn = 0,03) era significativamente più breve della deviazione massima mediana per Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

Le deviazioni massime non sono state influenzate in modo significativo dalla classe di azione per Agency-High, H(1) = 0,37, p = 0,539, e Experience-High, H(1) = 1,84, p = 0,174, risposte, ma sono state significativamente influenzate dalla classe di azione per Agency-Low, H(1) = 8,34, p = 0,003 e Experience-Low, H(1) = 11,53, p = 0,0006, risposte. I risultati del test Wilcoxon signed-rank hanno dimostrato che per le risposte Agency-Low, la deviazione massima mediana per Action Class1 (Mdn = 0,06) era significativamente più lunga della deviazione massima mediana per Action Class2 (Mdn = 0,02), W = 12516, p = 0,0019. Inoltre, per le risposte Experience-Low, la deviazione massima mediana per Action Class1 (Mdn = 0,09) era significativamente più lunga della deviazione massima mediana per Action Class2 (Mdn = 0,03), W = 10733, p = 0,0003.

La Figura 8 presenta le aree sotto la curva delle traiettorie del topo dei partecipanti in base alle loro risposte di Alto o Basso in quattro dimensioni di blocco. Le aree sotto la curva delle risposte dei partecipanti in riferimento alla linea retta idealizzata della risposta selezionata sono presentate per ogni livello delle due variabili indipendenti, Actor Type e Action Class. A1 e A2 rappresentano rispettivamente l'attore 1 e l'attore 2, mentre AC1 e AC2 rappresentano la classe di azione 1 e la classe di azione 2, rispettivamente.

Figura 8: Le aree sotto la curva rispetto alla traiettoria idealizzata dei movimenti del mouse dei partecipanti. Ogni pannello mostra l'area sotto la curva mentre i partecipanti rispondono verso uno dei livelli (Alto o Basso) nella dimensione particolare (Agenzia o Esperienza). Gli asterischi mostrano differenze significative tra i livelli del tipo di attore o della classe di azione (p < .05). Fare clic qui per visualizzare una versione ingrandita di questa figura.

Le aree sotto le curve non sono state influenzate in modo significativo dal tipo di attore per Agency-High, H(1) = 0.001, p = 0.968, Agency-Low, H(1) = 0.047, p = 0.827, e Experience-High, H(1) = 0.96, p = 0.324, risposte, ma sono state significativamente influenzate dal tipo di attore per le risposte Experience-Low, H(1) = 8.51, p = 0,003. È stato calcolato un test di Wilcoxon per studiare l'effetto del tipo di attore sulle risposte Experience-Low. L'area mediana sotto la curva per Actor1 (Mdn = −0,03) era significativamente più alta dell'area mediana sotto la curva per Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

Le aree sotto le curve non sono state influenzate in modo significativo dalla classe di azione per le risposte Agency-High, H(1) = 0.01, p = 0.913, ma sono state significativamente influenzate dalla classe di azione per Agency-Low, H(1) = 7.54, p = 0.006, Experience-High, H(1)= 5.87, p = 0.015 e Experience-Low, H(1) = 15.05, p = 0,0001, risposte. I risultati del test Wilcoxon signed-rank hanno dimostrato che per le risposte Agency-Low, l'area mediana sotto la curva per Action Class1 (Mdn = 0,03) era significativamente maggiore dell'area mediana sotto la curva per Action Class2 (Mdn = −0.03), W = 12419, p = 0.003, e per le risposte Experience-High, l'area mediana sotto la curva per Action Class1 (Mdn = −0,06) era significativamente inferiore alla deviazione massima mediana per Action Class2 (Mdn = −0,02), W = 9827, p = 0,007. Per le risposte Experience-Low, l'area mediana sotto la curva per Action Class1 (Mdn = 0,05) era significativamente maggiore dell'area mediana sotto la curva per Action Class2 (Mdn = −0,03), W = 11049, p < 0,0001.

Sintesi e valutazione dei risultati rappresentativi
Poiché si tratta di uno studio in corso, è stata presentata una porzione rappresentativa dei dati che avremo alla fine della raccolta di dati su larga scala. Tuttavia, anche questi dati campione supportano l'efficacia del metodo proposto nel presente studio. Abbiamo potuto ottenere i tempi di risposta dei partecipanti e le traiettorie del mouse mentre davano le loro risposte dopo aver visto le azioni in tempo reale. Potremmo completare tutti questi passaggi attraverso la stessa schermata in modo che i partecipanti non cambino una modalità tra guardare gli attori reali e dare le risposte del mouse, permettendoci così di estendere le procedure negli esperimenti a scenari di vita reale.

La Tabella 1 riassume i risultati di come le misure dipendenti, inclusi i tempi di risposta, MD e AUC delle traiettorie del topo, sono state influenzate dal tipo di attore e dalla classe di azione, che erano le principali variabili indipendenti dello studio.

	Tempo di risposta (RT)		Deviazione massima (MD)		Area sotto la curva (AUC)
	Tipo di attore	Classe di azione	Tipo di attore	Classe di azione	Tipo di attore	Classe di azione
Agenzia Alta	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agenzia Bassa	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Esperienza alta	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Esperienza bassa	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabella 1: Sintesi dei risultati. La tabella mostra come le misure dipendenti (i tempi di risposta, MD e AUC delle traiettorie del topo) sono state influenzate dalle principali variabili indipendenti (tipo di attore e classe di azione) dello studio. *, ** e *** rappresentano rispettivamente i livelli di significatività p ≤ 0,05, p ≤ 0,01 e p ≤ 0,001.

Il tipo di attore ha avuto un effetto significativo sui tempi di risposta dei partecipanti; mentre assegnavano la capacità bassa nella dimensione Esperienza, hanno dedicato più tempo a farlo per Actor2 rispetto ad Actor1 nella stessa condizione (vedere la Figura 6D). Abbiamo anche osservato questo tempo di risposta più lungo nelle misurazioni dei movimenti del mouse basate su MD e AUC (vedi Figura 9 per le traiettorie). I MD delle traiettorie del topo verso le risposte basse (vedi Figura 7D) erano significativamente più alti e le AUC delle traiettorie del topo (vedi Figura 8D) erano significativamente più grandi quando i partecipanti stavano valutando Actor2 rispetto all'Actor 1 (confrontando le linee blu in Figura 9A, B).

Figura 9: Le traiettorie medie dei mouse dei partecipanti durante la valutazione delle azioni eseguite da Actor1 e Actor2 nella dimensione Esperienza. Le linee arancioni mostrano le traiettorie medie del mouse verso le risposte elevate; le linee blu mostrano le traiettorie medie del mouse verso le risposte basse. Le linee rette tratteggiate nere rappresentano le traiettorie di risposta idealizzate, mentre le aree ombreggiate grigie rappresentano le deviazioni standard quadratiche medie della radice. Fare clic qui per visualizzare una versione ingrandita di questa figura.

I tempi di risposta dei partecipanti, mentre rispondevano High alle azioni appartenenti alla Action Class1 nella dimensione dell'Agenzia (vedi Figura 6A), erano significativamente più alti rispetto alle azioni appartenenti alla Action Class2; tuttavia, questi tempi di risposta più lunghi non sono stati osservati nelle misurazioni MD (vedere Figura 7A) e AUC (vedere Figura 8A). Pur rispondendo Low alla Action Class1 nella dimensione Experience, i partecipanti hanno trascorso molto più tempo di quello speso per Action Class2 (vedi Figura 6D), e questo è stato evidente anche nei punteggi MD (vedi Figura 7D) e AUC (vedi Figura 8D). La Figura 10 dimostra che i MD delle traiettorie del topo verso le risposte basse (vedi Figura 7D) erano significativamente più alti e le AUC delle traiettorie del topo (vedi Figura 8D) erano significativamente più grandi mentre i partecipanti stavano valutando azioni appartenenti alla Classe di azione1 rispetto alla Classe di azione2 (confrontando le linee blu in Figura 10A,B).

Figura 10: Le traiettorie medie dei mouse dei partecipanti quando valutano gli attori che eseguono le azioni appartenenti alla Classe di Azione1 e alla Classe di Azione2 nella dimensione Esperienza. Le linee arancioni mostrano le traiettorie medie del mouse verso le risposte elevate; le linee blu mostrano le traiettorie medie del mouse verso le risposte basse. Le linee rette tratteggiate nere rappresentano le traiettorie di risposta idealizzate, mentre le aree ombreggiate grigie rappresentano le deviazioni standard quadratiche medie della radice. Fare clic qui per visualizzare una versione ingrandita di questa figura.

Sebbene non siano stati osservati effetti significativi della classe di azione sulle misurazioni del tempo di risposta per le altre combinazioni blocco-risposta, è stato osservato un effetto significativo della classe di azione nei punteggi MD (vedi Figura 7B) e AUC (vedi Figura 8B) delle risposte basse nella dimensione Agenzia. La Figura 11 mostra che i partecipanti hanno esitato verso l'alternativa Alta e si sono spostati maggiormente verso la risposta Bassa quando stavano valutando le azioni della Classe di Azione1 rispetto a quelle della Classe di Azione2 (confrontando le linee blu nelle Figure 11A,B). Infine, sebbene non vi sia stato alcun effetto significativo della classe d'azione sui punteggi RT e MD per le risposte elevate sulla dimensione Esperienza, è stato osservato un effetto significativo per le AUC (vedi Figura 8C) delle traiettorie (vedi Figura 10); in particolare, i partecipanti hanno esitato di più durante la valutazione della Classe di azione2 rispetto alla Classe di azione1 (confrontando le linee arancioni nella Figura 10A,B).

Figura 11: Le traiettorie medie dei topi dei partecipanti quando valutano gli attori che eseguono le azioni appartenenti alla Classe d'Azione1 e alla Classe d'Azione2 nella dimensione Agenzia. Le linee arancioni mostrano le traiettorie medie del mouse verso le risposte elevate; le linee blu mostrano le traiettorie medie del mouse verso le risposte basse. Le linee rette tratteggiate nere rappresentano le traiettorie di risposta idealizzate, mentre le aree ombreggiate grigie rappresentano le deviazioni standard quadratiche medie della radice. Fare clic qui per visualizzare una versione ingrandita di questa figura.

I risultati finora supportano le nostre ipotesi, che suggerivano che ci sarebbe stato un effetto del tipo di attore e della classe di azione e che le misurazioni dipendenti per le risposte High e Low per lo stesso attore e classe di azione sarebbero state diverse attraverso le dimensioni del blocco di Agenzia ed Esperienza. Poiché si tratta di uno studio in corso, è al di fuori dello scopo di questo documento discutere le possibili ragioni dei risultati. Tuttavia, come prima osservazione, potremmo sottolineare che, sebbene alcuni risultati per il tempo di risposta e le misurazioni provenienti dal tracciamento del mouse del computer si completassero a vicenda, in alcune condizioni di risposta al blocco, abbiamo osservato che i partecipanti esitavano verso l'altra alternativa anche quando erano veloci nelle loro valutazioni.

Se uno speciale schermo OLED non fosse incluso nel setup, i tempi di risposta dei partecipanti potrebbero comunque essere raccolti con alcuni altri strumenti come i pulsanti da premere. Tuttavia, i movimenti del mouse dei partecipanti non potevano essere monitorati senza fornire uno schermo aggiuntivo e far sì che i partecipanti guardassero quello schermo e gli attori reali avanti e indietro, il che, a sua volta, ritarderebbe le loro risposte. Quindi, sebbene i tempi di risposta siano utili indicatori della difficoltà del processo decisionale, le traiettorie topoline dei partecipanti rivelano di più sulle dinamiche in tempo reale dei loro processi decisionali prima delle loro risposte finali^32,34.

Supplemental Coding File 1: ExperimentScript1.m Clicca qui per scaricare questo file.

Supplemental Coding File 2: ExperimentScript2.m Clicca qui per scaricare questo file.

Supplemental Coding File 3: ExperimentScript3.m Clicca qui per scaricare questo file.

File di codifica supplementare 4: RecordMouse.m Clicca qui per scaricare questo file.

Supplemental Coding File 5: InsideROI.m Fare clic qui per scaricare questo file.

Supplemental Coding File 6: RandomizeTrials.m Clicca qui per scaricare questo file.

Supplemental Coding File 7: RandomizeBlocks.m Clicca qui per scaricare questo file.

File di codifica supplementare 8: GenerateResponsePage.m Clicca qui per scaricare questo file.

File di codifica supplementare 9: GenerateTextures.m Fare clic qui per scaricare questo file.

Supplemental Coding File 10: ActorMachine.m Clicca qui per scaricare questo file.

File di codifica supplementare 11: MatchIDtoClass.m Clicca qui per scaricare questo file.

File di codifica supplementare 12: RandomizeWordOrder.m Clicca qui per scaricare questo file.

File di codifica supplementare 13: File ExperimentImages.mat Clicca qui per scaricare questo file.

Discussion

L'obiettivo generale del presente studio è quello di contribuire alla nostra comprensione di come funzionano la percezione visiva e la cognizione umana di alto livello in situazioni di vita reale. Questo studio si è concentrato sulla percezione dell'azione e ha suggerito un paradigma sperimentale naturalistico ma controllabile che consente ai ricercatori di testare come gli individui percepiscono e valutano le azioni degli altri presentando attori reali in un ambiente di laboratorio.

L'importanza di questa metodologia proposta rispetto alle metodologie esistenti è triplice. (1) La naturalezza degli stimoli è massimizzata presentando azioni dal vivo ai partecipanti. (2) Gli stimoli del mondo reale (cioè gli attori), altri stimoli verbali (ad esempio, parole o istruzioni) e lo schermo di risposta degli attori e delle azioni sono presentati utilizzando la stessa modalità (cioè lo schermo OLED digitale) in modo che i partecipanti non perdano la concentrazione mentre cambiano la modalità, come nei casi di utilizzo del vetro dell'otturatore, ad esempio³⁵. (3) I dati sensibili al fattore tempo, come i dati sulla durata della risposta e le traiettorie del mouse, che richiedono un rigoroso controllo temporale vengono registrati utilizzando un compito naturale del mondo di oggi, l'uso del mouse.

Alcuni passaggi critici del protocollo sono importanti affinché questo paradigma funzioni senza problemi e consenta ai ricercatori di raggiungere i loro obiettivi fornendo al contempo un'esperienza decente per i partecipanti. Questi passaggi sono altrettanto importanti per la creazione di un tale sistema, quindi li presentiamo singolarmente senza ordinarli in base ai loro livelli di criticità.

Il primo passo critico riguarda la manipolazione dell'illuminazione della stanza e la modifica del colore dello sfondo utilizzato per lo schermo di visualizzazione del partecipante. Questo passaggio consente una transizione graduale tra le prestazioni dell'azione in tempo reale e la schermata di risposta dopo ogni prova di azione. Quando tutte le luci nella stanza sono spente e lo sfondo dello schermo è regolato sul bianco, si ottiene un'opacità del 100% in modo che le istruzioni di studio e gli stimoli verbali possano essere visualizzati senza distrazioni che possono derivare dai movimenti sullo sfondo. Per rendere trasparente il display e presentare gli stimoli verbali immediatamente dopo gli stimoli di azione, le luci a LED sui soffitti vengono accese mantenendo le luci anteriori spente per avere un display trasparente. Il circuito di illuminazione è essenziale per un'adeguata manipolazione della luce nella stanza. Quando le luci fluorescenti nella parte anteriore (Area partecipanti) e posteriore (Area attore) del laboratorio sono accese, il filmato dell'attore sembra un po 'inclinato e il partecipante vede il riflesso di se stesso e della stanza. Quando le luci anteriori nell'area dei partecipanti sono spente e le luci a LED nell'area dell'attore sono accese, il partecipante può guardare chiaramente gli attori senza distrazioni. La Figura 1 e la Figura 3 mostrano come funzionano le manipolazioni della luce nell'esperimento.

Il secondo passo critico nel protocollo è il controllo del tempo. Le azioni durano 6 s e l'illuminazione sul retro dello schermo è automatizzata rispetto alla durata delle azioni in modo da non avere alcun ritardo o accelerazione tra le prove. Tuttavia, la durata tra i blocchi è controllata manualmente (cioè quando abbiamo bisogno di un cambio di attore), quindi possiamo iniziare il blocco successivo dopo aver controllato se tutto sta andando come previsto nel backstage. Questo periodo è adatto anche per richieste da parte di partecipanti o attori, come la necessità di acqua o un cambiamento della temperatura nella stanza.

Il terzo passaggio critico riguarda l'uso della telecamera di sicurezza e del campanello. La telecamera di sicurezza consente la comunicazione tra il conduttore dell'esperimento e gli attori. Lo sperimentatore controlla continuamente ciò che sta accadendo nel backstage, ad esempio se l'attore è pronto o se l'attore giusto è sul palco. Gli attori agitano le mani quando sono pronti a eseguire le azioni e fanno un segno incrociato quando c'è un problema. Lo sperimentatore può anche notare se c'è un problema con l'aspetto di un attore, come dimenticare un orecchino su un orecchio. La campana consente allo sperimentatore di avvertire gli attori di un probabile problema. Quando sentono la campana, gli attori prima controllano se qualcosa in loro è sbagliato, e se è il caso, correggono il problema e dicono allo sperimentatore che sono pronti. Se c'è un problema da parte dello sperimentatore, gli attori ascoltano lo sperimentatore che spiega il problema al partecipante. Aspettano in silenzio fino a quando lo sperimentatore arriva nel backstage per risolvere il problema, come la riconnessione dopo aver perso la connessione Internet.

Il quarto passo riguarda l'uso di una pesante tenda oscurante per dividere la stanza, poiché un tale materiale impedisce alla luce di fuoriuscire nella parte anteriore della stanza. Questa tenda impedisce anche il suono in una certa misura in modo che i partecipanti non sentano i piccoli movimenti degli attori e le conversazioni tranquille tra lo sperimentatore e gli attori in caso di problemi.

Il quinto passo è l'inclusione dell'Actor PC e la definizione del TCP / IP come protocollo di rete, poiché ciò garantisce che i messaggi vengano consegnati all'altra estremità, a differenza di UDP. In questo modo, gli attori possono essere informati sulla prossima azione che eseguiranno e i partecipanti non se ne rendono conto dal loro punto di vista. Inoltre, poiché tutti i dispositivi si trovano sulla stessa rete, qualsiasi possibile latenza aggiuntiva causata dal TCP/IP diventa trascurabile.

Il sesto passo essenziale del protocollo è l'inclusione di musica di sottofondo tra i blocchi. Abbiamo organizzato la musica e i blocchi in modo che quando il partecipante risponde all'ultima prova in un blocco, la musica inizia a suonare ad alto volume (all'80% del volume massimo) in modo che gli attori sappiano che è tempo di cambiare e i partecipanti sappiano che possono bere acqua o riposare gli occhi. La riproduzione della musica consente una transizione graduale tra gli attori senza sentire i loro movimenti o altri suoni, fornendo un senso simile a guardare uno spettacolo teatrale.

Crediamo che l'impostazione naturalistica presentata in questo articolo sia un ottimo strumento per indagare se i meccanismi che sono alla base della percezione visiva delle azioni altrui che sono stati rivelati dai tradizionali esperimenti di laboratorio si avvicinano al comportamento naturale nel mondo reale. L'osservazione di attori reali e delle loro azioni dal vivo fornirà ovviamente una ricca fonte di informazioni visive e multisensoriali 3D e consentirà l'agibilità grazie alla presenza fisica e sociale dell'attore. Pertanto, ipotizziamo che la percezione delle azioni dal vivo possa suscitare risposte comportamentali e neurali più veloci e migliorate nella ben nota rete di percezione dell'azione precedentemente rivelata dagli esperimenti di laboratorio tradizionali utilizzando immagini e video statici. Inoltre, la percezione delle azioni dal vivo può guidare ulteriori circuiti neurali che elaborano segnali di profondità^{3D 36} e informazioni vestibolari per coordinare il corpo nello spazio mentre si prepara ad agire nel mondo³⁷. Una limitazione del presente studio è che le risposte degli attori reali nell'impostazione naturalistica non sono state confrontate con le risposte che si otterrebbero per stimoli semplicistici come immagini statiche o video. In studi futuri, lavoreremo verso questo obiettivo confrontando sistematicamente le risposte comportamentali e neurali durante la percezione dell'azione in contesti di laboratorio tradizionali con quelle nella configurazione naturalistica.

Notiamo anche alcuni limiti del paradigma proposto nel presente studio su più fronti. Il primo è che, come la maggior parte degli studi naturalistici, questo metodo richiede risorse finanziarie e di tempo. Tale studio sarà più elevato in termini di budget rispetto agli studi che utilizzano stimoli dinamici preregistrati presentati su un display regolare, poiché il presente studio include attrezzature speciali per visualizzare le azioni reali e attori reali prendono parte allo studio per ogni sessione di raccolta dati. Inoltre, il processo di raccolta dei dati per il presente studio potrebbe richiedere più tempo poiché gli attori reali eseguono le azioni ripetutamente; C'è un limite fisico per loro, a differenza degli studi che utilizzano immagini o video presentati sugli schermi dei computer. Un'altra limitazione correlata potrebbe essere la difficoltà di assicurarsi che gli attori eseguano ogni azione allo stesso modo attraverso i blocchi e i partecipanti; Tuttavia, con una formazione sufficiente, gli attori possono diventare sicuri in ogni azione, poiché sono lunghi 6 s. Il lavoro futuro potrebbe registrare azioni dal vivo e quindi utilizzare la visione artificiale per quantificare la variabilità tra le diverse prove degli esperimenti.

In secondo luogo, il livello di luminosità dello schermo, se usato in modo opaco, e i rapidi cambiamenti nel fulmine tra i display opachi e trasparenti possono causare un problema per i partecipanti con problemi visivi o disturbi come l'epilessia. Questa potenziale limitazione è stata affrontata chiedendo ai partecipanti se hanno un tale disturbo o preoccupazione per tale scenario e reclutando coloro che hanno riferito che non sarebbero stati disturbati da tale scenario. Inoltre, nessuno dei partecipanti si è lamentato della musica che abbiamo suonato in sottofondo durante i cambi di attore e blocco, ma alcuni partecipanti potrebbero essere disturbati da tale rumore. Un rimedio per questo potrebbe essere l'uso di cuffie con cancellazione del rumore. Tuttavia, possono anche impedire qualsiasi intervento dello sperimentatore durante lo studio o influenzare la naturalezza della configurazione sperimentale.

Altre possibili modifiche potrebbero essere applicate al paradigma attuale; Ad esempio, se la progettazione dell'esperimento richiede ai partecipanti di interagire oralmente con gli attori, entrambe le parti possono utilizzare microfoni a bavero. Tutte le connessioni di rete possono essere cablate o wireless purché sia possibile stabilire connessioni TCP/IP. I modi di presentare le azioni in qualche contesto potrebbero essere studiati e applicati per vedere se ciò contribuirebbe ad aumentare la naturalità del paradigma.

L'attuale configurazione potrebbe essere una piattaforma ideale per studi di neuroscienze cognitive e psicologia cognitiva che richiedono tempi precisi e stimoli rigorosamente controllati in condizioni predefinite. Ciò include studi che impiegano tecniche come l'eye-tracking, il cuoio capelluto o l'EEG intracranico, fNIRS e persino MEG, sia con configurazioni tradizionali che in configurazioni più mobili, che sono più fattibili oggi³⁸. I ricercatori di questi campi possono personalizzare le proprietà esterne della configurazione, come l'illuminazione della stanza o il numero di attori, nonché gli oggetti da presentare. Un'altra possibilità è che i ricercatori potrebbero manipolare le proprietà di visualizzazione dello schermo digitale per fornire un display più opaco o trasparente in base alle esigenze del loro studio. Altre possibili aree di ricerca in cui la metodologia proposta può essere utilizzata potrebbero essere la ricerca sull'interazione uomo-robot, in cui sono necessarie interazioni in tempo reale tra esseri umani e robot in scenari realistici.

In conclusione, data la necessità di passare a studi più naturalistici che sono più simili a situazioni del mondo reale nelle neuroscienze cognitive 13,14,15,16,17,18,19,20,21,38 , significativi sviluppi tecnologici nell'imaging naturalistico cervello-corpo (ad esempio uso simultaneo di EEG, motion capture, EMG e eye-tracking) e l'uso del deep learning come quadro fondamentale per l'elaborazione delle informazioni umane^39,40, riteniamo che sia il momento giusto per iniziare a studiare la percezione delle azioni dal vivo^, così come le sue basi neurali.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)