En naturalistisk inställning för att presentera verkliga människor och levande handlingar i experimentell psykologi och kognitiv neurovetenskap

Summary

Denna studie presenterar en naturalistisk experimentell inställning som gör det möjligt för forskare att presentera realtidsstimuli, få responstid och musspårningsdata medan deltagarna svarar efter varje stimulansvisning och byta aktörer mellan experimentella förhållanden med ett unikt system inklusive en speciell transparent organisk ljusemitterande diodskärm (OLED) och ljusmanipulation.

Abstract

Uppfattning om andras handlingar är avgörande för överlevnad, interaktion och kommunikation. Trots årtionden av kognitiv neurovetenskaplig forskning dedikerad till att förstå uppfattningen av handlingar, är vi fortfarande långt ifrån att utveckla ett neuralt inspirerat datorsynsystem som närmar sig mänsklig handlingsuppfattning. En stor utmaning är att handlingar i den verkliga världen består av temporärt utspelande händelser i rymden som händer "här och nu" och är actable. Däremot har visuell uppfattning och kognitiv neurovetenskaplig forskning hittills i stor utsträckning studerat handlingsuppfattning genom 2D-skärmar (t.ex. bilder eller videor) som saknar närvaro av aktörer i rum och tid, varför dessa skärmar är begränsade när det gäller att ge handlingsbarhet. Trots den växande kunskapen inom området måste dessa utmaningar övervinnas för en bättre förståelse av de grundläggande mekanismerna för uppfattningen av andras handlingar i den verkliga världen. Syftet med denna studie är att introducera en ny inställning för att genomföra naturalistiska laboratorieexperiment med levande skådespelare i scenarier som approximerar verkliga miljöer. Kärnelementet i installationen som används i denna studie är en transparent organisk ljusemitterande diodskärm (OLED) genom vilken deltagarna kan titta på live-handlingar från en fysiskt närvarande skådespelare medan tidpunkten för deras presentation är exakt kontrollerad. I detta arbete testades denna inställning i ett beteendeexperiment. Vi tror att installationen kommer att hjälpa forskare att avslöja grundläggande och tidigare otillgängliga kognitiva och neurala mekanismer för handlingsuppfattning och kommer att ligga till grund för framtida studier som undersöker social uppfattning och kognition i naturalistiska miljöer.

Introduction

En grundläggande färdighet för överlevnad och social interaktion är förmågan att uppfatta och förstå andras handlingar och interagera med dem i den omgivande miljön. Tidigare forskning under de senaste decennierna har gjort betydande bidrag till att förstå de grundläggande principerna för hur individer uppfattar och förstår andras handlingar 1,2,3,4,5,6,7,8,9,10,11 . Med tanke på komplexiteten i interaktioner och de omständigheter under vilka de förekommer finns det dock ett uppenbart behov av att vidareutveckla kunskapskroppen i naturalistiska miljöer för att nå en mer fullständig förståelse för denna komplexa färdighet i dagliga livsinställningar.

I naturliga miljöer som våra dagliga livsinställningar uppvisar uppfattning och kognition förkroppsligade, inbäddade, utökade och aktiva egenskaper¹². I motsats till internalistiska berättelser om hjärnfunktioner som tenderar att underskatta kroppens och miljöns roller, fokuserar samtida tillvägagångssätt för förkroppsligad kognition på den dynamiska kopplingen av hjärnan, kroppen och miljön. Å andra sidan tenderar de flesta socialpsykologi, kognitiv psykologi och neurovetenskaplig forskning om handlingsuppfattning att anta att användning av välkontrollerade och förenklade experimentdesigner under laboratorieförhållanden (t.ex. bilder eller videor i datoriserade uppgifter) ger resultat som kan generaliseras till mer komplexa scenarier som verkliga interaktioner 1,2,3,4,5,6,7 ,8,9,10,11. Detta antagande garanterar att robusta och tillförlitliga data kan erhållas under många omständigheter. En välkänd utmaning är dock att validiteten hos de modeller som härrör från noggrant kontrollerade experiment är begränsad när de testas i ett verkligt sammanhang¹³. Följaktligen har ytterligare undersökningar 13,14,15,16,17,18,19,20,21,22 genomförts för att ta itu med den ekologiska och externa validiteten av stimuli och experimentell design inom olika forskningsområden.

I denna studie föreslås en ny metod för att undersöka hur individer uppfattar och utvärderar andras handlingar genom att använda levande handlingar utförda av en verklig, fysiskt närvarande skådespelare. Scenarier som liknar verkliga sammanhang används, medan experimenterna har kontroll över möjliga förvirrande faktorer. Denna studie är en form av "naturalistisk laboratorieforskning", inom ramen för Matusz et al.14 som kan uppfattas som ett mellanstadium mellan "klassisk laboratorieforskning", som använder maximal kontroll över stimuli och miljö, ofta på bekostnad av naturlighet, och "helt naturalistisk verklig forskning", som syftar till att maximera naturligheten på bekostnad av kontroll över stimuleringen och miljön ¹⁴. Studien syftar till att ta itu med behovet av empiriska undersökningar på denna nivå i aktionsuppfattningsforskning för att överbrygga klyftan mellan de resultat som erhållits i traditionella laboratorieexperiment med en hög grad av experimentell kontroll och de resultat som erhållits i studier utförda i helt obegränsade, naturliga miljöer.

Kontrollerade kontra obegränsade experiment
Experimentell kontroll är en effektiv strategi för att utforma experiment för att testa en specifik hypotes, eftersom det gör det möjligt för forskare att isolera målvariabler från sannolika förvirrande faktorer. Det gör det också möjligt att se över samma hypotes med vissa nivåer av ändringar, såsom att använda något eller helt olika stimuli i samma design eller testa samma stimuli i alternativa experimentella inställningar. Systematisk undersökning genom kontrollerade experiment är en traditionell metodform inom kognitionsvetenskaplig forskning och relevanta domäner. Kontrollerade experiment hjälper fortfarande till att fastställa kunskapskroppen om de grundläggande principerna för kognitiva processer inom olika forskningsområden, såsom uppmärksamhet, minne och uppfattning. Ny forskning har emellertid också erkänt begränsningarna av traditionella laboratorieexperiment när det gäller att generalisera resultaten till verkliga miljöer, och forskare har uppmuntrats att genomföra studier i förbättrade ekologiska inställningar 13,14,15,16,17,18,19,20,21. Detta skifte syftar till att ta itu med två viktiga frågor om skillnaden mellan traditionella laboratorieexperiment och verkliga miljöer. För det första är världen utanför laboratoriet mindre deterministisk än i experiment, vilket begränsar den representativa kraften hos systematiska experimentella manipuleringar. För det andra är den mänskliga hjärnan mycket anpassningsbar, och detta underskattas ofta på grund av de praktiska begränsningarna för att utforma och genomföra experimentella studier²². Begreppet "ekologisk validitet"^23,24 har använts för att ta itu med metoder för att lösa detta problem. Termen används vanligtvis för att hänvisa till en förutsättning för generalisering av experimentella fynd till den verkliga världen utanför laboratoriekontexten. Ekologisk validitet har också tolkats som att man hänvisar till validering av praktiskt taget naturalistiska experimentella uppställningar med obegränsade stimuli för att säkerställa att studiedesignen är analog med verkliga scenarier²⁵. På grund av den höga variansen i tolkningen av denna term krävs en förståelse för fördelarna och begränsningarna med alternativa metoder och stimulansval.

Nivåer av naturalism i stimuli och experimentdesign
Tidigare arbete inom experimentell psykologi och kognitiv neurovetenskap har använt ett brett spektrum av stimuli med olika nivåer av naturalism²⁶. De flesta forskare föredrar att använda statiska bilder eller korta dynamiska videor eftersom dessa stimuli är lättare att förbereda än de som kan simulera en verklig handling eller en händelse. Trots att de har fördelar tillåter dessa stimuli inte forskare att mäta kontingenta beteenden bland sociala agenter. Med andra ord är de inte handlingsbara och har inte social överkomlighet²⁷. Under de senaste åren har ett alternativ till dessa icke-interaktiva stimuli utvecklats: realtidsanimationer av virtuella avatarer. Dessa avatarer möjliggör undersökning av interaktionerna mellan avatarer och deras användare. Användningen av virtuella avatarer är dock föremål för minskad användaruppfattning, särskilt när de inte verkar särskilt engagerande när det gäller deras realistiska och kontingenta beteenden²⁶. Därför finns det nu mer intresse för att använda verkliga sociala stimuli i experimentella studier. Även om deras design, dataregistrering och analys kan kräva avancerad utrustning och komplex dataanalys, är de de bästa kandidaterna för att förstå naturalistiskt mänskligt beteende och kognition.

Den aktuella studien föreslår en metod för att använda verkliga sociala stimuli i laboratoriemiljö. Denna studie syftar till att undersöka hur människor uppfattar och utvärderar andras handlingar i en miljö med förbättrad ekologisk validitet jämfört med traditionella laboratorieexperiment. Vi har utvecklat och beskrivit en ny uppsättning där deltagarna utsätts för verkliga aktörer som är fysiskt närvarande och delar samma miljö med dem. I detta protokoll mäts deltagarnas svarstider och musbanor, vilket kräver exakt timing av stimulipresentationen och strikt kontroll över experimentförhållandena i denna förbättrade ekologiska miljö. Därför sticker det experimentella paradigmet ut bland de ramar som finns i litteraturen, eftersom stimuliens naturlighet maximeras utan att offra kontrollen över miljön. Nedan presenterar protokollet stegen för att upprätta ett sådant system och fortsätter sedan med de representativa resultaten för provdata. Slutligen presenteras en diskussion om paradigmets betydelse, begränsningar och planer för modifieringar.

Experimentell design
Innan vi går vidare till protokollavsnittet beskriver vi parametrarna som används i den aktuella studien och presenterar detaljerna i stimuli tillsammans med den experimentella designen.

Parametrar i studien
Denna studie syftar till att mäta hur typen av skådespelare och den klass av handlingar de utför påverkar deltagarnas sinnesuppfattningsprocesser. I protokollet mäts sinnesuppfattningsprocessen i två huvuddimensioner, nämligen agens och erfarenhet, som föreslagits av tidigare forskning²⁸. De höga och låga ändarna av dessa två dimensioner ingår också, vilket nyligen introducerades av Li et ^al.29.

Studiens struktur inspirerades av version³⁰ av den vanliga implicita associeringsuppgiften (IAT)³¹. I den här uppgiften används deltagarnas svarstider medan de matchar ett attributkoncept med målkonceptet som en indikation på styrkan i deras implicita associationer för dessa två begrepp. I anpassningen av denna implicita uppgift presenteras deltagarna levande åtgärder som utförs av verkliga aktörer och krävs för att matcha dem till målkoncept. Målkoncepten är de höga och låga ändarna av byrån eller erfarenhetsdimensionerna, beroende på experimentets block.

Sammanfattningsvis är de oberoende variablerna Aktörstyp och Åtgärdsklass. Actor Type har två nivåer (dvs. två olika skådespelare, Actor1 och Actor2, som uppträder i studien). Action Class har två nivåer: Action Class1 och Action Class2, och varje klass innehåller fyra åtgärder. Deltagarna utvärderar de två aktörerna var för sig i fyra block (en aktör i varje block), och i varje block utför aktörerna alla åtgärder i en motbalanserad ordning. Deltagarna utför utvärderingar med avseende på två fördefinierade och tvingade dimensioner: agens och erfarenhet. De fyra blocken i experimentet är (1) Actor1 i Agency Block, (2) Actor2 i Agency Block, (3) Actor1 i Experience Block och (4) Actor2 i Experience Block. Blockens ordning balanseras också bland deltagarna så att blocken med samma agent aldrig följer varandra.

Förutom deltagarnas svar registreras svarstiderna och xy-koordinaterna för den trådlösa musen som de använder när de rör sig mot ett av de två svarsalternativen. Så de beroende variablerna är deltagarnas svar och svarstid (RT), liksom mätningarna av maximal avvikelse (MD) och arean under kurvan (AUC), härledd från datormusspårningen. Det variabla svaret är kategoriskt; det kan vara högt eller lågt, och eftersom utvärderingarna görs i ett av de givna blocken kan svaren också märkas som High-Agency, Low-Agency, High-Experience eller Low-Experience. Svarstiden är en kontinuerlig variabel; Dess enhet är sekunder, och den hänvisar till den förflutna tiden mellan början av presentationen av en åtgärd och förekomsten av ett musklick på ett av svaralternativen. MD för en bana är en kontinuerlig variabel och hänvisar till den största vinkelräta avvikelsen mellan deltagarens bana och den idealiserade banan (rak linje). AUC för en bana är också en kontinuerlig variabel, och den hänvisar till det geometriska området mellan deltagarens bana och den idealiserade banan³².

Stimuli och design av experimentet
Ett experiment i tre steg används i den aktuella studien. Mätningarna från den tredje delen används för analyserna; De två första delarna fungerar som förberedelse för den sista delen. Nedan beskriver vi varje del av experimentet tillsammans med experimentella stimuli och hypoteser.

I experiment del 1 (lexikal träningsdel) genomför deltagarna en utbildningssession för att förstå begreppen byrå och erfarenhet och kapacitetsnivåerna representerade med orden Hög och Låg. För att välja de begrepp (n = 12) som ska användas i denna träningssession genomförde några av författarna till det aktuella arbetet en normativ studie³³. Eftersom den aktuella studien var planerad att genomföras på deltagarnas modersmål översattes begreppen också till turkiska innan de normaliserades. Begrepp valdes bland dem som var starkt associerade med High (n = 3) och Low (n = 3) ändarna av de två dimensionerna (sex begrepp för varje). Denna del är avgörande eftersom deltagarnas förståelse av begreppen förväntas styra deras utvärderingsprocesser.

I experiment del 2 (åtgärdsidentifieringsdelen) tittar deltagarna på samma åtta åtgärder som utförs av Actor1 och Actor2 efter varandra och rapporterar vad åtgärden är till experimentet. Detta avsnitt fungerar som en manipulationskontroll; Genom att presentera alla åtgärder när båda aktörerna utför dem är det möjligt att se till att deltagarna förstår åtgärderna och är bekanta med aktörerna innan de startar det implicita testet, där de behöver göra snabba utvärderingar. De åtgärder som valts ut för Action Class1 och Action Class2 är de som hade de högsta H-poängen och konfidensnivåerna (fyra olika åtgärdsexempel i varje åtgärdsklass) enligt resultaten från de två normativa studierna (N = 219) för varje aktörstillstånd som utförts av några av författarna (manuskript under utarbetande). Alla åtgärder utförs inom en lika lång tid på 6 s.

Detta är en pågående studie, och den har några andra komponenter; Hypoteserna för de avsnitt som beskrivs ovan är dock följande: (i) typen av aktör kommer att påverka de beroende variablerna; Actor2 ger längre RT, högre MD och större AUC jämfört med Actor1; ii) Åtgärdstypen kommer att påverka de beroende mätningarna. Action Class1 kommer att ge längre RT, högre MD och större AUC jämfört med Action Class2; iii) De beroende mätningarna för höga och låga svar för samma aktör och åtgärdsklass kommer att skilja sig åt mellan blockdimensionerna: agens och erfarenhet.

Protocol

De experimentella protokollen i denna studie godkändes av etikkommittén för forskning med mänskliga deltagare vid Bilkent University. Alla deltagare som ingick i studien var över 18 år gamla, och de läste och undertecknade formuläret för informerat samtycke innan de startade studien.

1. Allmänna designsteg

Figur 1A (ovanifrån) och figur 1B och figur 1C (fram - och baksida) visar laboratoriets utformning. Dessa siffror skapades med avseende på den ursprungliga laboratorieuppsättningen och konfigurationen som utformades för just denna studie. Figur 1A visar labbets layout i toppvyn. I den här figuren är det möjligt att se LED-lampor i taket och skådespelarskåpet. Mörkläggningsgardinsystemet delar rummet i hälften och hjälper till med ljusmanipulation genom att förhindra att ljus läcker in i den främre delen av rummet (deltagarområde). Figur 1B visar laboratoriets syn ur experimentets perspektiv. Deltagaren sitter precis framför OLED-skärmen och med hjälp av den genomskinliga skärmen kan de titta på live-åtgärder som utförs av skådespelarna. De ger sina svar genom att använda svarsenheten (en trådlös mus) framför dem. Experimenten kan samtidigt titta på skådespelaren genom deltagardisplayen (OLED-skärmen) och bilderna som kommer från säkerhetskameran. Figur 1C visar studiens backstage (Actor Area) med säkerhetskameran och Actor persondator (PC), som inte är synliga för deltagaren. Säkerhetskamerafilmen går till kameradatorn för att upprätta kommunikation mellan skådespelarna och experimenten. Aktörsdatorn visar blockordningen och nästa åtgärdsinformation för aktören så att experimentet flödar utan avbrott. Skådespelarna kan kontrollera nästa åtgärd snabbt medan deltagarna svarar på åtgärden i föregående försök.

Figur 1: Naturalistisk laboratorieuppsättning . (A) Uppifrån och ner av den naturalistiska laboratorieuppsättningen. (B) Baksidan och framsidan av den naturalistiska experimentella inställningen ur deltagarens synvinkel. (C) Baksidan och framsidan av den naturalistiska experimentella inställningen ur skådespelarens synvinkel. Klicka här för att se en större version av denna figur.

1. Utforma en installation som omfattar tre datorer, inklusive (1) ett skrivbord med huvudkontroll (Experimenter PC), (2) en bärbar skådespelare (Actor PC) och (3) en kameradator, en trådlös svarsenhet (deltagarmus), två skärmar, en belysningskrets och en säkerhetskamera (se figur 2A för systemdiagrammet över installationen av denna studie).
   OBS: Experimenter-datorn kommer att användas av experimentet för att köra experimentskripten, Actor-datorn kommer att användas av skådespelaren för att spåra experimentets block och ordningen på åtgärderna i blocken, och den tredje enheten, kameradatorn, kommer att anslutas till säkerhetskameran i aktörsområdet och användas av experimentet för att övervaka backstage.
2. Anslut de separata skärmarna (en för presentation av stimuli [Participant Display], som är OLED-skärmen) och en skärm för övervakning av experimentet, responsanordningen och belysningskretsen (via ledningar eller trådlösa anslutningar) till experimentdatorn (se figur 2A).
3. Anslut experimentdatorn och aktörsdatorn via ett trådlöst nätverk för att förmedla information relaterad till experimentets status (t.ex. "nästa åtgärds-ID är 'hälsning''") till aktörerna.
4. Designa och bygg en belysningskrets som (se figur 2B för kretskortet) kan styras av en mikrokontroller för att slå på och stänga av lysdioderna.
   OBS: Figur 3A visar den ogenomskinliga användningen av OLED-skärmen som används i studien från experimentens syn. För att säkerställa ogenomskinlighet justeras skärmens bakgrund till vitt (RGB: 255, 255, 255) och alla lampor i rummet (både i deltagarområdet och aktörsområdet) släcks. Deltagaren ser fixeringen före stimuli. Figur 3B visar den transparenta användningen av den digitala skärmen i studien från experimentets synvinkel. För att aktivera transparens justeras skärmens bakgrund till svart (RGB: 0, 0, 0) och LED-lamporna i taket tänds. Deltagaren tittar på skådespelaren. Figur 3C visar den ogenomskinliga användningen av den digitala skärmen i studien. För att säkerställa ogenomskinlighet justeras skärmens bakgrund till vitt (RGB: 255, 255, 255) och alla lampor i rummet stängs av. Deltagaren presenteras med utvärderingsskärmen för att ge ett svar. De måste dra markören längst upp till vänster eller längst upp till höger på skärmen (ett av de två svarsalternativen, antingen Hög eller Låg) med en trådlös mus. Deras musbana och svarstid registreras.
5. Anslut mikrokontrollern till experimentdatorn.
6. Lagra skripten som kör experimentet på experimentdatorn.
   OBS: Figur 4A visar backstage (Actor Area) under experimentet. Frontlamporna i rummet (deltagarområdet) är släckta och skådespelarens dator visar namnet på åtgärden som kommer att utföras av skådespelaren. Figur 4B visar skådespelarskåpet där skådespelarna kan vänta på sin tur och byta kläder. Skådespelarskåpet är inte synligt från deltagarens syn, och eftersom ett gardinsystem används kan skådespelarna använda vilken ingång de vill. Under experimentet är lysrören som visas i figuren avstängda.

Figur 2: System- och kopplingsschema . (A) Systemschemat för den naturalistiska experimentella uppställningen. (B) Kopplingsschemat för ljuskretsen som stöder OLED-skärmen under experimentet. Klicka här för att se en större version av denna figur.

Figur 3: OLED-skärm ur experimentets synvinkel. (A) Ogenomskinlig användning av den digitala OLED-skärmen ur experimentets synvinkel. (B) Transparent användning av OLED digital skärm ur experimentets synvinkel. (C) Ogenomskinlig användning av OLED digital skärm ur försöksledarens synvinkel under en svarsperiod. Klicka här för att se en större version av denna figur.

Figur 4: Backstage av experimentet. (A) Backstage under en experimentförsök. (B) Skådespelarskåpet är på baksidan av OLED-skärmen, där skådespelarna kan vänta på att deras tur ska vara synlig under experimentet. Klicka här för att se en större version av denna figur.

2. Design och implementering av belysningskretsen

1. Steg att följa innan du driver enheterna / komponenterna i kretsen
   1. Om du vill ändra statusen för lysdioderna som är installerade backstage (aktörsområde) ger du experimentdatorn möjlighet att växla lysdioderna till antingen ON eller OFF.
   2. För att förmedla de digitala kommandon som kommer att skickas från Experimenter-datorn via en USB-kabel, välj en mikrokontrollerenhet som kan ta digitala ingångar och generera en digital utgång (se materialtabellen för mikrokontrollern som används i denna studie).
   3. Välj en specifik USB-port på Experimenter-datorn för att ansluta till mikrokontrollerns USB-ingång via en USB-kabel. Slå inte på datorn innan du har kontrollerat att alla anslutningar har upprättats.
   4. Inkludera en kopplingsmodul för att öka amplituden för utsignalen (cirka 3,3 V) som genereras av mikrokontrollern.
   5. Anslut den angivna digitala utgångsstiftet (för detta experiment är den angivna stiftet D9) och mikrokontrollerns jordstift till omkopplingsmodulen.
   6. För att köra belastningen (lysdioderna), inkludera en MOSFET-modul (eller MOSFET-modul) med hög effekt som genereras av omkopplingsmodulen och anslut MOSFET-modulens signalstift till motsvarande signaljordpar på kopplingsmodulen.
   7. Anslut MOSFET-modulens varmbäddsstift till lasten.
   8. För att leverera en reglerad konstant spänning till modulerna (och indirekt till lysdioderna), inkludera en LED-strömförsörjning som tar växelström (AC) nätingång och genererar en konstant likspänning i kretsen.
   9. Anslut utgångarna från LED-strömförsörjningen till strömingångarna på både MOSFET-modulen och omkopplingsmodulen.
2. Steg att följa efter anslutning av kretskomponenterna
   1. Anslut USB-kabeln till den valda USB-porten på Experimenter-datorn.
   2. Skapa en seriell kommunikationslänk mellan mikrostyrenheten och programvarumiljön som körs på experimentdatorn (se underavsnittet Ansluta mikrokontrollern till Experimenter PC).
   3. Anslut LED-strömförsörjningen till nätutgången.

3. Programmering av experimentet

Skapa tre huvudsakliga experimentella skript (ExperimentScript1.m [kompletterande kodningsfil 1], ExperimentScript2.m [kompletterande kodningsfil 2] och ExperimentScript3.m [kompletterande kodningsfil 3]), samt flera funktioner (RecordMouse.m [kompletterande kodningsfil 4], InsideROI.m [kompletterande kodningsfil 5], RandomizeTrials.m [kompletterande kodningsfil 6], RandomizeBlocks.m [kompletterande kodningsfil 7], GenerateResponsePage.m [kompletterande kodningsfil 8], GenerateTextures.m [kompletterande kodningsfil 9], ActorMachine.m [kompletterande kodningsfil 10], MatchIDtoClass.m [kompletterande kodningsfil 11] och RandomizeWordOrder.m [kompletterande kodningsfil 12]) för att utföra experimentet.

OBS: Se relaterade skript för detaljerade förklaringar.

1. Randomisering av prövningen och blockorder
   1. Definiera och skapa två funktioner för att randomisera prövningsordningarna (RandomizeTrials.m) och blockordningarna (RandomizeBlocks.m) som tar randomiseringsparametrarna (till exempel deltagar-ID) som indata och returnerar en matris med pseudorandomiserade sekvenser.
   2. Se skripten RandomizeBlocks.m (raderna 2–24) och RandomizeTrials.m (raderna 3–26) för mer information om hur de randomiserade sekvenserna genereras.
2. Spårning av svaret (RecordMouse, InsideRoi)
   1. Skapa en funktion som spårar och registrerar deltagarnas musbana och den förflutna tiden under experimentet (se RecordMouse.m).
   2. Skapa en hjälpfunktion för att kontrollera om de klickade koordinaterna ligger inom de acceptabla regionerna eller inte (se skriptet InsideRoi.m).
3. Generering av texturer för instruktioner och återkopplingar (GenerateTextures.m, GenerateResponsePage.m)
   1. Förbered instruktionerna för försöket och responsen för försöken som bilder.
   2. Spara innehållet i dessa bilder i en .mat-fil (se filen ExperimentImages.mat [kompletterande kodningsfil 13]).
   3. Läs in .mat-filen på arbetsytan (se GenerateTextures.m rad 25) när du har skapat ett fönster på skärmen.
   4. Skapa en separat textur och dess identifierare för varje bild (se GenerateTextures.m raderna 27–165).
   5. Definiera en funktion för att rita relaterade svarssidtexturer för varje experimentskript (se GenerateResponsePage.m).
4. Ansluta aktörsdatorn till experimentdatorn via TCP/IP
   1. Skapa en TCP-serversocket i skriptet (se ExperimentScript2.m rad 174) som körs på experimentdatorn.
   2. Skapa en motsvarande TCP-klientsocket i skriptet (se ActorMachine.m rad 16) som körs på aktörsdatorn.
   3. Skicka information om det kommande blocket/testversionen till skådespelarna från skriptet (se raderna 207, 229 och 278 i ExperimentScript2.m eller se raderna 136, 141, 153, 159 och 297 i ExperimentScript3.m) som körs på Experimenter-datorn.
   4. Visa den mottagna informationen från experimentdatorn i skärmfönstret på Actor-datorn (se raderna 31–47 i ActorMachine.m).
5. Ansluta mikrokontrollern till Experimenter-datorn
   1. Anslut mikrostyrenheten till en specifik USB-port (t.ex. PORT 9) för att styra tillståndet (antingen PÅ eller AV) för de installerade lysdioderna backstage.
   2. Upprätta en seriell kommunikation mellan mikrokontrollerenheten och Experimenter-datorn (se rad 185 i skriptet ExperimentScript2.m).
   3. Skicka en logisk hög signal (1) till mikrokontrollern från skriptet som körs på Experimenter-datorn (se rad 290 i ExperimentScript2.m eller se rad 311 i ExperimentScript3.m-skript) för att tända lysdioderna när åtgärderna visas via USB-kabeln.
   4. Skicka en logisk låg signal (0) till mikrokontrollern från skriptet som körs på Experimenter-datorn (se rad 292 i ExperimentScript2.m eller se rad 314 i ExperimentScript3.m-skript) för att stänga av lysdioderna när deltagaren förväntas ge ett svar.

4. Flödet av ett provexperiment

1. Steg före experimentet
   1. Se till att alla enheter i labbet (Experimenter PC, Camera PC, Actor PC och Participant Display) drivs av en UPS.
   2. Länka blixtmikrokontrollern till experimentdatorn via en USB-kabel så att den slås på automatiskt när experimentdatorn slås på.)
   3. Slå på experimentdatorn och kontrollera om den är ansluten till 5 GHz Wi-Fi.
   4. Välj ljudenheten (högtalarna i materialtabellen) som ljudutmatningsenhet för Experimenter-datorn.
   5. Slå på deltagardisplayen och ställ in volyminställningarna på 80%.
   6. Ställ in skärminställningarna för Experimenter-datorn för flera bildskärmar. Utöka visningen av experimentdatorn till deltagarens skärm. Experimenter-datorns display kommer att vara 1 och deltagarens display kommer att vara 2.
   7. Slå på Actor PC och kontrollera om den är ansluten till 5 GHz Wi-Fi.
   8. Anslut säkerhetskameran till Actor-datorn via en USB-kabel så att den automatiskt slås på när Actor-datorn slås på.
   9. Slå på kameradatorn och öppna kameraprogrammet på skrivbordet. Se till att varje skådespelare, deras rörelser och deras in- och utgångar till skåpet är synliga från kameran.
   10. Kontrollera att alla datorer, skärmar och enheter (svarsenheten [deltagarens trådlösa mus], högtalare, tangentbord och mus på Experimenter-datorn och Actor-datorn och blixtmikrokontrollern) fungerar som de ska.
   11. Välkommen deltagaren till ett annat rum; Efter att ha gett kort information om studien, ge samtyckesformuläret och låt deltagaren underteckna det.
   12. Be deltagaren att rita ett nummer från en påse och berätta för dem att numret kommer att vara deras deltagar-ID under hela studien.
   13. Låt deltagaren fylla i onlinedemografiformuläret med sitt anonyma deltagar-ID.
       OBS: Det är avgörande att deltagarna inte ser skådespelarna före experimentet. Så detta pappersarbete fylls i i ett annat rum snarare än huvudexperimentrummet så att skådespelarna kan ta pauser mellan deltagarna.
2. Experimentets steg
   1. Öppna experimentprogramvaran på Experimenter-datorn och öppna skriptet ExperimentScript1.m och kör det.
   2. Fyll i deltagar-ID och ålder; sedan startar skriptet den första delen av experimentet (den första synliga stimulansen kommer att vara ett kors i mitten av deltagardisplayen.)
   3. Öppna experimentprogramvaran på Actor-datorn och öppna skriptet ActorMachine.m.
   4. Placera kameradatorn nära experimentdatorn och se till att bilderna från övervakningskameran inte är synliga för deltagaren.
   5. Välkomna deltagaren till huvudexperimentrummet och låt dem sitta framför deltagarens display.
   6. Säg åt deltagaren att ordna sig så att korset är i mitten och rakt fram.
   7. Ge instruktioner om delarna av experimentet kortfattat genom att hänvisa till förklaringarna och varaktigheterna skrivna på whiteboardtavlan.
   8. Släck alla lampor i experimentrummet.
3. Experiment del 1:
   1. Berätta för deltagaren att de kommer att slutföra lexikal / konceptuell träning i den första delen av experimentet. Varna dem för att vara noga med att följa instruktionerna så att de kan klara utbildningen.
   2. Berätta för deltagaren att experimentet kan startas när de är redo.
   3. Tryck på ESC-knappen när deltagaren säger att de är redo för den första delen.
      OBS: Från och med nu kommer deltagaren att gå igenom experimentet genom att läsa instruktionerna på deltagardisplayen och välja ett av alternativen. De kommer att få feedback om sina rätt och fel svar så att de kan utvecklas bra i träningen. Matchningen fortsätter tills deltagarna når minimitröskeln (80%) inom 10 blockrepetitioner.
   4. När deltagaren har slutfört träningsdelen trycker du på ESC-knappen och berättar för deltagaren att experimentet tar kontroll över musen för att starta den andra delen av experimentet.
4. Experiment del 2:
   1. Öppna skriptet ExperimentScript2.m och vänta på meddelandet Väntar på aktörsdatorn.
   2. Ring på klockan när prompten visas så att en av skådespelarna kan köra skriptet på Actor PC för att aktivera anslutningen till Experimenter PC.
   3. Vänta tills meddelandet Experiment del 2 är klart.
   4. Berätta för deltagaren att nu när skärmen kommer att vara transparent medan de tittar på några korta åtgärder genom den.
   5. Varna dem för att titta noga på varje åtgärd och informera dem om att de ska säga vad åtgärden är högt.
   6. Berätta för deltagaren att experimentet kan startas när de är redo.
   7. Tryck på ESC-knappen när deltagaren säger att de är redo för den första delen.
      OBS: Deltagaren går igenom instruktionerna och tittar på den första åtgärden. Actor1 utför åtgärderna när LED-lamporna tänds och de kontrollerar nästa åtgärd från prompten på Actor-datorn när lamporna släcks. När varje åtgärd avslutas visas en dialogruta på skärmen Experimenter PC.
   8. Skriv vad deltagaren säger om åtgärden i dialogrutan och skriv 1 eller 0 i den andra dialogrutan, beroende på om åtgärden identifieras rätt eller fel.
      OBS: Dessa steg kommer att upprepas åtta gånger för den första skådespelaren, och bakgrundsmusiken kommer att börja spela när det är dags för skådespelarna att byta plats.
   9. Titta på backstage från övervakningskamerans bilder på kameradatorn.
   10. Tryck på ESC-knappen för att starta identifieringen för Actor2 när skådespelaren viftar med händerna mot säkerhetskameran med gesten Jag är redo .
   11. Upprepa steg 4.4.7 och steg 4.4.8 tillsammans med deltagaren tills samma åtta åtgärder också identifieras medan de utförs av Actor2.
   12. När deltagaren ser att identifieringen är fullständig varning och lämnar delen genom att klicka på pilen, tryck på ESC-knappen och berätta för deltagaren att experimentet tar kontroll över musen för att starta den tredje delen av experimentet.
5. Experiment del 3:
   1. Öppna skriptet ExperimentScript3.m.
   2. Berätta för deltagaren att de kommer att titta på båda aktörernas handlingar, och sedan klickar de på det alternativ som de tycker är lämpligt.
      OBS: Deltagarna kommer att utvärdera aktörernas agerande i fyra block. I två av blocken utför Actor1 åtgärderna och i de andra två utför Actor2 samma åtgärder. I två av blocken kommer deltagarna att utvärdera åtgärderna genom att tilldela hög eller låg byråkapacitet, och i de andra två kommer de att tillskriva hög eller låg erfarenhetskapacitet.
   3. Tryck på ESC-knappen när deltagaren säger att de är redo för den tredje delen.
      OBS: Deltagaren går igenom instruktionerna och de börjar med det första blocket. Skådespelarna utför handlingarna i ljuset, och medan deltagarna ger sina svar blir skärmen ogenomskinlig och lamporna släcks så att skådespelarna kan se vilken åtgärd som kommer nästa. När varje block slutar kommer skådespelarna att byta plats efter anvisningarna på skådespelarens dator.
   4. Kontrollera om allt går bra backstage och om rätt skådespelare utför rätt åtgärd under blocken.
   5. Tryck på ESC-knappen för att starta nästa block när rätt skådespelare viftar med händerna med I am ready-gesten efter bytet av skådespelarna.
   6. Upprepa steg 4.5.4 och steg 4.5.5 i samarbete med deltagare och aktör tills de fyra blocken är klara.
   7. När deltagaren ser Experimentet är över, tack prompt, tryck på ESC-knappen .
   8. Tacka deltagaren, och efter debriefing och ta signaturer, skicka ut deltagaren.

Figur 5 visar ett provförsök ur deltagarens synvinkel. Figur 5A visar deltagaren som tittar på markören i mitten av skärmen i dess ogenomskinliga användning. Figur 5B visar deltagaren som tittar på live-action-stimuli genom skärmen. Figur 5C visar utvärderingsskärmen som presenteras för deltagaren efter stimuli, där de måste dra musen till ett av de två alternativen i varje övre hörn av skärmen.

Figur 5: OLED-skärm ur deltagarens synvinkel. (A) Ogenomskinlig användning av den digitala OLED-skärmen ur deltagarens synvinkel under en fixeringsskärm. (B) Transparent användning av den digitala OLED-skärmen från deltagarens synvinkel under presentationen av en live-åtgärd. (C) Ogenomskinlig användning av OLED-digitalskärmen ur deltagarens synvinkel under svarsperioden. Klicka här för att se en större version av denna figur.

5. Förbehandling och analys av data

1. Segmentera data i villkor
   1. Läs alla deltagardatafiler i arbetsytan i programvarumiljön.
   2. Definiera villkoren för att gruppera data (två åtgärdsklasser [Action Class1 och Action Class2] x två aktörer [Actor1 och Actor2] x två dimensioner [Agency and Experience] x två nivåer [High och Low]).
   3. Segmentera data i fyra huvudgrupper: Agency High, Agency Low, Experience High och Experience Low.
   4. Dela in dessa huvudgrupper i fyra undergrupper (två aktörer x två åtgärdsklasser).
   5. Gå igenom varje datafil för att gruppera de utvärderingsversioner som tillhör en av de fyra tidigare definierade undergrupperna.
   6. Lagra relevant försöksinformation (svarstid, markörrörelse och tidpunkter då markörens position samplas) i separata datastrukturer för varje undergrupp.
   7. Avsluta loopen när alla utvärderingsversioner är grupperade.
2. Visualisering av banorna
   1. När du har segmenterat data gör du följande steg för att visualisera musbanorna.
   2. Om du vill tillämpa tidsinterpolering på svarsbanorna väljer du 101 (x,y)-par från banan-arrayen för varje försök så att varje undergrupp av data har försök med lika många tidssteg.
      OBS: När du förankrar antalet par till 101, se till att följa konventionen³²för att genomföra korrekt tidsnormalisering. Uppnå därför tidsnormalisering med följande ekvation, där n är antalet prover i en banmatris:
      
   3. Beräkna summeringen av (x,y)-par vid var och en av de 101 tidpunkterna och dividera sedan det erhållna resultatet med det totala antalet prövningar i den undergruppen för att erhålla medel för varje undergrupp (t.ex. Experience Low Actor1 eller Experience Low Actor2).
   4. Tillämpa en skalningsåtgärd på radvärdena för att visualisera medelbanorna.
      2D-koordinatplanet förutsätter att båda axlarna ökar från nollpunkten som finns längst ned till vänster i fönstret (förutsatt att koordinaterna är positiva heltal), medan pixelformatet tar fönstrets övre vänstra hörn som referens (t.ex. nollpunkt). Använd därför en skalningsåtgärd för y-koordinaterna (motsvarande radvärdena i pixelformat) för de provtagna platserna genom att extrahera den samplade y-koordinaten för varje försök från värdet på det totala antalet rader.
   5. Rita de relaterade undergrupperna i samma figur för jämförelse.
      Varje bana börjar i mitten av rektangeln längst ner i mitten, märkt START, och slutar inuti rektanglarna i de övre vänstra eller övre högra hörnen.

6. Förhållanden som kan leda till systemfel och försiktighetsåtgärder

OBS: I händelse av systemfel är det viktigt att ha ett fysiskt tecken (ringer en klocka) för att låta skådespelaren veta om felet och varna dem för att stanna på en plats som är osynlig för deltagaren.

1. Fel på grund av nätverksanslutning
   1. Om en av datorerna är ansluten till ett annat nätverk misslyckas begäran om TCP/IP-anslutning och ett fel visas i systemet. För att förhindra detta, se till att Experimenter PC och Actor PC finns i samma band i samma trådlösa nätverk.
   2. Se till att båda datorerna finns kvar i samma nätverk genom att radera tidigare anslutna trådlösa nätverk från båda datorerna.
   3. Ange statiska IP-adresser för enheterna i det valda nätverket eftersom IP-adresserna i ett nätverk kan ändras utan föregående meddelande.
   4. Tillfällig frånkoppling (t.ex. på grund av strömavbrott, Internetavbrott osv.) till nätverket kan orsaka att skriptet misslyckas. Under dessa omständigheter måste systemet startas om från början för att återupprätta TCP/IP-anslutningen.
      Kravet på statiska IP-adresser för enheter kan uppfyllas av Internetleverantören. Vissa portar kan inaktiveras av operativsystemet eller maskinvaran på en viss enhet. Därför måste portarna som ska användas i experimentet öppnas och får inte ha en aktiv anslutning förrän experimentskriptet startas.
2. Fel på grund av programkrascher
   1. Programvarumiljön kan krascha på grund av misslyckade anslutningar (t.ex. seriell portanslutning, TCP/IP-anslutning, bildskärmsanslutning osv.) och detta kan leda till förlust av data. För att övervinna detta, dela huvudexperimentskriptet i flera skript. Om det till exempel finns ett block som måste slutföras innan aktörerna börjar utföra åtgärder, behöver du inte skapa en server på Experimenter-datorn under det här blocket. Servern kan skapas när blocket som involverar åtgärder, och därmed kräver kommunikation mellan Experimenter PC och Actor PC, är på väg att starta.

Representative Results

Jämförelser av svarstid (RT)
Den aktuella studien är ett pågående projekt, så som representativa resultat presenteras data från huvuddelen av experimentet (Experiment Del 3). Dessa data är från 40 deltagare, inklusive 23 kvinnor och 17 män, med åldrar från 18-28 år (M = 22.75, SD = 3.12).

Att undersöka omfattningen av normaliteten i fördelningen av de beroende variablerna var nödvändigt för att välja lämplig statistisk metod för analyserna. Så Shapiro-Wilk-testet utfördes för att förstå om de tre beroende variablerna, nämligen svarstiden (RT), maximal avvikelse (MD) och arean under kurvan (AUC), fördelades normalt. Poängen visade att data för svarstiden, W = 0,56, p < 0,001, maximal avvikelse, W = 0,56, p < 0,001 och arean under kurvan, W = 0,71, p < 0,001, alla var signifikant icke-normala.

Homogeniteten av varianserna för de beroende variablerna kontrollerades också genom att tillämpa Levenes test för nivåerna av de oberoende variablerna, nämligen Actor Type (Actor1 och Actor2) och Action Class (Action Class1 och Action Class2). För poängen på svarstiden var varianserna likartade för Actor1 och Actor2, F(1, 1260) = 0,32, p = 0,571, men varianserna för Action Class1 och Action Class2 var signifikant olika, F(1, 1260) = 8,82, p = 0,003. För poängen på den maximala avvikelsen var varianserna likartade för Actor1 och Actor2, F(1, 1260) = 3,71, p = 0,542, men varianserna för Action Class1 och Action Class2 var signifikant olika, F(1, 1260) = 7,51, p = 0,006. För poängen på området under kurvan var varianserna likartade för Action Class1 och Action Class2, F(1, 1260) = 3,40, p = 0,065, men varianserna för Actor1 och Actor2 var signifikant olika, F(1, 1260) = 4,32, p = 0,037.

Eftersom data i denna studie inte uppfyllde normalfördelningen och homogeniteten av variansantaganden för den vanliga ANOVA (variansanalys) och vi hade fyra oberoende grupper på ett kontinuerligt resultat, tillämpades den icke-parametriska ekvivalenten av en ANOVA, Kruskal-Wallis-testet. De fyra oberoende grupperna härleddes från de två kategoriska responsvariablerna (Hög eller Låg) inom de två förtvingade blockdimensionerna (Agency och Experience). Eftersom vi var intresserade av hur de beroende variablerna skilde sig mellan deltagarnas svar över dimensionerna delades data in i fyra undergrupper enligt svar i byrådimensionen, inklusive Agency-High och Agency-Low, och i erfarenhetsdimensionen, inklusive Experience-High och Experience-Low. Nedan presenteras resultaten från Kruskal-Wallis-testerna för de tre oberoende variablerna. I samtliga fall fastställdes signifikanströskeln till p < 0,05.

Resultat av svarstid
Figur 6 visar deltagarnas svarstider enligt deras svar på Hög eller Låg i de fyra blockdimensionerna. Deltagarnas svarstider presenteras för varje nivå av de två oberoende variablerna: Actor Type och Action Class. A1 och A2 representerar Actor 1 respektive Actor 2, medan AC1 och AC2 representerar Action Class 1 respektive Action Class 2.

Bild 6: Deltagarnas svarstider i uppgiften för aktörstypen och åtgärdsklassen. Varje panel visar den tid deltagarna spenderade på att svara mot en av nivåerna (hög eller låg) i den specifika dimensionen (byrå och erfarenhet). Asteriskerna visar signifikanta skillnader mellan nivåerna av aktörstyp eller åtgärdsklass (p < .05). Klicka här för att se en större version av denna figur.

Svarstiderna påverkades inte signifikant av aktörstypen för Agency-High, H(1) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091 och Experience-High, H(1) = 0,001, p = 0,968 svar, men de påverkades signifikant av aktörstypen för Experience-Low-svaren, H(1) = 8,54, p = 0,003. Ett Wilcoxon-signerat rangtest beräknades för att undersöka effekten av aktörstyp på Experience-Low-svaren. Mediansvarstiden för Actor1 (Mdn = 1,14) var signifikant kortare än mediansvarstiden för Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

Svarstiderna påverkades inte signifikant av åtgärdsklassen för Agency-Low, H(1) = 1,99, p = 0,158 och Experience-High, H(1) = 0,17, p = 0,675 svar, men de påverkades signifikant av åtgärdsklassen för Agency-High, H(1) = 10,56, p = 0,001 och Experience-Low, H(1) = 5,13, p = 0,023, svar. Resultaten av Wilcoxons signerade rangordning visade att mediansvarstiden för åtgärdsklass 1 (Mdn = 1,30) var signifikant längre än mediansvarstiden för åtgärdsklass 2 (Mdn = 1,17), W = 17433, p = 0,0005; Dessutom, för Experience-Low-svaren, var mediansvarstiden för Action Class1 (Mdn = 1,44) signifikant längre än mediansvarstiden för Action Class2 (Mdn = 1,21), W = 10002, p = 0,011.

Resultat för musspårning
Deltagarnas musrörelser medan de bestämde sitt slutliga svar registrerades också. Tids- och platsinformationen samlades in för att beräkna deltagarnas genomsnittliga motorbanor. Inspelningen började när deltagarna såg de verbala stimuli på skärmen och slutade när de gav ett svar genom att klicka på ett av alternativen (Hög eller Låg) i skärmens övre högra eller övre vänstra hörn.

Figur 7 visar de maximala avvikelserna för deltagarnas musrörelser enligt deras svar på Hög eller Låg i fyra blockdimensioner. Deltagarnas maximala avvikelser från den idealiserade raka linjen för det valda svaret mot det ovalda alternativa svaret presenteras för varje nivå av de två oberoende variablerna, Actor Type och Action Class. A1 och A2 representerar Actor 1 respektive Actor 2, medan AC1 och AC2 representerar Action Class 1 och Action Class 2, respektive.

Figur 7: Den maximala avvikelsen för deltagarnas musbanor över aktörstyp och åtgärdsklass. Varje panel visar deltagarnas maximala avvikelse från den idealiserade raka linjen i det valda svaret mot det ovalda alternativa svaret medan de svarar mot en av nivåerna (hög eller låg) för den specifika dimensionen (byrå och erfarenhet). Asteriskerna visar signifikanta skillnader mellan nivåerna av aktörstyp eller åtgärdsklass (p < .05). Klicka här för att se en större version av denna figur.

De maximala avvikelserna påverkades inte signifikant av aktörstypen för Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655 och Experience-High, H(1) = 0,12, p = 0,720, svar , men de påverkades signifikant av aktörstypen för Experience-Low-svaren, H(1) = 7,07, p = 0,007. Ett Wilcoxon-signerat rangtest utfördes för att undersöka effekten av aktörstyp på Experience-Low-svaren. Medianen maximal avvikelse för Actor1 (Mdn = 0,03) var signifikant kortare än medianen maximal avvikelse för Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

De maximala avvikelserna påverkades inte signifikant av åtgärdsklassen för Agency-High, H(1) = 0,37, p = 0,539, och Experience-High, H(1) = 1,84, p = 0,174, svar, men de påverkades signifikant av åtgärdsklassen för Agency-Low, H(1) = 8,34, p = 0,003, och Experience-Low , H(1) = 11,53, p = 0,0006, svar. Resultaten av Wilcoxons signerade rangtest visade att för Agency-Low-svaren var medianen för maximal avvikelse för åtgärdsklass 1 (Mdn = 0,06) signifikant längre än medianen för maximal avvikelse för åtgärdsklass 2 (Mdn = 0,02), W = 12516, p = 0,0019. För Experience-Low-responserna var dessutom medianen maximal avvikelse för Action Class1 (Mdn = 0,09) signifikant längre än medianen maximal avvikelse för Action Class2 (Mdn = 0,03), W = 10733, p = 0,0003.

Figur 8 visar områdena under kurvan för deltagarnas musbanor enligt deras svar på Hög eller Låg i fyra blockdimensioner. Områdena under kurvan för deltagarnas svar med hänvisning till den idealiserade raka linjen för det valda svaret presenteras för varje nivå av de två oberoende variablerna, Actor Type och Action Class. A1 och A2 representerar Actor 1 respektive Actor 2, medan AC1 och AC2 representerar Action Class 1 och Action Class 2, respektive.

Figur 8: Områdena under kurvan med avseende på den idealiserade banan för deltagarnas musrörelser. Varje panel visar området under kurvan medan deltagarna svarar mot en av nivåerna (Hög eller Låg) i den specifika dimensionen (Byrå eller Erfarenhet). Asteriskerna visar signifikanta skillnader mellan nivåerna av aktörstyp eller åtgärdsklass (p < .05). Klicka här för att se en större version av denna figur.

Områdena under kurvorna påverkades inte signifikant av aktörstypen för Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827 och Experience-High, H(1) = 0,96, p = 0,324, svar , men de påverkades signifikant av aktörstypen för Experience-Low-svaren, H(1) = 8,51, p = 0,003. Ett Wilcoxon-signerat rangtest beräknades för att undersöka effekten av aktörstyp på Experience-Low-svaren. Medianarean under kurvan för Actor1 (Mdn = −0,03) var signifikant snalare än medianarean under kurvan för Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

Områdena under kurvorna påverkades inte signifikant av åtgärdsklassen för Agency-High svar, H(1) = 0,01, p = 0,913, men de påverkades signifikant av åtgärdsklassen för Agency-Low, H(1) = 7,54, p = 0,006, Experience-High, H(1)= 5,87, p = 0,015, och Experience-Low , H(1) = 15,05, p = 0,0001, svar. Resultaten av Wilcoxons signerade rang-test visade att för Agency-Low-svaren var medianarean under kurvan för Action Class1 (Mdn = 0,03) signifikant större än medianarean under kurvan för Action Class2 (Mdn = −0,03), W = 12419, p = 0,003, och för Experience-High-svaren, medianarean under kurvan för Action Class1 (Mdn = −0,06) var signifikant mindre än medianen för maximal avvikelse för åtgärdsklass 2 (Mdn = −0,02), W = 9827, p = 0,007. För Experience-Low-responserna var medianarean under kurvan för Action Class1 (Mdn = 0,05) signifikant större än medianarean under kurvan för Action Class2 (Mdn = −0,03), W = 11049, p < 0,0001.

Sammanfattning och utvärdering av de representativa resultaten
Eftersom detta är en pågående studie har en representativ del av de data vi kommer att ha i slutet av den storskaliga datainsamlingen presenterats. Men även dessa urvalsdata stöder effektiviteten av den metod som föreslås i den aktuella studien. Vi kunde få deltagarnas svarstider och musbanor medan de gav sina svar efter att ha tittat på realtidsåtgärder. Vi kunde slutföra alla dessa steg genom samma skärm så att deltagarna inte ändrade en modalitet mellan att titta på de verkliga aktörerna och ge mussvaren, vilket gör att vi kan utöka procedurerna i experimenten till verkliga scenarier.

Tabell 1 sammanfattar resultaten av hur de beroende måtten, inklusive svarstider, MD och AUC för musbanorna, påverkades av aktörstypen och åtgärdsklassen, som var de viktigaste oberoende variablerna i studien.

	Svarstid (RT)		Maximal avvikelse (MD)		Yta under kurvan (AUC)
	Typ av skådespelare	Action-klass	Typ av skådespelare	Action-klass	Typ av skådespelare	Action-klass
Byrå Hög	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Byrå Låg	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Upplev hög	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Upplev låg	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabell 1: Sammanfattning av resultaten. Tabellen visar hur de beroende måtten (svarstider, MD och AUC för musbanorna) påverkades av studiens huvudsakliga oberoende variabler (aktörstyp och åtgärdsklass). *, ** och *** representerar signifikansnivåerna p ≤ 0,05, p ≤ 0,01 respektive p ≤ 0,001.

Aktörstypen hade en signifikant effekt på deltagarnas svarstider; medan de tilldelade låg kapacitet i Experience dimensionen spenderade de mer tid på att göra detta för Actor2 jämfört med Actor1 i samma skick (se figur 6D). Vi observerade också denna längre svarstid i mätningarna av musrörelserna baserat på MD och AUC (se figur 9 för banorna). MD för musbanorna mot låga svar (se figur 7D) var signifikant högre och AUC för musbanorna (se figur 8D) var signifikant större när deltagarna utvärderade Actor2 jämfört med Actor 1 (jämför de blå linjerna i figur 9A, B).

Figur 9: Deltagarnas genomsnittliga musbanor vid utvärdering av de åtgärder som utförs av Actor1 och Actor2 i dimensionen Experience. De orange linjerna visar de genomsnittliga musbanorna mot höga svar; De blå linjerna visar musens genomsnittliga banor mot Låg respons. De svarta streckade raka linjerna representerar de idealiserade svarsbanorna, medan de grå skuggade områdena representerar rotmedelvärdet i kvadratiska standardavvikelser. Klicka här för att se en större version av denna figur.

Deltagarnas svarstider var betydligt högre än för de åtgärder som tillhörde åtgärdsklass 1 i byrådimensionen (se figur 6A), medan de svarade högt på de åtgärder som tillhörde åtgärdsklass 2. Dessa längre svarstider observerades dock inte i MD- (se figur 7A) och AUC-mätningarna (se figur 8A). När deltagarna svarade Låg på Action Class1 i Experience dimensionen spenderade de betydligt mer tid än de spenderade för Action Class2 (se figur 6D), och detta var också tydligt i MD (se figur 7D) och AUC (se figur 8D) poäng. Figur 10 visar att MD för musbanorna mot låga svar (se figur 7D) var signifikant högre, och AUC för musbanorna (se figur 8D) var signifikant större medan deltagarna utvärderade åtgärder som tillhörde Action Class1 jämfört med Action Class2 (jämför de blå linjerna i figur 10A,B).

Figur 10: Deltagarnas genomsnittliga musbanor vid utvärdering av de aktörer som utför åtgärderna som tillhör Action Class1 och Action Class2 i Experience dimensionen. De orange linjerna visar de genomsnittliga musbanorna mot höga svar; De blå linjerna visar musens genomsnittliga banor mot Låg respons. De svarta streckade raka linjerna representerar de idealiserade svarsbanorna, medan de grå skuggade områdena representerar rotmedelvärdet i kvadratiska standardavvikelser. Klicka här för att se en större version av denna figur.

Även om inga signifikanta effekter av åtgärdsklassen på svarstidsmätningarna för de andra block-responskombinationerna observerades, observerades en signifikant effekt av åtgärdsklassen i MD (se figur 7B) och AUC (se figur 8B) poäng av Låga svar i Agency-dimensionen. Figur 11 visar att deltagarna tvekade mot alternativet Hög och rörde sig mer mot Låg respons när de utvärderade åtgärder från åtgärd klass 1 jämfört med åtgärderna från åtgärd klass 2 (jämför de blå linjerna i figur 11A, B). Slutligen, även om det inte fanns någon signifikant effekt av åtgärdsklass på RT- och MD-poängen för de höga svaren på erfarenhetsdimensionen, observerades en signifikant effekt för AUC (se figur 8C) för banorna (se figur 10); specifikt tvekade deltagarna mer när de utvärderade åtgärd klass 2 jämfört med åtgärd klass 1 (jämför de orange linjerna i figur 10A, B).

Figur 11: Deltagarnas genomsnittliga musbanor vid utvärderingen av de aktörer som utför åtgärderna i åtgärdsklass 1 och åtgärdsklass 2 i arbetsmiljöbyråns dimension. De orange linjerna visar de genomsnittliga musbanorna mot höga svar; De blå linjerna visar musens genomsnittliga banor mot Låg respons. De svarta streckade raka linjerna representerar de idealiserade svarsbanorna, medan de grå skuggade områdena representerar rotmedelvärdet i kvadratiska standardavvikelser. Klicka här för att se en större version av denna figur.

Resultaten hittills stöder våra hypoteser, som föreslog att det skulle finnas en effekt av aktörstypen och handlingsklassen och att de beroende mätningarna för höga och låga svar för samma aktör och åtgärdsklass skulle skilja sig åt mellan blockdimensionerna av byrå och erfarenhet. Eftersom detta är en pågående studie ligger det utanför ramen för detta dokument att diskutera de möjliga orsakerna till resultaten. Som en tidig anmärkning kan vi dock betona att även om vissa resultat för svarstiden och mätningarna från datormusspårningen kompletterade varandra, observerade vi i vissa blockresponsförhållanden att deltagarna tvekade mot det andra alternativet även när de var snabba i sina utvärderingar.

Om en speciell OLED-skärm inte ingick i installationen kunde deltagarnas svarstider fortfarande samlas in med några andra verktyg som knappar att trycka på. Deltagarnas musrörelser kunde dock inte spåras utan att tillhandahålla en extra skärm och låta deltagarna titta på den skärmen och de riktiga skådespelarna fram och tillbaka, vilket i sin tur skulle försena deras svar. Så även om svarstider är användbara indikatorer på svårigheten i beslutsprocessen, avslöjar deltagarnas musbanor mer om realtidsdynamiken i deras beslutsprocesser innan deras slutliga svar^32,34.

Kompletterande kodningsfil 1: ExperimentScript1.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 2: ExperimentScript2.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 3: ExperimentScript3.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 4: RecordMouse.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 5: InsideROI.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 6: RandomizeTrials.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 7: RandomizeBlocks.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 8: GenerateResponsePage.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 9: GenerateTextures.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 10: ActorMachine.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 11: MatchIDtoClass.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 12: RandomizeWordOrder.m Klicka här för att ladda ner den här filen.

Kompletterande kodningsfil 13: ExperimentImages.mat-fil Klicka här för att ladda ner den här filen.

Discussion

Det övergripande målet med föreliggande studie är att bidra till vår förståelse av hur mänsklig visuell perception och kognition på hög nivå fungerar i verkliga situationer. Denna studie fokuserade på handlingsuppfattning och föreslog ett naturalistiskt men kontrollerbart experimentellt paradigm som gör det möjligt för forskare att testa hur individer uppfattar och utvärderar andras handlingar genom att presentera verkliga aktörer i en laboratorieinställning.

Betydelsen av denna föreslagna metod jämfört med befintliga metoder är trefaldig. (1) Stimulins naturlighet maximeras genom att presentera levande handlingar för deltagarna. (2) De verkliga stimuli (dvs. skådespelare), andra verbala stimuli (t.ex. ord eller instruktioner) och svarsskärmen för aktörer och handlingar presenteras genom att använda samma modalitet (dvs. den digitala OLED-skärmen) så att deltagarna inte kommer att förlora sitt fokus medan de ändrar modaliteten, som i fallet med användning av slutarglas, till exempel³⁵. (3) Tidskänsliga data, såsom data om svarstid och musbanor, som kräver strikt tidskontroll registreras med hjälp av en naturlig uppgift i dagens värld, musanvändning.

Vissa kritiska steg i protokollet är viktiga för att detta paradigm ska fungera sömlöst och låta forskare uppnå sina mål samtidigt som deltagarna får en anständig upplevelse. Dessa steg är lika viktiga för att skapa ett sådant system, så vi presenterar dem individuellt utan att beställa dem enligt deras kritiknivåer.

Det första kritiska steget gäller manipulering av belysningen av rummet och ändring av färgen på bakgrunden som används för deltagarens skärm. Det här steget möjliggör en smidig övergång mellan realtidsåtgärdsprestanda och svarsskärmen efter varje åtgärdsförsök. När alla lampor i rummet är släckta och skärmens bakgrund justeras till vitt uppnås 100% opacitet så att studieinstruktionerna och verbala stimuli kan visas utan några distraktioner som kan komma från rörelser i bakgrunden. För att göra displayen transparent och presentera de verbala stimuli omedelbart efter åtgärdsstimuli tänds LED-lamporna i taket medan frontlamporna stängs av för att få en genomskinlig display. Belysningskretsen är avgörande för lämplig ljusmanipulation i rummet. När lysrören på framsidan (deltagarområdet) och baksidan (skådespelarområdet) av labbet är på, verkar skådespelarens bilder lite lutade och deltagaren ser reflektionen av sig själv och rummet. När frontlamporna i deltagarområdet är släckta och LED-lamporna i skådespelarområdet är tända kan deltagaren tydligt titta på skådespelarna utan några distraktioner. Figur 1 och figur 3 visar hur ljusmanipulationer fungerar i experimentet.

Det andra kritiska steget i protokollet är kontrollen av tiden. Åtgärderna varar 6 s, och belysningen på baksidan av skärmen är automatiserad med avseende på åtgärdernas varaktighet så att vi inte har någon fördröjning eller acceleration över försök. Varaktigheten mellan blocken styrs dock manuellt (dvs. när vi behöver ett aktörsbyte), så vi kan starta nästa block efter att ha kontrollerat om allt går som planerat backstage. Denna period är också lämplig för önskemål från deltagare eller aktörer, till exempel behov av vatten eller en förändring av temperaturen i rummet.

Det tredje kritiska steget gäller användningen av säkerhetskameran och klockan. Säkerhetskameran möjliggör kommunikation mellan experimentledaren och skådespelarna. Experimenten kontrollerar kontinuerligt vad som händer backstage, till exempel om skådespelaren är redo eller om rätt skådespelare är på scenen. Skådespelarna viftar med händerna när de är redo att utföra åtgärderna och gör ett korstecken när det finns ett problem. Experimenten kan till och med märka om det finns ett problem med utseendet på en skådespelare, som att glömma ett örhänge på ett öra. Klockan gör det möjligt för experimenten att varna skådespelarna om ett troligt problem. När de hör klockan kontrollerar skådespelarna först om något om dem är fel, och om så är fallet korrigerar de problemet och berättar för experimenten att de är redo. Om det finns ett problem på experimentens sida lyssnar skådespelarna på experimentet som förklarar problemet för deltagaren. De väntar tyst tills experimenten kommer backstage för att lösa problemet, till exempel att återansluta efter att ha förlorat internetanslutningen.

Det fjärde steget gäller användningen av en tung, mörkläggningsgardin för att dela rummet, eftersom ett sådant material förhindrar att ljuset läcker in i den främre delen av rummet. Denna gardin förhindrar också ljud i viss utsträckning så att deltagarna inte hör skådespelarnas små rörelser och de tysta samtalen mellan experimenten och skådespelarna i händelse av ett problem.

Det femte steget är införandet av aktörsdatorn och upprättandet av TCP / IP som nätverksprotokoll, eftersom detta garanterar att meddelandena levereras till andra änden, till skillnad från UDP. På detta sätt kan skådespelarna informeras om nästa åtgärd de kommer att utföra, och deltagarna inser inte detta ur deras synvinkel. Eftersom alla enheter finns i samma nätverk blir dessutom eventuell ytterligare latens orsakad av TCP/IP försumbar.

Det sjätte viktiga steget i protokollet är införandet av bakgrundsmusik mellan blocken. Vi arrangerade musiken och blocken så att när deltagaren svarar på den sista prövningen i ett block börjar musiken spela högt (med 80% maximal volym) så att skådespelarna vet att det är dags för en förändring, och deltagarna vet att de kan dricka vatten eller vila ögonen. Att spela musik möjliggör en smidig övergång mellan skådespelare utan att höra deras rörelser eller andra ljud, vilket ger en känsla som liknar att titta på en pjäs på teatern.

Vi tror att den naturalistiska inställningen som presenteras i detta dokument är ett bra verktyg för att undersöka om mekanismerna som ligger till grund för den visuella uppfattningen av andras handlingar som har avslöjats av traditionella laboratorieexperiment approximerar naturligt beteende i den verkliga världen. Att observera verkliga skådespelare och deras levande handlingar kommer uppenbarligen att ge en rik källa till 3D-visuell och multisensorisk information och ge handlingsbarhet på grund av skådespelarens fysiska och sociala närvaro. Därför antar vi att uppfattningen av levande handlingar kan framkalla snabbare och förbättrade beteendemässiga och neurala svar i det välkända handlingsuppfattningsnätverket som tidigare avslöjats av traditionella laboratorieexperiment med statiska bilder och videor. Dessutom kan uppfattningen av levande handlingar driva ytterligare neurala kretsar som bearbetar 3D-djupsignaler³⁶ och vestibulär information för att samordna kroppen i rymden medan man förbereder sig för att agera i världen³⁷. En begränsning av den aktuella studien är att svaren från de verkliga aktörerna i den naturalistiska inställningen inte jämfördes med de svar man skulle få för förenklade stimuli som statiska bilder eller videor. I framtida studier kommer vi att arbeta mot detta mål genom att systematiskt jämföra beteendemässiga och neurala svar under handlingsuppfattning i traditionella laboratorieinställningar med dem i den naturalistiska inställningen.

Vi noterar också vissa begränsningar av det paradigm som föreslås i denna studie på flera fronter. Den första är att denna metod, liksom de flesta naturalistiska studier, kräver ekonomiska och tidsmässiga resurser. En sådan studie kommer att vara högre när det gäller budgeten än studier som använder förinspelade dynamiska stimuli som presenteras regelbundet, eftersom den aktuella studien innehåller specialutrustning för att visa de verkliga handlingarna, och verkliga aktörer deltar i studien för varje datainsamlingssession. Dessutom kan datainsamlingsprocessen för den aktuella studien ta längre tid eftersom de verkliga aktörerna utför åtgärderna upprepade gånger; Det finns en fysisk gräns för dem, till skillnad från studier som använder bilder eller videor som presenteras på datorskärmar. En annan relaterad begränsning kan vara svårigheten att se till att aktörerna utför varje åtgärd på samma sätt över blocken och deltagarna. Men med tillräcklig träning kan skådespelare bli säkra på varje åtgärd, eftersom de är 6 s långa. Framtida arbete kan spela in levande åtgärder och sedan använda datorsyn för att kvantifiera variationen mellan olika försök av experimenten.

För det andra kan skärmens ljusstyrka, när den används ogenomskinligt, och de snabba förändringarna i blixten mellan de ogenomskinliga och transparenta skärmarna orsaka problem för deltagare med visuella problem eller störningar som epilepsi. Denna potentiella begränsning hanterades genom att fråga deltagarna om de har en sådan störning eller oro över ett sådant scenario och rekrytera dem som rapporterade att de inte skulle störas av ett sådant scenario. Dessutom klagade ingen av deltagarna på musiken vi spelade i bakgrunden under skådespelar- och blockbyten, men vissa deltagare kan störas av sådant ljud. Ett botemedel mot detta kan vara användningen av brusreducerande hörlurar. De kan emellertid också förhindra att experimentet ingriper under studien eller påverka experimentuppställningens naturlighet.

Andra möjliga modifieringar skulle kunna tillämpas på det nuvarande paradigmet. Till exempel, om experimentdesignen kräver att deltagarna interagerar med skådespelarna muntligt, kan båda sidor använda Lapel-mikrofoner. Alla nätverksanslutningar kan vara trådbundna eller trådlösa så länge TCP/IP-anslutningar kan upprättas. Sätt att presentera åtgärderna i något sammanhang kan undersökas och tillämpas för att se om detta skulle bidra till att öka paradigmets naturlighet.

Den nuvarande inställningen kan vara en idealisk plattform för kognitiv neurovetenskap och kognitiv psykologi studier som kräver exakt timing och strikt kontrollerade stimuli under fördefinierade förhållanden. Detta inkluderar studier som använder tekniker som ögonspårning, hårbotten eller intrakraniell EEG, fNIRS och till och med MEG, antingen med traditionella inställningar eller i mer mobila inställningar, som är mer genomförbara idag³⁸. Forskare från dessa områden kan anpassa de externa egenskaperna hos installationen, till exempel belysningen av rummet eller antalet skådespelare, samt de objekt som ska presenteras. En annan möjlighet är att forskare kan manipulera visningsegenskaperna hos den digitala skärmen för att ge en mer ogenomskinlig eller transparent skärm enligt behoven i deras studie. Andra möjliga forskningsområden där den föreslagna metoden kan användas skulle kunna vara människa-robotinteraktionsforskning, där realtidsinteraktioner mellan människor och robotar behövs i realistiska scenarier.

Sammanfattningsvis, med tanke på nödvändigheten att flytta till mer naturalistiska studier som är mer som verkliga situationer i kognitiv neurovetenskap 13,14,15,16,17,18,19,20,21,38 , betydande teknisk utveckling inom naturalistisk hjärn-kropp-avbildning (t.ex. samtidig användning av EEG, motion capture, EMG och ögonspårning) och användningen av djupinlärning som en grundläggande ram för mänsklig informationsbehandling^39,40, tror vi att det är rätt tid att börja studera uppfattningen av levande handlingar^, liksom dess neurala underlag.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)