En naturalistisk opsætning til præsentation af virkelige mennesker og live handlinger i eksperimentel psykologi og kognitive neurovidenskabsstudier

Summary

Denne undersøgelse præsenterer en naturalistisk eksperimentel opsætning, der giver forskere mulighed for at præsentere handlingsstimuli i realtid, få responstid og musesporingsdata, mens deltagerne reagerer efter hver stimulusvisning og skifte aktører mellem eksperimentelle forhold med et unikt system, herunder en speciel gennemsigtig organisk lysdiode (OLED) skærm og lysmanipulation.

Abstract

Opfattelse af andres handlinger er afgørende for overlevelse, interaktion og kommunikation. På trods af årtiers kognitiv neurovidenskabelig forskning dedikeret til at forstå opfattelsen af handlinger, er vi stadig langt væk fra at udvikle et neuralt inspireret computervisionssystem, der nærmer sig menneskelig handlingsopfattelse. En stor udfordring er, at handlinger i den virkelige verden består af tidsmæssigt udfoldede begivenheder i rummet, der sker "her og nu" og er handlingsbare. I modsætning hertil har visuel opfattelse og kognitiv neurovidenskabelig forskning til dato stort set studeret handlingsopfattelse gennem 2D-skærme (f.eks. Billeder eller videoer), der mangler tilstedeværelsen af aktører i rum og tid, hvorfor disse skærme er begrænsede i at give aktabilitet. På trods af den voksende mængde viden på området skal disse udfordringer overvindes for en bedre forståelse af de grundlæggende mekanismer i opfattelsen af andres handlinger i den virkelige verden. Formålet med denne undersøgelse er at introducere en ny opsætning til at udføre naturalistiske laboratorieeksperimenter med levende aktører i scenarier, der nærmer sig virkelige omgivelser. Kerneelementet i opsætningen, der anvendes i denne undersøgelse, er en gennemsigtig organisk lysdiode (OLED) skærm, hvorigennem deltagerne kan se live handlinger fra en fysisk tilstedeværende skuespiller, mens timingen af deres præsentation styres præcist. I dette arbejde blev denne opsætning testet i et adfærdseksperiment. Vi mener, at opsætningen vil hjælpe forskere med at afsløre grundlæggende og tidligere utilgængelige kognitive og neurale mekanismer for handlingsopfattelse og vil være et fundament for fremtidige undersøgelser, der undersøger social opfattelse og kognition i naturalistiske omgivelser.

Introduction

En grundlæggende færdighed for overlevelse og social interaktion er evnen til at opfatte og give mening om andres handlinger og interagere med dem i det omgivende miljø. Tidligere forskning i de sidste mange årtier har ydet betydelige bidrag til forståelsen af de grundlæggende principper for, hvordan enkeltpersoner opfatter og forstår andres handlinger 1,2,3,4,5,6,7,8,9,10,11 . Ikke desto mindre er der i betragtning af kompleksiteten af interaktioner og de omstændigheder, hvorunder de forekommer, et indlysende behov for at videreudvikle videnkroppen i naturalistiske omgivelser for at nå en mere fuldstændig forståelse af denne komplekse færdighed i dagligdagen.

I naturlige miljøer som vores daglige livsindstillinger udviser opfattelse og kognition legemliggjorte, indlejrede, udvidede og enaktive egenskaber¹². I modsætning til internalistiske beretninger om hjernefunktioner, der har tendens til at underdrive kroppens og miljøets roller, fokuserer nutidige tilgange til legemliggjort kognition på den dynamiske kobling af hjernen, kroppen og miljøet. På den anden side har de fleste socialpsykologi, kognitiv psykologi og neurovidenskabelig forskning om handlingsopfattelse tendens til at antage, at brug af velkontrollerede og forenklede eksperimentdesign under laboratorieforhold (f.eks. Billeder eller videoer i computeriserede opgaver) giver resultater, der kan generaliseres til mere komplekse scenarier såsom virkelige interaktioner 1,2,3,4,5,6,7 ,8,9,10,11. Denne antagelse garanterer, at der under mange omstændigheder kan opnås robuste og pålidelige data. Ikke desto mindre er det en velkendt udfordring, at validiteten af modellerne fra omhyggeligt kontrollerede eksperimenter er begrænset, når de testes i en virkelig kontekst¹³. Derfor er der foretaget yderligere undersøgelser 13,14,15,16,17,18,19,20,21,22 for at adressere den økologiske og eksterne validitet af stimuli og eksperimentelle designs inden for forskellige forskningsområder.

I denne undersøgelse foreslås en ny metode til at undersøge, hvordan enkeltpersoner opfatter og evaluerer andres handlinger ved hjælp af levende handlinger udført af en ægte, fysisk tilstedeværende aktør. Scenarier, der ligner virkelige sammenhænge, anvendes, mens eksperimenterne har kontrol over mulige forstyrrende faktorer. Denne undersøgelse er en form for "naturalistisk laboratorieforskning" inden for rammerne af Matusz et al.14, der kan opfattes som et mellemstadium mellem "klassisk laboratorieforskning", der gør brug af maksimal kontrol over stimuli og miljø, ofte på bekostning af naturlighed, og "fuldt naturalistisk forskning i den virkelige verden", der sigter mod at maksimere naturlighed på bekostning af kontrol over stimuleringen og miljøet ¹⁴. Undersøgelsen sigter mod at imødekomme behovet for empiriske undersøgelser på dette niveau i aktionsopfattelsesforskning for at bygge bro mellem resultaterne opnået i traditionelle laboratorieeksperimenter med en høj grad af eksperimentel kontrol og resultaterne opnået i undersøgelser udført i helt ubegrænsede, naturlige omgivelser.

Kontrollerede versus ubegrænsede eksperimenter
Eksperimentel kontrol er en effektiv strategi til design af eksperimenter for at teste en bestemt hypotese, da det giver forskere mulighed for at isolere målvariabler fra sandsynlige forstyrrende faktorer. Det giver også mulighed for at revidere den samme hypotese med visse niveauer af ændringer, såsom at bruge lidt eller helt forskellige stimuli i samme design eller teste de samme stimuli i alternative eksperimentelle opsætninger. Systematisk undersøgelse gennem kontrollerede eksperimenter er en traditionel form for metode inden for forskning inden for kognitiv videnskab og relevante domæner. Kontrollerede eksperimenter hjælper stadig med at etablere viden om de grundlæggende principper for kognitive processer inden for forskellige forskningsområder, såsom opmærksomhed, hukommelse og opfattelse. Nyere forskning har imidlertid også anerkendt begrænsningerne ved traditionelle laboratorieeksperimenter med hensyn til generalisering af resultaterne til virkelige omgivelser, og forskere er blevet opfordret til at gennemføre undersøgelser i forbedrede økologiske indstillinger 13,14,15,16,17,18,19,20,21. Dette skift har til formål at løse to vigtige spørgsmål vedrørende uoverensstemmelsen mellem traditionelle laboratorieeksperimenter og virkelige omgivelser. For det første er verden uden for laboratoriet mindre deterministisk end i eksperimenter, hvilket begrænser den repræsentative kraft af systematiske eksperimentelle manipulationer. For det andet er den menneskelige hjerne meget tilpasningsdygtig, og dette undervurderes ofte på grund af de praktiske begrænsninger ved at designe og gennemføre eksperimentelle undersøgelser²². Begrebet "økologisk validitet"^23,24 er blevet brugt til at behandle metoder til løsning af dette problem. Udtrykket bruges normalt til at henvise til en forudsætning for generalisering af eksperimentelle fund til den virkelige verden uden for laboratoriekonteksten. Økologisk validitet er også blevet fortolket som en henvisning til validering af praktisk talt naturalistiske eksperimentelle opsætninger med ubegrænsede stimuli for at sikre, at undersøgelsesdesignet er analogt med virkelige scenarier²⁵. På grund af den høje grad af varians i fortolkningen af dette udtryk kræves en forståelse af fordele og begrænsninger ved alternative metoder og stimulusudvælgelse.

Niveauer af naturalisme i stimuli og eksperimentdesign
Tidligere arbejde inden for eksperimentel psykologi og kognitiv neurovidenskab har brugt en bred vifte af stimuli med forskellige niveauer af naturalisme²⁶. De fleste forskere foretrækker at bruge statiske billeder eller korte dynamiske videoer, fordi disse stimuli er lettere at forberede end dem, der kunne simulere en reel handling eller en begivenhed. På trods af at de har fordele, tillader disse stimuli ikke forskere at måle kontingentadfærd blandt sociale agenter. Med andre ord er de ikke gennemførlige og har ikke social råd²⁷. I de senere år er der udviklet et alternativ til disse ikke-interaktive stimuli: realtidsanimationer af virtuelle avatarer. Disse avatarer giver mulighed for undersøgelse af interaktionerne mellem avatarer og deres brugere. Brugen af virtuelle avatarer er imidlertid underlagt reduceret brugerfrygt, især når de ikke ser ud til at være særlig engagerende med hensyn til deres realistiske og betingede adfærd²⁶. Derfor er der nu mere interesse for at bruge reelle sociale stimuli i eksperimentelle undersøgelser. Selvom deres design, dataregistrering og analyse kan kræve avanceret udstyr og kompleks dataanalyse, er de de bedste kandidater til forståelse af naturalistisk menneskelig adfærd og kognition.

Denne undersøgelse foreslår en metode til at bruge virkelige sociale stimuli i et laboratoriemiljø. Denne undersøgelse har til formål at undersøge, hvordan folk opfatter og evaluerer andres handlinger i en indstilling med forbedret økologisk validitet sammenlignet med traditionelle laboratorieeksperimenter. Vi har udviklet og beskrevet et nyt setup, hvor deltagerne udsættes for virkelige aktører, der er fysisk til stede og deler det samme miljø med dem. I denne protokol måles deltagernes responstider og musebaner, hvilket kræver præcis timing af stimulipræsentationen og streng kontrol over de eksperimentelle forhold i denne forbedrede økologiske indstilling. Derfor skiller det eksperimentelle paradigme sig ud blandt de rammer, der findes i litteraturen, da stimuliens naturlighed maksimeres uden at ofre kontrol over miljøet. Nedenfor præsenterer protokollen trinnene til oprettelse af et sådant system og fortsætter derefter med de repræsentative resultater for eksempeldataene. Endelig præsenteres en diskussion af paradigmets betydning, begrænsninger og planer for ændringer.

Eksperimentelt design
Før vi går videre til protokolafsnittet, beskriver vi de parametre, der anvendes i denne undersøgelse, og præsenterer detaljerne i stimuli sammen med det eksperimentelle design.

Parametre i undersøgelsen
Denne undersøgelse har til formål at måle, hvordan typen af aktør og klassen af handlinger, de udfører, påvirker deltagernes sindsopfattelsesprocesser. I protokollen måles sindets opfattelsesproces i to hoveddimensioner, nemlig agentur og erfaring, som foreslået af tidligere forskning²⁸. De høje og lave ender af disse to dimensioner er også inkluderet, som for nylig introduceret af Li et ^al.29.

Undersøgelsens struktur var inspireret af enkeltkategoriversionen³⁰ af den almindeligt anvendte implicitte associeringsopgave (IAT)³¹. I denne opgave bruges deltagernes svartider, mens de matcher et attributkoncept med målkonceptet, som en indikation af styrken af deres implicitte associationer til disse to begreber. I tilpasningen af denne implicitte opgave præsenteres deltagerne live handlinger udført af virkelige aktører og skal matche dem til målkoncepter. Målkoncepterne er den høje og lave ende af agenturet eller oplevelsesdimensionerne, afhængigt af eksperimentets blok.

For at opsummere er de uafhængige variabler Aktørtype og Handlingsklasse. Skuespillertype har to niveauer (dvs. to forskellige skuespillere, Actor1 og Actor2, der optræder i undersøgelsen). Action Class har to niveauer: Action Class1 og Action Class2, og hver klasse indeholder fire handlinger. Deltagerne evaluerer de to aktører separat i fire blokke (en aktør i hver blok), og i hver blok udfører skuespillerne alle handlingerne i en modbalanceret rækkefølge. Deltagerne udfører evalueringer med hensyn til to foruddefinerede og tvungne dimensioner: Agency og Experience. De fire blokke i eksperimentet er (1) Aktør1 i Agenturblok, (2) Aktør2 i Agenturblok, (3) Aktør1 i Oplevelsesblok og (4) Aktør2 i Oplevelsesblok. Rækkefølgen af blokkene er også modbalanceret blandt deltagerne, så blokkene med samme agent aldrig følger hinanden.

Udover deltagernes svar registreres svartiderne og x-y-koordinaterne for den trådløse mus, de bruger, mens de bevæger sig mod et af de to svaralternativer. Så de afhængige variabler er deltagernes respons og responstid (RT) samt målingerne af maksimal afvigelse (MD) og areal under kurven (AUC), afledt af computerens musesporing. Det variable svar er kategorisk; det kan være højt eller lavt, og da evalueringerne udføres i en af de givne blokke, kan svarene også mærkes som høj agentur, lav agentur, høj erfaring eller lav oplevelse. Responstid er en kontinuerlig variabel; Dens enhed er sekunder, og den refererer til den forløbne tid mellem starten af præsentationen af en handling og forekomsten af et museklik på et af svaralternativerne. MD for en bane er en kontinuerlig variabel, og den refererer til den største vinkelrette afvigelse mellem deltagerens (e) bane og den idealiserede bane (lige linje). AUC for en bane er også en kontinuerlig variabel, og den refererer til det geometriske område mellem deltagerens (deltagernes) bane og den idealiserede bane³².

Stimuli og design af eksperimentet
Et tre-trins eksperiment anvendes i denne undersøgelse. Målingerne fra tredje del anvendes til analyserne; De to første dele tjener som forberedelse til den sidste del. Nedenfor beskriver vi hver del af eksperimentet sammen med de eksperimentelle stimuli og hypoteser.

I eksperiment del 1 (leksikalsk træningsdel) gennemfører deltagerne en træningssession for at forstå begreberne agentur og erfaring og de kapacitetsniveauer, der er repræsenteret med ordene høj og lav. For at vælge de begreber (n = 12), der skal bruges i denne træningssession, gennemførte nogle af forfatterne af det aktuelle arbejde en normativ undersøgelse³³. Da denne undersøgelse var planlagt til at blive udført på deltagernes modersmål, blev begreberne også oversat til tyrkisk, før de blev normaliseret. Begreber blev valgt blandt dem, der var stærkt forbundet med de høje (n = 3) og lave (n = 3) ender af de to dimensioner (seks begreber for hver). Denne del er afgørende, da deltagernes forståelse af begreberne forventes at styre deres evalueringsprocesser.

I eksperiment del 2 (handlingsidentifikationsdel) ser deltagerne de samme otte handlinger udført af Actor1 og Actor2 efter hinanden og rapporterer, hvad handlingen er til eksperimentatoren. Dette afsnit fungerer som en manipulationskontrol; Ved at præsentere alle handlingerne, når begge aktører udfører dem, er det muligt at sikre, at deltagerne forstår handlingerne og er fortrolige med aktørerne, før de starter den implicitte test, hvor de skal foretage hurtige evalueringer. De handlinger, der er udvalgt til Action Class1 og Action Class2, er dem, der havde de højeste H-scorer og konfidensniveauer (fire forskellige handlingseksempler i hver aktionsklasse) ifølge resultaterne af de to normative undersøgelser (N = 219) for hver aktørtilstand udført af nogle af forfatterne (manuskript under udarbejdelse). Alle handlinger udføres inden for en lige varighed på 6 s.

Dette er en igangværende undersøgelse, og den har nogle andre komponenter; Hypoteserne for de ovenfor beskrevne afsnit er imidlertid som følger: (i) typen af aktør vil påvirke de afhængige variabler; Actor2 vil give længere RT'er, højere MD'er og større AUC'er sammenlignet med Actor1; ii) foranstaltningens art vil påvirke de afhængige målinger Action Class1 vil give længere RT'er, højere MD'er og større AUC'er sammenlignet med Action Class2; (iii) de afhængige målinger for høje og lave svar for den samme aktør og aktionsklasse vil variere på tværs af blokdimensionerne: Agentur og erfaring.

Protocol

De eksperimentelle protokoller i denne undersøgelse blev godkendt af den etiske komité for forskning med menneskelige deltagere ved Bilkent University. Alle deltagere inkluderet i undersøgelsen var over 18 år gamle, og de læste og underskrev den informerede samtykkeformular, før de startede undersøgelsen.

1. Generelle designtrin

BEMÆRK: Figur 1A (set ovenfra) og figur 1B og figur 1C (set forfra og bagfra) viser laboratoriets layout; Disse tal blev oprettet med hensyn til den oprindelige laboratorieopsætning og konfiguration designet til denne særlige undersøgelse. Figur 1A viser laboratoriets topvisningslayout. I denne figur er det muligt at se LED-lys i loftet og skuespillerskabet. Mørklægningsgardinsystemet deler rummet i to og hjælper lysmanipulation ved at forhindre lys i at lække ind i den forreste del af rummet (deltagerområde). Figur 1B viser laboratoriets syn fra eksperimentatorens perspektiv. Deltageren sidder lige foran OLED-skærmen, og ved hjælp af det gennemsigtige display kan de se de live handlinger, der udføres af skuespillerne. De giver deres svar ved hjælp af responsenheden (en trådløs mus) foran dem. Eksperimentatoren kan samtidig se skuespilleren gennem deltagerdisplayet (OLED-skærm) og optagelserne fra sikkerhedskameraet. Figur 1C viser backstage af undersøgelsen (Actor Area) med sikkerhedskameraet og Actor personlig computer (PC), som ikke er synlige for deltageren. Sikkerhedskameraoptagelserne går til kamera-pc'en for at etablere kommunikation mellem skuespillerne og eksperimentatoren. Skuespiller-pc'en viser blokordren og de næste handlingsoplysninger til skuespilleren, så eksperimentet flyder uden afbrydelse. Skuespillerne kan hurtigt kontrollere den næste handling, mens deltagerne reagerer på handlingen i det forrige forsøg.

Figur 1: Naturalistisk laboratorieopsætning . (A) Top-down visning af det naturalistiske laboratoriums opsætning. (B) Bagsiden og forsiden af den naturalistiske eksperimentelle opsætning set fra deltagerens synspunkt. (C) Bagsiden og forsiden af den naturalistiske eksperimentelle opsætning set fra skuespillerens synspunkt. Klik her for at se en større version af denne figur.

1. Design en opsætning, der omfatter tre computere, herunder (1) et hovedkontrolskrivebord (Experimenter-pc), (2) en skuespillerbærbar computer (Actor PC) og (3) en kamera-pc, en trådløs responsenhed (deltagermus), to skærme, et lyskredsløb og et sikkerhedskamera (se figur 2A for systemdiagrammet for opsætningen af denne undersøgelse).
   BEMÆRK: Experimenter-pc'en vil blive brugt af eksperimentatoren til at køre eksperimentscripts, Actor-pc'en vil blive brugt af skuespilleren til at spore eksperimentets blokke og rækkefølgen af handlingerne i blokkene, og den tredje enhed, kamera-pc'en, vil blive forbundet til sikkerhedskameraet placeret i skuespillerområdet og brugt af eksperimentatoren til at overvåge backstage.
2. Tilslut de separate skærme (et til præsentation af stimuli [Participant Display], som er OLED-skærmen) og en skærm til overvågning af eksperimentet, responsenheden og lyskredsløbet (via ledninger eller trådløse forbindelser) til Experimenter-pc'en (se figur 2A).
3. Tilslut Experimenter-pc'en og Actor-pc'en via et trådløst netværk for at formidle information relateret til eksperimentets status (f.eks. "Næste handlings-id er 'hilsen'") til skuespillerne.
4. Design og bygg et belysningskredsløb, der (se figur 2B for printkortet) kan styres af en mikrocontroller for at tænde og slukke for lysdioderne.
   BEMÆRK: Figur 3A viser den uigennemsigtige brug af OLED-skærmen, der blev brugt i undersøgelsen, fra eksperimentatorens synspunkt. For at sikre uigennemsigtighed justeres skærmens baggrund til hvid (RGB: 255, 255, 255), og alle lys i rummet (både i deltagerområdet og skuespillerområdet) slukkes. Deltageren ser fikseringen før stimuli. Figur 3B viser den gennemsigtige brug af den digitale skærm i undersøgelsen fra eksperimentatorens synspunkt. For at aktivere gennemsigtighed justeres skærmens baggrund til sort (RGB: 0, 0, 0), og LED-lysene i loftet tændes. Deltageren ser skuespilleren. Figur 3C viser den uigennemsigtige brug af den digitale skærm i undersøgelsen. For at sikre uigennemsigtighed justeres skærmens baggrund til hvid (RGB: 255, 255, 255), og alle lysene i rummet er slukket. Deltageren præsenteres for evalueringsskærmen for at give et svar. De skal trække markøren til øverste venstre eller øverste højre hjørne af skærmen (en af de to svarmuligheder, enten Høj eller Lav) ved hjælp af en trådløs mus. Deres musebane og responstid registreres.
5. Tilslut mikrocontrolleren til Experimenter-pc'en.
6. Gem de scripts, der kører eksperimentet, på Experimenter-pc'en.
   BEMÆRK: Figur 4A viser backstage (skuespillerområde) under eksperimentet. Rummets frontlys (deltagerområde) er slukket, og skuespiller-pc'en viser navnet på den handling, der udføres af skuespilleren. Figur 4B viser skuespillerkabinettet, hvor skuespillerne kan vente på deres tur og skifte tøj. Skuespillerskabet er ikke synligt fra deltagerens synspunkt, og da der anvendes et gardinsystem, kan skuespillerne bruge enhver indgang, de ønsker. Under eksperimentet er lysstofrørene, der vises i figuren, slukket.

Figur 2: System- og ledningsdiagram . (A) Systemdiagrammet for den naturalistiske eksperimentelle opsætning. (B) Ledningsdiagrammet for lyskredsløbet, der understøtter OLED-skærmen under eksperimentet. Klik her for at se en større version af denne figur.

Figur 3: OLED-skærm fra eksperimentatorens synspunkt. (A) Uigennemsigtig brug af den digitale OLED-skærm set fra eksperimentatorens synspunkt. (B) Gennemsigtig brug af OLED's digitale skærm fra eksperimentatorens synspunkt. (C) Uigennemsigtig brug af den digitale OLED-skærm set fra eksperimentatorens synspunkt i en responsperiode. Klik her for at se en større version af denne figur.

Figur 4: Backstage af eksperimentet. (A) Backstage under et eksperimentforsøg. (B) Skuespillerkabinettet er bagerst på OLED-skærmen, hvor skuespillerne kan vente på, at deres tur bliver synlig under eksperimentet. Klik her for at se en større version af denne figur.

2. Design og implementering af belysningskredsløbet

1. Trin, der skal følges, før du tænder enhederne / komponenterne i kredsløbet
   1. For at ændre tilstandene for de lysdioder, der er installeret backstage (Actor Area), skal du give Experimenter-pc'en mulighed for at skifte lysdioderne til enten ON eller OFF.
   2. For at formidle de digitale kommandoer, der sendes fra Experimenter-pc'en via et USB-kabel, skal du vælge en mikrocontrollerenhed, der kan tage digitale indgange og generere en digital udgang (se materialetabellen for mikrocontrolleren, der bruges i denne undersøgelse).
   3. Vælg en bestemt USB-port på Experimenter-pc'en for at oprette forbindelse til mikrocontrollerens USB-indgang via et USB-kabel. Tænd ikke pc'en, før du har kontrolleret, at alle forbindelser er oprettet med succes.
   4. Inkluder et koblingsmodul for at øge amplituden af udgangssignalet (ca. 3,3 V), der genereres af mikrocontrolleren.
   5. Tilslut den udpegede digitale udgangsstift (til dette eksperiment er den udpegede pin D9) og mikrocontrollerens jordstifter til koblingsmodulet.
   6. For at køre belastningen (LED'erne) skal du inkludere et MOSFET-modul (eller MOSFET-modul) med høj effekt, der drives af signalet, der genereres af koblingsmodulet, og tilslut MOSFET-modulets signalstifter til det tilsvarende signal-jordpar på koblingsmodulet.
   7. Tilslut MOSFET-modulets hot-bed-stifter til belastningen.
   8. For at levere en reguleret konstant spænding til modulerne (og indirekte til lysdioderne) skal du inkludere en LED-strømforsyning, der tager vekselstrøm (AC) netindgang og genererer en konstant jævnspænding i kredsløbet.
   9. Tilslut LED-strømforsyningens udgange til strømindgangene på både MOSFET-modulet og koblingsmodulet.
2. Trin, der skal følges efter ledningsføring af kredsløbskomponenterne
   1. Tilslut USB-kablet til den valgte USB-port på Experimenter-pc'en.
   2. Opret en seriel kommunikationsforbindelse mellem mikrocontrolleren og softwaremiljøet, der kører på Experimenter-pc'en (se underafsnittet Tilslutning af mikrocontrolleren til Experimenter PC).
   3. Tilslut LED-strømforsyningen til lysnettets indgang.

3. Programmering af eksperimentet

BEMÆRK: Opret tre primære eksperimentelle scripts (ExperimentScript1.m [Supplerende kodningsfil 1], ExperimentScript2.m [Supplerende kodningsfil 2] og ExperimentScript3.m [Supplerende kodningsfil 3]) samt flere funktioner (RecordMouse.m [Supplerende kodningsfil 4], InsideROI.m [Supplerende kodningsfil 5], RandomizeTrials.m [Supplerende kodningsfil 6], RandomizeBlocks.m [Supplerende kodningsfil 7], GenerateResponsePage.m [Supplerende kodningsfil 8], GenerateTextures.m [Supplerende kodningsfil 9], ActorMachine.m [Supplerende kodningsfil 10], MatchIDtoClass.m [Supplerende kodningsfil 11] og RandomizeWordOrder.m [Supplerende kodningsfil 12]) for at udføre eksperimentet.

BEMÆRK: Se venligst de relaterede scripts for detaljerede forklaringer.

1. Randomisering af forsøget og blokordrer
   1. Definer og opret to funktioner til randomisering af prøveordrer (RandomizeTrials.m) og blokordrer (RandomizeBlocks.m), der tager randomiseringsparametrene (f.eks. deltager-id'et) som input og returnerer en række pseudorandomiserede sekvenser.
   2. Se scriptene RandomizeBlocks.m (linje 2-24) og RandomizeTrials.m (linje 3-26) for detaljer om, hvordan de randomiserede sekvenser genereres.
2. Sporing af svaret (RecordMouse, InsideRoi)
   1. Opret en funktion, der sporer og registrerer deltagernes musebane og den forløbne tid under eksperimentet (se RecordMouse.m).
   2. Opret en hjælpefunktion for at kontrollere, om de klikkede koordinater ligger inden for de acceptable regioner eller ej (se script InsideRoi.m).
3. Generering af teksturer til instruktioner og feedback (GenerateTextures.m, GenerateResponsePage.m)
   1. Forbered instruktionerne relateret til eksperimentet og feedbacken relateret til forsøgene som billeder.
   2. Gem indholdet af disse billeder i en .mat-fil (se ExperimentImages.mat-filen [Supplerende kodningsfil 13]).
   3. Indlæs .mat-filen i arbejdsområdet (se GenerateTextures.m linje 25), når du har oprettet et vindue på skærmen.
   4. Opret en separat tekstur og dens identifikator for hvert billede (se GenerateTextures.m linjer 27-165).
   5. Definer en funktion til at tegne de relaterede svarsideteksturer for hvert eksperimentscript (se GenerateResponsePage.m).
4. Tilslutning af skuespiller-pc'en til Experimenter-pc via TCP / IP
   1. Opret et TCP-serverstik i scriptet (se ExperimentScript2.m linje 174), der kører på Experimenter-pc'en.
   2. Opret en tilsvarende TCP-klientstik i scriptet (se ActorMachine.m linje 16), der kører på Actor PC.
   3. Send oplysninger om den kommende blok/prøveversion til skuespillerne fra manuskriptet (se linjerne 207, 229 og 278 i ExperimentScript2.m eller se linjerne 136, 141, 153, 159 og 297 i ExperimentScript3.m), der kører på Experimenter-pc'en.
   4. Vis de modtagne oplysninger fra Experimenter PC på skærmen vindue på Actor PC (se linjer 31-47 i ActorMachine.m).
5. Tilslutning af mikrocontrolleren til Experimenter-pc'en
   1. Tilslut mikrocontrolleren til en bestemt USB-port (f.eks. PORT 9) for at styre tilstanden (enten ON eller OFF) for de installerede LED'er backstage.
   2. Opret en seriel kommunikation mellem mikrocontrollerenheden og Experimenter-pc'en (se linje 185 i ExperimentScript2.m-script).
   3. Send et logisk højt signal (1) til mikrocontrolleren fra scriptet, der kører på Experimenter-pc'en (se linje 290 i ExperimentScript2.m eller se linje 311 i ExperimentScript3.m-scripts) for at tænde LED'erne, når handlingerne vises via USB-kablet.
   4. Send et logisk lavt signal (0) til mikrocontrolleren fra scriptet, der kører på Experimenter-pc'en (se linje 292 i ExperimentScript2.m eller se linje 314 i ExperimentScript3.m-scripts) for at slukke LED'erne, når deltageren forventes at give et svar.

4. Forløbet af et prøveeksperiment

1. Trin før eksperiment
   1. Sørg for, at alle enheder i laboratoriet (Experimenter PC, Camera PC, Actor PC og Participant Display) drives af en UPS.
   2. Forbind lynmikrocontrolleren til Experimenter-pc'en via et USB-kabel, så den automatisk tændes, når Experimenter-pc'en tændes.)
   3. Tænd for Experimenter-pc'en, og kontroller, om den er tilsluttet 5 GHz Wi-Fi.
   4. Vælg lydenheden (højttalerne i materialetabellen) som lydudgangsenhed på Experimenter-pc'en.
   5. Tænd for deltagerdisplayet, og indstil lydstyrkeindstillingerne til 80 %.
   6. Indstil skærmindstillingerne på Experimenter-pc'en til flere skærme. Udvid visningen af eksperiment-pc'en til deltagervisningen. Displayet på Experimenter-pc'en vil være 1, og deltagerdisplayet vil være 2.
   7. Tænd skuespiller-pc'en, og kontroller, om den er tilsluttet 5 GHz Wi-Fi.
   8. Tilslut sikkerhedskameraet til Actor PC via et USB-kabel, så det automatisk tændes, når Actor PC tændes.
   9. Tænd kamera-pc'en, og åbn kameraprogrammet på skrivebordet. Sørg for, at hver skuespiller, deres bevægelser og deres indgang og udgang til kabinettet er synlige fra kameraet.
   10. Sørg for, at alle computere, skærme og enheder (responsenheden [deltagerens trådløse mus], højttalere, tastatur og mus på Experimenter-pc'en og Actor-pc'en og lynmikrocontrolleren) fungerer korrekt.
   11. Byd deltageren velkommen til et andet rum; Når du har givet korte oplysninger om undersøgelsen, skal du give samtykkeformularen og lade deltageren underskrive den.
   12. Bed deltageren om at trække et nummer fra en pose, og fortæl dem, at nummeret vil være deres deltager-id under hele undersøgelsen.
   13. Lad deltageren udfylde onlinedemografiske formular med deres anonyme deltager-id.
       BEMÆRK: Det er afgørende, at deltagerne ikke ser aktørerne før eksperimentet. Så dette papirarbejde udfyldes i et andet rum i stedet for hovedeksperimentrummet, så skuespillerne kan tage pauser mellem deltagerne.
2. Eksperimentets trin
   1. Åbn eksperimentsoftwaren på Experimenter-pc'en, åbn scriptet ExperimentScript1.m, og kør det.
   2. Udfyld deltager-id og alder; derefter starter scriptet den første del af eksperimentet (den første synlige stimulus vil være et kryds i midten af deltagervisningen.)
   3. Åbn eksperimentsoftwaren på Actor PC, og åbn scriptet ActorMachine.m.
   4. Placer kamera-pc'en i nærheden af eksperiment-pc'en, og sørg for, at optagelserne fra sikkerhedskameraet ikke er synlige for deltageren.
   5. Byd deltageren velkommen til hovedeksperimentrummet, og lad dem få plads foran deltagerdisplayet.
   6. Bed deltageren om at arrangere sig sådan, at korset er i midten og lige frem.
   7. Giv instruktioner om delene af eksperimentet kort ved at henvise til forklaringerne og varighederne skrevet på tavlen.
   8. Sluk alt lys i eksperimentrummet.
3. Eksperiment del 1:
   1. Fortæl deltageren, at de vil gennemføre leksikalsk / konceptuel træning i den første del af eksperimentet. Advar dem om at være omhyggelige med at følge instruktionerne, så de kan bestå træningen.
   2. Fortæl deltageren, at eksperimentet kan startes, når de er klar.
   3. Tryk på ESC-knappen , når deltageren siger, at de er klar til første del.
      BEMÆRK: Fra nu af vil deltageren gå videre gennem eksperimentet ved at læse instruktionerne på deltagerdisplayet og vælge en af valgmulighederne. De vil modtage feedback om deres rigtige og forkerte svar, så de kan udvikle sig godt i træningen. Matchningen fortsætter, indtil deltagerne når minimumstærsklen (80%) inden for 10 blokgentagelser.
   4. Når deltageren har gennemført træningsdelen, skal du trykke på ESC-knappen og fortælle deltageren, at eksperimentatoren tager kontrol over musen for at starte anden del af eksperimentet.
4. Eksperiment del 2:
   1. Åbn scriptet ExperimentScript2.m, og vent på prompten Venter på skuespiller-pc'en.
   2. Ring klokken, når prompten ses, så en af skuespillerne kan køre scriptet på Actor PC for at aktivere forbindelsen til Experimenter PC.
   3. Vent på, at prompten Eksperiment del 2 er klar.
   4. Fortæl deltageren, at nu hvor skærmen vil være gennemsigtig, mens de ser nogle korte handlinger gennem den.
   5. Advar dem om at se hver handling omhyggeligt, og informer dem om, at de skal sige, hvad handlingen er højt.
   6. Fortæl deltageren, at eksperimentet kan startes, når de er klar.
   7. Tryk på ESC-knappen , når deltageren siger, at de er klar til første del.
      BEMÆRK: Deltageren gennemgår instruktionerne og ser den første handling. Actor1 udfører handlingerne, når LED-lysene tændes, og de kontrollerer den næste handling fra prompten på Actor PC, når lysene er slukket. Når hver handling slutter, vises en dialogboks på Experimenter-pc-skærmen.
   8. Skriv hvad deltageren siger om handlingen i dialogboksen, og skriv 1 eller 0 i den anden dialogboks, afhængigt af henholdsvis den rigtige eller forkerte identifikation af handlingen.
      BEMÆRK: Disse trin gentages otte gange for den første skuespiller, og baggrundsmusikken begynder at spille, når det er tid for skuespillerne at skifte plads.
   9. Se backstage fra overvågningskameraoptagelserne på kamera-pc'en.
   10. Tryk på ESC-knappen for at starte identifikationen for Actor2, når skuespilleren vinker med hænderne mod sikkerhedskameraet med I am ready-gestusen.
   11. Gentag trin 4.4.7 og trin 4.4.8 sammen med deltageren, indtil de samme otte handlinger også identificeres, mens de udføres af aktør2.
   12. Når deltageren ser advarslen Identifikation er fuldstændig og forlader delen ved at klikke på pilen, skal du trykke på ESC-knappen og fortælle deltageren, at eksperimentatoren tager kontrol over musen for at starte den tredje del af eksperimentet.
5. Eksperiment del 3:
   1. Åbn scriptet ExperimentScript3.m.
   2. Fortæl deltageren, at de vil se begge aktørers handlinger, og derefter klikker de på den mulighed, som de synes er passende.
      BEMÆRK: Deltagerne vil evaluere aktørernes handlinger i fire blokke. I to af blokkene udfører Actor1 handlingerne, og i de to andre udfører Actor2 de samme handlinger. I to af blokkene vil deltagerne evaluere aktionerne ved at tildele høj eller lav agenturkapacitet, og i de to andre vil de tildele kapaciteter med høj eller lav erfaring.
   3. Tryk på ESC-knappen , når deltageren siger, at de er klar til tredje del.
      BEMÆRK: Deltageren går videre gennem instruktionerne, og de starter med den første blok. Skuespillerne udfører handlingerne i lyset, og mens deltagerne giver deres svar, bliver skærmen uigennemsigtig, og lyset slukkes, så skuespillerne kan se, hvilken handling der kommer næste. Når hver blok slutter, skifter skuespillerne plads efter vejledningen på Actor PC.
   4. Kontroller, om alt går godt backstage, og om den rigtige skuespiller udfører den rigtige handling under blokkene.
   5. Tryk på ESC-knappen for at starte den næste blok, når den rigtige skuespiller vinker med hænderne med I am ready-gestus efter udskiftning af skuespillerne.
   6. Gentag trin 4.5.4 og trin 4.5.5 i samarbejde med deltageren og aktøren, indtil de fire blokke er færdige.
   7. Når deltageren ser eksperimentet er slut, tak prompt, tryk på ESC-knappen .
   8. Tak deltageren, og send deltageren ud efter debriefing og underskriftsindsamling.

Figur 5 viser et prøveforsøg fra deltagerens synspunkt. Figur 5A viser deltageren, der ser på markøren i midten af skærmen i dens uigennemsigtige brug. Figur 5B viser deltageren, der ser live-action stimuli gennem skærmen. Figur 5C viser evalueringsskærmen, der præsenteres for deltageren efter stimuli, hvor de skal trække musen til et af de to alternativer i hvert øverste hjørne af skærmen.

Figur 5: OLED-skærm fra deltagerens synspunkt. (A) Uigennemsigtig brug af den digitale OLED-skærm fra deltagerens synspunkt under en fikseringsskærm. (B) Gennemsigtig brug af den digitale OLED-skærm fra deltagerens synspunkt under præsentationen af en live action. (C) Uigennemsigtig brug af den digitale OLED-skærm fra deltagerens synspunkt i svarperioden. Klik her for at se en større version af denne figur.

5. Forbehandling og analyse af data

1. Segmentering af data i betingelser
   1. Læs alle deltagerdatafiler i arbejdsområdet i softwaremiljøet.
   2. Definer betingelserne for gruppering af dataene (to handlingsklasser [aktionsklasse1 og aktionsklasse2] x to aktører [aktør1 og aktør2] x to dimensioner [agentur og erfaring] x to niveauer [høj og lav]).
   3. Segmenter dataene i fire hovedgrupper: Agency High, Agency Low, Experience High og Experience Low.
   4. Opdel disse hovedgrupper i fire undergrupper (to aktører x to aktionsklasser).
   5. Gennemgå hver datafil for at gruppere de prøveversioner, der tilhører en af de fire tidligere definerede undergrupper.
   6. Gem de relevante forsøgsoplysninger (responstid, markørbevægelse og tidspunkter, hvor markørens position samples) i separate datastrukturer for hver undergruppe.
   7. Afslut løkken, når alle prøveversionerne er grupperet.
2. Visualisering af banerne
   1. Når du har segmenteret dataene, skal du gøre følgende trin for at visualisere musebanerne.
   2. Hvis du vil anvende tidsinterpolation på responsbanerne, skal du for hvert forsøg vælge 101 (x,y) par fra banearrayet, så hver undergruppe af data har forsøg med et lige antal tidstrin.
      BEMÆRK: Mens du forankrer antallet af par til 101, skal du sørge for at følge konventionen³²for at udføre korrekt tidsnormalisering. Opnå derfor tidsnormalisering ved hjælp af følgende ligning, hvor n er antallet af prøver i et banearray:
      
   3. Beregn summen af (x,y) par på hvert af de 101 tidspunkter, og divider derefter det opnåede resultat med det samlede antal forsøg i den pågældende undergruppe for at opnå midlerne for hver undergruppe (f.eks. Experience Low Actor1 eller Experience Low Actor2).
   4. Anvend en skaleringshandling på rækkeværdierne for at visualisere middelbanerne.
      BEMÆRK: 2D-koordinatplanet antager, at begge akser øges fra nulpunktet, der er placeret i nederste venstre hjørne af vinduet (forudsat at koordinaterne er positive heltal), mens pixelformatet tager øverste venstre hjørne af vinduet som reference (f.eks. Nulpunkt). Anvend således en skaleringsoperation for y-koordinaterne (svarende til rækkeværdierne i pixelformat) for de samplede placeringer ved at udtrække y-koordinaten for hvert forsøg fra værdien af det samlede antal rækker.
   5. Afbild de relaterede undergrupper i samme figur til sammenligning.
      BEMÆRK: Hver bane begynder i midten af rektanglet placeret nederst i midten, mærket START, og slutter inde i rektanglerne placeret i øverste venstre eller øverste højre hjørne.

6. Forhold, der kan føre til systemfejl og forholdsregler

BEMÆRK: I tilfælde af systemfejl er det afgørende at have et fysisk tegn (ringer en klokke) for at lade skuespilleren vide om fejlen og advare dem om at blive på et sted, der er usynligt for deltageren.

1. Fejl på grund af netværksforbindelse
   1. Hvis en af computerne er tilsluttet et andet netværk, mislykkes TCP/IP-forbindelsesanmodningen, og systemet viser en fejl. For at forhindre dette skal du sørge for, at Experimenter-pc'en og Actor-pc'en er på samme bånd i det samme trådløse netværk.
   2. For at sikre, at begge pc'er forbliver på det samme netværk, skal du slette tidligere tilsluttede trådløse netværk fra begge pc'er.
   3. Indstil statiske IP-adresser for enhederne på det valgte netværk, da IP-adresserne på et netværk kan ændres uden varsel.
   4. Enhver midlertidig afbrydelse (f.eks. på grund af strømafbrydelse, internetafbrydelse osv.) til netværket kan medføre, at scriptet mislykkes. Under disse omstændigheder skal systemet genstartes fra begyndelsen for at genoprette TCP / IP-forbindelsen.
      BEMÆRK: Kravet om statiske IP'er til enheder kan opfyldes af internetudbyderen. Visse porte kan være deaktiveret af operativsystemet eller hardwaren på en given enhed; Derfor skal de porte, der skal bruges i eksperimentet, åbnes og må ikke have en aktiv forbindelse, før eksperimentscriptet starter.
2. Fejl på grund af softwarenedbrud
   1. Softwaremiljøet kan gå ned på grund af mislykkede forbindelser (f.eks. seriel portforbindelse, TCP/IP-forbindelse, skærmforbindelse osv.), og dette kan føre til tab af data. For at overvinde dette skal du opdele hovedeksperimentscriptet i flere scripts. For eksempel, hvis der er en blok, der skal udfyldes, før skuespillerne begynder at udføre handlinger, er der ikke behov for at oprette en server på Experimenter-pc'en under denne blok. Serveren kan oprettes, når blokken, der involverer handlinger, og dermed kræver kommunikation mellem Experimenter-pc'en og Actor-pc'en, er ved at starte.

Representative Results

Sammenligning af svartider (RT)
Den aktuelle undersøgelse er et igangværende projekt, så som repræsentative resultater præsenteres data fra hoveddelen af eksperimentet (eksperiment del 3). Disse data er fra 40 deltagere, herunder 23 kvinder og 17 mænd, i alderen fra 18-28 år (M = 22,75, SD = 3,12).

Det var nødvendigt at undersøge normaliteten af fordelingen af de afhængige variabler for at kunne vælge den passende statistiske metode til analyserne. Så Shapiro-Wilk-testen blev udført for at forstå, om de tre afhængige variabler, nemlig responstiden (RT), maksimal afvigelse (MD) og areal under kurven (AUC), blev fordelt normalt. Scorerne viste, at dataene for responstiden, W = 0,56, p < 0,001, maksimal afvigelse, W = 0,56, p < 0,001 og areal under kurven, W = 0,71, p < 0,001, alle var signifikant ikke-normale.

Variansenshomogeniteten af de afhængige variabler blev også kontrolleret ved at anvende Levenes test for niveauerne af de uafhængige variabler, nemlig aktørtype (aktør1 og aktør2) og aktionsklasse (aktionsklasse1 og handlingsklasse2). For scorerne på responstiden var varianserne ens for Skuespiller1 og Aktør2, F(1, 1260) = 0,32, p = 0,571, men varianserne for Aktionsklasse1 og Aktionsklasse2 var signifikant forskellige, F(1, 1260) = 8,82, p = 0,003. For scorerne på den maksimale afvigelse var varianserne ens for Skuespiller1 og Aktør2, F(1, 1260) = 3,71, p = 0,542, men varianserne for Aktionsklasse1 og Aktionsklasse2 var signifikant forskellige, F(1, 1260) = 7,51, p = 0,006. For scorerne på arealet under kurven var varianserne ens for Action Class1 og Action Class2, F(1, 1260) = 3,40, p = 0,065, men varianserne for Actor1 og Actor2 var signifikant forskellige, F(1, 1260) = 4,32, p = 0,037.

Da dataene i denne undersøgelse ikke opfyldte den normale fordeling og homogeniteten af variansantagelserne for den regelmæssige ANOVA (variansanalyse), og vi havde fire uafhængige grupper på et kontinuerligt resultat, blev den ikke-parametriske ækvivalent til en ANOVA, Kruskal-Wallis-testen, anvendt. De fire uafhængige grupper blev afledt af de to kategoriske responsvariabler (Høj eller Lav) inden for de to præ-tvungne blokdimensioner (Agency og Experience). Da vi var interesserede i, hvordan de afhængige variabler adskilte sig mellem deltagernes svar på tværs af dimensionerne, blev dataene opdelt i fire undergrupper i henhold til svar i agenturdimensionen, herunder agentur-høj og agentur-lav, og i oplevelsesdimensionen, herunder oplevelse-høj og oplevelse-lav. Nedenfor præsenteres resultaterne af Kruskal-Wallis-testene for de tre uafhængige variabler. I alle tilfælde blev signifikanstærsklen fastsat til p < 0,05.

Resultater af svartid
Figur 6 viser deltagernes svartider i henhold til deres svar på Høj eller Lav i de fire blokdimensioner. Deltagernes svartider præsenteres for hvert niveau af de to uafhængige variabler: Aktørtype og Handlingsklasse. A1 og A2 repræsenterer henholdsvis Skuespiller 1 og Aktør 2, mens AC1 og AC2 repræsenterer henholdsvis Handlingsklasse 1 og Handlingsklasse 2.

Figur 6: Deltagernes svartider i opgaven på tværs af aktørtype og handlingsklasse. Hvert panel viser den tid, deltagerne brugte på at reagere på et af niveauerne (Høj eller Lav) i den pågældende dimension (Agentur og erfaring). Stjernerne viser signifikante forskelle mellem niveauerne af aktørtype eller aktionsklasse (p < .05). Klik her for at se en større version af denne figur.

Svartiderne blev ikke signifikant påvirket af aktørtypen for Agency-High, H(1) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091 og Experience-High, H(1) = 0,001, p = 0,968 svar, men de blev signifikant påvirket af aktørtypen for Experience-Low svarene, H(1) = 8,54, p = 0,003. En Wilcoxon-signeret rangtest blev beregnet for at undersøge effekten af skuespillertype på Experience-Low-svarene. Medianresponstiden for Actor1 (Mdn = 1,14) var signifikant kortere end medianresponstiden for Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

Svartiderne blev ikke signifikant påvirket af aktionsklassen for Agency-Low, H(1) = 1,99, p = 0,158 og Experience-High, H(1) = 0,17, p = 0,675 svar, men de blev signifikant påvirket af aktionsklassen for Agency-High, H(1) = 10,56, p = 0,001 og Experience-Low, H(1) = 5,13, p = 0,023, svar. Resultaterne af Wilcoxons signerede rangtest viste, at for agenturets høje responstid var medianresponstiden for aktionsklasse 1 (Mdn = 1,30 ) signifikant længere end medianresponstiden for aktionsklasse 2 (Mdn = 1,17 ), W = 17433, p = 0,0005; For Experience-Low responserne var medianresponstiden for Action Class1 (Mdn = 1,44) desuden signifikant længere end medianresponstiden for Action Class2 (Mdn = 1,21), W = 10002, p = 0,011.

Resultater af musesporing
Deltagernes musebevægelser, mens de besluttede deres endelige svar, blev også registreret. Tids- og stedoplysningerne blev indsamlet for at beregne deltagernes gennemsnitlige motorbaner. Optagelsen startede, da deltagerne så de verbale stimuli på skærmen og sluttede, da de gav et svar ved at klikke på en af mulighederne (Høj eller Lav) i øverste højre eller øverste venstre hjørne af skærmen.

Figur 7 viser de maksimale afvigelser af deltagernes musebevægelser i henhold til deres svar på Høj eller Lav i fire blokdimensioner. Deltagernes maksimale afvigelser fra den idealiserede lige linje i det valgte svar mod det ikke-valgte alternative svar præsenteres for hvert niveau af de to uafhængige variabler, aktørtype og handlingsklasse. A1 og A2 repræsenterer henholdsvis skuespiller 1 og skuespiller 2, mens AC1 og AC2 repræsenterer handlingsklasse 1 og handlingsklasse 2, henholdsvis.

Figur 7: Den maksimale afvigelse af deltagernes musebaner på tværs af aktørtype og aktionsklasse. Hvert panel viser deltagernes maksimale afvigelse fra den idealiserede lige linje i det valgte svar mod det ikke-valgte alternative svar, mens de reagerer mod et af niveauerne (Høj eller Lav) for den bestemte dimension (Agentur og erfaring). Stjernerne viser signifikante forskelle mellem niveauerne af aktørtype eller aktionsklasse (p < .05). Klik her for at se en større version af denne figur.

De maksimale afvigelser blev ikke signifikant påvirket af aktørtypen for Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655 og Experience-High, H(1) = 0,12, p = 0,720, svar, men de blev signifikant påvirket af aktørtypen for Experience-Low svarene, H(1) = 7,07, p = 0,007. En Wilcoxon-signeret rangtest blev udført for at undersøge effekten af skuespillertype på Experience-Low-svarene. Den mediane maksimale afvigelse for Actor1 (Mdn = 0,03) var signifikant kortere end medianmaksimumafvigelsen for Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

De maksimale afvigelser blev ikke signifikant påvirket af aktionsklassen for Agency-High, H(1) = 0,37, p = 0,539 og Experience-High, H(1) = 1,84, p = 0,174, svarene, men de blev signifikant påvirket af aktionsklassen for Agency-Low, H(1) = 8,34, p = 0,003 og Experience-Low, H(1) = 11,53, p = 0,0006, svar. Resultaterne af Wilcoxons signerede rangtest viste, at for Agency-Low svarene var medianens maksimale afvigelse for Action Class1 (Mdn = 0,06) signifikant længere end medianens maksimale afvigelse for Action Class2 (Mdn = 0,02), W = 12516, p = 0,0019. For Experience-Low-svarene var den mediane maksimale afvigelse for Action Class1 (Mdn = 0,09) desuden signifikant længere end medianen maksimale afvigelse for Action Class2 (Mdn = 0,03), W = 10733, p = 0,0003.

Figur 8 viser arealerne under kurven for deltagernes musebaner i henhold til deres svar på Høj eller Lav i fire blokdimensioner. Områderne under kurven for deltagernes svar i forhold til den idealiserede lige linje i det valgte svar præsenteres for hvert niveau af de to uafhængige variabler, aktørtype og handlingsklasse. A1 og A2 repræsenterer henholdsvis skuespiller 1 og skuespiller 2, mens AC1 og AC2 repræsenterer handlingsklasse 1 og handlingsklasse 2, henholdsvis.

Figur 8: Områderne under kurven i forhold til den idealiserede bane for deltagernes musebevægelser. Hvert panel viser området under kurven, mens deltagerne reagerer på et af niveauerne (Høj eller Lav) i den bestemte dimension (Agentur eller Erfaring). Stjernerne viser signifikante forskelle mellem niveauerne af aktørtype eller aktionsklasse (p < .05). Klik her for at se en større version af denne figur.

Områderne under kurverne blev ikke signifikant påvirket af aktørtypen for Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827 og Experience-High, H(1) = 0,96, p = 0,324, svar, men de blev signifikant påvirket af aktørtypen for Experience-Low svarene, H(1) = 8,51, p = 0,003. En Wilcoxon-signeret rangtest blev beregnet for at undersøge effekten af skuespillertype på Experience-Low-svarene. Medianarealet under kurven for Actor1 (Mdn = -0,03) var signifikant snaller end medianarealet under kurven for Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

Områderne under kurverne blev ikke signifikant påvirket af aktionsklassen for Agency-High svar, H(1) = 0,01, p = 0,913, men de blev signifikant påvirket af aktionsklassen for Agency-Low, H(1) = 7,54, p = 0,006, Experience-High, H(1)= 5,87, p = 0,015 og Experience-Low, H(1) = 15,05, p = 0,0001, svar. Resultaterne af Wilcoxons signerede rangtest viste, at for Agency-Low responserne var medianarealet under kurven for Action Class1 (Mdn = 0,03) signifikant større end medianarealet under kurven for Action Class2 (Mdn = -0,03), W = 12419, p = 0,003, og for Experience-High-responserne, medianarealet under kurven for Action Class1 (Mdn = -0,06) var signifikant mindre end den mediane maksimale afvigelse for aktionsklasse2 (Mdn = -0,02), W = 9827, p = 0,007. For Experience-Low svarene var medianarealet under kurven for Action Class1 (Mdn = 0,05) signifikant større end medianarealet under kurven for Action Class2 (Mdn = -0,03), W = 11049, p < 0,0001.

Sammenfatning og evaluering af de repræsentative resultater
Da dette er en igangværende undersøgelse, er en repræsentativ del af de data, vi vil have ved afslutningen af den store dataindsamling, blevet præsenteret. Selv disse stikprøvedata understøtter imidlertid effektiviteten af den metode, der foreslås i nærværende undersøgelse. Vi kunne få deltagernes svartider og musebaner, mens de gav deres svar efter at have set handlinger i realtid. Vi kunne gennemføre alle disse trin gennem den samme skærm, så deltagerne ikke ændrede en modalitet mellem at se de virkelige aktører og give musen svar, hvilket gav os mulighed for at udvide procedurerne i eksperimenterne til virkelige scenarier.

Tabel 1 opsummerer resultaterne af, hvordan de afhængige mål, herunder responstider, MD og AUC for musebanerne, blev påvirket af aktørtypen og aktionsklassen, som var de vigtigste uafhængige variabler i undersøgelsen.

	Svartid (RT)		Maksimal afvigelse (MD)		Areal under kurven (AUC)
	Skuespiller Type	Action klasse	Skuespiller Type	Action klasse	Skuespiller Type	Action klasse
Agentur Høj	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agentur Lav	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Oplev høj	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Oplev lav	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabel 1: Sammenfatning af resultaterne. Tabellen viser, hvordan de afhængige mål (responstider, MD og AUC for musebanerne) blev påvirket af de vigtigste uafhængige variabler (aktørtype og aktionsklasse) i undersøgelsen. *, ** og *** repræsenterer signifikansniveauerne p ≤ 0,05, p ≤ 0,01 og p ≤ 0,001.

Skuespillertypen havde en signifikant effekt på deltagernes svartider; mens de tildelte Lav kapacitet i dimensionen Oplevelse, brugte de mere tid på at gøre dette for Aktør2 sammenlignet med Aktør1 i samme tilstand (se figur 6D). Vi observerede også denne længere responstid i målingerne af musebevægelser baseret på MD og AUC (se figur 9 for banerne). MD'erne for musebanerne mod lave responser (se figur 7D) var signifikant højere, og AUC'erne for musebanerne (se figur 8D) var signifikant større, da deltagerne evaluerede Actor2 sammenlignet med Actor 1 (sammenligning af de blå linjer i figur 9A,B).

Figur 9: Deltagernes gennemsnitlige musebaner ved evaluering af de handlinger, der udføres af Actor1 og Actor2 i oplevelsesdimensionen. De orange linjer viser de gennemsnitlige musebaner mod høje svar; de blå linjer viser de gennemsnitlige musebaner mod lave svar. De sorte stiplede lige linjer repræsenterer de idealiserede responsbaner, mens de grå skraverede områder repræsenterer de gennemsnitlige kvadrerede standardafvigelser. Klik her for at se en større version af denne figur.

Deltagernes svartider, selv om de reagerede højt på aktionerne i aktionsklasse 1 i agenturdimensionen (jf. figur 6A), var betydeligt højere end for aktionerne i aktionsklasse 2. Disse længere responstider blev imidlertid ikke observeret i MD- (se figur 7A) og AUC-målinger (se figur 8A). Mens deltagerne reagerede lavt på aktionsklasse1 i oplevelsesdimensionen, brugte de signifikant mere tid, end de brugte på handlingsklasse2 (se figur 6D), og dette var også tydeligt i MD- (se figur 7D) og AUC-score (se figur 8D). Figur 10 viser, at musebanerne for musebanerne mod lave responser (se figur 7D) var signifikant højere, og AUC'erne for musebanerne (se figur 8D) var signifikant større, mens deltagerne evaluerede handlinger, der tilhørte aktionsklasse 1 sammenlignet med aktionsklasse 2 (sammenligning af de blå linjer i figur 10A, B).

Figur 10: Deltagernes gennemsnitlige museforløb ved evaluering af de aktører, der udfører handlingerne i aktionsklasse 1 og aktionsklasse2 i oplevelsesdimensionen. De orange linjer viser de gennemsnitlige musebaner mod høje svar; de blå linjer viser de gennemsnitlige musebaner mod lave svar. De sorte stiplede lige linjer repræsenterer de idealiserede responsbaner, mens de grå skraverede områder repræsenterer de gennemsnitlige kvadrerede standardafvigelser. Klik her for at se en større version af denne figur.

Selv om der ikke blev observeret nogen signifikant effekt af aktionsklassen på responstidsmålingerne for de andre blok-respons-kombinationer, blev der observeret en signifikant effekt af aktionsklassen i MD- (se figur 7B) og AUC-scoren (se figur 8B) for lave svar i agenturdimensionen. Figur 11 viser, at deltagerne tøvede over for det høje alternativ og bevægede sig mere mod det lave svar, da de evaluerede handlinger fra aktionsklasse1 sammenlignet med dem fra aktionsklasse2 (sammenligning af de blå linjer i figur 11A, B). Endelig, selvom der ikke var nogen signifikant effekt af aktionsklassen på RT- og MD-scorerne for de høje svar på oplevelsesdimensionen, blev der observeret en signifikant effekt for AUC'erne (se figur 8C) af banerne (se figur 10); specifikt tøvede deltagerne mere, mens de evaluerede Action Class2 sammenlignet med Action Class1 (sammenligning af de orange linjer i figur 10A, B).

Figur 11: Deltagernes gennemsnitlige museforløb ved evaluering af de aktører, der udfører aktionerne i aktionsklasse 1 og aktionsklasse2 i agenturdimensionen. De orange linjer viser de gennemsnitlige musebaner mod høje svar; de blå linjer viser de gennemsnitlige musebaner mod lave svar. De sorte stiplede lige linjer repræsenterer de idealiserede responsbaner, mens de grå skraverede områder repræsenterer de gennemsnitlige kvadrerede standardafvigelser. Klik her for at se en større version af denne figur.

Resultaterne indtil videre understøtter vores hypoteser, som antydede, at der ville være en effekt af aktørtypen og handlingsklassen, og at de afhængige målinger for høje og lave svar for den samme aktør og handlingsklasse ville variere på tværs af blokdimensionerne af agentur og erfaring. Da dette er en igangværende undersøgelse, ligger det uden for rammerne af dette papir at diskutere de mulige årsager til resultaterne. Som en tidlig bemærkning kunne vi dog understrege, at selvom nogle resultater for responstiden og målingerne fra computerens musesporing supplerede hinanden, observerede vi under nogle blokresponsforhold, at deltagerne tøvede med det andet alternativ, selv når de var hurtige i deres evalueringer.

Hvis en særlig OLED-skærm ikke var inkluderet i opsætningen, kunne deltagernes svartider stadig indsamles med nogle andre værktøjer såsom knapper at trykke på. Deltagernes musebevægelser kunne imidlertid ikke spores uden at give en ekstra skærm og få deltagerne til at se den skærm og de rigtige skuespillere frem og tilbage, hvilket igen ville forsinke deres svar. Så selvom svartider er nyttige indikatorer for vanskeligheden ved beslutningsprocessen, afslører deltagernes musebaner mere om realtidsdynamikken i deres beslutningsprocesser før deres endelige svar^32,34.

Supplerende kodningsfil 1: ExperimentScript1.m Klik her for at downloade denne fil.

Supplerende kodningsfil 2: ExperimentScript2.m Klik her for at downloade denne fil.

Supplerende kodningsfil 3: ExperimentScript3.m Klik her for at downloade denne fil.

Supplerende kodningsfil 4: RecordMouse.m Klik her for at downloade denne fil.

Supplerende kodningsfil 5: InsideROI.m Klik her for at downloade denne fil.

Supplerende kodningsfil 6: RandomizeTrials.m Klik her for at downloade denne fil.

Supplerende kodningsfil 7: RandomizeBlocks.m Klik her for at downloade denne fil.

Supplerende kodningsfil 8: GenerateResponsePage.m Klik her for at downloade denne fil.

Supplerende kodningsfil 9: GenerateTextures.m Klik her for at downloade denne fil.

Supplerende kodningsfil 10: ActorMachine.m Klik her for at downloade denne fil.

Supplerende kodningsfil 11: MatchIDtoClass.m Klik her for at downloade denne fil.

Supplerende kodningsfil 12: RandomizeWordOrder.m Klik her for at downloade denne fil.

Supplerende kodningsfil 13: ExperimentImages.mat-fil Klik her for at downloade denne fil.

Discussion

Det overordnede mål med denne undersøgelse er at bidrage til vores forståelse af, hvordan menneskelig visuel opfattelse og kognition på højt niveau fungerer i virkelige situationer. Denne undersøgelse fokuserede på handlingsopfattelse og foreslog et naturalistisk, men kontrollerbart eksperimentelt paradigme, der gør det muligt for forskere at teste, hvordan enkeltpersoner opfatter og evaluerer andres handlinger ved at præsentere virkelige aktører i en laboratorieindstilling.

Denne foreslåede metode har tre betydninger sammenlignet med eksisterende metoder. (1) Stimuliens naturlighed maksimeres ved at præsentere levende handlinger for deltagerne. (2) De virkelige stimuli (dvs. skuespillere), andre verbale stimuli (f.eks. ord eller instruktioner) og aktør- og handlingsresponsskærmen præsenteres ved hjælp af den samme modalitet (dvs. den digitale OLED-skærm), så deltagerne ikke mister deres fokus, mens de ændrer modaliteten, som i tilfælde af lukkerglasbrug, for eksempel³⁵. (3) Tidsfølsomme data, såsom data om responsvarighed og musebaner, der kræver streng tidskontrol, registreres ved hjælp af en naturlig opgave i dagens verden, musebrug.

Visse kritiske trin i protokollen er vigtige for, at dette paradigme fungerer problemfrit og giver forskere mulighed for at nå deres mål, samtidig med at deltagerne får en anstændig oplevelse. Disse trin er lige så vigtige for at skabe et sådant system, så vi præsenterer dem individuelt uden at bestille dem i henhold til deres kritikalitetsniveauer.

Det første kritiske trin vedrører manipulation af belysningen af rummet og ændring af farven på baggrunden, der bruges til deltagerens skærm. Dette trin giver mulighed for en jævn overgang mellem handlingsydeevnen i realtid og svarskærmen efter hver handlingsprøve. Når alt lys i rummet er slukket, og skærmens baggrund er justeret til hvid, opnås 100% opacitet, så undersøgelsesinstruktionerne og verbale stimuli kan vises uden distraktioner, der kan komme fra bevægelser i baggrunden. For at gøre displayet gennemsigtigt og præsentere de verbale stimuli umiddelbart efter handlingsstimuli tændes LED-lysene i lofterne, mens frontlysene holdes slukket for at få et gennemsigtigt display. Belysningskredsløbet er afgørende for passende lysmanipulation i rummet. Når lysstofrørene foran (deltagerområde) og bagside (skuespillerområde) i laboratoriet er tændt, virker optagelserne af skuespilleren lidt vippede, og deltageren ser refleksionen af sig selv og rummet. Når frontlysene i deltagerområdet er slukket, og LED-lysene i skuespillerområdet er tændt, kan deltageren tydeligt se skuespillerne uden distraktioner. Figur 1 og figur 3 viser, hvordan lysmanipulationer virker i eksperimentet.

Det andet kritiske trin i protokollen er kontrol af tiden. Handlingerne varer 6 sekunder, og belysningen på bagsiden af skærmen er automatiseret med hensyn til handlingernes varighed, så vi ikke har nogen forsinkelse eller acceleration på tværs af forsøg. Varigheden mellem blokkene styres dog manuelt (dvs. når vi har brug for en skuespillerændring), så vi kan starte den næste blok efter at have kontrolleret, om alt går som planlagt backstage. Denne periode er også velegnet til anmodninger fra deltagere eller aktører, såsom behovet for vand eller en ændring i temperaturen i rummet.

Det tredje kritiske trin vedrører brugen af sikkerhedskameraet og klokken. Sikkerhedskameraet giver mulighed for kommunikation mellem eksperimentlederen og skuespillerne. Eksperimentatoren kontrollerer løbende, hvad der sker backstage, såsom om skuespilleren er klar, eller om den rigtige skuespiller er på scenen. Skuespillerne vinker med hænderne, når de er klar til at udføre handlingerne og laver et krydstegn, når der er et problem. Eksperimentatoren kan endda bemærke, om der er et problem med udseendet af en skuespiller, såsom at glemme en ørering på det ene øre. Klokken giver eksperimentatoren mulighed for at advare skuespillerne om et sandsynligt problem. Når de hører klokken, kontrollerer skuespillerne først, om der er noget ved dem, og hvis det er tilfældet, retter de problemet og fortæller eksperimentatoren, at de er klar. Hvis der er et problem på eksperimentatorens side, lytter skuespillerne til eksperimentatoren, der forklarer problemet for deltageren. De venter lydløst, indtil eksperimentatoren ankommer backstage for at løse problemet, såsom at oprette forbindelse igen efter at have mistet internetforbindelsen.

Det fjerde trin vedrører brugen af et tungt, mørklægningsgardin til at opdele rummet, da et sådant materiale forhindrer lyset i at lække ind i den forreste del af rummet. Dette gardin forhindrer også lyd til en vis grad, så deltagerne ikke hører skuespillernes små bevægelser og de stille samtaler mellem eksperimentatoren og skuespillerne i tilfælde af et problem.

Det femte trin er inkluderingen af Actor PC og etablering af TCP / IP som netværksprotokol, da dette garanterer, at meddelelserne leveres til den anden ende, i modsætning til UDP. På denne måde kan aktørerne informeres om den næste handling, de vil udføre, og deltagerne er ikke klar over dette fra deres synspunkt. Da alle enheder desuden er på det samme netværk, bliver enhver mulig yderligere latenstid forårsaget af TCP / IP ubetydelig.

Det sjette væsentlige trin i protokollen er inkluderingen af baggrundsmusik mellem blokkene. Vi arrangerede musikken og blokkene, så når deltageren reagerer på den sidste prøve i en blok, begynder musikken at spille højt (ved 80% maksimal lydstyrke), så skuespillerne ved, at det er tid til en forandring, og deltagerne ved, at de kan drikke vand eller hvile øjnene. At spille musik muliggør en jævn overgang mellem skuespillere uden at høre deres bevægelser eller andre lyde, hvilket giver en følelse svarende til at se et stykke på teatret.

Vi mener, at det naturalistiske setup, der præsenteres i denne artikel, er et godt værktøj til at undersøge, om de mekanismer, der ligger til grund for den visuelle opfattelse af andres handlinger, der er blevet afsløret af traditionelle laboratorieeksperimenter, nærmer sig naturlig adfærd i den virkelige verden. At observere virkelige aktører og deres live handlinger vil naturligvis give en rig kilde til 3D visuel og multisensorisk information og give mulighed for aktabilitet på grund af skuespillerens fysiske og sociale tilstedeværelse. Derfor antager vi, at opfattelsen af levende handlinger kan fremkalde hurtigere og forbedrede adfærdsmæssige og neurale reaktioner i det velkendte handlingsopfattelsesnetværk, der tidligere blev afsløret af traditionelle laboratorieeksperimenter ved hjælp af statiske billeder og videoer. Derudover kan opfattelsen af live handlinger drive yderligere neurale kredsløb, der behandler 3D-dybdesignaler³⁶ og vestibulær information for at koordinere kroppen i rummet, mens de forbereder sig på at handle i verden³⁷. En begrænsning ved denne undersøgelse er, at svarene fra de virkelige aktører i den naturalistiske opsætning ikke blev sammenlignet med de svar, man ville opnå for forenklede stimuli såsom statiske billeder eller videoer. I fremtidige undersøgelser vil vi arbejde hen imod dette mål ved systematisk at sammenligne adfærdsmæssige og neurale reaktioner under handlingsopfattelse i traditionelle laboratorieindstillinger med dem i den naturalistiske opsætning.

Vi bemærker også nogle begrænsninger i det paradigme, der foreslås i denne undersøgelse på flere fronter. Den første er, at denne metode, ligesom de fleste naturalistiske studier, kræver økonomiske og tidsmæssige ressourcer. En sådan undersøgelse vil være højere med hensyn til budgettet end undersøgelser, der bruger forudindspillede dynamiske stimuli præsenteret på en regelmæssig skærm, da denne undersøgelse inkluderer specielt udstyr til at vise de virkelige handlinger, og virkelige aktører deltager i undersøgelsen for hver dataindsamlingssession. Derudover kan dataindsamlingsprocessen til denne undersøgelse tage længere tid, da de virkelige aktører udfører handlingerne gentagne gange; Der er en fysisk grænse for dem, i modsætning til undersøgelser ved hjælp af billeder eller videoer præsenteret på computerskærme. En anden relateret begrænsning kan være vanskeligheden ved at sikre, at aktørerne udfører hver handling på samme måde på tværs af blokke og deltagere; Men med tilstrækkelig træning kan skuespillere blive sikre på hver handling, da de er 6 s lange. Fremtidigt arbejde kunne optage live handlinger og derefter bruge computersyn til at kvantificere variabiliteten på tværs af forskellige forsøg med eksperimenterne.

For det andet kan skærmens lysstyrkeniveau, når det bruges uigennemsigtigt, og de hurtige ændringer i lynet mellem de uigennemsigtige og gennemsigtige skærme forårsage et problem for deltagere med synsproblemer eller lidelser som epilepsi. Denne potentielle begrænsning blev behandlet ved at spørge deltagerne, om de har en sådan lidelse eller bekymring over et sådant scenario og rekruttere dem, der rapporterede, at de ikke ville blive generet af et sådant scenario. Derudover klagede ingen af deltagerne over den musik, vi spillede i baggrunden under skuespiller- og blokændringerne, men nogle deltagere kunne blive forstyrret af sådan støj. Et middel mod dette kan være brugen af støjreducerende hovedtelefoner. De kan dog også forhindre enhver indgriben fra eksperimentatoren under undersøgelsen eller påvirke naturligheden af den eksperimentelle opsætning.

Andre mulige ændringer kunne anvendes på det nuværende paradigme; For eksempel, hvis eksperimentdesignet kræver, at deltagerne interagerer med skuespillerne mundtligt, kan begge sider bruge reversmikrofoner. Alle netværksforbindelser kan være kablede eller trådløse, så længe TCP / IP-forbindelser kan etableres. Måder at præsentere handlingerne i en eller anden sammenhæng kunne undersøges og anvendes for at se, om dette ville bidrage til at øge paradigmets naturlighed.

Den nuværende opsætning kunne være en ideel platform for kognitiv neurovidenskab og kognitiv psykologi studier, der kræver præcis timing og strengt kontrollerede stimuli under foruddefinerede forhold. Dette inkluderer undersøgelser, der anvender teknikker som øjensporing, hovedbund eller intrakraniel EEG, fNIRS og endda MEG, enten med traditionelle opsætninger eller i mere mobile opsætninger, som er mere gennemførlige i dag³⁸. Forskere fra disse felter kan tilpasse opsætningens eksterne egenskaber, såsom belysningen af rummet eller antallet af aktører samt de objekter, der skal præsenteres. En anden mulighed er, at forskere kunne manipulere skærmegenskaberne på den digitale skærm for at give en mere uigennemsigtig eller gennemsigtig skærm i henhold til behovene i deres undersøgelse. Andre mulige forskningsområder, hvor den foreslåede metode kan anvendes, kunne være forskning i interaktion mellem menneske og robot, hvor der er behov for realtidsinteraktioner mellem mennesker og robotter i realistiske scenarier.

Afslutningsvis, i betragtning af nødvendigheden af at flytte til mere naturalistiske studier, der mere ligner virkelige situationer i kognitiv neurovidenskab 13,14,15,16,17,18,19,20,21,38 , betydelig teknologisk udvikling inden for naturalistisk hjerne-krop-billeddannelse (f.eks. samtidig brug af EEG, motion capture, EMG og eye-tracking) og brugen af dyb læring som en grundlæggende ramme for menneskelig informationsbehandling^39,40, mener vi, at det er det rigtige tidspunkt at begynde at studere opfattelsen af levende handlinger såvel som dens neurale underlag.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)