Een naturalistische opzet voor het presenteren van echte mensen en live acties in experimentele psychologie en cognitieve neurowetenschappelijke studies

Summary

Deze studie presenteert een naturalistische experimentele opstelling waarmee onderzoekers real-time actiestimuli kunnen presenteren, responstijd- en muisvolggegevens kunnen verkrijgen terwijl deelnemers reageren na elke stimulusweergave en acteurs kunnen wisselen tussen experimentele omstandigheden met een uniek systeem, waaronder een speciaal transparant organisch lichtgevend diode (OLED) -scherm en lichtmanipulatie.

Abstract

Perceptie van de acties van anderen is cruciaal voor overleving, interactie en communicatie. Ondanks tientallen jaren van cognitief neurowetenschappelijk onderzoek gewijd aan het begrijpen van de perceptie van acties, zijn we nog ver verwijderd van het ontwikkelen van een neuraal geïnspireerd computervisiesysteem dat de perceptie van menselijke actie benadert. Een grote uitdaging is dat acties in de echte wereld bestaan uit tijdelijk ontvouwende gebeurtenissen in de ruimte die "hier en nu" plaatsvinden en uitvoerbaar zijn. Daarentegen hebben visuele perceptie en cognitief neurowetenschappelijk onderzoek tot nu toe grotendeels actieperceptie bestudeerd via 2D-displays (bijv. Afbeeldingen of video's) die de aanwezigheid van acteurs in ruimte en tijd missen, vandaar dat deze displays beperkt zijn in het bieden van bedienbaarheid. Ondanks de groeiende hoeveelheid kennis in het veld, moeten deze uitdagingen worden overwonnen voor een beter begrip van de fundamentele mechanismen van de perceptie van de acties van anderen in de echte wereld. Het doel van deze studie is om een nieuwe opstelling te introduceren om naturalistische laboratoriumexperimenten uit te voeren met levende acteurs in scenario's die de echte wereld benaderen. Het kernelement van de opstelling die in deze studie wordt gebruikt, is een transparant OLED-scherm (organic light-emitting diode) waarmee deelnemers de live-acties van een fysiek aanwezige acteur kunnen bekijken terwijl de timing van hun presentatie nauwkeurig wordt geregeld. In dit werk werd deze opstelling getest in een gedragsexperiment. Wij geloven dat de opzet onderzoekers zal helpen fundamentele en voorheen ontoegankelijke cognitieve en neurale mechanismen van actieperceptie te onthullen en een basis zal vormen voor toekomstige studies die sociale perceptie en cognitie in naturalistische omgevingen onderzoeken.

Introduction

Een fundamentele vaardigheid voor overleving en sociale interactie is het vermogen om de acties van anderen waar te nemen en te begrijpen en ermee om te gaan in de omgeving. Eerder onderzoek in de afgelopen decennia heeft een belangrijke bijdrage geleverd aan het begrijpen van de fundamentele principes van hoe individuen de acties van anderen waarnemen en begrijpen 1,2,3,4,5,6,7,8,9,10,11 . Niettemin, gezien de complexiteit van interacties en de omstandigheden waarin ze plaatsvinden, is er een duidelijke behoefte om de hoeveelheid kennis in naturalistische omgevingen verder te ontwikkelen om een vollediger begrip van deze complexe vaardigheid in het dagelijks leven te bereiken.

In natuurlijke omgevingen zoals onze dagelijkse levensomgevingen vertonen perceptie en cognitie belichaamde, ingebedde, uitgebreide en actieve kenmerken¹². In tegenstelling tot internalistische verslagen van hersenfuncties die de neiging hebben om de rollen van het lichaam en de omgeving te onderschatten, richten hedendaagse benaderingen van belichaamde cognitie zich op de dynamische koppeling van de hersenen, het lichaam en de omgeving. Aan de andere kant hebben de meeste sociale psychologie, cognitieve psychologie en neurowetenschappelijk onderzoek naar actieperceptie de neiging om aan te nemen dat het gebruik van goed gecontroleerde en vereenvoudigde experimentontwerpen in laboratoriumomstandigheden (bijv. Afbeeldingen of video's in geautomatiseerde taken) resultaten oplevert die kunnen worden gegeneraliseerd naar complexere scenario's zoals interacties in de echte wereld 1,2,3,4,5,6,7 ,8,9,10,11. Deze aanname garandeert dat onder veel omstandigheden robuuste en betrouwbare gegevens kunnen worden verkregen. Niettemin is een bekende uitdaging dat de validiteit van de modellen die zijn afgeleid van zorgvuldig gecontroleerde experimenten beperkt is wanneer ze worden getest in een echte context¹³. Bijgevolg zijn er 13,14,15,16,17,18,19,20,21,22 verdere onderzoeken uitgevoerd om de ecologische en externe validiteit van stimuli en experimentele ontwerpen in verschillende onderzoeksgebieden aan te pakken.

In deze studie wordt een nieuwe methode voorgesteld om te onderzoeken hoe individuen de acties van anderen waarnemen en evalueren door live acties te gebruiken die worden uitgevoerd door een echte, fysiek aanwezige acteur. Scenario's die vergelijkbaar zijn met real-life contexten worden gebruikt, terwijl de experimentatoren controle hebben over mogelijke verstorende factoren. Deze studie is een vorm van "naturalistisch laboratoriumonderzoek", in het kader van Matusz et al.14, dat kan worden opgevat als een tussenfase tussen "klassiek laboratoriumonderzoek", dat gebruik maakt van maximale controle over de stimuli en omgeving, vaak ten koste van natuurlijkheid, en "volledig naturalistisch real-world onderzoek", dat gericht is op het maximaliseren van natuurlijkheid ten koste van controle over de stimulatie en de omgeving ¹⁴. De studie heeft tot doel de behoefte aan empirisch onderzoek op dit niveau in actieperceptieonderzoek aan te pakken om de kloof te overbruggen tussen de bevindingen verkregen in traditionele laboratoriumexperimenten met een hoge mate van experimentele controle en de bevindingen verkregen in studies uitgevoerd in volledig onbeperkte, natuurlijke omgevingen.

Gecontroleerde versus onbeperkte experimenten
Experimentele controle is een efficiënte strategie voor het ontwerpen van experimenten om een specifieke hypothese te testen, omdat het onderzoekers in staat stelt om doelvariabelen te isoleren van waarschijnlijke verstorende factoren. Het maakt het ook mogelijk om dezelfde hypothese opnieuw te bekijken met bepaalde niveaus van wijzigingen, zoals het gebruik van enigszins of totaal verschillende stimuli in hetzelfde ontwerp of het testen van dezelfde stimuli in alternatieve experimentele opstellingen. Systematisch onderzoek door middel van gecontroleerde experimenten is een traditionele vorm van methodologie in onderzoek in de cognitieve wetenschap en relevante domeinen. Gecontroleerde experimenten helpen nog steeds om de hoeveelheid kennis vast te stellen over de fundamentele principes van cognitieve processen in verschillende onderzoeksdomeinen, zoals aandacht, geheugen en perceptie. Recent onderzoek heeft echter ook de beperkingen van traditionele laboratoriumexperimenten erkend in termen van het generaliseren van de bevindingen naar echte omgevingen, en onderzoekers zijn aangemoedigd om studies uit te voeren in verbeterde ecologische omgevingen 13,14,15,16,17,18,19,20,21 . Deze verschuiving is bedoeld om twee belangrijke kwesties aan te pakken met betrekking tot de discrepantie tussen traditionele laboratoriumexperimenten en real-world omgevingen. Ten eerste is de wereld buiten het laboratorium minder deterministisch dan bij experimenten, wat de representatieve kracht van systematische experimentele manipulaties beperkt. Ten tweede is het menselijk brein zeer adaptief, en dit wordt vaak onderschat vanwege de praktische beperkingen van het ontwerpen en uitvoeren van experimentele studies²². Het concept van "ecologische validiteit"^23,24 is gebruikt om methoden aan te pakken om dit probleem op te lossen. De term wordt meestal gebruikt om te verwijzen naar een voorwaarde voor de generalisatie van experimentele bevindingen naar de echte wereld buiten de laboratoriumcontext. Ecologische validiteit is ook geïnterpreteerd als een verwijzing naar het valideren van vrijwel naturalistische experimentele opstellingen met ongelimiteerde stimuli om ervoor te zorgen dat de onderzoeksopzet analoog is aan real-life scenario's²⁵. Vanwege de hoge mate van variatie in de interpretatie van deze term, is een goed begrip van de voordelen en beperkingen van alternatieve methodologieën en stimulusselectie vereist.

Niveaus van naturalisme in stimuli en experimentontwerp
Eerder werk in de experimentele psychologie en cognitieve neurowetenschappen heeft een breed scala aan stimuli gebruikt met verschillende niveaus van naturalisme²⁶. De meeste onderzoekers geven de voorkeur aan statische afbeeldingen of korte dynamische video's omdat deze stimuli gemakkelijker te bereiden zijn dan die welke een echte actie of een gebeurtenis kunnen simuleren. Ondanks dat ze voordelen hebben, stellen deze stimuli onderzoekers niet in staat om contingent gedrag te meten tussen sociale agenten. Met andere woorden, ze zijn niet handelbaar en hebben geen sociale affordance²⁷. De afgelopen jaren is een alternatief voor deze niet-interactieve prikkels ontwikkeld: real-time animaties van virtuele avatars. Deze avatars maken het mogelijk om de interacties tussen avatars en hun gebruikers te onderzoeken. Het gebruik van virtuele avatars is echter onderhevig aan verminderde angst van gebruikers, vooral wanneer ze niet bijzonder aantrekkelijk lijken in termen van hun realistische en contingente gedrag²⁶. Daarom is er nu meer interesse in het gebruik van echte sociale stimuli in experimentele studies. Hoewel hun ontwerp, gegevensregistratie en analyse mogelijk geavanceerde apparatuur en complexe gegevensanalyse vereisen, zijn ze de beste kandidaten voor het begrijpen van naturalistisch menselijk gedrag en cognitie.

De huidige studie stelt een methodologie voor voor het gebruik van real-life sociale stimuli in een laboratoriumomgeving. Deze studie heeft tot doel te onderzoeken hoe mensen de acties van anderen waarnemen en evalueren in een omgeving met een verbeterde ecologische validiteit in vergelijking met traditionele laboratoriumexperimenten. We hebben een nieuwe opstelling ontwikkeld en beschreven waarin deelnemers worden blootgesteld aan echte acteurs die fysiek aanwezig zijn en dezelfde omgeving met hen delen. In dit protocol worden de responstijden en muistrajecten van de deelnemers gemeten, wat een nauwkeurige timing van de presentatie van de stimuli en strikte controle over de experimentele omstandigheden in deze verbeterde ecologische omgeving vereist. Daarom onderscheidt het experimentele paradigma zich tussen de kaders die in de literatuur aanwezig zijn, omdat de natuurlijkheid van de stimuli wordt gemaximaliseerd zonder de controle over de omgeving op te offeren. Hieronder presenteert het protocol de stappen om een dergelijk systeem op te zetten en gaat vervolgens verder met de representatieve resultaten voor de steekproefgegevens. Ten slotte wordt een bespreking van de betekenis, beperkingen en plannen voor wijzigingen van het paradigma gepresenteerd.

Experimenteel ontwerp
Voordat we verder gaan met het protocolgedeelte, beschrijven we de parameters die in deze studie worden gebruikt en presenteren we de details van de stimuli samen met het experimentele ontwerp.

Parameters in het onderzoek
Deze studie heeft tot doel te meten hoe het type acteur en de klasse van acties die ze uitvoeren de waarnemingsprocessen van de geest van de deelnemers beïnvloeden. In het protocol wordt het waarnemingsproces van de geest gemeten in twee hoofddimensies, namelijk keuzevrijheid en ervaring, zoals voorgesteld door eerder onderzoek²⁸. De hoge en lage uiteinden van deze twee dimensies zijn ook inbegrepen, zoals onlangs geïntroduceerd door Li et ^al.29.

De structuur van de studie is geïnspireerd op de single-category versie³⁰ van de veelgebruikte implicit association task (IAT)³¹. In deze taak worden de responstijden van de deelnemers terwijl ze een attribuutconcept matchen met het doelconcept gebruikt als een indicatie van de kracht van hun impliciete associaties voor deze twee concepten. In de aanpassing van deze impliciete taak krijgen de deelnemers live acties te zien die worden uitgevoerd door echte acteurs en moeten ze matchen met doelconcepten. De doelconcepten zijn de hoge en lage uiteinden van het bureau of de ervaringsdimensies, afhankelijk van het blok van het experiment.

Samenvattend zijn de onafhankelijke variabelen Actor Type en Action Class. Actor Type heeft twee niveaus (d.w.z. twee verschillende acteurs, Actor1 en Actor2, die in de studie optreden). Action Class heeft twee niveaus: Action Class1 en Action Class2, en elke class bevat vier acties. De deelnemers evalueren de twee acteurs afzonderlijk in vier blokken (één acteur in elk blok) en in elk blok voeren de acteurs alle acties uit in een tegengestelde volgorde. De deelnemers voeren evaluaties uit met betrekking tot twee vooraf gedefinieerde en geforceerde dimensies: Agency en Experience. De vier blokken in het experiment zijn (1) Actor1 in Agency Block, (2) Actor2 in Agency Block, (3) Actor1 in Experience Block en (4) Actor2 in Experience Block. Ook wordt de volgorde van de blokken onder de deelnemers tegengesteld zodat de blokken met dezelfde agent elkaar nooit opvolgen.

Naast de antwoorden van de deelnemers worden de responstijden en de x-y-coördinaten van de draadloze muis die ze gebruiken terwijl ze naar een van de twee responsalternatieven gaan, vastgelegd. De afhankelijke variabelen zijn dus de respons en de responstijd (RT) van de deelnemers, evenals de metingen van de maximale afwijking (MD) en het gebied onder de curve (AUC), afgeleid van het volgen van de computermuis. De variabele respons is categorisch; het kan Hoog of Laag zijn, en aangezien de evaluaties in een van de gegeven blokken worden uitgevoerd, kunnen de antwoorden ook worden gelabeld als High-Agency, Low-Agency, High-Experience of Low-Experience. De responstijd is een continue variabele; De eenheid is seconden en verwijst naar de verstreken tijd tussen het begin van de presentatie van een actie en het optreden van een muisklik op een van de antwoordalternatieven. De MD van een traject is een continue variabele en verwijst naar de grootste loodrechte afwijking tussen het traject van de deelnemer(s) en het geïdealiseerde traject (rechte lijn). De AUC van een traject is ook een continue variabele en verwijst naar het geometrische gebied tussen het traject van de deelnemer(s) en het geïdealiseerde traject³².

Stimuli en opzet van het experiment
In deze studie wordt een experiment in drie fasen gebruikt. Voor de analyses worden de metingen uit het derde deel gebruikt; De eerste twee delen dienen als voorbereiding op het laatste deel. Hieronder beschrijven we elk deel van het experiment samen met de experimentele stimuli en hypothesen.

In Experiment Deel 1 (lexicaal trainingsgedeelte) voltooien de deelnemers een trainingssessie om de concepten van Agency en Experience en de capaciteitsniveaus weergegeven met de woorden High en Low te begrijpen. Om de concepten (n = 12) te selecteren die in deze trainingssessie moeten worden gebruikt, hebben enkele auteurs van het huidige werk een normatieve studie^{uitgevoerd 33}. Aangezien de huidige studie gepland was om te worden uitgevoerd in de moedertaal van de deelnemers, werden de concepten ook vertaald in het Turks voordat ze werden genormaliseerd. Concepten werden geselecteerd uit degenen die sterk geassocieerd waren met de hoge (n = 3) en lage (n = 3) uiteinden van de twee dimensies (zes concepten voor elk). Dit deel is cruciaal omdat het begrip van de deelnemers van de concepten naar verwachting hun evaluatieprocessen zal begeleiden.

In experiment deel 2 (actie-identificatiedeel) bekijken deelnemers dezelfde acht acties die door Actor1 en Actor2 achter elkaar worden uitgevoerd en rapporteren ze wat de actie is aan de experimentator. Deze sectie dient als een manipulatiecontrole; Door alle acties te presenteren wanneer beide actoren ze uitvoeren, is het mogelijk om ervoor te zorgen dat de deelnemers de acties begrijpen en bekend zijn met de acteurs voordat ze aan de impliciete test beginnen, waar ze snelle evaluaties moeten maken. De acties die zijn geselecteerd voor Action Class1 en Action Class2 zijn die met de hoogste H-scores en betrouwbaarheidsniveaus (vier verschillende actievoorbeelden in elke actieklasse) volgens de resultaten van de twee normatieve studies (N = 219) voor elke actorconditie uitgevoerd door enkele van de auteurs (manuscript in voorbereiding). Alle acties worden uitgevoerd binnen een gelijke tijdsduur van 6 s.

Dit is een lopende studie en het heeft enkele andere componenten; De hypothesen voor de hierboven beschreven secties zijn echter als volgt: (i) het type actor zal de afhankelijke variabelen beïnvloeden; Actor2 levert langere RT's, hogere MD's en grotere AUC's op in vergelijking met Actor1; ii) het soort actie is van invloed op de afhankelijke metingen; Action Class1 levert langere RT's, hogere MD's en grotere AUC's op in vergelijking met Action Class2; (iii) de afhankelijke metingen voor hoge en lage responsen voor dezelfde actor en actieklasse verschillen tussen de blokdimensies: Agentschap en Ervaring.

Protocol

De experimentele protocollen in deze studie werden goedgekeurd door de Ethische Commissie voor Onderzoek met Menselijke Deelnemers van Bilkent University. Alle deelnemers aan het onderzoek waren ouder dan 18 jaar en ze lazen en ondertekenden het formulier voor geïnformeerde toestemming voordat ze aan het onderzoek begonnen.

1. Algemene ontwerpstappen

OPMERKING: Figuur 1A (bovenaanzicht) en figuur 1B en figuur 1C (voor- en achteraanzicht) tonen de laboratoriumindeling; Deze cijfers zijn gemaakt met betrekking tot de oorspronkelijke laboratoriumopstelling en configuratie die voor deze specifieke studie is ontworpen. Figuur 1A toont de bovenaanzicht lay-out van het lab. In deze figuur is het mogelijk om LED-verlichting op het plafond en de acteurskast te zien. Het verduisteringsgordijnsysteem verdeelt de kamer in tweeën en helpt lichtmanipulatie door te voorkomen dat licht in het voorste deel van de kamer lekt (deelnemersruimte). Figuur 1B toont het beeld van het laboratorium vanuit het perspectief van de experimentator. De deelnemer zit recht voor het OLED-scherm en kan met behulp van het doorzichtige display de live-acties bekijken die door de acteurs worden uitgevoerd. Ze geven hun antwoorden met behulp van het antwoordapparaat (een draadloze muis) voor hen. De experimentator kan tegelijkertijd de acteur bekijken via het deelnemersdisplay (OLED-scherm) en de beelden die afkomstig zijn van de beveiligingscamera. Figuur 1C toont de backstage van het onderzoek (Actor Area) met de beveiligingscamera en de Actor personal computer (PC), die niet zichtbaar zijn voor de deelnemer. De beelden van de beveiligingscamera gaan naar de camera-pc om communicatie tot stand te brengen tussen de acteurs en de experimentator. De Actor PC geeft de blokvolgorde en de volgende actie-informatie weer aan de actor, zodat het experiment zonder onderbreking verloopt. De acteurs kunnen de volgende actie snel controleren, terwijl de deelnemers reageren op de actie in de vorige proef.

Figuur 1: Naturalistische laboratoriumopstelling. (A) Top-down weergave van de naturalistische laboratoriumopstelling. (B) De achter- en voorkant van de naturalistische experimentele opstelling vanuit het oogpunt van de deelnemer. (C) De achter- en voorkant van de naturalistische experimentele opstelling vanuit het oogpunt van de acteur. Klik hier om een grotere versie van deze figuur te bekijken.

1. Ontwerp een opstelling die drie computers omvat, waaronder (1) een hoofdbedieningsdesktop (Experimenter PC), (2) een acteurslaptop (Actor PC) en (3) een camera-pc, één draadloos antwoordapparaat (Participant Mouse), twee beeldschermen, een verlichtingscircuit en een beveiligingscamera (zie figuur 2A voor het systeemdiagram van de opstelling van dit onderzoek).
   OPMERKING: De Experimenter PC zal door de experimentator worden gebruikt om de experiment scripts uit te voeren, de Actor PC zal door de actor worden gebruikt om de blokken van het experiment en de volgorde van de acties in de blokken te volgen, en het derde apparaat, de Camera PC, zal worden aangesloten op de beveiligingscamera in het actor gebied en zal door de experimentator worden gebruikt om de backstage te monitoren.
2. Sluit de afzonderlijke displays (één voor de presentatie van stimuli [Participant Display], het OLED-scherm) en een scherm voor de bewaking van het experiment, het responsapparaat en het verlichtingscircuit (via draden of draadloze verbindingen) aan op de Experimenter-pc (zie figuur 2A).
3. Verbind de Experimenter-pc en de Actor-pc via een draadloos netwerk om informatie met betrekking tot de experimentstatus (bijvoorbeeld "volgende actie-ID is 'begroeting'") over te brengen aan de acteurs.
4. Ontwerp en bouw een verlichtingscircuit dat (zie figuur 2B voor de printplaat) kan worden bestuurd door een microcontroller om de LED's in en uit te schakelen.
   OPMERKING: Figuur 3A toont het ondoorzichtige gebruik van het OLED-scherm dat in het onderzoek is gebruikt vanuit het oogpunt van de experimentator. Om ondoorzichtigheid te garanderen, wordt de achtergrond van het scherm aangepast naar wit (RGB: 255, 255, 255) en worden alle lichten in de kamer (zowel in het deelnemersgedeelte als in het acteursgebied) uitgeschakeld. De deelnemer ziet de fixatie voor de prikkels. Figuur 3B toont het transparante gebruik van het digitale scherm in het onderzoek vanuit het oogpunt van de experimentator. Om transparantie mogelijk te maken, wordt de achtergrond van het scherm aangepast naar zwart (RGB: 0, 0, 0) en worden de LED-lampjes aan het plafond ingeschakeld. De deelnemer kijkt naar de acteur. Figuur 3C toont het ondoorzichtige gebruik van het digitale scherm in het onderzoek. Om ondoorzichtigheid te garanderen, wordt de achtergrond van het scherm aangepast naar wit (RGB: 255, 255, 255) en worden alle lichten in de kamer uitgeschakeld. De deelnemer krijgt het evaluatiescherm te zien om een reactie te geven. Ze moeten de cursor naar de linkerbovenhoek of rechterbovenhoek van het scherm slepen (een van de twee antwoordkeuzes, hoog of laag) met een draadloze muis. Hun muistraject en responstijd worden geregistreerd.
5. Sluit de microcontroller aan op de Experimenter PC.
6. Sla de scripts waarmee het experiment wordt uitgevoerd op in de Experimenter-pc.
   OPMERKING: Figuur 4A toont de backstage (acteursgebied) tijdens het experiment. De voorlichten van de kamer (deelnemersgedeelte) zijn uit en de acteur-pc toont de naam van de actie die door de acteur zal worden uitgevoerd. Figuur 4B toont de acteurskast waarin de acteurs op hun beurt kunnen wachten en zich kunnen omkleden. De acteurskast is niet zichtbaar vanuit het zicht van de deelnemer en omdat een gordijnsysteem wordt gebruikt, kunnen de acteurs elke gewenste ingang gebruiken. Tijdens het experiment zijn de tl-lampen in de figuur uit.

Figuur 2: Systeem- en bedradingsschema . (A) Het systeemschema van de naturalistische experimentele opstelling. (B) Het bedradingsschema van het lichtcircuit dat het OLED-scherm tijdens het experiment ondersteunt. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: OLED-scherm vanuit het oogpunt van de experimentator. (A) Ondoorzichtig gebruik van het OLED digitale scherm vanuit het oogpunt van de experimentator. (B) Transparant gebruik van het digitale OLED-scherm vanuit het oogpunt van de experimentator. (C) Ondoorzichtig gebruik van het digitale OLED-scherm vanuit het oogpunt van de experimentator tijdens een responsperiode. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Backstage van het experiment. (A) Backstage tijdens een experimentproef. (B) De acteurskast bevindt zich aan de achterkant van het OLED-scherm, waarin de acteurs kunnen wachten tot hun beurt zichtbaar is tijdens het experiment. Klik hier om een grotere versie van deze figuur te bekijken.

2. Ontwerp en implementatie van het verlichtingscircuit

1. Stappen die u moet volgen voordat u de apparaten/componenten van het circuit van stroom voorziet
   1. Als u de status wilt wijzigen van de LED's die backstage zijn geïnstalleerd (Actor Area), biedt u de Experimenter PC de mogelijkheid om de LED's op AAN of UIT te zetten.
   2. Als u de digitale opdrachten wilt overbrengen die vanaf de Experimenter-pc via een USB-kabel worden verzonden, selecteert u een microcontrollerapparaat dat digitale ingangen kan opnemen en een digitale uitvoer kan genereren (zie de materiaaltabel voor de microcontroller die in dit onderzoek wordt gebruikt).
   3. Selecteer een specifieke USB-poort van de Experimenter-pc om via een USB-kabel verbinding te maken met de USB-ingang van de microcontroller. Schakel de pc niet in voordat u controleert of alle verbindingen tot stand zijn gebracht.
   4. Voeg een schakelmodule toe om de amplitude van het uitgangssignaal (ongeveer 3,3 V) dat door de microcontroller wordt gegenereerd, te verhogen.
   5. Sluit de aangewezen digitale uitgangspen (voor dit experiment is de aangewezen pin D9) en de massapennen van de microcontroller aan op de schakelmodule.
   6. Om de belasting (de LED's) uit te voeren, neemt u een krachtige metaaloxide-halfgeleiderveldeffecttransistor (MOSFET) module (of MOSFET-module) op die wordt aangedreven door het signaal dat door de schakelmodule wordt gegenereerd, en sluit u de signaalpennen van de MOSFET-module aan op het overeenkomstige signaal-massapaar op de schakelmodule.
   7. Sluit de warmbedpennen van de MOSFET-module aan op de lading.
   8. Om een gereguleerde constante spanning aan de modules (en indirect aan de LED's) te leveren, moet u een LED-voeding opnemen die wisselstroom (AC) netingang neemt en een constante gelijkspanning in het circuit genereert.
   9. Sluit de uitgangen van de LED-voeding aan op de voedingsingangen van zowel de MOSFET-module als de schakelmodule.
2. Te volgen stappen na het bedraden van de circuitcomponenten
   1. Sluit de USB-kabel aan op de geselecteerde USB-poort van de Experimenter-pc.
   2. Maak een seriële communicatieverbinding tussen de microcontroller en de softwareomgeving die op de Experimenter-pc wordt uitgevoerd (zie subsectie De microcontroller verbinden met Experimenter PC).
   3. Sluit de LED-voeding aan op de netvoeding.

3. Programmering van het experiment

OPMERKING: Maak drie experimentele hoofdscripts (ExperimentScript1.m [Supplemental Coding File 1], ExperimentScript2.m [Supplemental Coding File 2] en ExperimentScript3.m [Supplemental Coding File 3]), evenals verschillende functies (RecordMouse.m [Supplemental Coding File 4], InsideROI.m [Supplemental Coding File 5], RandomizeTrials.m [Supplemental Coding File 6], RandomizeBlocks.m [Supplemental Coding File 7], GenerateResponsePage.m [Supplemental Coding File 8], GenerateTextures.m [Supplemental Coding File 9], ActorMachine.m [Supplemental Coding File 10], MatchIDtoClass.m [Supplemental Coding File 11] en RandomizeWordOrder.m [Supplemental Coding File 12]) om het experiment uit te voeren.

OPMERKING: Raadpleeg de gerelateerde scripts voor gedetailleerde uitleg.

1. Randomisatie van de trial en block orders
   1. Definieer en maak twee functies om de proeforders (RandomizeTrials.m) en blokorders (RandomizeBlocks.m) te randomiseren die de randomisatieparameters (zoals de deelnemers-ID) als invoer nemen en een array van pseudorandomized sequenties retourneren.
   2. Zie de scripts RandomizeBlocks.m (regels 2-24) en RandomizeTrials.m (regels 3-26) voor details over hoe de gerandomiseerde sequenties worden gegenereerd.
2. Tracking van de respons (RecordMouse, InsideRoi)
   1. Maak een functie die het muistraject van de deelnemers en de verstreken tijd tijdens het experiment bijhoudt en registreert (zie RecordMouse.m).
   2. Maak een helperfunctie om te controleren of de aangeklikte coördinaten binnen de acceptabele gebieden liggen of niet (zie script InsideRoi.m).
3. Genereren van texturen voor instructies en feedbacks (GenerateTextures.m, GenerateResponsePage.m)
   1. Bereid de instructies met betrekking tot het experiment en de feedback met betrekking tot de proeven voor als afbeeldingen.
   2. Sla de inhoud van deze afbeeldingen op in een MAT-bestand (zie Bestand ExperimentImages.mat [Aanvullend coderingsbestand 13]).
   3. Laad het MAT-bestand in de werkruimte (zie GenerateTextures.m regel 25) nadat u een venster op het scherm hebt gemaakt.
   4. Maak een afzonderlijke structuur en de bijbehorende id voor elke afbeelding (zie GenerateTextures.m regels 27-165).
   5. Definieer een functie om de gerelateerde structuren van de antwoordpagina voor elk experimentscript te tekenen (zie GenerateResponsePage.m).
4. De Actor PC aansluiten op Experimenter PC via TCP/IP
   1. Maak een TCP-serversocket in het script (zie ExperimentScript2.m regel 174) dat wordt uitgevoerd op de Experimenter-pc.
   2. Maak een overeenkomstige TCP-clientsocket in het script (zie ActorMachine.m regel 16) dat op de Actor-pc wordt uitgevoerd.
   3. Stuur informatie over het komende blok/proef naar de acteurs uit het script (zie regels 207, 229 en 278 in ExperimentScript2.m of zie regels 136, 141, 153, 159 en 297 in ExperimentScript3.m) die op de Experimenter PC worden uitgevoerd.
   4. Geef de ontvangen informatie van de Experimenter PC weer in het schermvenster van de Actor PC (zie regels 31-47 in ActorMachine.m).
5. De microcontroller aansluiten op de Experimenter PC
   1. Sluit de microcontroller aan op een specifieke USB-poort (bijv. POORT 9) om de status (AAN of UIT) van de geïnstalleerde LED's backstage te regelen.
   2. Breng een seriële communicatie tot stand tussen het microcontrollerapparaat en de Experimenter-pc (zie regel 185 in het script ExperimentScript2.m).
   3. Stuur een logisch hoog signaal (1) naar de microcontroller vanuit het script dat op de Experimenter-pc wordt uitgevoerd (zie regel 290 in ExperimentScript2.m of zie regel 311 in ExperimentScript3.m-scripts) om de LED's in te schakelen wanneer de acties worden weergegeven via de USB-kabel.
   4. Stuur een logisch laag signaal (0) naar de microcontroller vanuit het script dat op de Experimenter-pc wordt uitgevoerd (zie regel 292 in ExperimentScript2.m of zie regel 314 in ExperimentScript3.m-scripts) om de LED's uit te schakelen wanneer van de deelnemer wordt verwacht dat hij een antwoord geeft.

4. De stroom van een voorbeeldexperiment

1. Stappen voorafgaand aan het experiment
   1. Zorg ervoor dat alle apparaten in het lab (Experimenter PC, Camera PC, Actor PC en Participant Display) worden gevoed door een UPS.
   2. Koppel de lightning-microcontroller via een USB-kabel aan de Experimenter-pc, zodat deze automatisch wordt ingeschakeld wanneer de Experimenter-pc wordt ingeschakeld.)
   3. Schakel de Experimenter-pc in en controleer of deze is verbonden met 5 GHz Wi-Fi.
   4. Kies het geluidsapparaat (de luidsprekers in de materiaalopgave) als het geluidsuitvoerapparaat van de Experimenter-pc.
   5. Schakel het deelnemersdisplay in en stel de volume-instellingen in op 80%.
   6. Stel de scherminstellingen van de Experimenter-pc in voor meerdere beeldschermen. Breid de weergave van de Experiment-pc uit naar de deelnemersweergave. Het display van de Experimenter PC is 1 en het deelnemersdisplay is 2.
   7. Schakel de Actor PC in en controleer of deze is verbonden met 5 GHz Wi-Fi.
   8. Sluit de beveiligingscamera aan op de Actor PC via een USB-kabel, zodat deze automatisch wordt ingeschakeld wanneer de Actor PC wordt ingeschakeld.
   9. Schakel de camera-pc in en open de cameratoepassing op het bureaublad. Zorg ervoor dat elke acteur, hun bewegingen en hun in- en uitgangen naar de kast zichtbaar zijn voor de camera.
   10. Controleer of alle computers, beeldschermen en apparaten (het antwoordapparaat [draadloze muis van de deelnemer], luidsprekers, toetsenbord en muis van de Experimenter PC en Actor PC en de lightning microcontroller) goed werken.
   11. Verwelkom de deelnemer in een andere kamer; Nadat u korte informatie over het onderzoek hebt gegeven, verstrekt u het toestemmingsformulier en laat u de deelnemer het ondertekenen.
   12. Vraag de deelnemer om een nummer uit een tas te trekken en vertel hem dat het nummer gedurende het hele onderzoek zijn of haar deelnemer-ID zal zijn.
   13. Laat de deelnemer het online demografische formulier invullen met zijn anonieme deelnemers-ID.
       OPMERKING: Het is cruciaal dat de deelnemers de acteurs niet zien vóór het experiment. Dit papierwerk wordt dus in een andere kamer voltooid in plaats van in de hoofdexperimentruimte, zodat de acteurs pauzes tussen de deelnemers kunnen nemen.
2. De stappen van het experiment
   1. Open de experimentsoftware op de Experimenter-pc, open het script ExperimentScript1.m en voer het uit.
   2. Vul de deelnemers-ID en leeftijd in; vervolgens start het script het eerste deel van het experiment (de eerste zichtbare stimulus is een kruisje in het midden van het deelnemersdisplay.)
   3. Open de experimentsoftware op de Actor PC en open het script ActorMachine.m.
   4. Plaats de camera-pc in de buurt van de Experimenter-pc en zorg ervoor dat de beelden van de beveiligingscamera niet zichtbaar zijn voor de deelnemer.
   5. Verwelkom de deelnemer in de hoofdruimte van het experiment en laat hem plaatsnemen voor het deelnemersdisplay.
   6. Vertel de deelnemer om zichzelf zo te rangschikken dat het kruis in het midden en recht vooruit staat.
   7. Geef kort instructies over de onderdelen van het experiment door te verwijzen naar de uitleg en duur die op het whiteboard zijn geschreven.
   8. Doe alle lichten in de experimenteerruimte uit.
3. Experiment deel 1:
   1. Vertel de deelnemer dat ze de lexicale/conceptuele training in het eerste deel van het experiment zullen voltooien. Waarschuw ze om voorzichtig te zijn met het volgen van de instructies, zodat ze de training kunnen doorstaan.
   2. Vertel de deelnemer dat het experiment kan worden gestart wanneer ze klaar zijn.
   3. Druk op de ESC-knop wanneer de deelnemer zegt dat hij klaar is voor het eerste deel.
      OPMERKING: Vanaf nu zal de deelnemer het experiment doorlopen door de instructies op het deelnemersdisplay te lezen en een van de keuzes te selecteren. Ze krijgen feedback over hun goede en foute antwoorden, zodat ze goed vooruit kunnen komen in de training. De matching gaat door totdat de deelnemers de minimumdrempel (80%) bereiken binnen 10 blokherhalingen.
   4. Wanneer de deelnemer het trainingsgedeelte heeft voltooid, drukt u op de ESC-knop en vertelt u de deelnemer dat de experimentator de controle over de muis overneemt om het tweede deel van het experiment te starten.
4. Experiment deel 2:
   1. Open het script ExperimentScript2.m en wacht op de prompt Wachten op de Actor PC.
   2. Bel aan wanneer de prompt wordt gezien, zodat een van de acteurs het script op de Actor-pc kan uitvoeren om de verbinding met de Experimenter-pc mogelijk te maken.
   3. Wacht op de prompt Experiment deel 2 is klaar.
   4. Vertel de deelnemer dat nu het scherm transparant zal zijn terwijl ze er enkele korte acties doorheen kijken.
   5. Waarschuw hen om elke actie zorgvuldig te bekijken en informeer hen dat ze hardop moeten zeggen wat de actie is.
   6. Vertel de deelnemer dat het experiment kan worden gestart wanneer ze klaar zijn.
   7. Druk op de ESC-knop wanneer de deelnemer zegt dat hij klaar is voor het eerste deel.
      OPMERKING: De deelnemer doorloopt de instructies en bekijkt de eerste actie. Actor1 voert de acties uit wanneer de LED-lampjes worden ingeschakeld en ze controleren de volgende actie vanaf de prompt op de Actor PC wanneer de lichten worden uitgeschakeld. Wanneer elke actie is voltooid, verschijnt er een dialoogvenster op het pc-scherm van Experimenter.
   8. Typ wat de deelnemer zegt over de actie in het dialoogvenster en typ 1 of 0 in het tweede dialoogvenster, afhankelijk van respectievelijk de juiste of verkeerde identificatie van de actie.
      OPMERKING: Deze stappen worden acht keer herhaald voor de eerste acteur en de achtergrondmuziek begint te spelen wanneer het tijd is voor de acteurs om van plaats te veranderen.
   9. Bekijk de backstage vanaf de beelden van de beveiligingscamera op de Camera PC.
   10. Druk op de ESC-knop om de identificatie voor Actor2 te starten wanneer de acteur met zijn handen naar de beveiligingscamera zwaait met het ik ben klaar gebaar.
   11. Herhaal stap 4.4.7 en stap 4.4.8 samen met de deelnemer totdat dezelfde acht acties ook zijn geïdentificeerd terwijl ze worden uitgevoerd door Actor2.
   12. Wanneer de deelnemer de waarschuwing Identificatie is voltooid ziet en het onderdeel verlaat door op de pijl te klikken, drukt u op de ESC-knop en vertelt u de deelnemer dat de experimentator de controle over de muis overneemt om het derde deel van het experiment te starten.
5. Experiment deel 3:
   1. Open het script ExperimentScript3.m.
   2. Vertel de deelnemer dat ze de acties van beide acteurs zullen bekijken en vervolgens zullen ze op de optie klikken die ze geschikt achten.
      OPMERKING: De deelnemers zullen de acties van de actoren in vier blokken evalueren. In twee van de blokken voert Actor1 de acties uit en in de andere twee voert Actor2 dezelfde acties uit. In twee van de blokken zullen de deelnemers de acties evalueren door hoge of lage agentschapscapaciteiten toe te wijzen, en in de andere twee zullen ze hoge of lage ervaringscapaciteiten toeschrijven.
   3. Druk op de ESC-knop wanneer de deelnemer zegt dat hij klaar is voor het derde deel.
      OPMERKING: De deelnemer doorloopt de instructies en begint met het eerste blok. De acteurs voeren de acties uit in het licht, en terwijl de deelnemers hun antwoorden geven, wordt het scherm ondoorzichtig en worden de lichten uitgeschakeld, zodat de acteurs kunnen zien welke actie er vervolgens komt. Wanneer elk blok eindigt, veranderen de acteurs van plaats na de aanwijzingen op de Actor PC.
   4. Controleer of alles backstage goed gaat en of de juiste acteur de juiste actie uitvoert tijdens de blokken.
   5. Druk op de ESC-knop om het volgende blok te starten wanneer de juiste acteur met zijn handen zwaait met het ik ben klaar gebaar na de vervanging van de acteurs.
   6. Herhaal stap 4.5.4 en stap 4.5.5 in samenwerking met de deelnemer en acteur totdat de vier blokken zijn voltooid.
   7. Wanneer de deelnemer de Het experiment is voorbij, bedankt, vraagt u om een bedankje en drukt u op de knop ESC .
   8. Bedank de deelnemer en stuur na de debriefing en het aannemen van handtekeningen de deelnemer op pad.

Figuur 5 toont een voorbeeldstudie vanuit het oogpunt van de deelnemer. Figuur 5A toont de deelnemer die naar de cursor in het midden van het scherm kijkt in zijn ondoorzichtige gebruik. Figuur 5B toont de deelnemer die via het scherm naar de live-action prikkels kijkt. Figuur 5C toont het evaluatiescherm dat de deelnemer na de stimuli krijgt, waarin hij de muis naar een van de twee alternatieven in elke bovenhoek van het scherm moet slepen.

Figuur 5: OLED-scherm vanuit het oogpunt van de deelnemer. (A) Ondoorzichtig gebruik van het OLED digitale scherm vanuit het oogpunt van de deelnemer tijdens een fixatiescherm. (B) Transparant gebruik van het digitale OLED-scherm vanuit het oogpunt van de deelnemer tijdens de presentatie van een live-actie. (C) Ondoorzichtig gebruik van het OLED-digitale scherm vanuit het oogpunt van de deelnemer tijdens de reactieperiode. Klik hier om een grotere versie van deze figuur te bekijken.

5. Voorbewerking en analyse van gegevens

1. Gegevens segmenteren in voorwaarden
   1. Lees alle deelnemersgegevensbestanden in de werkruimte van de softwareomgeving.
   2. Definieer de voorwaarden om de gegevens te groeperen (twee actieklassen [actieklasse1 en actieklasse2] x twee actoren [actor1 en acteur2] x twee dimensies [agentschap en ervaring] x twee niveaus [hoog en laag]).
   3. Segmenteer de gegevens in vier hoofdgroepen: Agency High, Agency Low, Experience High en Experience Low.
   4. Verdeel deze hoofdgroepen in vier subgroepen (twee actoren x twee actieklassen).
   5. Doorloop elk gegevensbestand om de proefversies te groeperen die tot een van de vier eerder gedefinieerde subgroepen behoren.
   6. Sla de relevante proefinformatie (responstijd, cursorbeweging en tijdstippen waarop de cursorpositie wordt bemonsterd) op in afzonderlijke gegevensstructuren voor elke subgroep.
   7. Verlaat de lus wanneer alle proefversies zijn gegroepeerd.
2. Visualisatie van de trajecten
   1. Nadat u de gegevens hebt gesegmenteerd, voert u de volgende stappen uit om de muistrajecten te visualiseren.
   2. Als u tijdinterpolatie wilt toepassen op de responstrajecten, selecteert u voor elke studie 101 (x,y) paren uit de trajectarray, zodat elke subgroep van gegevens proeven heeft met een gelijk aantal tijdstappen.
      OPMERKING: Terwijl u het aantal paren verankert aan 101, moet u de conventie³²volgen om de juiste tijdnormalisatie uit te voeren. Bereik daarom tijdnormalisatie met behulp van de volgende vergelijking, waarbij n het aantal monsters in een trajectarray is:
      
   3. Bereken de som van (x,y) paren op elk van de 101 tijdstippen en deel vervolgens het verkregen resultaat door het totale aantal proeven van die subgroep om de middelen voor elke subgroep te verkrijgen (bijvoorbeeld Experience Low Actor1 of Experience Low Actor2).
   4. Pas een schaalbewerking toe op de rijwaarden om de gemiddelde trajecten te visualiseren.
      OPMERKING: Het 2D-coördinaatvlak gaat ervan uit dat beide assen toenemen vanaf het nulpunt dat zich in de linkerbenedenhoek van het venster bevindt (ervan uitgaande dat de coördinaten positieve gehele getallen zijn), terwijl de pixelindeling de linkerbovenhoek van het venster als referentie neemt (bijvoorbeeld nulpunt). Pas dus een schaalbewerking toe voor de y-coördinaten (overeenkomend met de rijwaarden in pixelindeling) van de bemonsterde locaties door de bemonsterde y-coördinaat van elke proef te extraheren uit de waarde van het totale aantal rijen.
   5. Plot de gerelateerde subgroepen in dezelfde figuur ter vergelijking.
      OPMERKING: Elk traject begint in het midden van de rechthoek in het midden onderaan, met het label START, en eindigt in de rechthoeken in de linker- of rechterbovenhoek.

6. Omstandigheden die kunnen leiden tot systeemstoringen en voorzorgsmaatregelen

OPMERKING: In het geval van een systeemstoring is het cruciaal om een fysiek teken te hebben (een belletje doen rinkelen) om de acteur op de hoogte te stellen van de storing en hen te waarschuwen om op een plaats te blijven die onzichtbaar is voor de deelnemer.

1. Storingen als gevolg van netwerkverbinding
   1. Als een van de computers is verbonden met een ander netwerk, mislukt de TCP/IP-verbindingsaanvraag en wordt er een fout weergegeven in het systeem. Om dit te voorkomen, moet u ervoor zorgen dat de Experimenter PC en Actor PC zich op dezelfde band van hetzelfde draadloze netwerk bevinden.
   2. Om ervoor te zorgen dat beide pc's op hetzelfde netwerk blijven, wist u eerder verbonden draadloze netwerken van beide pc's.
   3. Stel statische IP-adressen in voor de apparaten op het geselecteerde netwerk, omdat de IP-adressen in een netwerk zonder kennisgeving kunnen worden gewijzigd.
   4. Elke tijdelijke onderbreking van de verbinding (bijvoorbeeld als gevolg van een stroomstoring, internetstoring, enz.) met het netwerk kan ertoe leiden dat het script mislukt. In deze omstandigheden moet het systeem vanaf het begin opnieuw worden opgestart om de TCP/IP-verbinding te herstellen.
      OPMERKING: Aan de vereiste van statische IP's voor apparaten kan worden voldaan door de internetprovider. Bepaalde poorten kunnen worden uitgeschakeld door het besturingssysteem of de hardware op een bepaald apparaat; Daarom moeten de poorten die in het experiment moeten worden gebruikt, worden geopend en mogen ze geen actieve verbinding hebben totdat het experimentscript wordt gestart.
2. Storingen als gevolg van softwarecrashes
   1. De softwareomgeving kan crashen als gevolg van mislukte verbindingen (bijv. seriële poortverbinding, TCP / IP-verbinding, beeldschermverbinding, enz.), En dit kan leiden tot gegevensverlies. Om dit te ondervangen, verdeelt u het hoofdexperimentscript in meerdere scripts. Als er bijvoorbeeld een blok is dat moet worden voltooid voordat de acteurs acties beginnen uit te voeren, is het niet nodig om tijdens dit blok een server op de Experimenter-pc te maken. De server kan worden gemaakt wanneer het blok dat acties omvat en dus communicatie tussen de Experimenter PC en Actor PC vereist, op het punt staat te beginnen.

Representative Results

Vergelijkingen van responstijd (RT)
De huidige studie is een lopend project, dus als representatieve resultaten worden gegevens van het grootste deel van het experiment (experiment deel 3) gepresenteerd. Deze gegevens zijn van 40 deelnemers, waaronder 23 vrouwen en 17 mannen, met leeftijden variërend van 18-28 jaar (M = 22,75, SD = 3,12).

Onderzoek naar de mate van normaliteit van de verdeling van de afhankelijke variabelen was noodzakelijk om de juiste statistische methode voor de analyses te kiezen. De Shapiro-Wilk-test werd dus uitgevoerd om te begrijpen of de drie afhankelijke variabelen, namelijk de responstijd (RT), de maximale afwijking (MD) en het gebied onder de curve (AUC), normaal verdeeld waren. De scores toonden aan dat de gegevens voor de responstijd , W = 0,56, p < 0,001, maximale afwijking, W = 0,56, p < 0,001, en oppervlakte onder de curve, W = 0,71, p < 0,001, allemaal significant niet-normaal waren.

De homogeniteit van varianties van de afhankelijke variabelen werd ook gecontroleerd door de Levene's-test toe te passen op de niveaus van de onafhankelijke variabelen, namelijk Actor Type (Actor1 en Actor2) en Action Class (Action Class1 en Action Class2). Voor de scores op de responstijd waren de varianties vergelijkbaar voor Actor1 en Actor2, F(1, 1260) = 0,32, p = 0,571, maar de varianties voor Action Class1 en Action Class2 waren significant verschillend, F(1, 1260) = 8,82, p = 0,003. Voor de scores op de maximale afwijking waren de varianties vergelijkbaar voor Actor1 en Actor2, F(1, 1260) = 3,71, p = 0,542, maar de varianties voor Action Class1 en Action Class2 waren significant verschillend, F(1, 1260) = 7,51, p = 0,006. Voor de scores op het gebied onder de curve waren de varianties vergelijkbaar voor Action Class1 en Action Class2, F(1, 1260) = 3,40, p = 0,065, maar de varianties voor Actor1 en Actor2 waren significant verschillend, F(1, 1260) = 4,32, p = 0,037.

Omdat de gegevens in deze studie niet voldeden aan de normale verdeling en homogeniteit van variantieaannames van de reguliere ANOVA (variantieanalyse) en we vier onafhankelijke groepen hadden op een continue uitkomst, werd het niet-parametrische equivalent van een ANOVA, de Kruskal-Wallis-test, toegepast. De vier onafhankelijke groepen werden afgeleid van de twee categorische responsvariabelen (Hoog of Laag) binnen de twee vooraf geforceerde blokdimensies (Agency en Experience). Omdat we geïnteresseerd waren in hoe de afhankelijke variabelen verschilden tussen de reacties van de deelnemers in de dimensies, werden de gegevens verdeeld in vier subgroepen op basis van antwoorden in de Agency-dimensie, waaronder Agency-High en Agency-Low, en in de Experience-dimensie, inclusief Experience-High en Experience-Low. Hieronder worden de resultaten van de Kruskal-Wallis-tests voor de drie onafhankelijke variabelen gepresenteerd. In alle gevallen werd de significantiedrempel vastgesteld op p < 0,05.

Resultaten van de responstijd
Figuur 6 toont de responstijden van de deelnemers op basis van hun antwoorden van Hoog of Laag in de vier blokdimensies. De responstijden van de deelnemers worden gepresenteerd voor elk niveau van de twee onafhankelijke variabelen: Actor Type en Action Class. A1 en A2 vertegenwoordigen respectievelijk Actor 1 en Actor 2, terwijl AC1 en AC2 respectievelijk Action Class 1 en Action Class 2 vertegenwoordigen.

Figuur 6: De responstijden van de deelnemers in de taak voor het type acteur en de actieklasse. Elk paneel toont de tijd die de deelnemers hebben besteed aan het reageren op een van de niveaus (hoog of laag) van de specifieke dimensie (agentschap en ervaring). De sterretjes tonen significante verschillen tussen de niveaus van acteurstype of actieklasse (p < .05). Klik hier om een grotere versie van deze figuur te bekijken.

De responstijden werden niet significant beïnvloed door het acteurstype voor de Agency-High, H(1) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091 en Experience-High, H(1) = 0,001, p = 0,968 antwoorden, maar ze werden significant beïnvloed door het acteurtype voor de Experience-Low antwoorden, H(1) = 8,54, p = 0,003. Een Wilcoxon signed-rank test werd berekend om het effect van acteurstype op de Experience-Low antwoorden te onderzoeken. De mediane responstijd voor Actor1 (Mdn = 1,14) was significant korter dan de mediane responstijd voor Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

De responstijden werden niet significant beïnvloed door de actieklasse voor Agency-Low, H(1) = 1,99, p = 0,158 en Experience-High, H(1) = 0,17, p = 0,675 antwoorden, maar ze werden significant beïnvloed door de actieklasse voor de Agency-High, H(1) = 10,56, p = 0,001 en Experience-Low, H(1) = 5,13, p = 0,023, antwoorden. De resultaten van de Wilcoxon signed-rank test toonden aan dat voor de Agency-High responsen de mediane responstijd voor Action Class1 (Mdn = 1,30 ) significant langer was dan de mediane responstijd voor Action Class2 (Mdn = 1,17 ), W = 17433, p = 0,0005; bovendien was voor de Experience-Low responsen de mediane responstijd voor Action Class1 (Mdn = 1,44) significant langer dan de mediane responstijd voor Action Class2 (Mdn = 1,21), W = 10002, p = 0,011.

Resultaten voor het volgen van muizen
De muisbewegingen van de deelnemers terwijl ze hun uiteindelijke reactie bepaalden, werden ook geregistreerd. De tijd- en locatiegegevens werden verzameld om de gemiddelde motorische trajecten van de deelnemers te berekenen. De opname begon toen de deelnemers de verbale prikkels op het scherm zagen en eindigde toen ze een reactie gaven door op een van de opties (Hoog of Laag) in de rechterbovenhoek of linkerbovenhoek van het scherm te klikken.

Figuur 7 toont de maximale afwijkingen van de muisbewegingen van de deelnemers volgens hun antwoorden van Hoog of Laag in vier blokdimensies. De maximale afwijkingen van de deelnemers van de geïdealiseerde rechte lijn van de geselecteerde respons naar de niet-geselecteerde alternatieve respons worden gepresenteerd voor elk niveau van de twee onafhankelijke variabelen, Actor Type en Action Class. A1 en A2 vertegenwoordigen respectievelijk Actor 1 en Actor 2, terwijl AC1 en AC2 Action Class 1 en Action Class 2 vertegenwoordigen, respectievelijk.

Figuur 7: De maximale afwijking van de muistrajecten van de deelnemers over acteurstype en actieklasse. Elk paneel toont de maximale afwijking van de deelnemers van de geïdealiseerde rechte lijn van de geselecteerde respons naar de niet-geselecteerde alternatieve respons terwijl ze reageren op een van de niveaus (Hoog of Laag) voor de specifieke dimensie (Agency en Experience). De sterretjes tonen significante verschillen tussen de niveaus van acteurstype of actieklasse (p < .05). Klik hier om een grotere versie van deze figuur te bekijken.

De maximale afwijkingen werden niet significant beïnvloed door het acteurstype voor Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655, en Experience-High, H(1) = 0,12, p = 0,720, antwoorden, maar ze werden significant beïnvloed door het acteurstype voor de Experience-Low antwoorden, H(1) = 7,07, p = 0,007. Een Wilcoxon signed-rank test werd uitgevoerd om het effect van acteurstype op de Experience-Low antwoorden te onderzoeken. De mediane maximale afwijking voor Actor1 (Mdn = 0,03) was significant korter dan de mediane maximale afwijking voor Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

De maximale afwijkingen werden niet significant beïnvloed door de actieklasse voor Agency-High, H(1) = 0,37, p = 0,539, en Experience-High, H(1) = 1,84, p = 0,174, antwoorden, maar ze werden significant beïnvloed door de actieklasse voor de Agency-Low, H(1) = 8,34, p = 0,003 en Experience-Low, H(1) = 11,53, p = 0,0006, antwoorden. De resultaten van de Wilcoxon signed-rank test toonden aan dat voor de Agency-Low responsen de mediane maximale afwijking voor Action Class1 (Mdn = 0,06) significant langer was dan de mediane maximale afwijking voor Action Class2 (Mdn = 0,02), W = 12516, p = 0,0019. Bovendien was voor de Experience-Low responsen de mediane maximale afwijking voor Action Class1 (Mdn = 0,09) significant langer dan de mediane maximale afwijking voor Action Class2 (Mdn = 0,03), W = 10733, p = 0,0003.

Figuur 8 toont de gebieden onder de curve van de muistrajecten van de deelnemers op basis van hun reacties van hoog of laag in vier blokdimensies. De gebieden onder de curve van de antwoorden van de deelnemers met betrekking tot de geïdealiseerde rechte lijn van de geselecteerde respons worden gepresenteerd voor elk niveau van de twee onafhankelijke variabelen, Actor Type en Action Class. A1 en A2 vertegenwoordigen respectievelijk Actor 1 en Actor 2, terwijl AC1 en AC2 Action Class 1 en Action Class 2 vertegenwoordigen, respectievelijk.

Figuur 8: De gebieden onder de curve ten opzichte van het geïdealiseerde traject van de muisbewegingen van de deelnemers. Elk paneel toont het gebied onder de curve terwijl de deelnemers reageren op een van de niveaus (Hoog of Laag) in de specifieke dimensie (Agency of Experience). De sterretjes tonen significante verschillen tussen de niveaus van acteurstype of actieklasse (p < .05). Klik hier om een grotere versie van deze figuur te bekijken.

De gebieden onder de curven werden niet significant beïnvloed door het acteurstype voor Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827, en Experience-High, H(1) = 0,96, p = 0,324, antwoorden, maar ze werden significant beïnvloed door het acteurstype voor de Experience-Low antwoorden, H(1) = 8,51, p = 0,003. Een Wilcoxon signed-rank test werd berekend om het effect van acteurstype op de Experience-Low antwoorden te onderzoeken. Het mediane gebied onder de curve voor Actor1 (Mdn = −0,03) was significant snaller dan het mediane gebied onder de curve voor Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

De gebieden onder de curven werden niet significant beïnvloed door de actieklasse voor Agency-High-antwoorden, H(1) = 0,01, p = 0,913, maar ze werden significant beïnvloed door de actieklasse voor de Agency-Low, H(1) = 7,54, p = 0,006, Experience-High, H(1)= 5,87, p = 0,015, en Experience-Low, H(1) = 15,05, p = 0,0001, antwoorden. De resultaten van de Wilcoxon signed-rank test toonden aan dat voor de Agency-Low responsen het mediane gebied onder de curve voor Action Class1 (Mdn = 0,03) significant groter was dan het mediane gebied onder de curve voor Action Class2 (Mdn = −0,03), W = 12419, p = 0,003, en voor de Experience-High responses, het mediane gebied onder de curve voor Action Class1 (Mdn = −0,06) was significant kleiner dan de mediane maximale afwijking voor Action Class2 (Mdn = −0,02), W = 9827, p = 0,007. Voor de Experience-Low responsen was het mediane gebied onder de curve voor Action Class1 (Mdn = 0,05) significant groter dan het mediane gebied onder de curve voor Action Class2 (Mdn = −0,03), W = 11049, p < 0,0001.

Samenvatting en evaluatie van de representatieve resultaten
Aangezien dit een lopende studie is, is een representatief deel van de gegevens die we aan het einde van de grootschalige gegevensverzameling zullen hebben, gepresenteerd. Zelfs deze steekproefgegevens ondersteunen echter de effectiviteit van de methode die in deze studie wordt voorgesteld. We konden de responstijden en muistrajecten van de deelnemers verkrijgen terwijl ze hun antwoorden gaven na het bekijken van realtime acties. We konden al deze stappen via hetzelfde scherm voltooien, zodat deelnemers geen modaliteit veranderden tussen het kijken naar de echte acteurs en het geven van de muisreacties, waardoor we de procedures in de experimenten konden uitbreiden naar real-life scenario's.

Tabel 1 geeft een overzicht van de resultaten van hoe de afhankelijke metingen, inclusief de responstijden, MD en AUC van de muistrajecten, werden beïnvloed door het acteurtype en de actieklasse, die de belangrijkste onafhankelijke variabelen van het onderzoek waren.

	Responstijd (RT)		Maximale afwijking (MD)		Gebied onder de curve (AUC)
	Type acteur	Actieklasse	Type acteur	Actieklasse	Type acteur	Actieklasse
Agentschap Hoog	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agentschap Low	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Ervaar hoog	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Ervaar laag	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabel 1: Samenvatting van de resultaten. De tabel laat zien hoe de afhankelijke metingen (de responstijden, MD en AUC van de muistrajecten) werden beïnvloed door de belangrijkste onafhankelijke variabelen (acteurtype en actieklasse) van het onderzoek. *, ** en *** vertegenwoordigen respectievelijk de significantieniveaus p ≤ 0,05, p ≤ 0,01 en p ≤ 0,001.

Het acteurstype had een significant effect op de responstijden van de deelnemers; terwijl ze lage capaciteit toewezen in de dimensie Ervaring, besteedden ze meer tijd aan het doen van dit voor Actor2 in vergelijking met Actor1 in dezelfde toestand (zie figuur 6D). Deze langere responstijd zagen we ook bij de metingen van de muisbewegingen op basis van de MD en AUC (zie figuur 9 voor de trajecten). De MD's van de muistrajecten naar lage responsen (zie figuur 7D) waren significant hoger en de AUC's van de muistrajecten (zie figuur 8D) waren significant groter wanneer de deelnemers Actor2 evalueerden in vergelijking met actor 1 (waarbij de blauwe lijnen in figuur 9A, B werden vergeleken).

Figuur 9: De gemiddelde muistrajecten van de deelnemers bij het evalueren van de acties uitgevoerd door Actor1 en Actor2 in de Experience dimensie. De oranje lijnen tonen de gemiddelde muistrajecten naar hoge reacties; de blauwe lijnen tonen de gemiddelde muistrajecten naar lage reacties. De zwarte onderbroken rechte lijnen vertegenwoordigen de geïdealiseerde responstrajecten, terwijl de grijs gearceerde gebieden de wortelgemiddelde kwadratische standaarddeviaties vertegenwoordigen. Klik hier om een grotere versie van deze figuur te bekijken.

De responstijden van de deelnemers, terwijl zij hoog reageerden op de acties die behoren tot actieklasse 1 in de dimensie van het agentschap (zie figuur 6A), waren aanzienlijk hoger dan voor de acties die tot actieklasse 2 behoorden; deze langere responstijden werden echter niet waargenomen in de MD- (zie figuur 7A) en AUC-metingen (zie figuur 8A). Terwijl ze laag reageerden op actieklasse 1 in de dimensie Ervaring, besteedden de deelnemers aanzienlijk meer tijd dan ze besteedden aan actieklasse 2 (zie figuur 6D), en dit was ook duidelijk in de MD- (zie figuur 7D) en AUC-scores (zie figuur 8D). Figuur 10 toont aan dat de MD's van de muistrajecten naar lage responsen (zie figuur 7D) significant hoger waren en dat de AUC's van de muistrajecten (zie figuur 8D) significant groter waren terwijl de deelnemers acties evalueerden die tot actieklasse 1 behoorden in vergelijking met actieklasse 2 (waarbij de blauwe lijnen in figuur 10A,B werden vergeleken).

Figuur 10: De gemiddelde muistrajecten van de deelnemers bij het evalueren van de actoren die de acties uitvoeren die behoren tot Action Class1 en Action Class2 in de Experience dimensie. De oranje lijnen tonen de gemiddelde muistrajecten naar hoge reacties; de blauwe lijnen tonen de gemiddelde muistrajecten naar lage reacties. De zwarte onderbroken rechte lijnen vertegenwoordigen de geïdealiseerde responstrajecten, terwijl de grijs gearceerde gebieden de wortelgemiddelde kwadratische standaarddeviaties vertegenwoordigen. Klik hier om een grotere versie van deze figuur te bekijken.

Hoewel er geen significante effecten van de actieklasse op de responstijdmetingen voor de andere blok-responscombinaties werden waargenomen, werd een significant effect van de actieklasse waargenomen in de MD (zie figuur 7B) en AUC (zie figuur 8B) scores van lage antwoorden in de Agency-dimensie. Figuur 11 laat zien dat deelnemers aarzelden in de richting van het hoge alternatief en meer naar de lage respons gingen toen ze acties van actieklasse 1 evalueerden in vergelijking met die van actieklasse 2 (waarbij de blauwe lijnen in figuren 11A, B werden vergeleken). Ten slotte, hoewel er geen significant effect was van actieklasse op de RT- en MD-scores voor de hoge responsen op de ervaringsdimensie, werd een significant effect waargenomen voor de AUC's (zie figuur 8C) van de trajecten (zie figuur 10); in het bijzonder aarzelden de deelnemers meer tijdens het evalueren van actieklasse 2 in vergelijking met actieklasse 1 (waarbij de oranje lijnen in figuur 10A, B werden vergeleken).

Figuur 11: De gemiddelde muistrajecten van de deelnemers bij het evalueren van de actoren die de acties uitvoeren die behoren tot actieklasse 1 en actieklasse 2 in de dimensie Agentschap. De oranje lijnen tonen de gemiddelde muistrajecten naar hoge reacties; de blauwe lijnen tonen de gemiddelde muistrajecten naar lage reacties. De zwarte onderbroken rechte lijnen vertegenwoordigen de geïdealiseerde responstrajecten, terwijl de grijs gearceerde gebieden de wortelgemiddelde kwadratische standaarddeviaties vertegenwoordigen. Klik hier om een grotere versie van deze figuur te bekijken.

De resultaten tot nu toe ondersteunen onze hypothesen, die suggereerden dat er een effect zou zijn van het acteurstype en de actieklasse en dat de afhankelijke metingen voor hoge en lage responsen voor dezelfde actor en actieklasse zouden verschillen tussen de blokdimensies van Agency en Experience. Aangezien dit een lopende studie is, valt het buiten het bestek van dit artikel om de mogelijke redenen voor de bevindingen te bespreken. Als een vroege opmerking konden we echter benadrukken dat hoewel sommige resultaten voor de responstijd en de metingen afkomstig van de computermuistracking elkaar aanvulden, we in sommige blokresponsomstandigheden opmerkten dat deelnemers aarzelden voor het andere alternatief, zelfs als ze snel waren in hun evaluaties.

Als er geen speciaal OLED-scherm in de opstelling was opgenomen, konden de reactietijden van de deelnemers nog steeds worden verzameld met enkele andere hulpmiddelen, zoals knoppen om in te drukken. De muisbewegingen van de deelnemers konden echter niet worden gevolgd zonder een extra scherm te bieden en de deelnemers dat scherm en de echte acteurs heen en weer te laten kijken, wat op zijn beurt hun reacties zou vertragen. Dus, hoewel responstijden nuttige indicatoren zijn van de moeilijkheidsgraad van het besluitvormingsproces, onthullen de muistrajecten van de deelnemers meer over de real-time dynamiek van hun beslissingsprocessen vóór hun definitieve antwoorden^32,34.

Aanvullend coderingsbestand 1: ExperimentScript1.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 2: ExperimentScript2.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 3: ExperimentScript3.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 4: RecordMouse.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 5: InsideROI.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 6: RandomizeTrials.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 7: RandomizeBlocks.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 8: GenerateResponsePage.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 9: GenerateTextures.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 10: ActorMachine.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 11: MatchIDtoClass.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 12: RandomizeWordOrder.m Klik hier om dit bestand te downloaden.

Aanvullend coderingsbestand 13: Bestand ExperimentImages.mat Klik hier om dit bestand te downloaden.

Discussion

Het overkoepelende doel van deze studie is om bij te dragen aan ons begrip van hoe menselijke visuele waarneming en cognitie op hoog niveau werken in real-life situaties. Deze studie richtte zich op actieperceptie en suggereerde een naturalistisch maar controleerbaar experimenteel paradigma dat onderzoekers in staat stelt om te testen hoe individuen de acties van anderen waarnemen en evalueren door echte actoren in een laboratoriumomgeving te presenteren.

Het belang van deze voorgestelde methodologie ten opzichte van bestaande methodologieën is drieledig. (1) De natuurlijkheid van de stimuli wordt gemaximaliseerd door live acties aan de deelnemers te presenteren. (2) De real-world stimuli (d.w.z. acteurs), andere verbale stimuli (bijv. woorden of instructies) en het responsscherm voor acteurs en acties worden gepresenteerd met behulp van dezelfde modaliteit (d.w.z. het digitale OLED-scherm), zodat de deelnemers hun focus niet verliezen terwijl ze de modaliteit veranderen, zoals in het geval van sluiterglasgebruik, bijvoorbeeld³⁵. (3) Tijdgevoelige gegevens, zoals gegevens over responsduur en muistrajecten, die strikte tijdcontrole vereisen, worden geregistreerd met behulp van een natuurlijke taak van de wereld van vandaag, muisgebruik.

Bepaalde kritieke stappen in het protocol zijn belangrijk om dit paradigma naadloos te laten werken en onderzoekers in staat te stellen hun doelen te bereiken en tegelijkertijd een fatsoenlijke ervaring voor deelnemers te bieden. Deze stappen zijn even belangrijk voor het creëren van een dergelijk systeem, dus we presenteren ze individueel zonder ze te ordenen op basis van hun kriticiteitsniveaus.

De eerste kritieke stap betreft de manipulatie van de verlichting van de kamer en het veranderen van de kleur van de achtergrond die wordt gebruikt voor het scherm van de deelnemer. Deze stap zorgt voor een soepele overgang tussen de real-time actieprestaties en het responsscherm na elke actieproef. Wanneer alle lichten in de kamer zijn uitgeschakeld en de schermachtergrond is aangepast naar wit, wordt 100% dekking bereikt, zodat de studie-instructies en verbale stimuli kunnen worden weergegeven zonder enige afleiding die kan voortvloeien uit bewegingen op de achtergrond. Om het display transparant te maken en de verbale prikkels direct na de actieprikkels te presenteren, worden de LED-lampjes aan de plafonds ingeschakeld terwijl de voorlichten uitgeschakeld blijven om een doorzichtig display te hebben. Het verlichtingscircuit is essentieel voor de juiste lichtmanipulatie in de kamer. Wanneer de tl-lampen aan de voor- (deelnemersruimte) en achterkant (acteursgebied) van het lab branden, lijken de beelden van de acteur een beetje gekanteld en ziet de deelnemer de weerspiegeling van zichzelf en de kamer. Wanneer de voorlichten in het deelnemersgedeelte uit zijn en de LED-lampjes in het acteursgebied branden, kan de deelnemer duidelijk naar de acteurs kijken zonder enige afleiding. Figuur 1 en figuur 3 laten zien hoe lichtmanipulaties in het experiment werken.

De tweede cruciale stap in het protocol is de controle van de tijd. De acties duren 6 s en de verlichting aan de achterkant van het scherm is geautomatiseerd met betrekking tot de duur van de acties, zodat we geen vertraging of versnelling hebben tijdens proeven. De duur tussen de blokken wordt echter handmatig geregeld (d.w.z. wanneer we een acteurswissel nodig hebben), zodat we het volgende blok kunnen starten nadat we hebben gecontroleerd of alles backstage volgens plan verloopt. Deze periode is ook geschikt voor verzoeken van deelnemers of actoren, zoals de behoefte aan water of een verandering in de temperatuur in de ruimte.

De derde cruciale stap betreft het gebruik van de beveiligingscamera en de bel. De beveiligingscamera zorgt voor communicatie tussen de experimentleider en de acteurs. De experimentator controleert continu wat er backstage gebeurt, bijvoorbeeld of de acteur er klaar voor is of dat de juiste acteur op het podium staat. De acteurs zwaaien met hun handen als ze klaar zijn om de acties uit te voeren en maken een kruisteken als er een probleem is. De experimentator kan zelfs merken of er een probleem is met het uiterlijk van een acteur, zoals het vergeten van een oorbel aan één oor. Met de bel kan de experimentator de acteurs waarschuwen voor een waarschijnlijk probleem. Wanneer ze de bel horen, controleren de acteurs eerst of er iets mis is met hen, en als dat het geval is, corrigeren ze het probleem en vertellen ze de experimentator dat ze er klaar voor zijn. Als er een probleem is aan de kant van de experimentator, luisteren de acteurs naar de experimentator die het probleem aan de deelnemer uitlegt. Ze wachten in stilte tot de experimentator backstage arriveert om het probleem op te lossen, zoals opnieuw verbinding maken na het verliezen van de internetverbinding.

De vierde stap betreft het gebruik van een zwaar, verduisterend gordijn om de kamer te splitsen, omdat een dergelijk materiaal voorkomt dat het licht in het voorste deel van de kamer lekt. Dit gordijn voorkomt ook tot op zekere hoogte geluid, zodat de deelnemers de kleine bewegingen van de acteurs en de rustige gesprekken tussen de experimentator en de acteurs niet horen in geval van een probleem.

De vijfde stap is het opnemen van de Actor PC en het instellen van TCP / IP als het netwerkprotocol, omdat dit garandeert dat de berichten aan de andere kant worden afgeleverd, in tegenstelling tot bij UDP. Op deze manier kunnen de acteurs worden geïnformeerd over de volgende actie die ze zullen uitvoeren, en de deelnemers realiseren zich dit niet vanuit hun oogpunt. Bovendien, aangezien alle apparaten zich op hetzelfde netwerk bevinden, wordt eventuele extra latentie veroorzaakt door de TCP / IP verwaarloosbaar.

De zesde essentiële stap in het protocol is het opnemen van achtergrondmuziek tussen de blokken. We hebben de muziek en de blokken zo gerangschikt dat wanneer de deelnemer reageert op de laatste proef in een blok, de muziek luid begint te spelen (op 80% maximaal volume) zodat de acteurs weten dat het tijd is voor verandering, en de deelnemers weten dat ze water kunnen drinken of hun ogen kunnen laten rusten. Het afspelen van muziek maakt een soepele overgang tussen acteurs mogelijk zonder hun bewegingen of andere geluiden te horen, waardoor een gevoel ontstaat dat vergelijkbaar is met het kijken naar een toneelstuk in het theater.

Wij geloven dat de naturalistische opzet die in dit artikel wordt gepresenteerd een geweldig hulpmiddel is om te onderzoeken of de mechanismen die ten grondslag liggen aan de visuele perceptie van de acties van anderen die zijn onthuld door traditionele laboratoriumexperimenten, natuurlijk gedrag in de echte wereld benaderen. Het observeren van echte acteurs en hun live acties zal uiteraard een rijke bron van 3D visuele en multisensorische informatie bieden en bewerkbaarheid bieden vanwege de fysieke en sociale aanwezigheid van de acteur. Daarom veronderstellen we dat de perceptie van live acties snellere en verbeterde gedrags- en neurale reacties kan uitlokken in het bekende actieperceptienetwerk dat eerder werd onthuld door traditionele laboratoriumexperimenten met statische afbeeldingen en video's. Bovendien kan de perceptie van live acties extra neurale circuits aansturen die 3D-dieptesignalen³⁶ en vestibulaire informatie verwerken om het lichaam in de ruimte te coördineren terwijl het zich voorbereidt om in de wereld te handelen³⁷. Een beperking van de huidige studie is dat de reacties van de echte actoren in de naturalistische opstelling niet werden vergeleken met de reacties die men zou krijgen voor simplistische stimuli zoals statische afbeeldingen of video's. In toekomstige studies zullen we naar dit doel toewerken door systematisch gedrags- en neurale reacties tijdens actieperceptie in traditionele laboratoriumomgevingen te vergelijken met die in de naturalistische opstelling.

We merken ook enkele beperkingen op van het paradigma dat in deze studie wordt voorgesteld op verschillende fronten. De eerste is dat, zoals de meeste naturalistische studies, deze methode financiële en tijdsbronnen vereist. Een dergelijke studie zal hoger zijn in termen van budget dan studies met behulp van vooraf opgenomen dynamische stimuli die op een regelmatig display worden gepresenteerd, aangezien de huidige studie speciale apparatuur bevat om de echte acties weer te geven, en echte actoren deelnemen aan de studie voor elke gegevensverzamelingssessie. Bovendien kan het gegevensverzamelingsproces voor de huidige studie langer duren, omdat de echte actoren de acties herhaaldelijk uitvoeren; Er is een fysieke limiet voor hen, in tegenstelling tot studies met afbeeldingen of video's die op computerschermen worden gepresenteerd. Een andere gerelateerde beperking zou de moeilijkheid kunnen zijn om ervoor te zorgen dat acteurs elke actie op dezelfde manier uitvoeren over de blokken en deelnemers heen; Met voldoende training kunnen acteurs echter vertrouwen krijgen in elke actie, omdat ze 6 s lang zijn. Toekomstig werk kan live acties opnemen en vervolgens computervisie gebruiken om de variabiliteit tussen verschillende proeven van de experimenten te kwantificeren.

Ten tweede kunnen het helderheidsniveau van het scherm, bij ondoorzichtig gebruik, en de snelle veranderingen in de bliksem tussen de ondoorzichtige en transparante schermen een probleem veroorzaken voor deelnemers met visuele problemen of stoornissen zoals epilepsie. Deze potentiële beperking werd aangepakt door deelnemers te vragen of ze een dergelijke stoornis of bezorgdheid over een dergelijk scenario hebben en degenen te werven die meldden dat ze geen last zouden hebben van een dergelijk scenario. Bovendien klaagde geen van de deelnemers over de muziek die we op de achtergrond speelden tijdens de acteurs- en blokwisselingen, maar sommige deelnemers kunnen worden gestoord door dergelijk geluid. Een remedie hiervoor zou het gebruik van ruisonderdrukkende hoofdtelefoons kunnen zijn. Ze kunnen echter ook elke interventie van de experimentator tijdens het onderzoek voorkomen of de natuurlijkheid van de experimentele opstelling beïnvloeden.

Andere mogelijke wijzigingen kunnen worden toegepast op het huidige paradigma; Als het ontwerp van het experiment bijvoorbeeld vereist dat deelnemers mondeling met de acteurs communiceren, kunnen beide zijden reversmicrofoons gebruiken. Alle netwerkverbindingen kunnen bekabeld of draadloos zijn, zolang TCP/IP-verbindingen tot stand kunnen worden gebracht. Manieren om de acties in een bepaalde context te presenteren, kunnen worden onderzocht en toegepast om te zien of dit zou helpen de natuurlijkheid van het paradigma te vergroten.

De huidige opzet zou een ideaal platform kunnen zijn voor cognitieve neurowetenschappen en cognitieve psychologiestudies die nauwkeurige timing en strikt gecontroleerde stimuli vereisen onder vooraf gedefinieerde omstandigheden. Dit omvat studies die technieken gebruiken zoals eye-tracking, hoofdhuid of intracranieel EEG, fNIRS en zelfs MEG, hetzij met traditionele opstellingen of in meer mobiele opstellingen, die vandaag de dag haalbaarder zijn³⁸. Onderzoekers uit deze velden kunnen de externe eigenschappen van de opstelling aanpassen, zoals de verlichting van de kamer of het aantal acteurs, evenals de te presenteren objecten. Een andere mogelijkheid is dat onderzoekers de weergave-eigenschappen van het digitale scherm kunnen manipuleren om een meer ondoorzichtige of transparante weergave te bieden volgens de behoeften van hun studie. Andere mogelijke onderzoeksgebieden waarin de voorgestelde methodologie kan worden gebruikt, kunnen mens-robotinteractieonderzoek zijn, waarbij real-time interacties tussen mensen en robots nodig zijn in realistische scenario's.

Concluderend, gezien de noodzaak om over te gaan naar meer naturalistische studies die meer lijken op situaties in de echte wereld in de cognitieve neurowetenschappen 13,14,15,16,17,18,19,20,21,38 , belangrijke technologische ontwikkelingen in naturalistische beeldvorming van het hersenlichaam (bijv. gelijktijdig gebruik van EEG, motion capture, EMG en eye-tracking), en het gebruik van deep learning als een fundamenteel kader voor menselijke informatieverwerking^39,40, geloven wij dat dit het juiste moment is om te beginnen met het bestuderen van de perceptie van live acties^, evenals de neurale onderbouwing ervan.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)