Neuroscience

Et naturalistisk oppsett for å presentere virkelige mennesker og levende handlinger i eksperimentell psykologi og kognitive nevrovitenskapsstudier

Published: August 4, 2023 doi: 10.3791/65436

Tuğçe Nur Pekçetin¹, Şeyda Evsen², Serkan Pekçetin³, Cengiz Acarturk⁴, Burcu A. Urgen⁵

¹Department of Cognitive Science, Middle East Technical University, ²Interdisciplinary Neuroscience Graduate Program, Bilkent University, ³Department of Computer Engineering, Middle East Technical University, ⁴Department of Cognitive Science, Jagiellonian University, ⁵Department of Psychology, Interdisciplinary Neuroscience Graduate Program, National Magnetic Resonance Research Center (UMRAM), Aysel Sabuncu Brain Research Center, Bilkent University

Summary

Denne studien presenterer et naturalistisk eksperimentelt oppsett som gjør det mulig for forskere å presentere sanntids handlingsstimuli, oppnå responstid og musesporingsdata mens deltakerne reagerer etter hver stimulusvisning, og endrer skuespillere mellom eksperimentelle forhold med et unikt system, inkludert en spesiell gjennomsiktig organisk lysemitterende diode (OLED) skjerm og lysmanipulasjon.

Abstract

Oppfatning av andres handlinger er avgjørende for overlevelse, samhandling og kommunikasjon. Til tross for flere tiår med kognitiv nevrovitenskapsforskning dedikert til å forstå oppfatningen av handlinger, er vi fortsatt langt unna å utvikle et nevralt inspirert datasynssystem som nærmer seg menneskelig handlingsoppfattelse. En stor utfordring er at handlinger i den virkelige verden består av temporalt utfoldende hendelser i rommet som skjer "her og nå" og er aktable. I motsetning til dette har visuell oppfatning og kognitiv nevrovitenskapsforskning hittil i stor grad studert handlingsoppfattelse gjennom 2D-skjermer (f.eks. Bilder eller videoer) som mangler tilstedeværelse av skuespillere i rom og tid, og derfor er disse skjermene begrenset til å gi handleevne. Til tross for den voksende kunnskapsmengden på feltet, må disse utfordringene overvinnes for en bedre forståelse av de grunnleggende mekanismene for oppfatningen av andres handlinger i den virkelige verden. Målet med denne studien er å introdusere et nytt oppsett for å gjennomføre naturalistiske laboratorieeksperimenter med levende skuespillere i scenarier som tilnærmer virkelige omgivelser. Kjerneelementet i oppsettet som brukes i denne studien er en gjennomsiktig organisk lysemitterende diode (OLED) skjerm der deltakerne kan se live-handlingene til en fysisk tilstedeværende skuespiller mens tidspunktet for presentasjonen deres er nøyaktig kontrollert. I dette arbeidet ble dette oppsettet testet i et atferdseksperiment. Vi tror at oppsettet vil hjelpe forskere med å avsløre grunnleggende og tidligere utilgjengelige kognitive og nevrale mekanismer for handlingsoppfattelse og vil være et grunnlag for fremtidige studier som undersøker sosial oppfatning og kognisjon i naturalistiske innstillinger.

Introduction

En grunnleggende ferdighet for overlevelse og sosial interaksjon er evnen til å oppfatte og gi mening om andres handlinger og samhandle med dem i omgivelsene. Tidligere forskning de siste tiårene har gitt betydelige bidrag til å forstå de grunnleggende prinsippene for hvordan individer oppfatter og forstår andres handlinger 1,2,3,4,5,6,7,8,9,10,11 . Likevel, gitt kompleksiteten av samspill og omstendighetene der de oppstår, er det et åpenbart behov for å videreutvikle kunnskapsgrunnlaget i naturalistiske omgivelser for å nå en mer fullstendig forståelse av denne komplekse ferdigheten i dagliglivet.

I naturlige miljøer som våre daglige livsinnstillinger, viser oppfatning og kognisjon legemliggjorte, innebygde, utvidede og aktive egenskaper¹². I motsetning til internalistiske beretninger om hjernefunksjoner som har en tendens til å undervurdere kroppens og miljøets roller, fokuserer moderne tilnærminger til legemliggjort kognisjon på den dynamiske koblingen av hjernen, kroppen og miljøet. På den annen side har de fleste sosialpsykologi, kognitiv psykologi og nevrovitenskapelig forskning på handlingsoppfattelse en tendens til å anta at bruk av velkontrollerte og forenklede eksperimentdesign i laboratorieforhold (f.eks. Bilder eller videoer i datastyrte oppgaver) gir resultater som kan generaliseres til mer komplekse scenarier som virkelige interaksjoner 1,2,3,4,5,6,7 ,8,9,10,11. Denne antagelsen garanterer at robuste og pålitelige data kan oppnås under mange omstendigheter. En velkjent utfordring er likevel at validiteten til modellene fra nøye kontrollerte eksperimenter er begrenset når de testes i en reell kontekst¹³. Følgelig har ytterligere undersøkelser 13,14,15,16,17,18,19,20,21,22 blitt utført for å adressere den økologiske og eksterne gyldigheten av stimuli og eksperimentelle design i ulike forskningsfelt.

I denne studien foreslås en ny metode for å undersøke hvordan enkeltpersoner oppfatter og evaluerer andres handlinger ved å bruke levende handlinger utført av en ekte, fysisk tilstedeværende skuespiller. Scenarier som ligner på virkelige kontekster er ansatt, mens eksperimentene har kontroll over mulige forstyrrende faktorer. Denne studien er en form for "naturalistisk laboratorieforskning", innenfor rammen av Matusz et al.14 som kan oppfattes som et mellomstadium mellom "klassisk laboratorieforskning", som benytter seg av maksimal kontroll over stimuli og miljø, ofte på bekostning av naturlighet, og "fullt naturalistisk virkelighetsforskning", som tar sikte på å maksimere naturlighet på bekostning av kontroll over stimulering og miljø ¹⁴. Studien tar sikte på å adressere behovet for empiriske undersøkelser på dette nivået i handlingspersepsjonsforskning for å bygge bro over gapet mellom funnene oppnådd i tradisjonelle laboratorieeksperimenter med høy grad av eksperimentell kontroll og funnene oppnådd i studier utført i helt ubegrenset, naturlige omgivelser.

Kontrollerte versus ubegrensede eksperimenter
Eksperimentell kontroll er en effektiv strategi for å designe eksperimenter for å teste en bestemt hypotese, da det tillater forskere å isolere målvariabler fra sannsynlige forstyrrende faktorer. Det gjør det også mulig å revidere den samme hypotesen med visse nivåer av endringer, for eksempel å bruke litt eller helt forskjellige stimuli i samme design eller teste de samme stimuli i alternative eksperimentelle oppsett. Systematisk undersøkelse gjennom kontrollerte eksperimenter er en tradisjonell form for metodikk i forskning innen kognitiv vitenskap og relevante domener. Kontrollerte eksperimenter bidrar fortsatt til å etablere kunnskapsgrunnlaget om de grunnleggende prinsippene for kognitive prosesser i ulike forskningsområder, som oppmerksomhet, minne og oppfatning. Nyere forskning har imidlertid også anerkjent begrensningene i tradisjonelle laboratorieeksperimenter når det gjelder å generalisere funnene til virkelige omgivelser, og forskere har blitt oppfordret til å gjennomføre studier i forbedrede økologiske omgivelser 13,14,15,16,17,18,19,20,21 . Dette skiftet tar sikte på å løse to viktige problemer angående avviket mellom tradisjonelle laboratorieeksperimenter og virkelige omgivelser. For det første er verden utenfor laboratoriet mindre deterministisk enn i eksperimenter, noe som begrenser den representative kraften til systematiske eksperimentelle manipulasjoner. For det andre er den menneskelige hjernen svært adaptiv, og dette blir ofte undervurdert på grunn av de praktiske begrensningene ved å designe og gjennomføre eksperimentelle studier²². Begrepet "økologisk validitet"^23,24 har blitt brukt til å ta opp metoder for å løse dette problemet. Begrepet brukes vanligvis til å referere til en forutsetning for generalisering av eksperimentelle funn til den virkelige verden utenfor laboratoriekonteksten. Økologisk validitet har også blitt tolket som å referere til validering av praktisk talt naturalistiske eksperimentelle oppsett med ubegrensede stimuli for å sikre at studiedesignet er analogt med virkelige scenarier²⁵. På grunn av den høye graden av varians i tolkningen av dette begrepet, er det nødvendig med forståelse av fordelene og begrensningene ved alternative metoder og stimulusvalg.

Nivåer av naturalisme i stimuli og eksperimentdesign
Tidligere arbeid i eksperimentell psykologi og kognitiv nevrovitenskap har brukt et bredt spekter av stimuli med ulike nivåer av naturalisme²⁶. De fleste forskere foretrekker å bruke statiske bilder eller korte dynamiske videoer fordi disse stimuliene er lettere å forberede enn de som kan simulere en ekte handling eller en hendelse. Til tross for at de har fordeler, tillater ikke disse stimuliene forskere å måle betinget atferd blant sosiale agenter. De er med andre ord ikke handlekraftige og har ikke sosial trygghet²⁷. I de senere år har et alternativ til disse ikke-interaktive stimuliene blitt utviklet: sanntidsanimasjoner av virtuelle avatarer. Disse avatarene tillater etterforskning av samspillet mellom avatarer og deres brukere. Imidlertid er bruken av virtuelle avatarer gjenstand for redusert brukerforståelse, spesielt når de ikke virker spesielt engasjerende når det gjelder deres realistiske og betingede oppførsel²⁶. Derfor er det nå mer interesse for å bruke ekte sosiale stimuli i eksperimentelle studier. Selv om deres design, dataregistrering og analyse kan kreve avansert utstyr og kompleks dataanalyse, er de de beste kandidatene for å forstå naturalistisk menneskelig atferd og kognisjon.

Denne studien foreslår en metodikk for bruk av virkelige sosiale stimuli i et laboratoriemiljø. Denne studien tar sikte på å undersøke hvordan folk oppfatter og evaluerer andres handlinger i en setting med forbedret økologisk gyldighet sammenlignet med tradisjonelle laboratorieeksperimenter. Vi har utviklet og beskrevet et nytt oppsett der deltakerne blir utsatt for virkelige aktører som er fysisk til stede og deler det samme miljøet med dem. I denne protokollen måles deltakernes responstider og musebaner, noe som krever presis timing av stimulipresentasjonen og streng kontroll over eksperimentelle forhold i denne forbedrede økologiske innstillingen. Derfor skiller det eksperimentelle paradigmet seg ut blant rammene som er tilstede i litteraturen, siden stimuliens naturlighet maksimeres uten å ofre kontroll over miljøet. Nedenfor presenterer protokollen trinnene for å etablere et slikt system og fortsetter deretter med de representative resultatene for eksempeldataene. Til slutt presenteres en diskusjon av paradigmets betydning, begrensninger og planer for modifikasjoner.

Eksperimentelt design
Før vi går videre til protokolldelen, beskriver vi parametrene som ble brukt i denne studien og presenterer detaljene i stimuliene sammen med eksperimentell design.

Parametere i studien
Denne studien tar sikte på å måle hvordan typen aktør og klassen av handlinger de utfører påvirker deltakernes sinnsoppfattelsesprosesser. I protokollen måles sinnspersepsjonsprosessen i to hoveddimensjoner, nemlig byrå og erfaring, som foreslått av tidligere forskning²⁸. De høye og lave endene av disse to dimensjonene er også inkludert, som nylig introdusert av Li et ^al.29.

Strukturen i studien var inspirert av enkeltkategoriversjon³⁰ av den vanlige implisitte assosiasjonsoppgaven (IAT)³¹. I denne oppgaven brukes responstidene til deltakerne mens de matcher et attributtkonsept med målkonseptet som en indikasjon på styrken av deres implisitte assosiasjoner for disse to konseptene. I tilpasningen av denne implisitte oppgaven presenteres deltakerne live handlinger utført av virkelige aktører og kreves for å matche dem til målkonsepter. Målkonseptene er de høye og lave endene av byrå- eller opplevelsesdimensjonene, avhengig av eksperimentets blokk.

For å oppsummere er de uavhengige variablene Actor Type og Action Class. Actor Type har to nivåer (dvs. to forskjellige skuespillere, Actor1 og Actor2, som opptrer i studien). Action Class har to nivåer: Action Class1 og Action Class2, og hver klasse inneholder fire handlinger. Deltakerne evaluerer de to aktørene separat i fire blokker (en skuespiller i hver blokk), og i hver blokk utfører skuespillerne alle handlingene i en motbalansert rekkefølge. Deltakerne gjennomfører evalueringer i forhold til to forhåndsdefinerte og tvungne dimensjoner: Handlefrihet og Erfaring. De fire blokkene i eksperimentet er (1) Actor1 i Agency Block, (2) Actor2 i Agency Block, (3) Actor1 i Experience Block og (4) Actor2 i Experience Block. Rekkefølgen på blokkene er også motbalansert blant deltakerne, slik at blokkene med samme middel aldri følger hverandre.

I tillegg til svarene fra deltakerne, registreres responstidene og x-y-koordinatene til den trådløse musen de bruker mens de beveger seg mot ett av de to svaralternativene. Så de avhengige variablene er responsen og responstiden (RT) til deltakerne, samt målingene av maksimalt avvik (MD) og areal under kurven (AUC), avledet fra datamaskinens mussporing. Den variable responsen er kategorisk; det kan være Høy eller Lav, og siden evalueringene er gjort i en av de gitte blokkene, kan svarene også merkes som High-Agency, Low-Agency, High-Experience eller Low-Experience. Responstid er en kontinuerlig variabel; Enheten er sekunder, og den refererer til tiden som har gått mellom starten av presentasjonen av en handling og forekomsten av et museklikk på et av svaralternativene. MD i en bane er en kontinuerlig variabel, og den refererer til det største vinkelrette avviket mellom deltakerens bane (e) og den idealiserte banen (rett linje). AUC for en bane er også en kontinuerlig variabel, og den refererer til det geometriske området mellom deltakerens bane (e) og den idealiserte banen³².

Stimuli og design av eksperimentet
Et tre-trinns eksperiment brukes i denne studien. Målingene fra tredje del benyttes til analysene; De to første delene fungerer som forberedelse til den siste delen. Nedenfor beskriver vi hver del av eksperimentet sammen med eksperimentelle stimuli og hypoteser.

I eksperiment del 1 (leksikalsk opplæringsdel) fullfører deltakerne en treningsøkt for å forstå begrepene byrå og erfaring og kapasitetsnivåene som er representert med ordene høy og lav. For å velge ut begrepene (n = 12) som skal brukes i denne opplæringen, gjennomførte noen av forfatterne av det aktuelle arbeidet en normativ studie³³. Siden den nåværende studien var planlagt å bli gjennomført på deltakernes morsmål, ble konseptene også oversatt til tyrkisk før de ble normalisert. Blant begrepene som var sterkt assosiert med endene Høy (n = 3) og Lav (n = 3) av de to dimensjonene (seks begreper for hver). Denne delen er avgjørende siden deltakernes forståelse av begrepene forventes å lede deres evalueringsprosesser.

I eksperiment del 2 (handlingsidentifikasjonsdel) ser deltakerne de samme åtte handlingene som utføres av Actor1 og Actor2 etter hverandre og rapporterer hva handlingen er til eksperimentøren. Denne delen fungerer som en manipulasjonskontroll; Ved å presentere alle handlingene når begge aktørene utfører dem, er det mulig å sørge for at deltakerne forstår handlingene og er kjent med aktørene før de starter den implisitte testen, hvor de må gjøre raske evalueringer. Tiltakene som er valgt for tiltaksklasse 1 og tiltaksklasse 2 er de som hadde høyest H-skår og konfidensnivå (fire ulike aksjonseksempler i hver aksjonsklasse) i henhold til resultatene fra de to normative studiene (N = 219) for hver aktørtilstand utført av noen av forfatterne (manuskript under forberedelse). Alle handlinger utføres innen en lik tidsvarighet på 6 s.

Dette er en pågående studie, og den har noen andre komponenter; Hypotesene for avsnittene beskrevet ovenfor er imidlertid som følger: (i) typen aktør vil påvirke de avhengige variablene; Actor2 vil gi lengre RT-er, høyere MD-er og større AUC-er sammenlignet med Actor1; (ii) typen handling vil påvirke de avhengige målingene; Action Class1 vil gi lengre RT-er, høyere MD-er og større AUC-er sammenlignet med Action Class2; (iii) de avhengige målingene for Høy og Lav respons for samme aktør og handlingsklasse vil variere på tvers av blokkdimensjonene: Byrå og Erfaring.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

De eksperimentelle protokollene i denne studien ble godkjent av etisk komité for forskning med menneskelige deltakere ved Bilkent University. Alle deltakerne i studien var over 18 år, og de leste og signerte skjemaet for informert samtykke før de startet studien.

1. Generelle designtrinn

MERK: Figur 1A (øverste visning) og figur 1B og figur 1C (front- og bakvisning) viser laboratorieoppsettet; Disse tallene ble opprettet med hensyn til det opprinnelige laboratorieoppsettet og konfigurasjonen designet for denne studien. Figur 1A viser det øverste oppsettet av laboratoriet. I denne figuren er det mulig å se LED-lys i taket og skuespillerskapet. Blendingsgardinsystemet deler rommet i to og hjelper lysmanipulering ved å forhindre at lys lekker inn i den fremre delen av rommet (deltakerområde). Figur 1B presenterer laboratoriets syn fra eksperimentørens perspektiv. Deltakeren sitter rett foran OLED-skjermen, og ved hjelp av den gjennomsiktige skjermen kan de se live-handlingene utført av skuespillerne. De gir sine svar ved å bruke responsenheten (en trådløs mus) foran dem. Eksperimentøren kan samtidig se skuespilleren gjennom deltakerdisplayet (OLED-skjermen) og opptakene som kommer fra sikkerhetskameraet. Figur 1C viser studiens backstage (Actor Area) med overvåkningskameraet og Actor PC (PC), som ikke er synlige for deltakeren. Opptakene fra sikkerhetskameraet går til kamera-PCen for å etablere kommunikasjon mellom skuespillerne og eksperimentøren. Actor-PC-en viser blokkeringsrekkefølgen og neste handlingsinformasjon til aktøren, slik at eksperimentet flyter uten avbrudd. Skuespillerne kan sjekke neste handling raskt mens deltakerne svarer på handlingen i forrige forsøk.

Figur 1: Naturalistisk laboratorieoppsett . (A) Ovenfra-og-ned-visning av det naturalistiske laboratorieoppsettet. (B) Baksiden og forsiden av det naturalistiske eksperimentelle oppsettet fra deltakerens synspunkt. (C) Baksiden og forsiden av det naturalistiske eksperimentelle oppsettet fra skuespillerens synspunkt. Klikk her for å se en større versjon av denne figuren.

Design et oppsett som inkluderer tre datamaskiner, inkludert (1) et hovedkontrollskrivebord (eksperiment-PC), (2) en bærbar skuespiller (skuespiller-PC) og (3) en kamera-PC, en trådløs responsenhet (deltakermus), to skjermer, en lyskrets og et sikkerhetskamera (se figur 2A for systemdiagrammet for oppsettet av denne studien).
MERK: Eksperiment-PCen vil bli brukt av eksperimentøren til å kjøre eksperimentskriptene, Actor-PCen vil bli brukt av skuespilleren til å spore blokkene i eksperimentet og rekkefølgen på handlingene i blokkene, og den tredje enheten, kamera-PCen, vil bli koblet til sikkerhetskameraet som ligger i skuespillerområdet og brukes av eksperimentøren til å overvåke backstage.
Koble de separate skjermene (en for presentasjon av stimuli [Deltakerdisplay], som er OLED-skjermen) og en skjerm for overvåking av eksperimentet, responsenheten og lyskretsen (via ledninger eller trådløse tilkoblinger) til eksperiment-PCen (se figur 2A).
Koble eksperiment-PC-en og skuespiller-PC-en over et trådløst nettverk for å formidle informasjon relatert til eksperimentstatusen (for eksempel "neste handlings-ID er" hilsen "") til skuespillerne.
Design og bygg en lyskrets som (se figur 2B for kretskortet) kan styres av en mikrokontroller for å slå lysdiodene av og på.
MERK: Figur 3A viser ugjennomsiktig bruk av OLED-skjermen som ble brukt i studien fra eksperimentørens visning. For å sikre ugjennomsiktighet justeres bakgrunnen på skjermen til hvit (RGB: 255, 255, 255), og alle lysene i rommet (både i deltakerområdet og skuespillerområdet) er slått av. Deltakeren ser fikseringen før stimuli. Figur 3B viser gjennomsiktig bruk av den digitale skjermen i studien fra eksperimentørens visning. For å aktivere gjennomsiktighet justeres skjermens bakgrunn til svart (RGB: 0, 0, 0), og LED-lampene i taket slås på. Deltakeren ser på skuespilleren. Figur 3C viser den ugjennomsiktige bruken av den digitale skjermen i studien. For å sikre ugjennomsiktighet justeres bakgrunnen på skjermen til hvit (RGB: 255, 255, 255), og alle lysene i rommet er slått av. Deltakeren blir presentert med evalueringsskjermen for å gi et svar. De må dra markøren til øverst til venstre eller øverst til høyre på skjermen (ett av de to svarvalgene, enten Høy eller Lav) ved hjelp av en trådløs mus. Deres musebane og responstid registreres.
Koble mikrokontrolleren til eksperiment-PCen.
Lagre skriptene som kjører eksperimentet, på eksperiment-PCen.
MERK: Figur 4A viser backstage (Actor Area) under eksperimentet. Frontlysene i rommet (deltakerområdet) er av, og skuespiller-PCen viser navnet på handlingen som skal utføres av skuespilleren. Figur 4B viser skuespillerkabinettet der skuespillerne kan vente på tur og skifte antrekk. Skuespillerskapet er ikke synlig fra deltakerens synsvinkel, og siden et gardinsystem brukes, kan skuespillerne bruke hvilken inngang de vil. Under forsøket er lysstoffrørene som vises i figuren slått av.

Figur 2: System- og koblingsskjema . (A) Systemdiagrammet for det naturalistiske eksperimentelle oppsettet. (B) Koblingsskjemaet til lyskretsen som støtter OLED-skjermen under eksperimentet. Klikk her for å se en større versjon av denne figuren.

Figur 3: OLED-skjerm fra eksperimentørens synspunkt. (A) Ugjennomsiktig bruk av OLED digital skjerm fra eksperimentørens synspunkt. (B) Gjennomsiktig bruk av OLED digital skjerm fra eksperimentørens synspunkt. (C) Ugjennomsiktig bruk av OLED digital skjerm fra eksperimentørens synspunkt i løpet av en responsperiode. Klikk her for å se en større versjon av denne figuren.

Figur 4: Eksperimentets backstage . (A) Backstage under et eksperimentforsøk. (B) Skuespillerkabinettet er på baksiden av OLED-skjermen, der skuespillerne kan vente på sin tur til å være synlige under eksperimentet. Klikk her for å se en større versjon av denne figuren.

2. Design og implementering av belysningskretsen

Trinn å følge før du slår på enhetene / komponentene i kretsen
1. Hvis du vil endre tilstandene til lysdiodene som er installert backstage (Actor Area), gir du eksperiment-PC-en muligheten til å slå lysdiodene til enten ON eller OFF.
2. Hvis du vil formidle de digitale kommandoene som skal sendes fra eksperiment-PC-en via en USB-kabel, velger du en mikrokontrollerenhet som kan ta digitale innganger og generere en digital utgang (se materialfortegnelsen for mikrokontrolleren som ble brukt i denne studien).
3. Velg en bestemt USB-port på eksperiment-PCen for å koble til USB-inngangen til mikrokontrolleren via en USB-kabel. Ikke slå på PCen før du kontrollerer at alle tilkoblinger er opprettet.
4. Inkluder en koblingsmodul for å øke amplituden til utgangssignalet (rundt 3,3 V) generert av mikrokontrolleren.
5. Koble den utpekte digitale utgangspinnen (for dette eksperimentet er den angitte pinnen D9) og jordpinnene til mikrokontrolleren til brytermodulen.
6. For å kjøre lasten (LED-ene), må du inkludere en høyeffekts MOSFET-modul (Metal-Oxide-Semiconductor Field-Effect Transistor) (eller MOSFET-modul) som drives av signalet som genereres av koblingsmodulen, og koble signalpinnene til MOSFET-modulen til det tilsvarende signaljordparet på koblingsmodulen.
7. Koble varmepinnene til MOSFET-modulen til lasten.
8. For å levere en regulert konstant spenning til modulene (og indirekte, til lysdiodene), inkluderer en LED-strømforsyning som tar vekselstrøm (AC) nettinngang og genererer en konstant likespenning i kretsen.
9. Koble utgangene fra LED-strømforsyningen til strøminngangene til både MOSFET-modulen og koblingsmodulen.
Trinn å følge etter kabling av kretskomponentene
1. Koble USB-kabelen til den valgte USB-porten på eksperiment-PCen.
2. Opprett en seriell kommunikasjonskobling mellom mikrokontrolleren og programvaremiljøet som kjører på eksperiment-PCen (se underavsnitt Koble mikrokontrolleren til eksperiment-PC).
3. Koble LED-strømforsyningen til vekselstrøminngangen.

3. Programmering av eksperimentet

MERK: Lag tre eksperimentelle hovedskript (ExperimentScript1.m [Supplemental Coding File 1], ExperimentScript2.m [Supplemental Coding File 2] og ExperimentScript3.m [Supplemental Coding File 3]), samt flere funksjoner (RecordMouse.m [Supplemental Coding File 4], InsideROI.m [Supplemental Coding File 5], RandomizeTrials.m [Supplemental Coding File 6], RandomizeBlocks.m [Supplemental Coding File 7], GenerateResponsePage.m [Supplemental Coding File 8], GenerateTextures.m [Supplemental Coding File 9], ActorMachine.m [Supplemental Coding File 10], MatchIDtoClass.m [Supplemental Coding File 11] og RandomizeWordOrder.m [Supplemental Coding File 12]) for å utføre eksperimentet.

MERK: Se de relaterte skriptene for detaljerte forklaringer.

Randomisering av prøve- og blokkeringsordrene
1. Definer og opprett to funksjoner for å randomisere prøveordrene (RandomizeTrials.m) og blokkere ordrer (RandomizeBlocks.m) som tar randomiseringsparameterne (for eksempel deltaker-ID) som inndata, og returnere en rekke pseudorandomiserte sekvenser.
2. Se skriptene RandomizeBlocks.m (linje 2-24) og RandomizeTrials.m (linje 3-26) for detaljer om hvordan de randomiserte sekvensene genereres.
Sporing av responsen (RecordMouse, InsideRoi)
1. Opprett en funksjon som sporer og registrerer musebanen til deltakerne og tiden som har gått under eksperimentet (se RecordMouse.m).
2. Opprett en hjelpefunksjon for å sjekke om de klikkede koordinatene ligger innenfor de akseptable områdene eller ikke (se skriptet InsideRoi.m).
Generering av teksturer for instruksjoner og tilbakemeldinger (GenerateTextures.m, GenerateResponsePage.m)
1. Forbered instruksjonene knyttet til eksperimentet og tilbakemeldingene knyttet til forsøkene som bilder.
2. Lagre innholdet i disse bildene i en MAT-fil (se ExperimentImages.mat-filen [Supplemental Coding File 13]).
3. Last inn Mat-filen i arbeidsområdet (se GenerateTextures.m linje 25) etter at du har opprettet et vindu på skjermen.
4. Opprett en separat tekstur og tilhørende identifikator for hvert bilde (se GenerateTextures.m linje 27-165).
5. Definer en funksjon for å tegne de relaterte svarsideteksturene for hvert eksperimentskript (se GenerateResponsePage.m).
Koble Actor PC til Experimenter PC over TCP / IP
1. Opprett en TCP-serversocket i skriptet (se ExperimentScript2.m linje 174) som kjører på eksperiment-PCen.
2. Opprett en tilsvarende TCP-klientkontakt i skriptet (se ActorMachine.m linje 16) som kjører på Actor-PCen.
3. Send informasjon om den kommende blokken/prøveversjonen til skuespillerne fra skriptet (se linjene 207, 229 og 278 i ExperimentScript2.m eller se linjene 136, 141, 153, 159 og 297 i ExperimentScript3.m) som kjører på eksperiment-PC-en.
4. Vis den mottatte informasjonen fra eksperiment-PCen i skjermvinduet på Actor PC (se linjene 31-47 i ActorMachine.m).
Koble mikrokontrolleren til eksperiment-PCen
1. Koble mikrokontrolleren til en bestemt USB-port (f.eks. PORT 9) for å kontrollere tilstanden (enten PÅ eller AV) til de installerte lysdiodene backstage.
2. Opprett en seriell kommunikasjon mellom mikrokontrollerenheten og eksperiment-PC-en (se linje 185 i ExperimentScript2.m-skript).
3. Send et logisk høysignal (1) til mikrokontrolleren fra skriptet som kjører på eksperiment-PCen (se linje 290 i ExperimentScript2.m eller se linje 311 i ExperimentScript3.m-skript) for å slå på lysdiodene når handlingene vises via USB-kabelen.
4. Send et logisk lavt signal (0) til mikrokontrolleren fra skriptet som kjører på eksperiment-PCen (se linje 292 i ExperimentScript2.m eller se linje 314 i ExperimentScript3.m-skript) for å slå av lysdiodene når deltakeren forventes å gi et svar.

4. Flyten av et prøveeksperiment

Trinn før eksperimentet
1. Forsikre deg om at alle enhetene i laboratoriet (eksperiment-PC, kamera-PC, skuespiller-PC og deltakerskjerm) drives av en UPS.
2. Koble lynmikrokontrolleren til eksperiment-PCen via en USB-kabel, slik at den automatisk slås på når eksperiment-PCen slås på.)
3. Slå på eksperiment-PCen, og kontroller om den er koblet til 5 GHz Wi-Fi.
4. Velg lydenheten (høyttalerne i materialfortegnelsen) som lydutgangsenhet på eksperiment-PC-en.
5. Slå på deltakerdisplayet, og sett voluminnstillingene til 80%.
6. Angi skjerminnstillingene til eksperiment-PC-en for flere skjermer. Utvid visningen av eksperiment-PC-en til deltakervisningen. Visningen av eksperiment-PCen vil være 1, og deltakerdisplayet vil være 2.
7. Slå på Actor PC, og sjekk om den er koblet til 5 GHz Wi-Fi.
8. Koble sikkerhetskameraet til Actor-PCen via en USB-kabel, slik at den automatisk slås på når Actor-PCen slås på.
9. Slå på kamera-PCen, og åpne kameraprogrammet på skrivebordet. Sørg for at hver skuespiller, deres bevegelser og deres inngang og utganger til kabinettet er synlige fra kameraet.
10. Forsikre deg om at alle datamaskiner, skjermer og enheter (svarenheten [deltakerens trådløse mus], høyttalere, tastatur og mus på eksperiment-PC-en og skuespiller-PCen og lynmikrokontrolleren) fungerer som de skal.
11. Ønsk deltakeren velkommen til et annet rom; Etter å ha gitt kort informasjon om studien, gi samtykkeskjemaet, og la deltakeren signere det.
12. Be deltakeren om å trekke et nummer fra en pose, og fortell dem at nummeret vil være deres deltaker-ID gjennom hele studien.
13. La deltakeren fylle ut det elektroniske demografiskjemaet med sin anonyme deltaker-ID.
  MERK: Det er avgjørende at deltakerne ikke ser skuespillerne før eksperimentet. Så dette papirarbeidet fullføres i et annet rom i stedet for hovedeksperimentrommet, slik at skuespillerne kan ta pauser mellom deltakerne.
Trinnene i eksperimentet
1. Åpne eksperimentprogramvaren på eksperiment-PCen, åpne skriptet ExperimentScript1.m og kjør det.
2. Fyll ut deltaker-ID og alder; Deretter starter skriptet den første delen av eksperimentet (den første synlige stimulansen vil være et kryss i midten av deltakerdisplayet.)
3. Åpne eksperimentprogramvaren på Actor PC, og åpne skriptet ActorMachine.m.
4. Plasser kamera-PCen i nærheten av eksperiment-PCen, og kontroller at opptakene som kommer fra sikkerhetskameraet, ikke er synlige for deltakeren.
5. Ønsk deltakeren velkommen til hovedeksperimentrommet, og la dem få plass foran deltakerdisplayet.
6. Be deltakeren ordne seg slik at korset er i midten og rett frem.
7. Gi kort instruksjoner om delene av eksperimentet ved å referere til forklaringene og varighetene som er skrevet på tavlen.
8. Slå av alle lysene i forsøksrommet.
Eksperiment del 1:
1. Fortell deltakeren at de vil fullføre leksikalsk / konseptuell trening i første del av eksperimentet. Advar dem om å være nøye med å følge instruksjonene slik at de kan bestå opplæringen.
2. Fortell deltakeren at eksperimentet kan startes når de er klare.
3. Trykk på ESC-knappen når deltakeren sier at de er klare for den første delen.
  MERK: Fra nå av vil deltakeren gå gjennom eksperimentet ved å lese instruksjonene på deltakerdisplayet og velge ett av valgene. De vil få tilbakemelding om hva de har rett og galt svar på, slik at de kan utvikle seg godt i treningen. Matchingen vil fortsette til deltakerne når minimumsgrensen (80%) innen 10 blokkrepetisjoner.
4. Når deltakeren fullfører treningsdelen, trykker du på ESC-knappen og forteller deltakeren at eksperimentøren tar kontroll over musen for å starte den andre delen av eksperimentet.
Eksperiment del 2:
1. Åpne skriptet ExperimentScript2.m, og vent på ledeteksten Waiting for the Actor PC.
2. Ring på klokken når ledeteksten vises, slik at en av skuespillerne kan kjøre skriptet på Actor-PCen for å aktivere tilkoblingen til eksperiment-PCen.
3. Vent til ledeteksten Eksperiment del 2 er klar.
4. Fortell deltakeren at nå som skjermen vil være gjennomsiktig mens de ser noen korte handlinger gjennom den.
5. Advar dem om å se hver handling nøye, og informer dem om at de skal si hva handlingen er høyt.
6. Fortell deltakeren at eksperimentet kan startes når de er klare.
7. Trykk på ESC-knappen når deltakeren sier at de er klare for den første delen.
  MERK: Deltakeren går gjennom instruksjonene og ser på den første handlingen. Actor1 utfører handlingene når LED-lysene slås på, og de sjekker neste handling fra ledeteksten på Actor PC når lysene er slått av. Når hver handling avsluttes, vises en dialogboks på Experimenter PC-skjermen.
8. Skriv inn hva deltakeren sier om handlingen i dialogboksen, og skriv inn 1 eller 0 i den andre dialogboksen, avhengig av henholdsvis riktig eller feil identifikasjon av handlingen.
  MERK: Disse trinnene vil bli gjentatt åtte ganger for den første skuespilleren, og bakgrunnsmusikken vil begynne å spille når det er på tide for skuespillerne å bytte plass.
9. Se backstage fra opptakene fra overvåkningskameraet på kamera-PCen.
10. Trykk på ESC-knappen for å starte identifikasjonen for Actor2 når skuespilleren vifter med hendene mot sikkerhetskameraet med I am ready-bevegelsen .
11. Gjenta trinn 4.4.7 og trinn 4.4.8 sammen med deltakeren til de samme åtte handlingene også er identifisert mens de utføres av Actor2.
12. Når deltakeren ser advarselen Identifikasjon er fullført og avslutter delen ved å klikke på pilen, trykker du på ESC-knappen og forteller deltakeren at eksperimentøren tar kontroll over musen for å starte den tredje delen av eksperimentet.
Eksperiment del 3:
1. Åpne skriptet ExperimentScript3.m.
2. Fortell deltakeren at de vil se handlingene til begge skuespillerne, og så vil de klikke på alternativet som de synes passer.
  MERK: Deltakerne vil evaluere handlingene til aktørene i fire blokker. I to av blokkene vil Actor1 utføre handlingene, og i de to andre vil Actor2 utføre de samme handlingene. I to av blokkene vil deltakerne evaluere handlingene ved å tildele høy eller lav byråkapasitet, og i de to andre vil de tildele høy eller lav erfaringskapasitet.
3. Trykk på ESC-knappen når deltakeren sier at de er klare for den tredje delen.
  MERK: Deltakeren går gjennom instruksjonene, og de starter med den første blokken. Skuespillerne utfører handlingene i lyset, og mens deltakerne gir sine svar, blir skjermen ugjennomsiktig, og lysene slås av slik at skuespillerne kan se hvilken handling som kommer neste. Når hver blokk avsluttes, vil skuespillerne bytte plass etter instruksjonene på Actor PC.
4. Sjekk om alt går bra backstage og om riktig skuespiller gjennomfører riktig handling under blokkene.
5. Trykk på ESC-knappen for å starte neste blokk når den rette skuespilleren vinker med hendene med I am ready-bevegelsen etter utskifting av skuespillerne.
6. Gjenta trinn 4.5.4 og trinn 4.5.5 i samarbeid med deltaker og aktør til de fire blokkene er ferdigstilt.
7. Når deltakeren ser meldingen Eksperimentet er over, takker du og trykker ESC-knappen .
8. Takk deltakeren, og etter debriefing og signaturopptak, send deltakeren ut.

Figur 5 viser et prøveforsøk fra deltakerens synsvinkel. Figur 5A viser deltakeren som ser på markøren i midten av skjermen i sin ugjennomsiktige bruk. Figur 5B viser deltakeren som ser på live-action-stimuli gjennom skjermen. Figur 5C viser evalueringsskjermen som presenteres for deltakeren etter stimuliene, der de må dra musen til ett av de to alternativene i hvert øverste hjørne av skjermen.

Figur 5: OLED-skjerm fra deltakerens synspunkt. (A) Ugjennomsiktig bruk av OLED digital skjerm fra deltakerens synspunkt under en fikseringsskjerm. (B) Transparent bruk av OLED digital skjerm fra deltakerens synspunkt under presentasjonen av en live action. (C) Ugjennomsiktig bruk av OLED digital skjerm fra deltakerens synspunkt i responsperioden. Klikk her for å se en større versjon av denne figuren.

5. Forhåndsbehandling og analyse av data

Segmentering av data i betingelser
1. Les alle deltakerdatafilene inn i arbeidsområdet til programvaremiljøet.
2. Definer betingelsene for å gruppere dataene (to handlingsklasser [Action Class1 og Action Class2] x to aktører [Actor1 og Actor2] x to dimensjoner [Agency and Experience] x to nivåer [High and Low]).
3. Segmenter dataene i fire hovedgrupper: Agency High, Agency Low, Experience High og Experience Low.
4. Del disse hovedgruppene inn i fire undergrupper (to aktører x to aksjonsklasser).
5. Gå gjennom hver datafil for å gruppere forsøkene som tilhører en av de fire tidligere definerte undergruppene.
6. Lagre relevant prøveinformasjon (responstid, markørbevegelse og tidspunkt for prøvetaking av markørposisjonen) i separate datastrukturer for hver undergruppe.
7. Gå ut av løkken når alle prøveversjonene er gruppert.
Visualisering av banene
1. Etter å ha segmentert dataene, gjør du følgende for å visualisere musebanene.
2. Hvis du vil bruke tidsinterpolering på responsbanene, velger du 101 (x,y) par fra banematrisen for hvert forsøk, slik at hver undergruppe av data har forsøk med like mange tidstrinn.
  MERK: Mens du forankrer antall par til 101, må du sørge for å følge konvensjonen³²for å utføre riktig tidsnormalisering. Oppnå derfor tidsnormalisering ved å bruke følgende ligning, hvor n er antall prøver i en banematrise:
3. Beregn summeringen av (x,y) par på hvert av de 101 tidspunktene, og del deretter det oppnådde resultatet med det totale antallet forsøk i den undergruppen for å oppnå gjennomsnittet for hver undergruppe (f.eks. Opplev lav skuespiller1 eller Opplev lav skuespiller2).
4. Bruk en skaleringsoperasjon på radverdiene for å visualisere middelbanene.
  2D-koordinatplanet antar at begge aksene øker fra nullpunktet nederst til venstre i vinduet (forutsatt at koordinatene er positive heltall), mens bildepunktformatet bruker øvre venstre hjørne av vinduet som referanse (f.eks. nullpunkt). Bruk derfor en skaleringsoperasjon for y-koordinatene (som tilsvarer radverdiene i bildepunktformat) for de samplede plasseringene ved å trekke ut den samplede y-koordinaten for hvert forsøk fra verdien for det totale antallet rader.
5. Plott de relaterte undergruppene i samme figur for sammenligning.
  MERK: Hver bane begynner i midten av rektangelet nederst i midten, merket START, og slutter inne i rektanglene øverst til venstre eller øverst til høyre.

6. Forhold som kan føre til systemfeil og forholdsregler

MERK: I tilfelle systemfeil er det avgjørende å ha et fysisk tegn (ringer en bjelle) for å gi skuespilleren beskjed om feilen og advare dem om å bli på et sted som er usynlig for deltakeren.

Feil på grunn av nettverkstilkobling
1. Hvis en av datamaskinene er koblet til et annet nettverk, vil TCP/IP-tilkoblingsforespørselen mislykkes, og systemet vil vise en feil. Hvis du vil unngå dette, må du kontrollere at eksperiment-PC-en og skuespiller-PC-en er på samme bånd i samme trådløse nettverk.
2. Hvis du vil sikre at begge PCene forblir i samme nettverk, sletter du tidligere tilkoblede trådløse nettverk fra begge PCene.
3. Angi statiske IP-adresser for enhetene på det valgte nettverket, siden IP-adressene på et nettverk kan endres uten varsel.
4. Enhver kortvarig frakobling (f.eks. på grunn av strømbrudd, Internett-brudd osv.) til nettverket kan føre til at skriptet mislykkes. Under disse omstendighetene må systemet startes på nytt fra begynnelsen for å gjenopprette TCP/IP-tilkoblingen.
  MERK: Kravet om statiske IP-er for enheter kan oppfylles av Internett-leverandøren. Enkelte porter kan være deaktivert av operativsystemet eller maskinvaren på en gitt enhet. Derfor må portene som skal brukes i eksperimentet, åpnes og må ikke ha en aktiv tilkobling før eksperimentskriptet starter.
Feil på grunn av programvarekrasj
1. Programvaremiljøet kan krasje på grunn av mislykkede tilkoblinger (f.eks. seriell porttilkobling, TCP/IP-tilkobling, skjermtilkobling osv.), og dette kan føre til tap av data. For å overvinne dette, del hovedeksperimentskriptet i flere skript. For eksempel, hvis det er en blokk som må fullføres før skuespillerne begynner å utføre handlinger, er det ikke nødvendig å opprette en server på eksperiment-PCen under denne blokken. Serveren kan opprettes når blokken som involverer handlinger, og dermed krever kommunikasjon mellom Experimenter PC og Actor PC, er i ferd med å starte.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Sammenligninger av responstid (RT)
Den nåværende studien er et pågående prosjekt, så som representative resultater presenteres data fra hoveddelen av eksperimentet (eksperiment del 3). Disse dataene er fra 40 deltakere, inkludert 23 kvinner og 17 menn, med alder fra 18-28 år (M = 22,75, SD = 3,12).

Det var nødvendig å undersøke normaliteten i fordelingen av de avhengige variablene for å velge riktig statistisk metode for analysene. Så ble Shapiro-Wilk-testen utført for å forstå om de tre avhengige variablene, nemlig responstid (RT), maksimalt avvik (MD) og areal under kurven (AUC), ble fordelt normalt. Skårene viste at data for responstid, W = 0,56, p < 0,001, maksimalt avvik, W = 0,56, p < 0,001 og areal under kurven, W = 0,71, p < 0,001, alle var signifikant ikke-normale.

Homogeniteten av variansene til de avhengige variablene ble også kontrollert ved å anvende Levenes test for nivåene av de uavhengige variablene, nemlig Actor Type (Actor1 og Actor2) og Action Class (Action Class1 og Action Class2). For skårene på responstid var variansene like for Actor1 og Actor2, F(1, 1260) = 0,32, p = 0,571, men variansene for Action Class1 og Action Class2 var signifikant forskjellige, F(1, 1260) = 8,82, p = 0,003. For skårene på maksimalt avvik var variansene like for Actor1 og Actor2, F(1, 1260) = 3,71, p = 0,542, men variansene for Action Class1 og Action Class2 var signifikant forskjellige, F(1, 1260) = 7,51, p = 0,006. For skårene på området under kurven var variansene like for tiltaksklasse1 og tiltaksklasse2, F(1, 1260) = 3,40, p = 0,065, men variansene for Actor1 og Actor2 var signifikant forskjellige, F(1, 1260) = 4,32, p = 0,037.

Siden dataene i denne studien ikke tilfredsstilte normalfordelings- og homogenitetsforutsetningene for den regulære ANOVA (variansanalysen) og vi hadde fire uavhengige grupper på kontinuerlig utfall, ble den ikke-parametriske ekvivalenten til en ANOVA, Kruskal-Wallis-testen, anvendt. De fire uavhengige gruppene ble avledet fra de to kategoriske responsvariablene (høy eller lav) innenfor de to pre-tvungne blokkdimensjonene (Agency og Experience). Siden vi var interessert i hvordan de avhengige variablene skilte seg mellom deltakersvarene på tvers av dimensjonene, ble dataene delt inn i fire undergrupper i henhold til svar i byrådimensjonen, inkludert Agency-High og Agency-Low, og i Experience-dimensjonen, inkludert Experience-High og Experience-Low. Nedenfor presenteres resultatene av Kruskal-Wallis-testene for de tre uavhengige variablene. I alle tilfellene ble signifikansgrensen satt til p < 0,05.

Resultater av responstid
Figur 6 viser responstidene til deltakerne i henhold til deres svar på høy eller lav i de fire blokkdimensjonene. Responstidene til deltakerne presenteres for hvert nivå av de to uavhengige variablene: Actor Type og Action Class. A1 og A2 representerer henholdsvis Actor 1 og Actor 2, mens AC1 og AC2 representerer henholdsvis Action Class 1 og Action Class 2.

Figur 6: Deltakernes responstid i oppgaven på tvers av skuespillertype og handlingsklasse. Hvert panel viser tiden deltakerne brukte på å svare mot et av nivåene (høy eller lav) av den bestemte dimensjonen (byrå og erfaring). Stjernene viser signifikante forskjeller mellom nivåene av skuespillertype eller handlingsklasse (p < .05). Klikk her for å se en større versjon av denne figuren.

Responstidene ble ikke signifikant påvirket av aktørtype for Agency-High, H(1) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091 og Experience-High, H(1) = 0,001, p = 0,968 svar, men de ble signifikant påvirket av aktørtypen for Experience-Low-svarene, H(1) = 8,54, p = 0,003. En Wilcoxon signed-rank test ble beregnet for å undersøke effekten av skuespillertype på Experience-Low-svarene. Median responstid for Actor1 (Mdn = 1,14) var signifikant kortere enn median responstid for Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

Responstidene ble ikke signifikant påvirket av tiltaksklassen for Agency-Low, H(1) = 1,99, p = 0,158 og Experience-High, H(1) = 0,17, p = 0,675 svar, men de var signifikant påvirket av tiltaksklassen for Agency-High, H(1) = 10,56, p = 0,001 og Experience-Low, H(1) = 5,13, p = 0,023, svar. Resultatene fra Wilcoxon-testen viste at for Agency-High-responsene var median responstid for tiltaksklasse 1 (Mdn = 1,30) signifikant lengre enn median responstid for tiltaksklasse 2 (Mdn = 1,17 ), W = 17433, p = 0,0005; I tillegg var median responstid for tiltaksklasse 1 (Mdn = 1,44) signifikant lengre enn median responstid for tiltaksklasse 2 (Mdn = 1,21), W = 10002, p = 0,011.

Resultater av musesporing
Musebevegelsene til deltakerne mens de bestemte seg for sitt endelige svar, ble også registrert. Informasjon om tid og sted ble samlet inn for å beregne deltakernes gjennomsnittlige motoriske baner. Opptaket startet da deltakerne så de verbale stimuliene på skjermen og endte da de ga et svar ved å klikke på et av alternativene (Høy eller Lav) øverst til høyre eller øverst til venstre på skjermen.

Figur 7 viser de maksimale avvikene for musebevegelsene til deltakerne i henhold til deres svar på høy eller lav i fire blokkdimensjoner. De maksimale avvikene til deltakerne fra den idealiserte rette linjen i det valgte svaret mot det ikke-valgte alternative svaret presenteres for hvert nivå av de to uavhengige variablene, Actor Type og Action Class. A1 og A2 representerer henholdsvis Actor 1 og Actor 2, mens AC1 og AC2 representerer Action Class 1 og Action Class 2, henholdsvis.

Figur 7: Det maksimale avviket til musebanene til deltakerne på tvers av skuespillertype og handlingsklasse. Hvert panel viser det maksimale avviket til deltakerne fra den idealiserte rette linjen til det valgte svaret mot det ikke-valgte alternative svaret mens de reagerer mot et av nivåene (Høy eller Lav) for den bestemte dimensjonen (Byrå og Erfaring). Stjernene viser signifikante forskjeller mellom nivåene av skuespillertype eller handlingsklasse (p < .05). Klikk her for å se en større versjon av denne figuren.

Maksimumsavvikene ble ikke signifikant påvirket av aktørtypen for Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655 og Experience-High, H(1) = 0,12, p = 0,720, svar, men de var signifikant påvirket av aktørtypen for Experience-Low-svarene, H(1) = 7,07, p = 0,007. En Wilcoxon signed-rank test ble utført for å undersøke effekten av skuespillertype på Experience-Low-svarene. Median maksimumsavvik for Actor1 (Mdn = 0,03) var signifikant kortere enn median maksimumsavvik for Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

Maksimumsavvikene ble ikke signifikant påvirket av tiltaksklassen for Agency-High, H(1) = 0,37, p = 0,539 og Experience-High, H(1) = 1,84, p = 0,174, svar, men de var signifikant påvirket av tiltaksklassen for Agency-Low, H(1) = 8,34, p = 0,003 og Experience-Low, H(1) = 11,53, p = 0,0006, svar. Resultatene fra Wilcoxon-testen viste at for Agency-Low-responsene var median maksimumsavvik for tiltaksklasse 1 (Mdn = 0,06) signifikant lengre enn median maksimumsavvik for tiltaksklasse 2 (Mdn = 0,02), W = 12516, p = 0,0019. For erfaringslave responser var median maksimumsavvik for tiltaksklasse 1 (Mdn = 0,09) signifikant lengre enn median maksimumsavvik for tiltaksklasse 2 (Mdn = 0,03), W = 10733, p = 0,0003.

Figur 8 viser områdene under kurven for deltakernes musebaner i henhold til deres svar på høy eller lav i fire blokkdimensjoner. Områdene under kurven for deltakersvarene i referanse til den idealiserte rette linjen til det valgte svaret presenteres for hvert nivå av de to uavhengige variablene, Actor Type og Action Class. A1 og A2 representerer henholdsvis Actor 1 og Actor 2, mens AC1 og AC2 representerer Action Class 1 og Action Class 2, henholdsvis.

Figur 8: Områdene under kurven med hensyn til den idealiserte banen til musebevegelsene til deltakerne. Hvert panel viser området under kurven mens deltakerne responderer mot et av nivåene (Høy eller Lav) i den bestemte dimensjonen (Agency eller Experience). Stjernene viser signifikante forskjeller mellom nivåene av skuespillertype eller handlingsklasse (p < .05). Klikk her for å se en større versjon av denne figuren.

Områdene under kurvene ble ikke signifikant påvirket av aktørtypen for Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827 og Experience-High, H(1) = 0,96, p = 0,324, svar, men de ble signifikant påvirket av aktørtypen for Experience-Low-svarene, H(1) = 8,51, p = 0,003. En Wilcoxon signed-rank test ble beregnet for å undersøke effekten av skuespillertype på Experience-Low-svarene. Medianarealet under kurven for Actor1 (Mdn = −0,03) var signifikant snaller enn medianarealet under kurven for Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

Områdene under kurvene ble ikke signifikant påvirket av tiltaksklassen for byråhøye svar, H(1) = 0,01, p = 0,913, men de ble signifikant påvirket av tiltaksklassen for Agency-Low, H(1) = 7,54, p = 0,006, Experience-High, H(1)= 5,87, p = 0,015 og Experience-Low, H(1) = 15,05, p = 0.0001, svar. Resultatene fra Wilcoxon-testen viste at for Agency-Low-responsene var medianarealet under kurven for tiltaksklasse1 (Mdn = 0,03) signifikant større enn medianarealet under kurven for tiltaksklasse2 (Mdn = −0,03), W = 12419, p = 0,003, og for Erfaring-Høy-responsene, medianarealet under kurven for tiltaksklasse1 (Mdn = −0,06) var signifikant mindre enn median maksimumsavvik for tiltaksklasse 2 (Mdn = −0,02), W = 9827, p = 0,007. For Erfaring-Lav-responsene var medianarealet under kurven for tiltaksklasse1 (Mdn = 0,05) signifikant større enn medianarealet under kurven for tiltaksklasse2 (Mdn = −0,03), W = 11049, p < 0,0001.

Oppsummering og evaluering av de representative resultatene
Siden dette er en pågående studie, er en representativ del av dataene vi vil ha på slutten av den store datainnsamlingen presentert. Men selv disse eksempeldataene støtter effektiviteten av metoden foreslått i denne studien. Vi kunne få deltakernes responstider og musebaner mens de ga sine svar etter å ha sett sanntidshandlinger. Vi kunne fullføre alle disse trinnene gjennom samme skjerm, slik at deltakerne ikke endret en modalitet mellom å se på de virkelige skuespillerne og gi museresponsene, slik at vi kunne utvide prosedyrene i eksperimentene til virkelige scenarier.

Tabell 1 oppsummerer resultatene av hvordan de avhengige tiltakene, inkludert responstider, MD og AUC for musebanene, ble påvirket av aktørtype og tiltaksklasse, som var de viktigste uavhengige variablene i studien.

	Responstid (RT)		Maksimalt avvik (MD)		Areal under kurven (AUC)
	Type skuespiller	Action klasse	Type skuespiller	Action klasse	Type skuespiller	Action klasse
Byrå høy	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Byrået lavt	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Opplev høyt	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Opplev lavt	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabell 1: Sammendrag av resultatene. Tabellen viser hvordan de avhengige målene (responstider, MD og AUC for musebanene) ble påvirket av de viktigste uavhengige variablene (aktørtype og tiltaksklasse) i studien. *, ** og *** representerer signifikansnivåene p ≤ henholdsvis 0,05, p ≤ 0,01 og p ≤ 0,001.

Skuespillertypen hadde en signifikant effekt på responstidene til deltakerne; mens de tildelte lav kapasitet i opplevelsesdimensjonen, brukte de mer tid på å gjøre dette for Actor2 sammenlignet med Actor1 i samme tilstand (se figur 6D). Vi observerte også denne lengre responstiden i målingene av musebevegelsene basert på MD og AUC (se figur 9 for banene). MDs av musebanene mot lave responser (se figur 7D) var signifikant høyere, og AUCene til musebanene (se figur 8D) var signifikant større når deltakerne evaluerte Actor2 sammenlignet med Actor 1 (sammenligning av de blå linjene i figur 9A, B).

Figur 9: De gjennomsnittlige musebanene til deltakerne når de evaluerer handlingene utført av Actor1 og Actor2 i Experience-dimensjonen. De oransje linjene viser de gjennomsnittlige musebanene mot høye responser; de blå linjene viser de gjennomsnittlige musebanene mot lave svar. De svarte stiplede rette linjene representerer de idealiserte responsbanene, mens de grå skyggelagte områdene representerer rotens gjennomsnittlige kvadrerte standardavvik. Klikk her for å se en større versjon av denne figuren.

Deltakernes responstid, mens de responderte høyt på tiltakene i tiltaksklasse 1 i byrådimensjonen (se figur 6A), var signifikant høyere enn for tiltakene i tiltaksklasse 2. Disse lengre responstidene ble imidlertid ikke observert i MD- (se figur 7A) og AUC-målinger (se figur 8A). Mens de svarte lavt på handlingsklasse1 i erfaringsdimensjonen, brukte deltakerne betydelig mer tid enn de brukte for handlingsklasse 2 (se figur 6D), og dette var også tydelig i MD (se figur 7D) og AUC (se figur 8D) score. Figur 10 viser at MDs av musebanene mot lave responser (se figur 7D) var signifikant høyere, og AUCene til musebanene (se figur 8D) var signifikant større mens deltakerne evaluerte handlinger som tilhører handlingsklasse 1 sammenlignet med tiltaksklasse 2 (sammenligning av de blå linjene i figur 10A, B).

Figur 10: De gjennomsnittlige musebanene til deltakerne når de evaluerer aktørene som utfører handlingene som tilhører Action Class1 og Action Class2 i Experience-dimensjonen. De oransje linjene viser de gjennomsnittlige musebanene mot høye responser; de blå linjene viser de gjennomsnittlige musebanene mot lave svar. De svarte stiplede rette linjene representerer de idealiserte responsbanene, mens de grå skyggelagte områdene representerer rotens gjennomsnittlige kvadrerte standardavvik. Klikk her for å se en større versjon av denne figuren.

Selv om det ikke ble observert noen signifikante effekter av tiltaksklassen på responstidsmålingene for de andre blokk-respons-kombinasjonene, ble det observert en signifikant effekt av aksjonsklassen i MD (se figur 7B) og AUC (se figur 8B) score på lave svar i byrådimensjonen. Figur 11 viser at deltakerne nølte mot høyalternativet og beveget seg mer mot lavresponsen når de evaluerte tiltak fra tiltaksklasse1 sammenlignet med tiltaksklasse 2 (sammenligning av de blå linjene i figur 11A,B). Til slutt, selv om det ikke var noen signifikant effekt av tiltaksklasse på RT- og MD-score for høye responser på erfaringsdimensjonen, ble det observert en signifikant effekt for AUCs (se figur 8C) av banene (se figur 10); Spesielt nølte deltakerne mer mens de evaluerte handlingsklasse2 sammenlignet med handlingsklasse1 (sammenligning av de oransje linjene i figur 10A, B).

Figur 11: Deltakernes gjennomsnittlige musebaner når de evaluerer aktørene som utfører handlingene som tilhører tiltaksklasse 1 og tiltaksklasse 2 i byrådimensjonen. De oransje linjene viser de gjennomsnittlige musebanene mot høye responser; de blå linjene viser de gjennomsnittlige musebanene mot lave svar. De svarte stiplede rette linjene representerer de idealiserte responsbanene, mens de grå skyggelagte områdene representerer rotens gjennomsnittlige kvadrerte standardavvik. Klikk her for å se en større versjon av denne figuren.

Resultatene så langt støtter våre hypoteser, som antydet at det ville være en effekt av aktørtype og handlingsklasse, og at de avhengige målingene for høy og lav respons for samme aktør og handlingsklasse ville variere på tvers av blokkdimensjonene til byrå og erfaring. Siden dette er en pågående studie, er det utenfor omfanget av denne artikkelen å diskutere mulige årsaker til funnene. Som en tidlig bemerkning kan vi imidlertid understreke at selv om noen resultater for responstiden og målingene fra datamussporingen utfylte hverandre, observerte vi i noen blokkresponsforhold at deltakerne nølte mot det andre alternativet selv når de var raske i sine evalueringer.

Hvis en spesiell OLED-skjerm ikke var inkludert i oppsettet, kunne responstidene til deltakerne fortsatt samles inn med noen andre verktøy, for eksempel knapper å trykke på. Deltakernes musebevegelser kunne imidlertid ikke spores uten å gi en ekstra skjerm og få deltakerne til å se på skjermen og de virkelige skuespillerne frem og tilbake, noe som igjen ville forsinke svarene deres. Så selv om responstider er nyttige indikatorer på vanskeligheten med beslutningsprosessen, avslører musebanene til deltakerne mer om sanntidsdynamikken i beslutningsprosessene før de endelige svarene^32,34.

Supplerende kodefil 1: ExperimentScript1.m Klikk her for å laste ned denne filen.

Supplerende kodefil 2: ExperimentScript2.m Klikk her for å laste ned denne filen.

Supplerende kodefil 3: ExperimentScript3.m Klikk her for å laste ned denne filen.

Supplerende kodefil 4: RecordMouse.m Klikk her for å laste ned denne filen.

Supplerende kodefil 5: InsideROI.m Klikk her for å laste ned denne filen.

Supplerende kodefil 6: RandomizeTrials.m Klikk her for å laste ned denne filen.

Supplerende kodefil 7: RandomizeBlocks.m Klikk her for å laste ned denne filen.

Supplerende kodefil 8: GenerateResponsePage.m Klikk her for å laste ned denne filen.

Supplerende kodefil 9: generere teksturer.m Klikk her for å laste ned denne filen.

Supplerende kodefil 10: ActorMachine.m Klikk her for å laste ned denne filen.

Supplerende kodefil 11: MatchIDtoClass.m Klikk her for å laste ned denne filen.

Supplerende kodingsfil 12: RandomizeWordOrder.m Klikk her for å laste ned denne filen.

Supplerende kodefil 13: ExperimentImages.mat-fil Klikk her for å laste ned denne filen.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Det overordnede målet med denne studien er å bidra til vår forståelse av hvordan menneskelig visuell oppfatning og kognisjon på høyt nivå fungerer i virkelige situasjoner. Denne studien fokuserte på handlingsoppfattelse og foreslo et naturalistisk, men kontrollerbart eksperimentelt paradigme som gjør det mulig for forskere å teste hvordan enkeltpersoner oppfatter og evaluerer andres handlinger ved å presentere virkelige aktører i en laboratorieinnstilling.

Betydningen av denne foreslåtte metodikken sammenlignet med eksisterende metoder er tredelt. (1) Stimuliens naturlighet maksimeres ved å presentere levende handlinger til deltakerne. (2) De virkelige stimuli (dvs. skuespillere), andre verbale stimuli (f.eks. ord eller instruksjoner) og skuespillernes og handlingens responsskjerm presenteres ved å bruke samme modalitet (dvs. den digitale OLED-skjermen) slik at deltakerne ikke mister fokus mens de endrer modaliteten, som i tilfeller av lukkerglassbruk, for eksempel³⁵. (3) Tidssensitive data, for eksempel data om responsvarighet og musebaner, som trenger streng tidskontroll, registreres ved hjelp av en naturlig oppgave i dagens verden, bruk av mus.

Visse kritiske trinn i protokollen er viktige for at dette paradigmet skal fungere sømløst og tillate forskere å nå sine mål samtidig som det gir en anstendig opplevelse for deltakerne. Disse trinnene er like viktige for å lage et slikt system, så vi presenterer dem individuelt uten å bestille dem i henhold til deres kritikalitetsnivå.

Det første kritiske trinnet gjelder manipulering av belysningen i rommet og endring av fargen på bakgrunnen som brukes til deltakerskjermen. Dette trinnet gir en jevn overgang mellom sanntids handlingsytelse og responsskjermen etter hver handlingsprøve. Når alle lysene i rommet er slått av og skjermbakgrunnen er justert til hvit, oppnås 100% opasitet slik at studieinstruksjonene og verbale stimuli kan vises uten forstyrrelser som kan komme fra bevegelser i bakgrunnen. For å gjøre skjermen gjennomsiktig og presentere de verbale stimuli umiddelbart etter handlingstimuli, slås LED-lysene i taket på mens frontlysene holdes slått av for å få en gjennomsiktig skjerm. Lyskretsen er avgjørende for riktig lysmanipulasjon i rommet. Når lysstoffrørene foran (deltakerområdet) og baksiden (skuespillerområdet) på laboratoriet er på, virker opptakene av skuespilleren litt vippet, og deltakeren ser refleksjonen av seg selv og rommet. Når frontlysene i deltakerområdet er av, og LED-lysene i skuespillerområdet er på, kan deltakeren tydelig se skuespillerne uten forstyrrelser. Figur 1 og figur 3 viser hvordan lysmanipulasjoner fungerer i eksperimentet.

Det andre kritiske trinnet i protokollen er kontroll av tid. Handlingene varer 6 s, og belysningen på baksiden av skjermen er automatisert med hensyn til varigheten av handlingene, slik at vi ikke har noen forsinkelse eller akselerasjon på tvers av forsøk. Varigheten mellom blokkene styres imidlertid manuelt (dvs. når vi trenger et skuespillerskifte), slik at vi kan starte neste blokk etter å ha sjekket om alt går som planlagt backstage. Denne perioden er også egnet for forespørsler fra deltakere eller aktører, for eksempel behov for vann eller endring i temperaturen i rommet.

Det tredje kritiske trinnet gjelder bruken av sikkerhetskameraet og klokken. Sikkerhetskameraet muliggjør kommunikasjon mellom eksperimentlederen og skuespillerne. Eksperimentøren sjekker kontinuerlig hva som skjer backstage, for eksempel om skuespilleren er klar eller om den rette skuespilleren er på scenen. Skuespillerne vinker med hendene når de er klare til å utføre handlingene og gjør et krysstegn når det er et problem. Eksperimentøren kan til og med legge merke til om det er et problem med utseendet til en skuespiller, for eksempel å glemme en ørering på ett øre. Klokken lar eksperimentøren advare skuespillerne om et sannsynlig problem. Når de hører klokken, sjekker skuespillerne først om noe ved dem er galt, og hvis det er tilfelle, retter de opp problemet og forteller eksperimentøren at de er klare. Hvis det er et problem på eksperimentørens side, lytter skuespillerne til eksperimentøren som forklarer problemet til deltakeren. De venter stille til eksperimentøren kommer backstage for å løse problemet, for eksempel å koble til igjen etter å ha mistet Internett-tilkoblingen.

Det fjerde trinnet gjelder bruk av et tungt, blendingsgardin for å dele rommet, siden et slikt materiale forhindrer lyset i å lekke inn i den fremre delen av rommet. Dette gardinet forhindrer også lyd til en viss grad, slik at deltakerne ikke hører de små bevegelsene til skuespillerne og de stille samtalene mellom eksperimentøren og skuespillerne i tilfelle et problem.

Det femte trinnet er inkluderingen av Actor PC og etablering av TCP / IP som nettverksprotokoll, siden dette garanterer at meldingene blir levert til den andre enden, i motsetning til med UDP. På denne måten kan skuespillerne bli informert om neste handling de skal utføre, og deltakerne skjønner ikke dette fra deres synspunkt. Dessuten, siden alle enhetene er på samme nettverk, blir eventuell ekstra ventetid forårsaket av TCP / IP ubetydelig.

Det sjette viktige trinnet i protokollen er inkluderingen av bakgrunnsmusikk mellom blokkene. Vi arrangerte musikken og blokkene slik at når deltakeren svarer på det siste forsøket i en blokk, begynner musikken å spille høyt (ved 80% maksimalt volum) slik at skuespillerne vet at det er på tide med en forandring, og deltakerne vet at de kan drikke vann eller hvile øynene. Å spille musikk muliggjør en jevn overgang mellom skuespillere uten å høre bevegelsene deres eller andre lyder, noe som gir en følelse som ligner på å se et skuespill på teatret.

Vi tror at det naturalistiske oppsettet som presenteres i dette papiret, er et flott verktøy for å undersøke om mekanismene som ligger til grunn for den visuelle oppfatningen av andres handlinger som har blitt avslørt av tradisjonelle laboratorieeksperimenter, tilnærmer seg naturlig oppførsel i den virkelige verden. Å observere ekte skuespillere og deres live-handlinger vil åpenbart gi en rik kilde til 3D-visuell og multisensorisk informasjon og ha råd til handlebarhet på grunn av skuespillerens fysiske og sosiale tilstedeværelse. Derfor antar vi at oppfatningen av levende handlinger kan fremkalle raskere og forbedrede atferdsmessige og nevrale responser i det velkjente handlingsoppfattelsesnettverket som tidligere ble avslørt av tradisjonelle laboratorieeksperimenter ved hjelp av statiske bilder og videoer. I tillegg kan oppfatningen av levende handlinger drive flere nevrale kretser som behandler 3D-dybdesignaler³⁶, og vestibulær informasjon for å koordinere kroppen i rommet mens du forbereder deg på å handle i verden³⁷. En begrensning av denne studien er at svarene fra de virkelige aktørene i det naturalistiske oppsettet ikke ble sammenlignet med svarene man ville få for forenklede stimuli som statiske bilder eller videoer. I fremtidige studier vil vi jobbe mot dette målet ved systematisk å sammenligne atferdsmessige og nevrale responser under handlingsoppfattelse i tradisjonelle laboratorieinnstillinger med de i det naturalistiske oppsettet.

Vi ser også på noen begrensninger ved paradigmet som foreslås i denne studien på flere fronter. Den første er at, som de fleste naturalistiske studier, krever denne metoden økonomiske og tidsressurser. En slik studie vil være høyere når det gjelder budsjettet enn studier som bruker forhåndsinnspilte dynamiske stimuli presentert regelmessig, siden denne studien inkluderer spesialutstyr for å vise de virkelige handlingene, og virkelige aktører deltar i studien for hver datainnsamlingsøkt. I tillegg kan datainnsamlingsprosessen for denne studien ta lengre tid siden de virkelige aktørene utfører handlingene gjentatte ganger; Det er en fysisk grense for dem, i motsetning til for studier som bruker bilder eller videoer presentert på dataskjermer. En annen relatert begrensning kan være vanskeligheten med å sørge for at skuespillerne utfører hver handling på samme måte på tvers av blokkene og deltakerne; Men med tilstrekkelig trening kan skuespillere bli trygge på hver handling, siden de er 6 s lange. Fremtidig arbeid kan registrere levende handlinger og deretter bruke datasyn for å kvantifisere variabiliteten på tvers av ulike forsøk på forsøkene.

For det andre kan skjermens lysstyrkenivå, når det brukes ugjennomsiktig, og de raske endringene i lynet mellom de ugjennomsiktige og gjennomsiktige skjermene forårsake et problem for deltakere med visuelle problemer eller lidelser som epilepsi. Denne potensielle begrensningen ble adressert ved å spørre deltakerne om de har en slik lidelse eller bekymring for et slikt scenario og rekruttere de som rapporterte at de ikke ville bli plaget av et slikt scenario. I tillegg klaget ingen av deltakerne på musikken vi spilte i bakgrunnen under skuespilleren og blokkendringer, men noen deltakere kan bli forstyrret av slik støy. Et middel for dette kan være bruk av støyreduserende hodetelefoner. Imidlertid kan de også forhindre inngrep av eksperimentøren under studien eller påvirke naturen til det eksperimentelle oppsettet.

Andre mulige modifikasjoner kan brukes på det nåværende paradigmet; For eksempel, hvis eksperimentdesignet krever at deltakerne samhandler med skuespillerne muntlig, kan begge sider bruke Lapel-mikrofoner. Alle nettverkstilkoblinger kan være kablet eller trådløst så lenge TCP / IP-tilkoblinger kan etableres. Måter å presentere handlingene i en eller annen sammenheng kan undersøkes og anvendes for å se om dette vil bidra til å øke paradigmets naturlighet.

Det nåværende oppsettet kan være en ideell plattform for kognitiv nevrovitenskap og kognitive psykologistudier som krever presis timing og strengt kontrollerte stimuli under forhåndsdefinerte forhold. Dette inkluderer studier som bruker teknikker som øyesporing, hodebunn eller intrakranielt EEG, fNIRS og til og med MEG, enten med tradisjonelle oppsett eller i mer mobile oppsett, som er mer gjennomførbare i dag³⁸. Forskere fra disse feltene kan tilpasse de eksterne egenskapene til oppsettet, for eksempel belysningen av rommet eller antall skuespillere, samt objektene som skal presenteres. En annen mulighet er at forskere kan manipulere skjermegenskapene til den digitale skjermen for å gi en mer ugjennomsiktig eller gjennomsiktig skjerm i henhold til studiens behov. Andre mulige forskningsområder der den foreslåtte metodikken kan brukes, kan være interaksjonsforskning mellom mennesker og roboter, der sanntidsinteraksjoner mellom mennesker og roboter er nødvendig i realistiske scenarier.

Avslutningsvis, gitt nødvendigheten av å flytte til mer naturalistiske studier som er mer som virkelige situasjoner i kognitiv nevrovitenskap 13,14,15,16,17,18,19,20,21,38, betydelig teknologisk utvikling i naturalistisk hjerne-kroppsavbildning (f.eks. Samtidig bruk av EEG, motion capture, EMG og øyesporing), og bruk av dyp læring som et grunnleggende rammeverk for menneskelig informasjonsbehandling^39,40, tror vi at det er riktig tidspunkt å begynne å studere oppfatningen av levende handlinger^, så vel som dens nevrale underlag.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne erklærer at de ikke har noen relevante eller vesentlige økonomiske interesser knyttet til forskningen beskrevet i denne artikkelen.

Acknowledgments

Dette arbeidet ble støttet av tilskudd til Burcu A. Urgen fra The Scientific and Technological Research Council of Türkiye (prosjektnummer: 120K913) og Bilkent University. Vi takker vår pilotdeltaker Sena Er Elmas for å bringe ideen om å legge til bakgrunnsstøy mellom skuespillerendringene, Süleyman Akı for å sette opp lyskretsen, og Tuvana Karaduman for ideen om å bruke et sikkerhetskamera backstage og hennes bidrag som en av skuespillerne i studien.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)

DOWNLOAD MATERIALS LIST

References

Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686 (2019).
Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002 (2020).
Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
Newen, A., De Bruin, L., Gallagher, S. The Oxford Handbook of 4E Cognition. , Oxford University Press. Oxford, UK. (2018).
Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143 (2012).
Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660 (2015).
Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254 (2020).
Kihlstrom, J. F. Ecological validity and "ecological validity". Perspectives on Psychological Science. 16 (2), 466-471 (2021).
Brunswik, E. Perception and the Representative Design of Psychological Experiments. , University of California Press. Oakland, California. (1956).
Aronson, E., Carlsmith, J. M. Experimentation in social psychology. The Handbook of Social Psychology. Gilbert, D. T., Fiske, S. T., Lindzay, G. , McGraw-Hill. New York, NY. 1-79 (1968).
Hammond, K. Ecological validity: Then and now. University of Colorado. , Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998).
Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702 (2021).
Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
Gray, H. M., Gray, K., Wegner, D. M. Dimensions of mind perception. Science. 315 (5812), 619 (2007).
Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16 (2006).
Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464 (1998).
Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762 (2019).
Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A. Stereoscopically observing manipulative actions. Cerebral Cortex. 26 (8), 3591-3610 (2016).
Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94 (2016).

Neuroscience

Et naturalistisk oppsett for å presentere virkelige mennesker og levende handlinger i eksperimentell psykologi og kognitive nevrovitenskapsstudier

Summary

Abstract

Introduction

Protocol

Representative Results

Discussion

Disclosures

Acknowledgments

Materials

References

Tags

Cite this Article

Summary

Abstract

Introduction

Protocol

Representative Results

Discussion

Disclosures

Acknowledgments

Materials

References

Tags

Cite this Article

Get cutting-edge science videos from JoVE sent straight to your inbox every month.