Et psykofysikkparadigme for innsamling og analyse av likhetsdommer

Summary

Protokollen presenterer et eksperimentelt psykofysikkparadigme for å oppnå store mengder likhetsdommer, og en tilhørende analysearbeidsflyt. Paradigmet sonderer konteksteffekter og muliggjør modellering av likhetsdata når det gjelder euklidiske rom på minst fem dimensjoner.

Abstract

Likhetsdommer brukes ofte til å studere mentale representasjoner og deres nevrale korrelasjoner. Denne tilnærmingen har blitt brukt til å karakterisere perseptuelle mellomrom i mange domener: farger, objekter, bilder, ord og lyder. Ideelt sett kan det være lurt å sammenligne estimater av oppfattet likhet mellom alle par stimuli, men dette er ofte upraktisk. Hvis man for eksempel ber et emne om å sammenligne likheten mellom to elementer og likheten mellom to andre elementer, vokser antall sammenligninger med den fjerde kraften i stimulanssettstørrelsen. En alternativ strategi er å be om en grad av likheter mellom isolerte par, for eksempel på en Likert-skala. Dette er mye mer effektivt (antall rangeringer vokser kvadratisk med angitt størrelse i stedet for kvartisk), men disse vurderingene har en tendens til å være ustabile og har begrenset oppløsning, og tilnærmingen antar også at det ikke er noen konteksteffekter.

Her presenteres et nytt rangeringsparadigme for effektiv innsamling av likhetsdommer, sammen med en analyserørledning (programvare gitt) som tester om euklidiske avstandsmodeller står for dataene. Typiske studier består av åtte stimuli rundt en sentral referansestimulans: emnet rangerer stimuli i rekkefølge etter deres likhet med referansen. Ved fornuftig utvalg av kombinasjoner av stimuli som brukes i hver studie, har tilnærmingen interne kontroller for konsistens og konteksteffekter. Tilnærmingen ble validert for stimuli trukket fra euklidiske rom på opptil fem dimensjoner.

Tilnærmingen er illustrert med et eksperiment som måler likheter mellom 37 ord. Hver studie gir resultatene av 28 parvise sammenligninger av skjemaet: "Var en mer lik referansen enn B var til referansen?" Mens direkte sammenligning av alle par stimuli ville ha krevd 221445 forsøk, muliggjør dette designet rekonstruksjon av det perseptuelle rommet fra 5994 slike sammenligninger oppnådd fra 222 studier.

Introduction

Mennesker mentalt behandler og representerer innkommende sensorisk informasjon for å utføre et bredt spekter av oppgaver, for eksempel objektgjenkjenning, navigasjon, slutning om miljøet og mange andre. Likhetsdommer brukes ofte til å granske disse mentale ^{representasjonene1}. Forståelse av strukturen av mentale representasjoner kan gi innsikt i organiseringen av konseptuell ^kunnskap2. Det er også mulig å få innsikt i nevrale beregninger, ved å relatere likhetsvurderinger til hjerneaktiveringsmønstre3. I tillegg avslører likhetsdommer funksjoner som er fremtredende i ^oppfatning4. Å studere hvordan mentale representasjoner endres under utvikling kan belyse hvordan de ^læres5. Dermed gir likhetsvurderinger verdifull innsikt i informasjonsbehandling i hjernen.

En vanlig modell for mentale representasjoner ved hjelp av likheter er en geometrisk rommodell6,7,8. Brukt på sensoriske domener, blir denne typen modell ofte referert til som et perseptuelt ^rom9. Punkter i rommet representerer stimuli og avstander mellom punkter tilsvarer den oppfattede ulikheten mellom dem. Fra likhetsvurderinger kan man oppnå kvantitative estimater av ulikheter. Disse parvis forskjellige (eller perseptuelle avstandene) kan deretter brukes til å modellere det perseptuelle rommet via flerdimensjonal ^skalering10.

Det er mange metoder for å samle likhetsdommer, hver med sine fordeler og ulemper. Den enkleste måten å oppnå kvantitative mål på ulikhet er å be fagene rangere på en skala graden av ulikhet mellom hvert par stimuli. Selv om dette er relativt raskt, har estimater en tendens til å være ustabile på tvers av lange økter, da emner ikke kan gå tilbake til tidligere dommer, og konteksteffekter, hvis de er til stede, kan ikke oppdages. (Her defineres en konteksteffekt som en endring i den dømte likheten mellom to stimuli, basert på tilstedeværelsen av andre stimuli som ikke sammenlignes.) Alternativt kan bli bedt om å sammenligne alle par stimuli med alle andre par stimuli. Selv om dette ville gi en mer pålitelig rangbestilling av ulikheter, krevde antall sammenligninger skalaer med den fjerde kraften i antall stimuli, noe som gjør det mulig for bare små stimulanssett. Raskere alternativer, som å sortere i et forhåndsdefinert antall ^klynger11 eller gratis sortering, har sine egne begrensninger. Fri sortering (i et hvilket som helst antall hauger) er intuitivt, men det tvinger emnet til å kategorisere stimuliene, selv om stimuliene ikke lett gir seg til kategorisering. Den nyere multi-arrangementsmetoden, omvendt MDS, omgår mange av disse begrensningene og er veldig ^effektiv12. Denne metoden krever imidlertid at fagene projiserer sine mentale representasjoner på et 2D euklidsk plan og å vurdere likheter på en bestemt geometrisk måte, noe som gjør antagelsen om at likhetsstruktur kan gjenopprettes fra euklidiske avstander på et plan. Dermed er det fortsatt behov for en effektiv metode for å samle store mengder likhetsvurderinger, uten å gjøre antagelser om geometrien som ligger til grunn for dommene.

Beskrevet her er en metode som både er rimelig effektiv og også unngår de ovennevnte potensielle fallgruvene. Ved å be forsøkspersonene rangere stimuli etter likhet med en sentral referanse i hver ^studie13, kan relativ likhet undersøkes direkte, uten å anta noe om den geometriske strukturen til fagenes svar. Paradigmet gjentar et delsett av sammenligninger med både identiske og forskjellige sammenhenger, noe som muliggjør direkte vurdering av konteksteffekter samt oppkjøp av graderte svar når det gjelder valgsannsynligheter. Analyseprosedyren dekomponerer disse rangvurderingene i flere parvise sammenligninger og bruker dem til å bygge og søke etter euklidske modeller av perseptuelle rom som forklarer dommene. Metoden er egnet for å beskrive i detalj representasjon av stimulussett av moderate størrelser (f.eks. 19 til 49).

For å demonstrere muligheten for tilnærmingen ble det utført et eksperiment ved hjelp av et sett med 37 dyr som stimuli. Data ble samlet inn i løpet av 10 en-timers økter og deretter analysert separat for hvert emne. Analyse avdekket konsistens på tvers av og ubetydelige konteksteffekter. Det vurderte også konsistens av oppfattede ulikheter mellom stimuli med euklidiske modeller av deres perseptuelle rom. Paradigme- og analyseprosedyrene som er skissert i dette dokumentet er fleksible og forventes å være til nytte for forskere som er interessert i å karakterisere de geometriske egenskapene til en rekke perseptuelle rom.

Protocol

Før eksperimentene starter, gir alle informert samtykke i samsvar med institusjonelle retningslinjer og Helsinkideklarasjonen. I tilfelle av denne studien ble protokollen godkjent av det institusjonelle gjennomgangsstyret til Weill Cornell Medical College.

1. Installasjon og oppsett

1. Last ned koden fra GitHub-repositoriet, likheter (https://github.com/jvlab/similarities). I kommandolinjen kjører du: git klone https://github.com/jvlab/similarities.git. - Hvis git ikke er installert, last ned koden som en zippet mappe fra depotet.
   MERK: I depotet er to underkataloger: eksperimenter, som inneholder to prøveeksperimenter, og analyse, som inneholder et sett med pythonskript for å analysere innsamlede likhetsdata. I eksperimentkatalogen bruker en (word_exp) ordstimuli, og den andre (image_exp) viser bildestimuli. Noe kjennskap til Python vil være nyttig, men ikke nødvendig. Kjennskap til kommandolinjen antas: flere trinn krever kjøring av skript fra kommandolinjen.
2. Installer følgende verktøy og konfigurer et virtuelt miljø.
   1. python 3: Se linken for instruksjoner: https://realpython.com/installing-python/. Dette prosjektet krever Python versjon 3.8.
   2. PsychoPy: Fra lenken (https://www.psychopy.org/download.html), last ned den nyeste frittstående versjonen av PsychoPy for det aktuelle operativsystemet, ved hjelp av den blå knappen, under Installasjon. Dette prosjektet bruker PsychoPy versjon 2021.2; De medfølgende prøveeksperimentene må kjøres med riktig versjon av PsychoPy som angitt nedenfor.
   3. conda: Fra lenken (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), last ned conda, gjennom Miniconda eller Anaconda, for det aktuelle operativsystemet.
   4. Kjør følgende på kommandolinjen for å opprette et virtuelt miljø med de nødvendige pythonpakkene:
      cd ~/likheter
      conda env opprette -f miljø.yaml
   5. Kontroller om det virtuelle miljøet er opprettet, og aktiver det på følgende måte:
      conda env liste # venv_sim_3.8 bør være oppført
      conda aktivere venv_sim_3.8 # for å gå inn i det virtuelle miljøet
      conda deactivate # for å avslutte det virtuelle miljøet etter å ha kjørt skript
      MERK: Det kan noen ganger ta lang tid å kjøre skript i et miljø. Det kan ta opptil ett minutt å se utskrifter på kommandolinjen når du kjører et skript.
3. Hvis du vil sikre at nedlastet kode fungerer som forventet, kjører du de medfølgende eksempeleksperimentene ved hjelp av fremgangsmåten nedenfor.
   MERK: Eksperimentkatalogen (likheter/eksperimenter) inneholder prøveeksperimenter (word_exp og image_exp), som benytter seg av to typer stimuli: ord og bilder.
   1. Åpne PsychoPy. Gå til Vis, og klikk deretter Koder, fordi PsychoPys standardbygger ikke kan åpne .py filer. Gå til Fil, klikk Åpne, og åpne word_exp.py (likheter/eksperimenter/word_exp/word_exp.py).
   2. Hvis du vil laste inn eksperimentet, klikker du den grønne Kjør eksperiment-knappen . Skriv inn initialer eller navn og øktnummer, og klikk OK.
   3. Følg instruksjonene og kjør gjennom noen få forsøk for å sjekke at stimuli grå ut når du klikker. Trykk ESC når du er klar til å avslutte.
      MERK: PsychoPy åpnes i fullskjerm, viser først instruksjoner, og deretter noen få forsøk, med plassholdertekst i stedet for stimulusord. Når du klikker det, blir ordene nedtonet. Når alle ordene er klikket, begynner neste prøveversjon. PsychoPy kan når som helst avsluttes ved å trykke esc-tasten . Hvis programmet avsluttes i trinn 1.3.2 eller 1.3.3, er det mulig at brukerens operativsystem krever tilgang til tastaturet og musen. I så fall vil en beskrivende feilmelding bli skrevet ut i PsychoPy Runner-vinduet, som vil veilede brukeren.
   4. Kontroller deretter at bildeeksperimentet kjører med plassholderbilder. Åpne PsychoPy. Gå til Fil. Klikk Åpne og velg image_exp.psyexp (likheter/eksperimenter/image_exp/image_exp.psyexp).
   5. Klikk Tannhjul-ikonet for å sikre at riktig versjon brukes. Fra alternativet Bruk PsychoPy versjon velg 2021.2 fra rullegardinmenyen.
   6. Som før klikker du på den grønne Kjør eksperiment-knappen . Skriv inn initialer eller navn og øktnummer, og klikk OK.
      MERK: Som i trinn 1.3.2 vil PsychoPy først vise instruksjoner og deretter gjengi prøveversjoner etter at bildene er lastet inn. Hver prøveversjon vil inneholde åtte plassholderbilder rundt et sentralt bilde. Hvis du klikker på et bilde, blir det grått. Programmet kan avsluttes ved å trykke esc.
   7. Naviger til datakatalogen i hver av eksperimentkatalogene for å se utdataene:
      likheter/eksperimenter/image_exp/data
      likheter/eksperimenter/word_exp/data
      MERK: Eksperimentelle data skrives til datakatalogen. Svarene.csv filen inneholder svar på prøveklikk. Loggfilen inneholder alle tastetrykk og museklikk. Det er nyttig for feilsøking, hvis PsychoPy avsluttes uventet.
4. Hvis du vil kontrollere at analyseskriptene fungerer som forventet, kan du eventuelt reprodusere noen av tallene i delen Representative Results på følgende måte.
   1. Lag en katalog for forhåndsbehandlede data:
      cd ~/likheter
      mkdir prøvematerialer/emnedata/forhåndsbehandlet
   2. Kombiner rådataene fra alle svarene.csv filer til én jsonfil. Kjør følgende på kommandolinjen:
      cd-likheter
      conda aktivere venv_sim_3.8
      python -m analysis.preprocess.py
   3. Når du blir bedt om det, skriver du inn følgende verdier for inndataparameterne: 1) bane til emnedata: ./sample-materials/subject-data, 2), navn på eksperiment: sample_word og 3) emne-ID: S7. Json-filen vil være i likheter / prøvematerialer / emnedata / forhåndsbehandlet.
   4. Når dataene er forhåndsbehandlet, følger du trinnene i prosjektet README under reprodusering av tall. Disse analyseskriptene kjøres senere for å analysere data som er samlet inn fra brukerens eget eksperiment.

2. Datainnsamling ved å sette opp et tilpasset eksperiment

MERK: Prosedyrer er skissert for både bilde- og ordeksperimenter frem til trinn 3.1. Etter dette trinnet er prosessen den samme for begge eksperimentene, så bildeeksperimentet er ikke eksplisitt nevnt.

1. Velg et eksperiment som skal kjøres. Naviger til ordet eksperiment (likheter/eksperimenter/word_exp) eller bildeeksperimentet (likheter/eksperimenter/image_exp).
2. Bestem deg for antall stimuli. Standardstørrelsen på stimulussettet er 37. Hvis du vil endre dette, åpner du konfigurasjonsfilen (likheter/analyse/config.yaml) i et redigeringsprogram for kildekode. I num_stimuli parameteren i analysekonfigurasjonsfilen angir du stimulusstørrelsen lik mk + 1 som kreves av eksperimentell design for heltall k og m.
   MERK: I standarddesignet ≥ k 3 og m = 6. Gyldige verdier for num_stimuli derfor inneholde 19, 25, 31, 37, 43 og 49 (se tabell 1 for mulige utvidelser av designet).
3. Fullfør de eksperimentelle stimuliene. Hvis ordet eksperiment kjøres, klargjør du en liste over ord. For bildeeksperimentet lager du en ny katalog og plasserer alle stimulusbildene i den. Bildetyper som støttes, er png og jpeg. Ikke bruk punktum som skilletegn i filnavn (f.eks. image.1.png er ugyldig, men image1.png eller image_1.png er gyldige).
4. Hvis du kjører ordet eksperiment, forbered stimuliene som følger.
   1. Opprett en ny fil i eksperimenter/word_exp stimuli.txt. Denne filen leses i trinn 3.3.
   2. I filen skriver du ordene i stimulanssettet slik de er ment å vises i displayet, med hvert ord i en egen linje. Unngå ekstra tomme linjer eller ekstra mellomrom ved siden av ordene. Se utvalgsmaterialer for referanse (likheter/prøvematerialer/ord-exp-materialer/sample_word_stimuli.txt).
5. Hvis bildeeksperimentet kjøres, setter du banen til stimulansen som følger.
   1. I eksperimentkatalogen finner du konfigurasjonsfilen som heter config.yaml (likheter /eksperimenter/config.yaml).
   2. Åpne filen i et redigeringsprogram for kildekode, og oppdater verdien av filvariabelen til banen til mappen som inneholder stimulanssettet (trinn 2.3). Det er her PsychoPy vil se etter bildestimuli.

3. Opprette rangeringsforsøk

1. Bruk en stimuli.txt fil. Hvis ordet eksperiment kjøres, kan filen som ble opprettet i trinn 2.4, brukes. Ellers bruker du listen over filnavn (se referanse likheter/prøvemateriale/bilde-exp-materials/sample_image_stimuli.txt). Plasser denne filen i riktig eksperimentkatalog (word_exp eller image_exp).
2. Unngå ekstra tomme linjer, i tillegg til eventuelle mellomrom i navnene. Bruk kamelCase eller snake_case for stimulusnavn.
3. Deretter oppretter du prøveversjonskonfigurasjoner. Åpne filen config.yaml i analysemappen, og angi verdien for parameteren path_to_stimulus_list til banen til stimuli.txt (opprettet i trinn 3.1).
   1. Fra likhetsmappen kjører du skriptet ved å utføre følgende kommandoer etter hverandre:
      cd ~/likheter
      conda aktivere venv_sim_3.8
      python -m analysis.trial_configuration
      conda deaktivert # avslutte det virtuelle miljøet
   2. Dette oppretter en fil som kalles trial_conditions.csv i likheter der hver rad inneholder navnene på stimuliene som vises i en prøveversjon, sammen med deres posisjoner i displayet. Det finnes et eksempel på trial_conditions.csv filen (likheter/prøvemateriale). Hvis du vil ha mer informasjon om inndataparametere for analyseskriptene, kan du se prosjektet VIKTIG under Bruk.

Figur 1: Representative eksempler på forsøk (trinn 3.3). (A) Hver rad inneholder detaljene for en enkelt prøveversjon. Overskrifter angir plasseringen av stimulansen rundt sirkelen. Stimulansen under ref vises i midten og stim 1 til stim 8 vises rundt referansen. (B) Den første studien (rad) fra A er gjengitt av PsychoPy for å vise de åtte stimuliene rundt referansestimulansen, ape. Klikk her for å se en større versjon av denne figuren.

MERK: På dette tidspunktet er det generert et fullstendig sett med 222 forsøk for en komplett eksperimentell kjøring, det vil si for ett fullstendig datasett. Figur 1A viser en del av en tilstandsfil som genereres av skriptet ovenfor, for ordet eksperiment (se Representative Results).

4. Deretter bryter du disse 222 studiene inn i økter og randomiserer prøverekkefølgen. I den typiske designen består økter av 111 prøveversjoner, som hver krever omtrent 1 time å kjøre.
   1. Hvis du vil gjøre dette, kjører du følgende på kommandolinjen:
      conda aktivere venv_sim_3.8
      cd ~/likheter
      python -m analysis.randomize_session_trials
   2. Når du blir bedt om det, skriver du inn følgende inndataparametere: bane til trial_conditions.csv opprettet i trinn 3.3.2; utdatakatalog; antall forsøk per økt: 111; antall repetisjoner: 5.
      MERK: Antall repetisjoner kan også varieres, men vil påvirke antall økter utført i trinn 4 (se Diskusjon: Eksperimentelt paradigme). Hvis du endrer standardverdien for antall gjentakelser, må du huske å redigere verdien for parameteren num_repeats i konfigurasjonsfilen (likheter/analyse/config.yaml). Hvis det er nødvendig, kan du se de trinnvise instruksjonene for å gjøre ovennevnte manuelt i VIKTIG-filen under delen Opprette prøveversjoner.
5. Gi nytt navn til og lagre hver av de genererte filene som betingelser.csv, i sin egen katalog. Se anbefalt katalogstruktur her: likheter/prøvematerialer/emnedata og i prosjektet README.
   MERK: Som beskrevet i trinn 4, gjentas hvert eksperiment fem ganger i standarddesignet, i løpet av 10 timer lange økter, hver på en egen dag. Emner bør bes om å komme for bare en økt per dag for å unngå tretthet. Se tabell 1 for antall forsøk og økter som trengs for stimulussett av forskjellige størrelser.

4. Kjøre eksperimentet og samle inn likhetsdata

1. Forklar oppgaven for emnene og gi dem instruksjoner. I hver studie vil forsøkspersonene se en sentral referansestimulans omgitt av åtte stimuli og bli bedt om å klikke på stimuliene i omrammingen, i rekkefølge av likhet med den sentrale referansen, det vil si at de bør klikke på den mest like første og minst like sist.
2. Be dem prøve å bruke en konsekvent strategi. Fortell dem at de vil bli vist samme konfigurasjon av stimuli flere ganger i løpet av de 10 øktene. Hvis studien undersøker representasjon av semantisk informasjon, må du sørge for at forsøkspersonene er kjent med stimuliene før de starter.
3. Gå til den relevante eksperimentkatalogen (se trinn 2.1). Hvis dette er første gang du kjører eksperimentet, oppretter du en katalog kalt emnedata for å lagre emnesvar. Opprett to undermapper i den: rå og forhåndsbehandlet. For hvert emne oppretter du en undermappe innen underdata/råd.
4. Kopier betingelsene.csv fil klargjort i trinn 3 for den spesifikke økten og lim den inn i gjeldende katalog, det vil si katalogen som inneholder psyexp-filen. Hvis det allerede finnes en fil der, navngitte betingelser.csv, må du passe på å erstatte den med den for gjeldende økt.
5. Åpne PsychoPy og åpne deretter psyexp- eller py-filen i katalogen til det aktuelle eksperimentet. I PsychoPy klikker du på den grønne Play-knappen for å kjøre eksperimentet. Skriv inn emnenavn eller ID og øktnummer i det modale popup-vinduet. Klikk OK for å starte. Instruksjoner vises i begynnelsen av hver økt.
6. La emnet være ca. 1 time for å fullføre oppgaven. Ettersom oppgaven er i eget tempo, kan du oppmuntre fagene til å ta pauser om nødvendig. Når emnet er ferdig med økten, avsluttes PsychoPy automatisk, og filer genereres i likhetene /eksperimentene/_exp/datakatalogen.
7. Overfør disse til emnedata/rå/ katalog (opprettet i trinn 4.3). Se VIKTIG for den anbefalte katalogstrukturen.
   MERK: Som nevnt er loggfilen for feilsøking. Den vanligste årsaken til at PsychoPy lukkes uventet er at et emne ved et uhell trykker på Escape under en økt. Hvis dette skjer, vil svar på prøveversjoner frem til siste fullførte prøveversjon fortsatt bli skrevet til svarene.csv filen.
8. Hvis PsychoPy lukkes uventet, åpner du den på nytt og oppretter en ny tilstand.csv fil, med bare forsøkene som ikke var forsøkt. Erstatt den eksisterende øktens vilkårsfil med denne, og løp eksperimentet på nytt. Pass på at du lagrer de genererte filene på riktig sted. På slutten av økten kan de to svarfilene kombineres manuelt til én, selv om dette ikke er nødvendig.
9. Gjenta trinn 4.4 til 4.8 for hver av de gjenværende øktene.
10. Når alle øktene er fullført, kombinerer du RÅ datafilene og formaterer dem på nytt i en enkelt json-fil for videre behandling. For å gjøre dette, kjør preprocess.py i terminalen (likheter / analyse / forprosess.py) som følger:
    cd ~/likheter
    conda aktivere venv_sim_3.8
    python -m analyse.preprocess
11. Når du blir bedt om det, skriver du inn de forespurte inndataparameterne: banen til emnedatakatalogen, emne-IDene som dataene skal forhåndsbehandles for, og eksperimentnavnet (brukes til å gi utdatafilen et navn). Trykk ENTER.
12. Avslutt det virtuelle miljøet:
    conda deaktivert
    MERK: Dette vil opprette en json-fil i utdatakatalogen som kombinerer svar på tvers av repetisjoner for hver prøveversjon. Likhetsdata leses inn fra fagdata/råd og skrives til fagdata/forhåndsbehandlet.

5. Analysere likhetsvurderinger

MERK: Emner blir bedt om å klikke stimuli i rekkefølge etter likhet med referansen, og gir dermed en rangering i hver prøve. For standardeksperimenter gjentar du hver prøve fem ganger, og genererer fem rangeringsrekkefølger med de samme åtte stimuliene (se figur 2B). Disse rangeringsvurderingene tolkes som en serie sammenligninger der et emne sammenligner par med perseptuelle avstander. Det antas at subjektet stiller følgende spørsmål før hvert klikk: "Er (perseptuell) avstand mellom referanse og stimulans A mindre enn avstanden mellom referansen og stimulansen B?" Som vist i figur 2C, gir dette valgsannsynligheter for sammenligninger av flere parvise likheter for hvert forsøk. Analysen nedenfor bruker disse valgsannsynlighetene.

Figur 2: Oppnå valgsannsynligheter ved å rangere dommer. (A) En illustrasjon av en prøve fra ordet eksperiment vi utførte. (B) Fem rangeringsbestillinger ble oppnådd for samme prøveversjon, i løpet av flere økter. (C) Valgsannsynligheter for de parvis ulike sammenligningene som de rangerte dommene representerer. Klikk her for å se en større versjon av denne figuren.

1. Bestem parvise valgsannsynligheter fra rangeringsrekkefølgevurderinger.
   1. I likheter/analyser kjører du describe_data.py på kommandolinjen.
      cd ~/likheter
      conda aktivere venv_sim_3.8
      python -m analysis.describe_data
   2. Når du blir bedt om det, angir du banen til emnedata/forhåndsbehandlet og listen over emner som analysen skal kjøres for.
      MERK: Dette vil skape tre typer plott: i) fordelingen av valgsannsynligheter for et gitt emnes komplette datasett, ii) varmekart for å vurdere konsistens på tvers av valgsannsynligheter for par av, og iii) et varmekart over valgsannsynligheter for alle sammenligninger som forekommer i to sammenhenger for å vurdere konteksteffekter. Operasjonelt betyr dette å sammenligne valgsannsynligheter i par av forsøk som inneholder samme referanse og et felles par stimuli i ringen, men varierer i alle andre stimuli i ringen: varmekartet viser hvordan valgsannsynligheten avhenger av denne konteksten.
2. Generer lavdimensjonale euklidske modeller av de perseptuelle områdene ved hjelp av valgsannsynlighetene. Kjør model_fitting.py på kommandolinjen på følgende måte:
   cd ~/likheter
   conda aktivere venv_sim_3.8
   python -m analysis.model_fitting
   1. Angi følgende inndataparametere når du blir bedt om det: bane til emnedata/forhåndsbehandlet mappe. antall stimuli (37 som standard); antall gjentakelser (antall ganger modelleringsanalysen skal kjøres); utdatamappen; og mengden gaussisk støy (0,18 som standard).
      MERK: Det tar noen timer å kjøre dette skriptet. Når du er ferdig, vil npy-filer som inneholder de beste koordinatene for 1D-, 2D-, 3D-, 4D- og 5D-modeller som beskriver likhetsdataene, bli skrevet til utdatakatalogen. En CSV-fil som inneholder logg-sannsynlighetsverdier for de forskjellige modellene, genereres.
3. Visualiser logg-sannsynligheten for de oppnådde modellene og vurder deres passform. Dette gjør du ved å kjøre likheter/analyse/model_fitting_figure.py på kommandolinjen:
   cd ~/likheter
   python -m analysis.model_fitting_figure
   1. Når du blir bedt om det, skriver du inn den nødvendige parameteren: banen til CSV-filene som inneholder logg-sannsynligheter (fra trinn 5.2).
   2. Analyser figuren som genereres, og vis logg-sannsynligheter på y-aksen og modelldimensjonene på x-aksen. Som en sanitetskontroll er to modeller i tillegg til euklidiske modeller inkludert: en tilfeldig valgmodell og en best mulig modell.
      MERK: Den tilfeldige valgmodellen antar at forsøkspersonene klikker tilfeldig. Dermed gir det en absolutt nedre grense på logg-sannsynligheten for enhver modell som er bedre enn tilfeldig. På samme måte, som en øvre grense for logg-sannsynligheten (merket best), er det logg-sannsynligheten for en modell som bruker de empiriske valgsannsynlighetene som modellsannsynligheter.
   3. Kontroller at ingen euklidsk modell overgår den beste modellen, da den beste modellen er, etter design, overfit og ubegrensede av geometriske hensyn. Kontroller at sannsynlighetene som er tegnet inn, er i forhold til den beste logg-sannsynligheten.
4. Visualiser de perseptuelle områdene for hvert emne. Generer scatterplots som viser punktene fra 5D-modellen som projiseres til de to første hovedkomponentene. Hvis du vil gjøre dette, kjører du likheter/analyse/perceptual_space_visualizations.py på kommandolinjen:
   cd ~/likheter
   python -m analysis.perceptual_space_visualizations
   1. Når du blir bedt om det, skriver du inn parameterne: emne-IDene (atskilt med mellomrom) og banen til npy-filen som inneholder 5D-punktene hentet fra trinn 5.2.
   2. Når skriptet er ferdig med å kjøre, avslutter du det virtuelle miljøet:
      conda deaktivert
      MERK: Dette skriptet er for visualisering av likhetsvurderingene. Det vil opprette en 2D-punktplott, ved å projisere 5D-punktene på de to første hovedkomponentene, normalisert for å ha lik varians. To punkter vil være lenger fra hverandre hvis motivet betraktet dem som mindre like og omvendt.

Representative Results

Figur 1A viser en del av en tilstandsfil som genereres av skriptet i trinn 3.3, for ordet eksperiment. Hver rad tilsvarer en prøveversjon. Stimulansen i ref-kolonnen vises midt på displayet. Kolonnenavnene stim1 til stim8 tilsvarer åtte posisjoner langs en sirkel, som går mot klokken, fra posisjonen til høyre for den sentrale referansen. En prøve fra ordet eksperiment vises i figur 1B.

For å demonstrere gjennomførbarhet og reproduserbarhet ble det utført et eksperiment der stimulanssettet besto av navnene på 37 dyr. Komplette datasett ble samlet inn fra åtte friske personer med normal syn som en del av en studie. For å demonstrere metoden vises data fra tre av disse fagene her, hvorav to var naive til formålet med studien. Informert samtykke ble innhentet i samsvar med Helsinkideklarasjonen og de institusjonelle retningslinjene til Weill Cornell Medical College.

Etter datainnsamlingen ble den første behandlingen som er skissert ovenfor (protokolltrinn 4.10-4.12) utført. Forsøkspersonenes svar i hver studie ble tolket som et sett med uavhengige, binære valg av formen "Er avstanden mellom referansen og _s1 mindre enn den mellom referansen og _s2?" for alle stimulipar i den omkringliggende ringen. Rangdommer ble dekomponert i slike parvise valg, som vist i figur 2C.

Figur 3A viser fordelingen av disse valgsannsynlighetene, som var svært konsistent på tvers av emner (protokolltrinn 5.1). Siden hvert forsøk ble gjentatt fem ganger, tok valgsannsynligheter følgende verdier: 0, 0,2, 0,4, 0,6, 0,8 og 1. De hyppigste valgsannsynlighetene er 0 og 1, noe som utgjør 50% -70% av alle beslutninger i hvert av fagene; Dette er dommene som ett alternativ velges for hver gang. Hvis du for eksempel dømmer avstanden mellom _s1 og _s2 som mindre enn avstanden mellom _s1 og _s3 0 ut av 5 ganger, tilsvarer det en valgsannsynlighet på 0. å gjøre denne dommen 5 av 5 ganger vil tilsvare en valgsannsynlighet på 1. Spesielt er det mye konsistens i valgsannsynligheter mellom fagene, selv for de vurderinger som ikke er ekstreme, sett ved klyngen av dataene nær diagonalen i hvert av panelene i figur 3B.

Deretter ble konteksteffekter vurdert. Dette var mulig på grunn av et viktig trekk ved eksperimentell design: mange trillinger av en referansestimulans og to sammenligningsstimuli _s1 og _s2 gjentas i to sammenhenger (dvs. med tydelige sett med seks andre stimuli for å fullføre stimulansmatrisen). Deretter ble valgsannsynligheten for hver parvis sammenligning tabulert i hver kontekst separat. Den dominerende diagonalen i figur 4 indikerer at for hvert emne er valgsannsynlighetene i de to kontekstene - inkludert valgsannsynlighetene som er mellomliggende mellom 0 og 1 - nær identiske. Hvis valgsannsynligheter var sterkt avhengige av kontekst, ville de ikke være sterkt korrelert, og denne diagonalen ville ikke være fremtredende.

Konteksteffekter ble også vurdert av et statistisk mål. Målet på konteksteffekt er konstruert som følger. Det første trinnet er å beregne en ubalansestatistikk for det observerte datasettet (detaljert nedenfor), som kvantifiserer i hvilken grad de observerte vurderingene ser ut til å avhenge av kontekst. Deretter konstruerer vi 10000 simulerte datasett med samme prøvekonfigurasjoner, prøveantall og generelle valgsannsynligheter som de faktiske dataene, men genereres på en måte som ikke inneholder noen konteksteffekter - ved å tilfeldig tilordne de observerte vurderingene til de to kontekstene. Deretter beregner vi ubalansestatistikken for disse simulerte datasettene på samme måte som for de observerte svarene. Til slutt sammenligner vi ubalansestatistikken for de observerte svarene med ubalansestatistikken for de simulerte datasettene, for å fastslå sannsynligheten for at den observerte ubalansen kunne ha blitt oppnådd fra et datasett uten konteksteffekt. En empirisk p-verdi på < 0,05 antyder at det finnes en konteksteffekt. For dataene i figur 4 var p-verdiene henholdsvis 0,98, 0,30 og 0,33 for henholdsvis S4, S7 og S9, det vil si at alle verdiene var > 0,05.

Ubalansestatistikken for et datasett beregnes som en sum av bidrag over alle triader som forekommer i to sammenhenger. Bidraget for hver triade (sammenligning, si d(ref, s1) med d(ref, _s2)) bestemmes som følger. For det første er dommene for denne triaden registrert i et 2 x 2 bord. Kolonnene tilsvarer de to kontekstene, slik at kolonnesummene begrenses av det totale antallet presentasjoner i denne konteksten. Radene tilsvarer antall alternative dommer, d(ref, _s1) < d(ref, _s2) eller d(ref, _s1) > d(ref, s2), slik at radsummene begrenses av de observerte valgene, summert på tvers av kontekster. Siden den tosidige Fisher-eksakte ^testen14 gir sannsynligheten for at en tabell med den observerte (eller større) interaksjonen mellom rader og kolonner (dommer og sammenhenger) vil bli sett hvis ingen interaksjon faktisk er til stede, bruker vi den negative logaritmen av denne sannsynligheten som bidraget fra denne triaden til den generelle ubalansestatistikken. Oppsummering av de negative logaritmene for å skape en samlet ubalansestatistikk fanger dermed opp den felles sannsynligheten for den observerte ubalansen på tvers av triader, under nullhypotesen om ingen konteksteffekt.

For å modellere den mentale representasjonen av dyrenavnene ble euklidiske modeller av perseptuelle rom på 1, 2, 3, 4 og 5 dimensjoner avledet ved hjelp av en maksimal sannsynlighetstilnærming. Fagenes svar ble modellert som beslutninger som reflekterer sammenligningen av to avstander med additiv gaussisk støy som representerer feil i estimering, det vil si støy på beslutningsstadiet. Figur 5 viser logg-sannsynligheter (per beslutning) av fem euklidiske modeller. Logg-sannsynlighetene vises i forhold til logg-sannsynligheten for den beste modellen, det vil si en modell som tildeler den observerte valgsannsynligheten til hver sammenligning, uten å begrense disse sannsynlighetene ved geometrisk vurdering. For å sette disse logg-sannsynlighetene i perspektiv, er logg-sannsynligheten for en tilfeldig valgmodell også indikert; Dette fungerer som en nedre grense for modellytelse. Modelltilpasning forbedres med hver ekstra dimensjon. Det største hoppet er mellom 1D- og 2D-modellene, noe som indikerer at en enkel 1D-modell ikke klarer å forklare dataene fullt ut. Platået rundt dimensjon 4 til 5 indikerer imidlertid at selv 5D-modellen ikke helt fanger avstandene som står for likhetsvurderingene. For å validere tilnærmingen ble datasamlebåndet også kjørt på simulerte data. Separate eksperimenter ble simulert for å generere likhetsvurderinger mellom punkter hentet fra henholdsvis 1D, 2D, 3D, 4D og 5D. I alle tilfeller identifiserte metoden riktig dimensjonaliteten. Videre ga en modell med riktig dimensjonalitet en logg-sannsynlighet som var enig med grunn sannhetslogg-sannsynligheten oppnådd fra modellen.

Til slutt ble organiseringen av punkter i de perseptuelle rommodellene visualisert. Figur 6 viser disse dataene for ett emne, S7. Hovedkomponentanalyse (PCA) ble utført på punktene fra 5D-modellen til det perseptuelle rommet. Punkt som projiseres på henholdsvis de to første og tredje hovedkomponentene, vises i figur 6A og figur 6B, der akser normaliseres for lik varians. Avstander mellom punkter på linje med likhetsvurderingene oppnådd eksperimentelt: dyr oppfattet som like ble betegnet av punkter som var nær hverandre.

Figur 3: Konsistens på tvers av emner. (A) Fordeling av valgsannsynligheter på tvers av tre emner for alle parvise sammenligninger. (B) Valgsannsynligheter for de samme parvise sammenligningene på tvers av par med emner. Fargelinjen viser forholdet mellom observert felles sannsynlighet og den uavhengige fellessannsynligheten. Høye verdier langs hoveddiagonalen indikerer konsistens på tvers av motiver. Klikk her for å se en større versjon av denne figuren.

Figur 4: Konteksteffekter. Valgsannsynligheter for alle parvise sammenligninger som ble gjort i to sammenhenger, for hvert av tre emner. A refererer vilkårlig til en kontekst der en triade ble presentert, og B refererer til den andre konteksten. Fargelinjen viser forholdet mellom observert felles sannsynlighet og den uavhengige fellessannsynligheten. Høye verdier langs hoveddiagonalen indikerer mangel på konteksteffekter. Klikk her for å se en større versjon av denne figuren.

Figur 5: Resultater av modelltilpasningsanalyse. Relativ logg-sannsynlighet for modeller av forskjellige dimensjoner samt for tilfeldig valg (nedre grense) modell, vist for tre. En relativ logg-sannsynlighet på null tilsvarer logg-sannsynligheten for den beste modellen, der valgsannsynligheter samsvarer med de empiriske valgsannsynlighetene uten hensyn til geometri. Klikk her for å se en større versjon av denne figuren.

Figur 6: Det perseptuelle rommet til ett emne (S7) mer detaljert. Projeksjonen av 5D-koordinater hentet fra modelleringen projiserte på de to første hovedkomponentene i (A) og inn på den første og tredje hovedkomponenten i (B). Akser skaleres slik at variansen langs hver akse er lik. Klikk her for å se en større versjon av denne figuren.

Tabell 1: Eksempelparametersett. Det eksperimentelle paradigmet kan varieres for å ha færre eller flere stimuli, forsøk og parvise sammenligninger. Raden med fet skrift angir parametrene vi brukte. Klikk her for å laste ned denne tabellen.

Tabell 2: Parametere i analyse/config.yaml og eksperimenter/config.yaml. Klikk her for å laste ned denne tabellen.

Discussion

Protokollen som er skissert her er effektiv for å oppnå og analysere likhetsdommer for stimuli som kan presenteres visuelt. Det eksperimentelle paradigmet, analysen og mulige utvidelser diskuteres først, og senere fordelene og ulempene ved metoden.

Eksperimentelt paradigme: Den foreslåtte metoden er demonstrert ved hjelp av et domene på 37 dyrenavn, og det gis et utvalgsdatasett med perseptuelle vurderinger slik at man kan følge analysen i trinn 5 og reprodusere deler av figur 3-6 (protokolltrinn 1.4). Den eksperimentelle designgruppen grupperer disse 37 stimuliene i 222 studier - hver inneholder en referansestimulans i midten og åtte sammenligningsstimuli i den omkringliggende ringen - slik at flere kriterier holder: a) hver av de 37 stimuliene vises som referanse et likt antall (seks) ganger (222 = 37×6), b) over de seks studiene der en stimulus er referansen, alle de resterende 36 stimuliene brukes som sammenligningsstimuli minst en gang, c) 24 stimuli forekommer i nøyaktig en sammenligning med en gitt referanse, og d) seks par stimuli vises med referansen i to separate studier. Dette aspektet av paradigmet, at seks par sammenligningsstimuli forekommer i separate sammenhenger for hver referansestimulans, gjør det mulig å kontrollere konteksteffekter i trinn 5 (se figur 4). Denne standardutformingen gir 6216 = 222×28 sammenligninger av skjemaet "Er likheten til referansen til _s1 større eller mindre enn likheten til referansen til s2." Denne effektiviteten er mulig fordi hver av de 222 studiene gir en rangering på åtte likheter, og de åtte rangerte likhetene genererer 28 parvise sammenligninger. Av disse 6216 sammenligningene gjentas 222, noe som gir oss 5994 unike sammenligninger.

Når stimulansdomenet er valgt, er den neste viktigste designbeslutningen antall prøver. Mange alternative design er mulige (tabell 1), med andre valg for hvordan stimuli gjentas i ulike sammenhenger. Som nevnt i figur 4, i hver studie er det en trilling - bestående av referansen og to omkringliggende stimuli - som vises sammen i en annen studie. Antallet av de omkringliggende stimuliene som overlapper med en annen studie med en felles referanse - i dette tilfellet lik to - styres av overlappingsparameteren i analysekonfigurasjonsfilen. Hvis du øker denne parameteren, vil det føre til at flere stimuli deles mellom to forsøk, noe som gir mer omfattende sammenligninger av avstandsrangering, for eksempel"Er _s1 mer lik referansen enn s2 og er s2 mer lik enn s3?" på tvers av to sammenhenger. For eksempler på andre eksperimentelle design som er mulig med ulike verdier av dette og andre parametere, se tabell 1. Hvis du vil ha mer informasjon om alle parameterne, hva de kontrollerer og hvor du skal endre dem, kan du se tabell 2. Spesielt er det også mulig å endre antall stimuli som vises rundt en referanse i hver studie ved å endre parametrene num_images_per_trial og num_words_per_trial for henholdsvis bilde- og ordeksperimentene. Å øke størrelsen på omrammingen vil øke antall sammenligninger per studie og bedre studiekonteksteffekter; Hvis du reduserer den, reduseres aktivitetskompleksiteten. Antall sammenligningsstimuli i en studie (_Ncircle), antall stimuli i eksperimentet (_Nstim), antall forsøk (_Ntrials), antall unike sammenligninger (_Ncomparisons) og antall gjentatte sammenligninger (_Nrepeated) er inter-relatert og avhenger av størrelsen på den tidligere nevnte overlappingen mellom studier (_Noverlap ) og antall forsøk per referanse stimulans (k). Stimulussettstørrelsen bestemmes av m, som er et vilkårlig heltall. Disse relasjonene er oppført nedenfor:

Det er andre detaljer om paradigmet og datainnsamlingsprosedyrene som bidrar til å minimere konfunder. Randomisering av plassering av stimuli og prøverekkefølge (trinn 3.4) er viktig, slik at selv når økter gjentas, begynner emnet ikke å gjenkjenne romlige eller tidsmessige mønstre i plassering av stimuli. Det er også viktig å ikke gi forsøkspersoner noen direkte signaler om hvordan man måler likhet (trinn 4), da dette kan forvå resultatene. De bør selv bestemme hva likhet betyr for dem i sammenheng med det spesifikke eksperimentet. Det er imidlertid nyttig å debriefe fagene etter at de har fullført eksperimentet, da dette kan bidra til å forstå hvordan funnene varierer på tvers av. Hvis en økt av en eller annen grunn er skadet eller avbrutt, anbefaler vi at du sletter hele økten, slik at alle prøveversjoner fullføres like mange ganger.

Analyse av likhetsdata: Eksperimentet gir, for hver studie, rangbestillinger av likhet mellom _Ncircle sammenligning stimuli og referansen. Når de brytes ned i sammenligninger av stimulipar, gir disse studiene valgsannsynligheter for hver av de unike sammenligningene. Valgsannsynlighetene analyseres deretter for å søke etter geometriske modeller av det perseptuelle rommet (protokolltrinn 5). Analysen forsøker å redegjøre for valgsannsynlighetene i form av avstander mellom stimuli, d(_si, _sj) i et euklidsk rom. Det vil si at målet er å tilordne koordinater til hver stimulans slik at valgsannsynligheten for å klikke s1 før s2 gjenspeiler sannsynligheten for at subjektet dømt d(ref, s1) < d(ref, s2). Denne tilpasningsprosedyren er beskrevet her både fordi den har noen nye elementer, og for å gjøre det mulig for en bruker å endre den (protokolltrinn 5.2).

Analysen er et slags flerdimensjonalt skaleringsproblem, men med noen særegne funksjoner. For det første gir dataene rangbestilling av ulikhetsvurderinger, i stedet for estimater av avstandene. For det andre inneholder datasettet, selv om det er omfattende, bare et delsett av alle mulige sammenligninger av parvise avstander. Til slutt er målet å ta hensyn til valgsannsynlighetene, ikke bare en binær beslutning om hvilken avstand som er større. Med disse hensynene i tankene velges kostnadsfunksjonen slik at verdien minimeres når modellforutsagte valgsannsynligheter mest sannsynlig vil gi de eksperimentelt observerte valgsannsynlighetene. Det er derfor definert som den negative logg-sannsynligheten for de observerte valgsannsynlighetene under modellen, normalisert av det totale antall parvise sammenligninger, og er tilpasset fra tidligere ^arbeid15:

der _N0 = _Ncomparisons. _Nrepeats, og _Nrepeats er antall repetisjoner av protokollen, (dvs. antall ganger hver unike prøveversjon gjentas), og

Her _srdenotes referansestimulansen i en prøve, _si og _sj og stimuliene i ringen rundt _sr. P (d(_sr, _si) < d(_sr, _sj)) representerer modellsannsynligheten at avstanden mellom _sr og _si vurderes som mindre enn avstanden mellom _sr og _sj og C angir antall ganger faget dømte d(_sr, _si ) < d(_sr; _sj). Målet med modelleringsanalysen er å finne en konfigurasjon av punkter i et euklidsk rom, som står for de empiriske valgsannsynlighetene. Iterativt justerer minimeringen koordinatene som er tilordnet hver stimulus, og dermed modellvalgsannsynlighetene (P). Minimeringen avsluttes når kostnadsfunksjonen slutter å synke under toleransen (en justerbar parameter kalt toleranse styrer dette), eller hvis maksimalt antall gjentakelser nås (kontrollert av parameter max_iterations).

For å koble stimuluskoordinatene med modellvalgssannsynlighetene, antas det at et emne - når man velger mellom to stimuli for å klikke i en studie - vil gjøre en intern sammenligning av deres relative avstander til referansen, nemlig d (_sr, _si) og d(_sr, _sj). Disse avstandene er (som standard) de vanlige euklidiske avstandene mellom punkter tildelt stimuli _sr, _si og _sj. Videre antas det at denne mentale sammenligningen har en intern støy, som vi modellerer som en additiv gaussisk kilde til standardavvik σ, en modell introdusert for endimensjonale domener av Maloney et ^al.16,17og også brukt til flerdimensjonale ^domener15. Sannsynligheten for modellvalg er relatert til koordinatene ved å:

Den interne støyen, σ, kan styres av varierende sigma i analysekonfigurasjonsfilen. For å initialisere algoritmen med et sett med stimuluskoordinater ble rangeringsrekkefølgevurderingene brukt til å oppnå et sett med omtrentlige avstander, og deretter ble standard flerdimensjonal ^skalering10 brukt på disse avstandene for å oppnå de første koordinatene. Disse omtrentlige avstandene ble bestemt ved å telle seire og tap for hvert par stimuli. Det vil si at når du ser over alle parvise sammenligninger i dataene, logges hver gang en avstand, d(_sr, _sk) større enn en annen, d(_sr, _sn), en gevinst logges for større avstand d(_sr, _sk) og et tap logges for d(_sr, _sn ). Kjerneideen er at jo større avstanden mellom to stimuli, jo oftere vil det bli vurdert som større enn en annen avstand (når det gjelder gevinster) og omvendt. Etter å ha iterert gjennom alle sammenligninger og tabulert gevinstene og tapene til hvert stimulipar, beregnes avstandsestimater som følger:

Når dette er gjort, bestemmes det første settet med koordinater ved å bruke standard metrisk flerdimensjonal skalering på _dinit (_si, _sj).

Minimeringsrutinen som er beskrevet, kjøres derfor uavhengig av hverandre for å oppnå modeller på 1, 2, 3, 4 og 5 dimensjoner. I hvert tilfelle returneres de optimale koordinatene til de utledede stimulanspunktene, samt verdien av kostnadsfunksjonen, det vil si den negative logg-sannsynligheten for de empiriske valgsannsynlighetene. Logg-sannsynligheten er plottet inn i figur 5 i forhold til best mulig logg-sannsynlighet, som beregnes på samme måte som i ligning 1, med

,

for alle sammenligninger. Som en sanitetskontroll, i figur 5, er den tilfeldige modelllogg-sannsynligheten, en nedre grense for å bedømme ytelsen til modellene også plottet. Når vi beregner tilfeldig valglogg-sannsynlighet, setter vi

for alle sammenligninger.

Mulige utvidelser: For det første, som nevnt tidligere, kan det eksperimentelle paradigmet endres for å imøtekomme stimulanssett av forskjellige størrelser, og antall stimuli i ringen kan endres for å gi forskjellige antall parvise sammenligninger per studie (se tabell 1).

For det andre kan det være nyttig å bruke ikke-euklidiske avstandsmålinger i analysen. For eksempel fant en studie at byblokkmetrikken bedre representerte et perseptuelt rom for overflatelyshet og ^belysning18. Den foreslåtte metoden kan generaliseres, slik at modeller med andre avstandsmålinger, for eksempel en byblokkavstand, en Minkowski-avstand eller en hyperbolsk ^avstand19, passer til likhetsdata. For å gjøre det, må man endre den angitte koden og implementere en alternativ avstandsmåling. Hovedendringen som trengs er i linje 105 (funksjonsnavn: dist_model_ll_vectorized) i filen likheter / analyse / pairwise_likelihood_analysis.py.

Styrker og begrensninger: En viktig styrke ved den foreslåtte tilnærmingen er at den gir et fleksibelt rammeverk for å designe eksperimenter med forskjellige stimulussettstørrelser, ulike antall sammenligninger, repetisjoner eller antall stimuli per studie, samt forskjellige overlappende settstørrelser for å måle konteksteffekter. Ved å endre størrelsen på overlapping mellom prøvelser og størrelsen på omrammingen i en rettssak, kan man granske kontekstens rolle i likhetsdommer, samtidig som man oppnår et høyt antall parvise likhetsdommer per rettssak. Metoden tar for seg mange begrensninger i tidligere eksperimentelle paradigmer for innsamling av likhetsdata. For eksempel, i motsetning til de arrangementsbaserte ^{metodene12,20} (som krever stimuli som skal ordnes på et 2D euklidsk plan med lignende elementer plassert sammen og forskjellige elementer plassert fra hverandre) og sorteringsmetodene (som krever stimuli for å bli kategorisert i hauger), ¹¹ rangeringsmetoden ber ikke fagene om å projisere sin interne representasjon på noen geometrisk struktur. En annen begrensning ved noen tidligere metoder - for eksempel forvirringsmatriser der to stimuli anses som like hvis de forveksles med hverandre i hurtiggjenkjenningsoppgaver21 - er at de ikke gir graderte tiltak. Denne metoden gir graderte tiltak, det vil si valgsannsynlighetene.

Som understreket ovenfor er innsamlingsmetoden fleksibel ved at den ikke antar at den interne representasjonen er et euklidsk rom. Her tester analysemetoden bare euklidske modeller; Det kan imidlertid utvides til å omfatte ikke-euklidiske modeller også, ved lokaliserte endringer i kildekoden. Modelleringsrammeverket er imidlertid ikke utformet for å ta hensyn til konteksteffekter. Hvis de var betydningsfulle, ville det sette en advarsel om konklusjonene som kunne trekkes.

Den foreslåtte metoden er mer tidseffektiv enn den sammenkoblede sammenligningsmetoden. Hver studie av paradigmet tar ca ~ 30 s (fag utfører 111 forsøk på en time), noe som gir 111×28 = 3108 sammenligninger per time. Enkeltsammenligningsforsøk vil sannsynligvis ikke ta mindre enn 3 s per studie, noe som vil gi 1200 sammenligninger per time. I tillegg er det et andre effektivitetsnivå: den nåværende tilnærmingen krever ikke sammenligninger av alle parvise avstander. For eksemplet i manuskriptet utgjør hele settet med parvise avstander 221445 sammenligninger, men i den nåværende tilnærmingen er et sparsomt delsett av 5994 unike sammenligninger, hver gjentatt 5 eller 10 ganger, tilstrekkelig til å modellere likhetsdataene. Metoden, selv om den er effektiv, er imidlertid fortsatt tidkrevende, og den krever en betydelig forpliktelse fra. Som et resultat er det ikke en gjennomførbar tilnærming for et sett med hundrevis av stimuli, med mindre data samles på tvers av. Til slutt er tilnærmingen ikke direkte anvendelig for ikke-tenkelige stimuli.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.