Et psykofysisk paradigme til indsamling og analyse af lighedsdomme

Summary

Protokollen præsenterer et eksperimentelt psykofysikparadigme for at opnå store mængder lighedsvurderinger og en ledsagende analysearbejdsgang. Paradigmet undersøger konteksteffekter og muliggør modellering af lighedsdata med hensyn til euklidiske rum på mindst fem dimensioner.

Abstract

Lighedsdomme bruges almindeligvis til at studere mentale repræsentationer og deres neurale korrelater. Denne tilgang er blevet brugt til at karakterisere perceptuelle rum på mange domæner: farver, objekter, billeder, ord og lyde. Ideelt set kan man sammenligne estimater af opfattet lighed mellem alle par stimuli, men det er ofte upraktisk. For eksempel, hvis man beder et emne om at sammenligne ligheden mellem to elementer med ligheden mellem to andre elementer, vokser antallet af sammenligninger med den fjerde effekt af stimulussættets størrelse. En alternativ strategi er at bede et emne om at vurdere ligheder mellem isolerede par, f.eks. på en Likert-skala. Dette er meget mere effektivt (antallet af ratings vokser kvadratisk med den indstillede størrelse snarere end kvartisk), men disse ratings har tendens til at være ustabile og har begrænset opløsning, og tilgangen forudsætter også, at der ikke er nogen konteksteffekter.

Her præsenteres et nyt rangordningsparadigme for effektiv indsamling af lighedsvurderinger sammen med en analysepipeline (software leveret), der tester, om euklidiske afstandsmodeller tegner sig for dataene. Typiske forsøg består af otte stimuli omkring en central referencestimulus: emnet rangerer stimuli i rækkefølge efter deres lighed med referencen. Ved velovervejet udvælgelse af kombinationer af stimuli, der anvendes i hvert forsøg, har tilgangen interne kontroller for konsistens og konteksteffekter. Tilgangen blev valideret for stimuli hentet fra euklidiske rum på op til fem dimensioner.

Tilgangen illustreres med et eksperiment, der måler ligheder mellem 37 ord. Hvert forsøg giver resultaterne af 28 parvise sammenligninger af formularen, "Lignede A mere referencen, end B var til referencen?" Mens direkte sammenligning af alle par stimuli ville have krævet 221445 forsøg, muliggør dette design rekonstruktion af det perceptuelle rum fra 5994 sådanne sammenligninger opnået fra 222 forsøg.

Introduction

Mennesker behandler mentalt og repræsenterer indgående sensorisk information for at udføre en bred vifte af opgaver, såsom objektgenkendelse, navigation, slutninger om miljøet og mange andre. Lighedsdomme bruges ofte til at undersøge disse mentale ^{repræsentationer1}. Forståelse af strukturen af mentale repræsentationer kan give indsigt i organiseringen af konceptuel ^viden2. Det er også muligt at få indsigt i neurale beregninger ved at relatere lighedsvurderinger til hjerneaktiveringsmønstre3. Derudover afslører lighedsdomme træk, der er fremtrædende i ^opfattelsen4. At studere, hvordan mentale repræsentationer ændrer sig under udviklingen, kan kaste lys over, hvordan de ^læres5. Lighedsvurderinger giver således værdifuld indsigt i informationsbehandling i hjernen.

En fælles model af mentale repræsentationer ved hjælp af ligheder er en geometrisk rummodel6,7,8. Anvendt på sensoriske domæner omtales denne type model ofte som et perceptuelt ^rum9. Punkter i rummet repræsenterer stimuli, og afstande mellem punkter svarer til den opfattede ulighed mellem dem. Fra lighedsdomme kan man opnå kvantitative skøn over uligheder. Disse parvise forskelle (eller perceptuelle afstande) kan derefter bruges til at modellere det perceptuelle rum via flerdimensionel ^skalering10.

Der er mange metoder til indsamling af lighedsvurderinger, hver med sine fordele og ulemper. Den mest enkle måde at opnå kvantitative mål for ulighed på er at bede forsøgspersoner om på en skala at bedømme graden af ulighed mellem hvert par stimuli. Selvom dette er relativt hurtigt, har estimater en tendens til at være ustabile på tværs af lange sessioner, da emner ikke kan gå tilbage til tidligere domme, og konteksteffekter, hvis de er til stede, ikke kan detekteres. (Her defineres en konteksteffekt som en ændring i den bedømte lighed mellem to stimuli, baseret på tilstedeværelsen af andre stimuli, der ikke sammenlignes.) Alternativt kan forsøgspersoner blive bedt om at sammenligne alle par stimuli med alle andre par stimuli. Mens dette ville give en mere pålidelig rangorden af uligheder, krævede antallet af sammenligninger skalaer med den fjerde effekt af antallet af stimuli, hvilket gjorde det muligt for kun små stimulussæt. Hurtigere alternativer, f.eks. sortering i et foruddefineret antal ^klynger11 eller fri sortering, har deres egne begrænsninger. Fri sortering (i et vilkårligt antal bunker) er intuitiv, men det tvinger emnet til at kategorisere stimuli, selvom stimuli ikke let egner sig til kategorisering. Den nyere multiarrangementmetode, inverse MDS, omgår mange af disse begrænsninger og er meget ^effektiv12. Denne metode kræver imidlertid, at forsøgspersoner projicerer deres mentale repræsentationer på et 2D euklidisk plan og overvejer ligheder på en bestemt geometrisk måde, hvilket gør antagelsen om, at lighedsstruktur kan genvindes fra euklidiske afstande på et plan. Der er således fortsat behov for en effektiv metode til at indsamle store mængder lighedsdomme uden at gøre antagelser om den geometri, der ligger til grund for dommene.

Beskrevet her er en metode, der både er rimelig effektiv og også undgår ovenstående potentielle faldgruber. Ved at bede forsøgspersoner om at rangordne stimuli i rækkefølge efter lighed med en central reference i hvert ^forsøg13 kan relativ lighed undersøges direkte uden at antage noget om den geometriske struktur af forsøgspersonernes svar. Paradigmet gentager en delmængde af sammenligninger med både identiske og forskellige sammenhænge, hvilket giver mulighed for direkte vurdering af konteksteffekter samt erhvervelse af graduerede svar med hensyn til valgsandsynligheder. Analyseproceduren nedbryder disse rangdomme i flere parvise sammenligninger og bruger dem til at opbygge og søge efter euklidiske modeller af perceptuelle rum, der forklarer dommene. Metoden er velegnet til i detaljer at beskrive repræsentationen af stimulussæt af moderate størrelser (f.eks. 19 til 49).

For at demonstrere gennemførligheden af tilgangen blev der udført et eksperiment ved hjælp af et sæt på 37 dyr som stimuli. Data blev indsamlet i løbet af 10 en-timers sessioner og derefter analyseret separat for hvert emne. Analysen afslørede konsistens på tværs af emner og ubetydelige konteksteffekter. Det vurderede også konsistensen af opfattede forskelle mellem stimuli med euklidiske modeller af deres perceptuelle rum. Paradigme- og analyseprocedurerne, der er skitseret i dette papir, er fleksible og forventes at være til nytte for forskere, der er interesserede i at karakterisere de geometriske egenskaber ved en række perceptuelle rum.

Protocol

Inden forsøgene påbegyndes, giver alle forsøgspersoner informeret samtykke i overensstemmelse med institutionelle retningslinjer og Helsinki-erklæringen. I tilfælde af denne undersøgelse blev protokollen godkendt af det institutionelle gennemgangsudvalg for Weill Cornell Medical College.

1. Installation og opsætning

1. Download koden fra GitHub-lageret, ligheder (https://github.com/jvlab/similarities). Kør: git-klon https://github.com/jvlab/similarities.git i kommandolinjen. - Hvis git ikke er installeret, skal du downloade koden som en zip-mappe fra lageret.
   BEMÆRK: I lageret er der to undermapper: eksperimenter, der indeholder to prøveeksperimenter, og analyse, der indeholder et sæt python-scripts til analyse af indsamlede lighedsdata. I eksperimentmappen bruger den ene (word_exp) ordstimuli, og den anden (image_exp) viser billedstimuli. En vis fortrolighed med Python vil være nyttig, men ikke nødvendig. Kendskab til kommandolinjen antages: flere trin kræver at køre scripts fra kommandolinjen.
2. Installer følgende værktøjer, og konfigurer et virtuelt miljø.
   1. python 3: Se linket for instruktioner: https://realpython.com/installing-python/. Dette projekt kræver Python version 3.8.
   2. PsychoPy: Fra linket (https://www.psychopy.org/download.html) skal du downloade den nyeste enkeltstående version af PsychoPy til det relevante operativsystem ved hjælp af den blå knap under Installation. Dette projekt bruger PsychoPy version 2021.2; de medfølgende prøveeksperimenter skal køres med den korrekte version af PsychoPy som angivet nedenfor.
   3. conda: Fra linket (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation) skal du downloade conda via Miniconda eller Anaconda til det relevante operativsystem.
   4. Kør følgende på kommandolinjen for at oprette et virtuelt miljø med de nødvendige pythonpakker:
      cd ~/ligheder
      conda env create -f environment.yaml
   5. Kontroller, om det virtuelle miljø er oprettet, og aktiver det som følger:
      conda env liste # venv_sim_3.8 skal opføres
      conda aktiver venv_sim_3.8 # for at komme ind i det virtuelle miljø
      conda deaktiver # for at afslutte det virtuelle miljø efter at have kørt scripts
      BEMÆRK: Kørsel af scripts i et miljø kan nogle gange være langsomt. Tillad op til et minut at se ethvert udskrevet output i kommandolinjen, når du kører et script.
3. For at sikre, at downloadet kode fungerer som forventet, skal du køre de medfølgende eksempeleksperimenter ved hjælp af nedenstående trin.
   BEMÆRK: Eksperimentmappen (ligheder / eksperimenter) indeholder prøveeksperimenter (word_exp og image_exp), der gør brug af to slags stimuli: ord og billeder.
   1. Åbn PsychoPy. Gå til Vis, og klik derefter på Koder, fordi PsychoPys standardbygger ikke kan åbne .py filer. Gå til Filer, klik derefter på Åbn, og åbn word_exp.py (ligheder/eksperimenter/word_exp/word_exp.py).
   2. Hvis du vil indlæse eksperimentet, skal du klikke på den grønne knap Kør eksperiment . Indtast initialer eller navn og sessionsnummer, og klik på OK.
   3. Følg instruktionerne og kør gennem et par forsøg for at kontrollere, at stimuli grå ud, når der klikkes på. Tryk på Escape , når du er klar til at afslutte.
      BEMÆRK: PsychoPy åbnes i fuld skærm, først med instruktioner og derefter et par forsøg med pladsholdertekst i stedet for stimulusord. Når der klikkes på ordene, grå ud. Når der er klikket på alle ord, begynder den næste prøveversion. PsychoPy kan til enhver tid afsluttes ved at trykke på Escape-tasten . Hvis programmet afsluttes under trin 1.3.2 eller 1.3.3, er det muligt, at brugerens operativsystem kræver adgang til tastaturet og musen. I så fald udskrives en beskrivende fejlmeddelelse i PsychoPy Runner-vinduet, som vil guide brugeren.
   4. Kontroller derefter, at billedeksperimentet kører med pladsholderbilleder. Åbn PsychoPy. Gå til File. Klik på Åbn , og vælg image_exp.psyexp (ligheder/eksperimenter/image_exp/image_exp.psyexp).
   5. Klik på tandhjulsikonet for at sikre, at den korrekte version bruges. Fra indstillingen Brug PsychoPy-version skal du vælge 2021.2 i rullemenuen.
   6. Som før skal du klikke på den grønne knap Kør eksperiment . Indtast initialer eller navn og sessionsnummer, og klik på OK.
      BEMÆRK: Som i trin 1.3.2 vil PsychoPy først vise instruktioner og derefter gengive forsøg, efter at billeder er blevet indlæst. Hver prøveversion indeholder otte pladsholderbilleder, der omgiver et centralt billede. Hvis du klikker på et billede, grås det ud. Programmet kan afsluttes ved at trykke på Escape.
   7. Naviger til datamappen i hver af eksperimentmapperne for at se outputtet:
      ligheder/eksperimenter/image_exp/data
      ligheder/eksperimenter/word_exp/data
      BEMÆRK: Eksperimentelle data skrives til datamappen. Svarene.csv fil indeholder prøve-for-prøve-kliksvar. Logfilen indeholder alle tastetryk og museklik. Det er nyttigt til fejlfinding, hvis PsychoPy afslutter uventet.
4. For at kontrollere, at analysescriptene fungerer som forventet, kan du eventuelt gengive nogle af tallene i afsnittet Repræsentative resultater som følger.
   1. Lav en mappe til forbehandlede data:
      cd ~/ligheder
      mkdir prøvematerialer/emnedata/forbehandlet
   2. Kombiner de rå data fra alle svarene.csv filer til en json-fil. Kør følgende på kommandolinjen:
      cd ligheder
      conda aktiverer venv_sim_3.8
      python -m analysis.preprocess.py
   3. Når du bliver bedt om det, skal du indtaste følgende værdier for inputparametrene: 1) Sti til emnedata: ./sample-materials/subject-data, 2), eksperimentets navn: sample_word og 3) emne-ID: S7. Json-filen vil være i ligheder / prøvematerialer / emnedata / forbehandlet.
   4. Når data er forbehandlet, skal du følge trinnene i projektet README under gengivelse af tal. Disse analysescripts køres senere for at analysere data indsamlet fra brugerens eget eksperiment.

2. Dataindsamling ved at konfigurere et brugerdefineret eksperiment

BEMÆRK: Procedurer er beskrevet for både billed- og ordeksperimenter op til trin 3.1. Efter dette trin er processen den samme for begge eksperimenter, så billedeksperimentet nævnes ikke eksplicit.

1. Vælg et eksperiment, der skal køres. Naviger til ordet eksperiment (ligheder/eksperimenter/word_exp) eller billedeksperimentet (ligheder/eksperimenter/image_exp).
2. Beslut dig for antallet af stimuli. Standardstørrelsen på stimulussættet er 37. For at ændre dette skal du åbne konfigurationsfilen (ligheder/analyse/config.yaml) i en kildekodeeditor. I num_stimuli parameter i analysekonfigurationsfilen skal du indstille stimulusstørrelsen lig med mk + 1 som krævet af det eksperimentelle design for heltal k og m.
   BEMÆRK: I standarddesignet ≥ k 3 og m = 6. Derfor omfatter gyldige værdier for num_stimuli 19, 25, 31, 37, 43 og 49 (se tabel 1 for mulige udvidelser af designet).
3. Færdiggør de eksperimentelle stimuli. Hvis ordet eksperiment køres, skal du udarbejde en liste over ord. Til billedeksperimentet skal du lave en ny mappe og placere alle stimulusbillederne i den. Understøttede billedtyper er png og jpeg. Brug ikke punktumter som separatorer i filnavne (f.eks. image.1.png er ugyldigt, men image1.png eller image_1.png er gyldige).
4. Hvis du kører ordet eksperiment, skal du forberede stimuli som følger.
   1. Opret en ny fil i eksperimenter / word_exp navngivne stimuli.txt. Denne fil læses i trin 3.3.
   2. I filen skal du skrive ordene i stimulussættet, som de er beregnet til at blive vist i displayet, med hvert ord i en separat linje. Undgå ekstra tomme linjer eller ekstra mellemrum ved siden af ordene. Se prøvematerialer til reference (ligheder/prøvematerialer/ord-exp-materialer/sample_word_stimuli.txt).
5. Hvis billedeksperimentet køres, skal du indstille stien til stimulussættet som følger.
   1. I eksperimentmappen skal du finde konfigurationsfilen kaldet config.yaml (ligheder/eksperimenter/config.yaml).
   2. Åbn filen i en kildekodeeditor, og opdater værdien af filvariablen til stien til den mappe, der indeholder stimulussættet (trin 2.3). Det er her, PsychoPy vil lede efter billedstimuli.

3. Oprettelse af rangordningsforsøg

1. Brug en stimuli.txt fil. Hvis ordet eksperiment køres, kan den fil, der er oprettet i trin 2.4, bruges. Ellers skal du bruge listen over filnavne (se ligheder/sample-materials/image-exp-materials/sample_image_stimuli.txt). Placer denne fil i den relevante eksperimentmappe (word_exp eller image_exp).
2. Undgå ekstra tomme linjer samt mellemrum i navnene. Brug camelCase eller snake_case til stimulusnavne.
3. Opret derefter prøvekonfigurationer. Åbn filen config.yaml i analysemappen, og indstil værdien af parameteren path_to_stimulus_list til stien til stimuli.txt (oprettet i trin 3.1).
   1. Fra lighedsmappen skal du køre scriptet ved at udføre følgende kommandoer efter hinanden:
      cd ~/ligheder
      conda aktiverer venv_sim_3.8
      python -m analysis.trial_configuration
      conda deaktivere # afslut det virtuelle miljø
   2. Dette opretter en fil kaldet trial_conditions.csv i ligheder, hvor hver række indeholder navnene på de stimuli, der vises i et forsøg, sammen med deres positioner i displayet. Der gives en prøve trial_conditions.csv fil (ligheder / prøvematerialer). Du kan finde flere oplysninger om inputparametre for analysescripts i projektets README under Brug.

Figur 1: Repræsentative eksempler på forsøg (trin 3.3). (A) Hver række indeholder oplysninger om et enkelt forsøg. Overskrifter angiver stimulusens position omkring cirklen. Stimulansen under ref vises i midten, og stim 1 til stim 8 vises omkring referencen. (B) Det første forsøg (række) fra A gengives af PsychoPy for at vise de otte stimuli omkring referencestimulussen, abe. Klik her for at se en større version af denne figur.

BEMÆRK: På dette tidspunkt er der genereret et komplet sæt af 222 forsøg for en komplet eksperimentel kørsel, dvs. for et komplet datasæt. Figur 1A viser en del af en betingelsesfil, der genereres af ovenstående script, for ordet eksperiment (se Repræsentative resultater).

4. Derefter skal du opdele disse 222 forsøg i sessioner og randomisere prøverækkefølgen. I det typiske design består sessionerne af 111 forsøg, som hver især kræver ca. 1 time at køre.
   1. For at gøre dette skal du i kommandolinjen køre følgende:
      conda aktiverer venv_sim_3.8
      cd ~/ligheder
      python -m analysis.randomize_session_trials
   2. Når du bliver bedt om det, skal du indtaste følgende inputparametre: sti til trial_conditions.csv oprettet i trin 3.3.2; output mappe; antal forsøg pr. session: 111 antal gentagelser: 5.
      BEMÆRK: Antallet af gentagelser kan også varieres, men vil påvirke antallet af sessioner, der udføres i trin 4 (se Diskussion: Eksperimentelt paradigme). Hvis du ændrer standardværdien for antallet af gentagelser, skal du sørge for at redigere værdien af parameteren num_repeats i konfigurationsfilen (ligheder/analyse/config.yaml). Hvis det er nødvendigt, skal du kontrollere de trinvise instruktioner for at gøre ovenstående manuelt i README-filen under afsnittet Opret prøveversioner.
5. Omdøb og gem hver af de genererede filer som betingelser.csv, i sin egen mappe. Se den anbefalede katalogstruktur her: ligheder/prøvematerialer/emnedata og i projektet README.
   BEMÆRK: Som beskrevet i trin 4 gentages hvert eksperiment fem gange i standarddesignet i løbet af 10 timer lange sessioner, hver på en separat dag. Forsøgspersoner bør blive bedt om kun at komme til en session om dagen for at undgå træthed. Se tabel 1 for antallet af forsøg og sessioner, der er nødvendige for stimulussæt af forskellig størrelse.

4. Kørsel af eksperimentet og indsamling af lighedsdata

1. Forklar opgaven til emnerne og giv dem instruktioner. I hvert forsøg vil forsøgspersonerne se en central referencestimulus omgivet af otte stimuli og blive bedt om at klikke på stimuli i omgivelserne i rækkefølge efter lighed med den centrale reference, dvs. de skal klikke på den mest lignende først og mindst lignende sidst.
2. Bed dem om at prøve at bruge en konsekvent strategi. Fortæl dem, at de vil blive vist den samme konfiguration af stimuli flere gange i løbet af de 10 sessioner. Hvis undersøgelsen undersøger repræsentation af semantisk information, skal du sikre dig, at forsøgspersonerne er fortrolige med stimuli, inden de starter.
3. Naviger til den relevante eksperimentmappe (se trin 2.1). Hvis det er første gang, eksperimentet kører, skal du oprette en mappe kaldet emnedata for at gemme emnesvar. Opret to undermapper i den: rå og forbehandlet. For hvert emne skal du oprette en undermappe inden for emnedata/rå.
4. Kopier betingelserne.csv fil, der er udarbejdet i trin 3 til den specifikke session, og indsæt den i den aktuelle mappe, dvs. den mappe, der indeholder psyexp-filen. Hvis der allerede er en fil der, navngivne betingelser.csv, skal du sørge for at erstatte den med den for den aktuelle session.
5. Åbn PsychoPy, og åbn derefter psyexp- eller py-filen i det relevante eksperiments mappe. I PsychoPy skal du klikke på den grønne Play-knap for at køre eksperimentet. Indtast emnenavnet eller id'et og sessionsnummeret i pop op-vinduet modal. Klik på OK for at starte. Instruktioner vises i starten af hver session.
6. Tillad emnet ca. 1 time at fuldføre opgaven. Da opgaven er i eget tempo, skal du opfordre forsøgspersonerne til at tage pauser, hvis det er nødvendigt. Når emnet afslutter sessionen, afsluttes PsychoPy automatisk, og filer genereres i mappen ligheder / eksperimenter / _exp / data.
7. Overfør disse til mappen subject-data/raw/ (oprettet i trin 4.3). Se README for den anbefalede mappestruktur.
   BEMÆRK: Som nævnt er logfilen til fejlfinding. Den mest almindelige årsag til, at PsychoPy lukker uventet, er, at et emne ved et uheld trykker på Escape under en session. Hvis dette sker, vil svar på forsøg frem til den sidst afsluttede prøveversion stadig blive skrevet til svarene.csv fil.
8. Hvis PsychoPy lukker uventet, skal du genåbne den og oprette en ny tilstand.csv fil med kun de forsøg, der ikke var blevet forsøgt. Udskift den eksisterende sessions betingelsesfil med denne, og gentag eksperimentet. Sørg for at gemme de genererede filer på det relevante sted. I slutningen af sessionen kan de to svarfiler manuelt kombineres til en, selvom dette ikke er nødvendigt.
9. Gentag trin 4.4 til 4.8 for hver af de resterende sessioner.
10. Når alle sessioner er afsluttet, skal du kombinere de rå datafiler og omformatere dem til en enkelt json-fil til videre behandling. For at gøre dette skal du køre preprocess.py i terminalen (ligheder/analyse/forbehandling.py) som følger:
    cd ~/ligheder
    conda aktiverer venv_sim_3.8
    python -m analysis.preprocess
11. Når du bliver bedt om det, skal du indtaste de ønskede inputparametre: stien til emnedatamappen, emne-id'er, som dataene skal forbehandles for, og eksperimentnavnet (bruges til at navngive outputfilen). Tryk på Enter.
12. Afslut det virtuelle miljø:
    conda deaktivere
    BEMÆRK: Dette opretter en json-fil i outputmappen, der kombinerer svar på tværs af gentagelser for hver prøveversion. Lighedsdata læses ind fra emnedata/rå og skrives til fagdata/forbehandles.

5. Analyse af lighedsdomme

BEMÆRK: Forsøgspersoner bliver bedt om at klikke på stimuli i rækkefølge efter lighed med referencen, hvilket giver en rangordning i hvert forsøg. For standardeksperimenter gentages hvert forsøg fem gange og genererer fem rangordener af de samme otte stimuli (se figur 2B). Disse rangdomme fortolkes som en række sammenligninger, hvor et emne sammenligner par af perceptuelle afstande. Det antages, at emnet stiller følgende spørgsmål før hvert klik: "Er den (perceptuelle) afstand mellem referencen og stimulus A mindre end afstanden mellem referencen og stimulus B?" Som vist i figur 2C giver dette valgmuligheder sandsynligheder for flere parvise lighedssammenligninger for hvert forsøg. Analysen nedenfor bruger disse valgsandsynligheder.

Figur 2: Opnåelse af valgsandsynligheder fra rangordningsdomme. (A) En illustration af et forsøg fra det ordeksperiment, vi udførte. (B) Der blev opnået fem rangordener for den samme retssag i løbet af flere sessioner. (C) Valgsandsynligheder for de parvis forskellige sammenligninger, som rangordensdommene repræsenterer. Klik her for at se en større version af denne figur.

1. Bestem parvise valgsandsynligheder ud fra rangordensdomme.
   1. I ligheder/analyser skal du køre describe_data.py i kommandolinjen.
      cd ~/ligheder
      conda aktiverer venv_sim_3.8
      python -m analysis.describe_data
   2. Når du bliver bedt om det, skal du angive stien til emnedata/forbehandlet og listen over emner, som analysen skal køres for.
      BEMÆRK: Dette vil skabe tre slags plots: i) fordelingen af valgsandsynligheder for et givet emnes komplette datasæt, ii) heatmaps til vurdering af konsistens på tværs af valgsandsynligheder for par af emner og iii) et heatmap af valgsandsynligheder for alle sammenligninger, der forekommer i to sammenhænge for at vurdere konteksteffekter. Operationelt betyder det at sammenligne valgsandsynligheder i par af forsøg, der indeholder den samme reference og et fælles par stimuli i ringen, men adskiller sig i alle andre stimuli i ringen: heatmap viser, hvordan valgsandsynligheden afhænger af denne sammenhæng.
2. Generer lavdimensionelle euklidiske modeller af de perceptuelle rum ved hjælp af valgsandsynlighederne. Kør model_fitting.py i kommandolinjen som følger:
   cd ~/ligheder
   conda aktiverer venv_sim_3.8
   python -m analysis.model_fitting
   1. Angiv følgende inputparametre, når du bliver bedt om det: sti til emnedata/forbehandlet mappe; antallet af stimuli (37 som standard); antallet af iterationer (antallet af gange, modelleringsanalysen skal køres) outputmappen og mængden af gaussisk støj (0,18 som standard).
      BEMÆRK: Dette script tager et par timer at køre. Når du er færdig, vil npy-filer, der indeholder de bedst egnede koordinater til 1D-, 2D-, 3D-, 4D- og 5D-modeller, der beskriver lighedsdataene, blive skrevet til outputmappen. Der genereres en csv-fil, der indeholder logsandsynlighedsværdier for de forskellige modeller.
3. Visualiser log-sandsynligheden for de opnåede modeller og vurder deres pasform. For at gøre dette skal du køre ligheder/analyse/model_fitting_figure.py i kommandolinjen:
   cd ~/ligheder
   python -m analysis.model_fitting_figure
   1. Når du bliver bedt om det, skal du indtaste den nødvendige parameter: stien til csv-filerne, der indeholder log-sandsynligheder (fra trin 5.2).
   2. Analysér det genererede tal, der viser log-sandsynligheder på y-aksen og modeldimensionerne på x-aksen. Som en sundhedskontrol er to modeller ud over de euklidiske modeller inkluderet: en tilfældig valgmodel og en bedst mulig model.
      BEMÆRK: Den tilfældige valgmodel forudsætter, at forsøgspersoner klikker tilfældigt. Således giver det en absolut nedre grænse for log-sandsynligheden for enhver model, der er bedre end tilfældig. På samme måde er der som en øvre grænse for log-sandsynligheden (mærket bedst) log-sandsynligheden for en model, der bruger de empiriske valgsandsynligheder som sine modelsandsynligheder.
   3. Kontroller, at ingen euklidisk model overgår den bedste model, da den bedste model er designet overfit og ubegrænset af geometriske overvejelser. Kontrollér, at de afbildede sandsynligheder er i forhold til den bedste log-sandsynlighed.
4. Visualiser de perceptuelle rum for hvert emne. Generer scatterplots, der viser punkterne fra 5D-modellen, der projiceres på de to første hovedkomponenter. For at gøre dette skal du køre ligheder/analyse/perceptual_space_visualizations.py i kommandolinjen:
   cd ~/ligheder
   python -m analysis.perceptual_space_visualizations
   1. Når du bliver bedt om det, skal du indtaste parametrene: emne-id'erne (adskilt af mellemrum) og stien til npy-filen, der indeholder de 5D-punkter, der er opnået fra trin 5.2.
   2. Når scriptet er færdig med at udføre, skal du afslutte det virtuelle miljø:
      conda deaktivere
      BEMÆRK: Dette script er til visualisering af lighedsdommene. Det vil skabe et 2D-punktplot ved at projicere 5D-punkterne på de to første hovedkomponenter, normaliseret til at have samme varians. To punkter vil være længere fra hinanden, hvis emnet betragtede dem som mindre ens og omvendt.

Representative Results

Figur 1A viser en del af en betingelsesfil, der genereres af scriptet i trin 3.3 for ordet eksperiment. Hver række svarer til en prøveversion. Stimulansen i ref-kolonnen vises i midten af displayet. Kolonnenavnene stim1 til stim8 svarer til otte positioner langs en cirkel, der løber mod uret, startende fra positionen til højre for den centrale reference. Et prøveforsøg fra ordet eksperiment er vist i figur 1B.

For at demonstrere gennemførlighed og reproducerbarhed blev der udført et eksperiment, hvor stimulussættet omfattede navnene på 37 dyr. Komplette datasæt blev indsamlet fra otte raske forsøgspersoner med normalt syn som en del af en undersøgelse. For at demonstrere metoden vises data fra tre af disse forsøgspersoner her, hvoraf to var naive over for formålet med undersøgelsen. Informeret samtykke blev opnået i overensstemmelse med Helsinki-erklæringen og de institutionelle retningslinjer fra Weill Cornell Medical College.

Efter dataindsamling blev den indledende behandling, der er beskrevet ovenfor (protokoltrin 4.10-4.12), udført. Forsøgspersonernes svar i hvert forsøg blev fortolket som et sæt uafhængige, binære valg af formen "Er afstanden mellem referencen og _s1 mindre end afstanden mellem referencen og _s2?" for alle par stimuli i den omgivende ring. Rangdomme blev nedbrudt til sådanne parvise valg, som vist i figur 2C.

Figur 3A viser fordelingen af disse valgsandsynligheder, som var meget konsistent på tværs af forsøgspersoner (protokoltrin 5.1). Da hvert forsøg blev gentaget fem gange, tog valgsandsynlighederne følgende værdier: 0, 0,2, 0,4, 0,6, 0,8 og 1. De hyppigste valgsandsynligheder er 0 og 1, hvilket svarer til 50% -70% af alle beslutninger i hvert af emnerne; det er de domme, for hvilke der vælges en mulighed hver gang. For eksempel ville det svare til en valgsandsynlighed på ₀ at bedømme afstanden mellem s1 og _s22 som mindre end afstanden mellem _s1 og s3 0 ud af 5 gange; at træffe denne dom 5 ud af 5 gange ville svare til en valgsandsynlighed på 1. Navnlig er der stor konsistens i valgsandsynlighederne mellem forsøgspersonerne, selv for de vurderinger, der ikke er i ekstremerne, som det ses ved klyngen af dataene nær diagonalen i hvert af panelerne i figur 3B.

Dernæst blev konteksteffekter vurderet. Dette var muligt på grund af et vigtigt træk ved det eksperimentelle design: mange tripler af en referencestimulus og to sammenligningsstimuli _s1 og _s2 gentages i to sammenhænge (dvs. med forskellige sæt af seks andre stimuli for at fuldføre stimulusarrayet). Derefter blev valgsandsynligheden for hver parvis sammenligning tabuleret i hver sammenhæng separat. Den dominerende diagonal i figur 4 indikerer, at for hvert emne er valgsandsynlighederne i de to sammenhænge - herunder valgsandsynlighederne, der er mellemliggende mellem 0 og 1 - tæt på identiske. Hvis valgsandsynligheder var stærkt afhængige af kontekst, ville de ikke være stærkt korrelerede, og denne diagonal ville ikke være fremtrædende.

Konteksteffekter blev også vurderet ved hjælp af en statistisk foranstaltning. Målingen af konteksteffekt er konstrueret som følger. Det første skridt er at beregne en ubalancestatistik for det observerede datasæt (beskrevet nedenfor), som kvantificerer, i hvilket omfang de observerede domme synes at afhænge af konteksten. Derefter konstruerer vi 10000 simulerede datasæt med de samme prøvekonfigurationer, prøveoptællinger og overordnede valgsandsynligheder som de faktiske data, men genereres på en måde, der ikke indeholder nogen konteksteffekter - ved tilfældigt at tildele de observerede domme til de to sammenhænge. Vi beregner derefter ubalancestatistikken for disse simulerede datasæt, ligesom det blev gjort for de observerede svar. Endelig sammenligner vi ubalancestatistikken for de observerede svar med ubalancestatistikken for de simulerede datasæt for at bestemme sandsynligheden for, at den observerede ubalance kunne være opnået fra et datasæt uden konteksteffekt. En empirisk p-værdi på < 0,05 tyder på, at der er en konteksteffekt. For dataene i figur 4 var p-værdierne 0,98, 0,30 og 0,33 for henholdsvis S4, S7 og S9, dvs. alle værdier var > 0,05.

Ubalancestatistikken for et datasæt beregnes som en sum af bidrag over alle triader, der forekommer i to sammenhænge. Bidraget for hver triade (sammenligning af f.eks. d(ref, s1) med d(ref, s2)) bestemmes som følger. For det første tælles dommene for denne triade i en 2 x 2 tabel. Kolonnerne svarer til de to sammenhænge, så kolonnesummerne er begrænset af det samlede antal præsentationer i den pågældende sammenhæng. Rækkerne svarer til optællingerne af de alternative domme, d(ref, s1) < d(ref, _s2) eller d(ref, _s1) > d(ref, s2), så rækkebeløbene begrænses af de observerede valg, summeret på tværs af sammenhænge. Da den tohalede Fisher nøjagtige ^test14 giver sandsynligheden for, at en tabel med den observerede (eller større) interaktion mellem rækker og kolonner (domme og sammenhænge) ville blive set, hvis der faktisk ikke er nogen interaktion, bruger vi den negative logaritme af denne sandsynlighed som denne triades bidrag til den samlede ubalancestatistik. Sammenfatning af de negative logaritmer for at skabe en samlet ubalancestatistik fanger således den fælles sandsynlighed for den observerede ubalance på tværs af triader under nulhypotesen om ingen konteksteffekt.

For at modellere den mentale repræsentation af dyrenavnene blev euklidiske modeller af perceptuelle rum på 1, 2, 3, 4 og 5 dimensioner afledt ved hjælp af en maksimal sandsynlighedsmetode. Forsøgspersonernes svar blev modelleret som beslutninger, der afspejler sammenligningen af to afstande med additiv gaussisk støj, der repræsenterer fejl i estimeringen, dvs. støj i beslutningsfasen. Figur 5 viser log-sandsynligheder (pr. beslutning) for fem euklidiske modeller. Log-sandsynlighederne vises i forhold til log-sandsynligheden for den bedste model, dvs. en model, der tildeler den observerede valgsandsynlighed til hver sammenligning uden at begrænse disse sandsynligheder ved nogen geometrisk overvejelse. For at sætte disse log-sandsynligheder i perspektiv er log-sandsynligheden for en tilfældig valgmodel også angivet; dette tjener som en nedre grænse for modellens ydeevne. Modeltilpasningen forbedres med hver tilføjet dimension. Det største spring er mellem 1D- og 2D-modellerne, hvilket indikerer, at en simpel 1D-model ikke fuldt ud forklarer dataene. Plateauet omkring dimensionerne 4 til 5 indikerer imidlertid, at selv 5D-modellen ikke helt fanger de afstande, der tegner sig for lighedsvurderingerne. For at validere fremgangsmåden blev pipelinen også kørt på simulerede data. Separate eksperimenter blev simuleret for at generere lighedsvurderinger mellem punkter trukket fra henholdsvis 1D, 2D, 3D, 4D og 5D rum. I alle tilfælde identificerede metoden korrekt dimensionaliteten. Desuden gav en model med den korrekte dimensionalitet en log-sandsynlighed, der overensstemmelse med den grundsandhedslog-sandsynlighed, der blev opnået fra modellen.

Endelig blev organiseringen af punkter i de perceptuelle rummodeller visualiseret. Figur 6 viser disse data for et emne, S7. Hovedkomponentanalyse (PCA) blev udført på punkterne fra 5D-modellen af det perceptuelle rum. Punkter, der projiceres på henholdsvis de to første og første og tredje hovedkomponenter, er vist i figur 6A og figur 6B, hvor akserne normaliseres for lige stor varians. Afstande mellem punkter tilpasset lighedsvurderingerne opnået eksperimentelt: dyr, der blev opfattet som ens, blev betegnet med punkter, der var tæt på hinanden.

Figur 3: Konsistens på tværs af. (A) Fordeling af valgsandsynligheder på tværs af tre emner for alle parvise sammenligninger. (B) Valg af sandsynligheder for de samme parvise sammenligninger på tværs af fagpar. Farvebjælken viser forholdet mellem den observerede fælles sandsynlighed og den uafhængige fælles sandsynlighed. Høje værdier langs hoveddiagonalen indikerer konsistens på tværs af emner. Klik her for at se en større version af denne figur.

Figur 4: Konteksteffekter. Valgsandsynligheder for alle parvise sammenligninger, der blev foretaget i to sammenhænge, for hvert af tre emner. A henviser vilkårligt til en sammenhæng, hvor en triade blev præsenteret, og B henviser til den anden sammenhæng. Farvebjælken viser forholdet mellem den observerede fælles sandsynlighed og den uafhængige fælles sandsynlighed. Høje værdier langs hoveddiagonalen indikerer mangel på konteksteffekter. Klik her for at se en større version af denne figur.

Figur 5: Resultater af modeltilpasningsanalyse. Relative log-sandsynligheder for modeller af forskellige dimensioner samt for random choice (nedre grænse) modellen, vist for tre emner. En relativ log-sandsynlighed på nul svarer til log-sandsynligheden for den bedste model, hvor valgsandsynligheder matcher de empiriske valgsandsynligheder uden hensyntagen til geometri. Klik her for at se en større version af denne figur.

Figur 6: Det perceptuelle rum for et emne (S7) mere detaljeret. Projektionen af 5D-koordinater opnået ved modellering projiceret på de to første hovedkomponenter i (A) og på den første og tredje hovedkomponent i (B). Akser skaleres, så variansen langs hver akse er ens. Klik her for at se en større version af denne figur.

Tabel 1: Eksempel på parametersæt. Det eksperimentelle paradigme kan varieres til at have færre eller flere stimuli, forsøg og parvise sammenligninger. Rækken med fed skrift angiver de parametre, vi brugte. Klik her for at downloade denne tabel.

Tabel 2: Parametre i analysis/config.yaml og experiments/config.yaml. Klik her for at downloade denne tabel.

Discussion

Protokollen, der er skitseret her, er effektiv til at opnå og analysere lighedsvurderinger for stimuli, der kan præsenteres visuelt. Det eksperimentelle paradigme, analysen og mulige udvidelser diskuteres først og senere fordele og ulemper ved metoden.

Eksperimentelt paradigme: Den foreslåede metode demonstreres ved hjælp af et domæne med 37 dyrenavne, og der gives et prøvedatasæt af perceptuelle vurderinger, så man kan følge analysen i trin 5 og gengive dele af figur 3-6 (protokoltrin 1.4). Det eksperimentelle design grupperer disse 37 stimuli i 222 forsøg - hver indeholdende en referencestimulus i midten og otte sammenligningsstimuli i den omgivende ring - således at flere kriterier holder: a) hver af de 37 stimuli fremstår som reference et lige antal (seks) gange (222 = 37×6), b) over de seks forsøg, hvor en stimulus er referencen, alle de resterende 36 stimuli bruges som sammenligningsstimuli mindst én gang, c) 24 stimuli forekommer i nøjagtigt en sammenligning med en given reference, og d) seks par stimuli vises med referencen i to separate forsøg. Dette aspekt af paradigmet, at seks par sammenligningsstimuli forekommer i separate sammenhænge for hver referencestimulus, gør det muligt at kontrollere konteksteffekter i trin 5 (se figur 4). Dette standarddesign giver 6216 = 222×28 sammenligninger af formularen "Er ligheden mellem referencen til _s1 større eller mindre end ligheden mellem referencen og s2." Denne effektivitet er mulig, fordi hvert af de 222 forsøg giver en rangordning af otte ligheder, og de otte rangerede ligheder genererer 28 parvise sammenligninger. Af disse 6216 sammenligninger gentages 222, hvilket giver os 5994 unikke sammenligninger.

Når stimulusdomænet er valgt, er den næstvigtigste designbeslutning antallet af prøver. Mange alternative designs er mulige (tabel 1), med andre valg for den måde, hvorpå stimuli gentages i forskellige sammenhænge. Som nævnt i figur 4 er der inden for hvert forsøg en triplet - bestående af referencen og to omgivende stimuli - der vises sammen i et andet forsøg. Antallet af de omgivende stimuli, der overlapper med et andet forsøg med en fælles reference - i dette tilfælde lig med to - styres af overlapningsparameteren i analysekonfigurationsfilen. En forøgelse af denne parameter ville resultere i, at flere stimuli deles mellem to forsøg, hvilket giver mulighed for mere omfattende sammenligninger af afstandsrangering, f.eks. "Ligner _s1 mere referencen end s2 og er s2 mere ens end _s3?" på tværs af to sammenhænge. For eksempler på andre eksperimentelle designs, der er mulige med forskellige værdier af denne og andre parametre, se tabel 1. Du kan finde flere oplysninger om alle parametrene, hvad de styrer, og hvor de skal ændres, i tabel 2. Især er det også muligt at ændre antallet af stimuli, der vises omkring en reference i hvert forsøg ved at ændre parametrene num_images_per_trial og num_words_per_trial for henholdsvis billed- og ordeksperimenterne. En forøgelse af omgivelsernes størrelse ville øge antallet af sammenligninger pr. forsøg og bedre undersøgelseskonteksteffekter; at mindske det ville reducere opgavens kompleksitet. Antallet af sammenligningsstimuli i et forsøg (_Ncircle), antallet af stimuli i eksperimentet (_Nstim), antallet af forsøg (_Ntrials), antallet af unikke sammenligninger (_Ncomparisons) og antallet af gentagne sammenligninger (_Nrepeated) er indbyrdes forbundne og afhænger af størrelsen af den tidligere nævnte overlapning mellem forsøg (_Noverlaps) ) og antallet af forsøg pr. referencestimulus (k). Stimulussætstørrelsen bestemmes af m, som er et vilkårligt heltal. Disse relationer er angivet nedenfor:

Der er andre detaljer om paradigmet og dataindsamlingsprocedurerne, der hjælper med at minimere forvirringer. Randomisering af placeringen af stimuli og prøverækkefølge (trin 3.4) er vigtig, så selv når sessioner gentages, begynder emnet ikke at genkende rumlige eller tidsmæssige mønstre i placeringen af stimuli. Det er også vigtigt ikke at give forsøgspersonerne nogen direkte signaler om, hvordan man måler lighed (trin 4), da dette kan skævvride resultaterne. De bør selv beslutte, hvad lighed betyder for dem i forbindelse med det specifikke eksperiment. Det er dog nyttigt at debriefe forsøgspersonerne, når de har afsluttet eksperimentet, da dette kan hjælpe med at forstå, hvordan resultaterne varierer på tværs af forsøgspersoner. Hvis en session af en eller anden grund er beskadiget eller afbrudt, anbefaler vi at slette hele sessionen, så alle forsøg afsluttes lige mange gange.

Analyse af lighedsdata: Eksperimentet giver for hvert forsøg rangordener af lighed mellem _{Ncircle-sammenligningsstimuli} og referencen. Når de nedbrydes til sammenligninger af par stimuli, giver disse forsøg valgsandsynligheder for hver af de unikke sammenligninger. Valgsandsynlighederne analyseres derefter for at søge efter geometriske modeller af det perceptuelle rum (protokoltrin 5). Analysen forsøger at redegøre for valgets sandsynligheder med hensyn til afstande mellem stimuli, d(_si, _sj), i et euklidisk rum. Det vil sige, at målet er at tildele koordinater til hver stimulus, så valgsandsynligheden for at klikke på s1 før s2 afspejler sandsynligheden for, at emnet bedømt d (ref, s1) < d (ref, s2). Denne tilpasningsprocedure er beskrevet her, både fordi den har nogle nye elementer, og for at gøre det muligt for en bruger at ændre den (protokoltrin 5.2).

Analysen er en slags flerdimensionelt skaleringsproblem, men med nogle kendetegn. For det første giver dataene rangorden af ulighedsvurderinger snarere end skøn over afstandene. For det andet indeholder datasættet, selvom det er omfattende, kun en delmængde af alle mulige sammenligninger af parvise afstande. Endelig er målet at redegøre for valgsandsynlighederne, ikke kun en binær beslutning om, hvilken afstand der er størst. Med disse overvejelser i tankerne vælges omkostningsfunktionen således, at dens værdi minimeres, når modelforudsigerede valgsandsynligheder mest sandsynligt vil give de eksperimentelt observerede valgsandsynligheder. Det defineres derfor som den negative log-sandsynlighed for de observerede valgsandsynligheder under modellen, normaliseret af det samlede antal parvise sammenligninger og er tilpasset fra tidligere ^arbejde15:

hvor _N0 = _Ncomparisons. _Nrepeats og _Nrepeats er antallet af gentagelser af protokollen (dvs. antallet af gange hvert unikt forsøg gentages), og

Her _srdenoter referencestimulansen i et forsøg, _si og _sj og stimuli i ringen omkring _sr. P (d(_sr, _si) < d(_sr, _sj)) repræsenterer modellens sandsynlighed for, at afstanden mellem _sr og _si bedømmes som mindre end afstanden mellem _sr og _sj, og C angiver det antal gange, som subjektet bedømte d(_sr, _si ) < d(_sr, _sj). Formålet med modelleringsanalysen er at finde en konfiguration af punkter i et euklidisk rum, der tegner sig for de empiriske valgsandsynligheder. Iterativt justerer minimeringen de koordinater, der er tildelt hver stimulus, og dermed modelvalgssandsynlighederne (P). Minimeringen afsluttes, når omkostningsfunktionen holder op med at falde til under tolerancen (en justerbar parameter med navnet tolerance styrer dette), eller hvis det maksimale antal gentagelser nås (styres af parameter max_iterations).

For at forbinde stimuluskoordinaterne med modelvalgssandsynlighederne antages det, at et emne - når man vælger mellem to stimuli til at klikke i et forsøg - vil foretage en intern sammenligning af deres relative afstande til referencen, nemlig d(_sr, _si) og d(_sr, _sj). Disse afstande er (som standard) de almindelige euklidiske afstande mellem punkter, der er tildelt stimuli _sr, _si og _sj. Endvidere antages det, at denne mentale sammenligning har en intern støj, som vi modellerer som en additiv gaussisk kilde til standardafvigelse σ, en model introduceret for endimensionelle domæner af Maloney et ^al.16,17og også brugt til flerdimensionelle ^domæner15. Sandsynlighederne for modelvalg er relateret til koordinaterne ved at:

Den interne støj, σ, kan styres ved at variere sigma i analysekonfigurationsfilen. For at initialisere algoritmen med et sæt stimuluskoordinater blev rangordensdommene brugt til at opnå et sæt omtrentlige afstande, og derefter blev standard multidimensionel ^skalering10 anvendt på disse afstande for at opnå de oprindelige koordinater. Disse omtrentlige afstande blev bestemt ved at tælle gevinster og tab for hvert par stimuli. Det vil sige, at se over alle parvise sammenligninger i dataene, hver gang en afstand, d(_sr, _sk) bedømmes større end en anden, d(_sr, _sn), logges en gevinst for den større afstand d(_sr, _sk) og et tab logges for d(_sr, _sn ). Kerneideen er, at jo større afstanden mellem to stimuli er, desto oftere vil den blive bedømt som større end en anden afstand (med hensyn til sejre) og omvendt. Efter at have vektat gennem alle sammenligninger og tabuleret gevinster og tab for hvert par stimuli, beregnes afstandsestimater som følger:

Når dette er gjort, bestemmes det oprindelige sæt koordinater ved at anvende standardmetrisk flerdimensionel skalering til _dinit (_si, _sj).

Den således beskrevne minimeringsrutine køres uafhængigt for at opnå modeller af 1, 2, 3, 4 og 5 dimensioner. I hvert tilfælde returneres de optimale koordinater for de udledte stimuluspunkter samt værdien af omkostningsfunktionen, dvs. den negative logsandsynlighed for de empiriske valgsandsynligheder. Log-sandsynligheden er afbildet i figur 5 i forhold til den bedst mulige log-sandsynlighed, som beregnes på samme måde som i ligning 1, med

,

til alle sammenligninger. Som en fornuftskontrol er der i figur 5 også afbildet den tilfældige modellog-sandsynlighed, en nedre grænse, hvormed modellernes ydeevne skal bedømmes. Når vi beregner sandsynligheden for tilfældig valglog- og valg, indstiller vi

til alle sammenligninger.

Mulige udvidelser: For det første kan det eksperimentelle paradigme som tidligere nævnt ændres for at imødekomme stimulussæt af forskellig størrelse, og antallet af stimuli i ringen kan ændres for at give forskellige antal parvise sammenligninger pr. Forsøg (se tabel 1).

For det andet kan det være nyttigt at anvende ikke-euklidiske afstandsmålinger i analysen. For eksempel viste en undersøgelse, at byblokmetrikken bedre repræsenterede et perceptuelt rum af overfladelys og ^belysning18. Den foreslåede metode kan generaliseres, så modeller med andre afstandsmålinger, f.eks. en byblokafstand, en Minkowski-afstand eller en hyperbolsk ^afstand19, passer til lighedsdata. For at gøre dette skal man ændre den medfølgende kode og implementere en alternativ afstandsmåling. Den vigtigste nødvendige ændring er i linje 105 (funktionsnavn: dist_model_ll_vectorized) i fillighederne/analysen/pairwise_likelihood_analysis.py.

Styrker og begrænsninger: En vigtig styrke ved den foreslåede tilgang er, at den giver en fleksibel ramme for design af eksperimenter med forskellige stimulussætstørrelser, forskellige antal sammenligninger, gentagelser eller antallet af stimuli pr. Forsøg samt forskellige overlappende sætstørrelser til måling af konteksteffekter. Ved at ændre størrelsen af overlapningen mellem retssager og størrelsen af omgivelserne i en retssag kan man undersøge kontekstens rolle i lighedsdomme, samtidig med at man opnår et stort antal parvise lighedsdomme pr. retssag. Metoden adresserer mange begrænsninger i tidligere eksperimentelle paradigmer til indsamling af lighedsdata. For eksempel, i modsætning til de arrangementbaserede ^metoder12,20 (der kræver, at stimuli arrangeres på et 2D euklidisk plan med lignende genstande placeret sammen og forskellige genstande placeret fra hinanden) og sorteringsmetoderne (der kræver, at stimuli kategoriseres i bunker),¹¹ beder rangordningsmetoden ikke forsøgspersoner om at projicere deres interne repræsentation på nogen geometrisk struktur. En anden begrænsning ved nogle tidligere metoder - f.eks. forvirringsmatricer, hvor to stimuli betragtes som ens, hvis de forveksles med hinanden i opgaver med hurtig ^{anerkendelse21} - er, at de ikke giver graduerede målinger. Denne metode giver graduerede målinger, dvs. valgsandsynlighederne.

Som understreget ovenfor er indsamlingsmetoden fleksibel, idet den ikke antager, at den interne repræsentation er et euklidisk rum. Her tester analysemetoden kun euklidiske modeller; Det kan dog udvides til også at omfatte ikke-euklidiske modeller ved lokaliserede ændringer i kildekoden. Modelleringsrammen er imidlertid ikke udformet til at tage hensyn til konteksteffekter. Hvis de var betydningsfulde, ville det tage forbehold for de konklusioner, der kunne drages.

Den foreslåede metode er mere tidseffektiv end den parrede sammenligningsmetode. Hvert forsøg med paradigmet tager omkring ~ 30 s (forsøgspersoner udfører 111 forsøg på en time), hvilket giver 111×28 = 3108 sammenligninger i timen. Enkeltsammenligningsforsøg vil sandsynligvis ikke tage mindre end 3 s pr. Forsøg, hvilket ville give 1200 sammenligninger i timen. Derudover er der et andet niveau af effektivitet: Den nuværende tilgang kræver ikke sammenligninger af alle parvise afstande. For eksemplet i manuskriptet udgør det fulde sæt parvise afstande 221445 sammenligninger, men i den nuværende tilgang er en sparsom delmængde af 5994 unikke sammenligninger, hver gentaget 5 eller 10 gange, tilstrækkelig til at modellere lighedsdataene. Metoden, selvom den er effektiv, er dog stadig tidskrævende, og den kræver et betydeligt engagement fra forsøgspersonerne. Som følge heraf er det ikke en gennemførlig tilgang til et sæt af hundredvis af stimuli, medmindre data samles på tværs af emner. Endelig er tilgangen ikke direkte anvendelig på ikke-sproglige stimuli.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.