Ett psykofysikparadigm för insamling och analys av likhetsdomar

Summary

Protokollet presenterar ett experimentellt psykofysikparadigm för att erhålla stora mängder likhetsdomar och ett åtföljande analysarbetsflöde. Paradigmet undersöker kontexteffekter och möjliggör modellering av likhetsdata när det gäller euklidiska utrymmen med minst fem dimensioner.

Abstract

Likhetsdomar används ofta för att studera mentala representationer och deras neurala korrelater. Den här metoden har använts för att karakterisera perceptuella utrymmen i många domäner: färger, objekt, bilder, ord och ljud. Helst kan man vilja jämföra uppskattningar av upplevd likhet mellan alla par stimuli, men detta är ofta opraktiskt. Om man till exempel ber ett ämne att jämföra likheten mellan två objekt med likheten mellan två andra objekt, växer antalet jämförelser med den fjärde kraften i stimulansuppsättningsstorleken. En alternativ strategi är att fråga ett ämne för betygslikheter hos isolerade par, t.ex. på en Likert-skala. Detta är mycket effektivare (antalet betyg växer kvadratiskt med inställd storlek snarare än quartically), men dessa betyg tenderar att vara instabila och har begränsad upplösning, och metoden förutsätter också att det inte finns några kontexteffekter.

Här presenteras ett nytt rankningsparadigm för effektiv insamling av likhetsdomar, tillsammans med en analyspipeline (programvara förutsatt) som testar om euklidiska avståndsmodeller står för uppgifterna. Typiska prövningar består av åtta stimuli runt en central referensstimulans: ämnet rangordnar stimuli i ordning efter deras likhet med referensen. Genom omdömesgillt urval av kombinationer av stimuli som används i varje studie har metoden interna kontroller för konsekvens och kontexteffekter. Tillvägagångssättet validerades för stimuli från euklidiska utrymmen på upp till fem dimensioner.

Tillvägagångssättet illustreras med ett experiment som mäter likheter mellan 37 ord. Varje försök ger resultaten av 28 parvis jämförelser av formuläret, "Var A mer lik referensen än B var referensen?" Även om man direkt jämför alla par av par av stimuli skulle ha krävt 221445 försök, möjliggör denna design återuppbyggnad av det perceptuella utrymmet från 5994 sådana jämförelser som erhållits från 222 prövningar.

Introduction

Människor bearbetar mentalt och representerar inkommande sensorisk information för att utföra ett brett spektrum av uppgifter, såsom objektigenkänning, navigering, att dra slutsatser om miljön och många andra. Likhetsdomar används ofta för att undersöka dessa mentala ^{representationer1}. Att förstå strukturen hos mentala representationer kan ge insikt i organisationen av konceptuell ^kunskap2. Det är också möjligt att få insikt i neurala beräkningar, genom att relatera likhetsdomar till hjärnans aktiveringsmönster3. Dessutom avslöjar likhetsdomar egenskaper som är framträdande i ^uppfattning4. Att studera hur mentala representationer förändras under utvecklingen kan belysa hur de lärs ^ut5. Således ger likhetsdomar värdefull inblick i informationsbehandling i hjärnan.

En vanlig modell av mentala representationer med likheter är en geometrisk rymdmodell6,7,8. Tillämpas på sensoriska domäner kallas denna typ av modell ofta för ett perceptuellt ^utrymme9. Punkter i rymden representerar stimuli och avstånd mellan punkter motsvarar den upplevda skillnaden mellan dem. Från likhetsdomar kan man få kvantitativa uppskattningar av olika skillnader. Dessa parvis skillnader (eller perceptuella avstånd) kan sedan användas för att modellera det perceptuella utrymmet via flerdimensionell ^skalning10.

Det finns många metoder för att samla in likhetsdomar, var och en med sina fördelar och nackdelar. Det enklaste sättet att få kvantitativa mått på olikhet är att be försökspersoner att på en skala betygsätta graden av olikhet mellan varje par stimuli. Även om detta är relativt snabbt, tenderar uppskattningar att vara instabila över långa sessioner eftersom ämnen inte kan gå tillbaka till tidigare domar, och kontexteffekter, om de finns, kan inte upptäckas. (Här definieras en kontexteffekt som en förändring i den bedömda likheten mellan två stimuli, baserat på närvaron av andra stimuli som inte jämförs.) Alternativt kan ämnen bli ombedda att jämföra alla par stimuli med alla andra par stimuli. Även om detta skulle ge en mer tillförlitlig rangordning av olika skillnader, krävde antalet jämförelser skalor med den fjärde kraften i antalet stimuli, vilket gör det möjligt för endast små stimulansuppsättningar. Snabbare alternativ, som att sortera i ett fördefinierat antal ^kluster11 eller fri sortering har sina egna begränsningar. Fri sortering (i valfritt antal högar) är intuitiv, men det tvingar ämnet att kategorisera stimuli, även om stimuli inte lätt lämpar sig för kategorisering. Den nyare metoden med flera arrangemang, inversa MDS, kringgår många av dessa begränsningar och är mycket ^effektiv12. Denna metod kräver dock att ämnen projicerar sina mentala representationer på ett 2D Euclidean-plan och överväger likheter på ett specifikt geometriskt sätt, vilket gör antagandet att likhetsstrukturen kan återvinnas från euklidiska avstånd på ett plan. Det finns således fortfarande ett behov av en effektiv metod för att samla in stora mängder likhetsdomar, utan att göra antaganden om den geometri som ligger till grund för domarna.

Beskrivs här är en metod som både är någorlunda effektiv och även undviker ovanstående potentiella fallgropar. Genom att be försökspersoner att rangordna stimuli i ordning efter likhet med en central referens i varje ^prövning13, kan relativ likhet undersökas direkt, utan att anta något om den geometriska strukturen hos försökspersonernas svar. Paradigmet upprepar en delmängd av jämförelser med både identiska och olika sammanhang, vilket möjliggör direkt bedömning av kontexteffekter samt förvärv av graderade svar när det gäller valsannolikheter. Analysförfarandet sönderdelar dessa rangordningar i flera jämförelser på två sätt och använder dem för att bygga och söka efter euklidiska modeller av perceptuella rum som förklarar domarna. Metoden är lämplig för att beskriva i detalj representationen av stimulansuppsättningar av måttliga storlekar (t.ex. 19 till 49).

För att demonstrera genomförbarheten av tillvägagångssättet genomfördes ett experiment, med en uppsättning av 37 djur som stimuli. Data samlades in under loppet av 10 entimmessessioner och analyserades sedan separat för varje ämne. Analysen visade konsekvens mellan ämnen och försumbara kontexteffekter. Det bedömde också konsekvensen av upplevda skillnader mellan stimuli med euklidiska modeller av deras perceptuella utrymmen. Paradigmet och analysförfarandena som beskrivs i detta dokument är flexibla och förväntas vara till nytta för forskare som är intresserade av att karakterisera de geometriska egenskaperna hos en rad perceptuella utrymmen.

Protocol

Innan försöken påbörjas ger alla försökspersoner informerat samtycke i enlighet med de institutionella riktlinjerna och Helsingforsdeklarationen. När det gäller denna studie godkändes protokollet av weill Cornell Medical Colleges institutionella granskningsnämnd.

1. Installation och installation

1. Ladda ned koden från GitHub-databasen, likheter (https://github.com/jvlab/similarities). Kör: git clone https://github.com/jvlab/similarities.git på kommandoraden. - Om git inte är installerat, ladda ner koden som en zippad mapp från databasen.
   I databasen finns två underkataloger: experiment, som innehåller två exempel experiment, och analys, som innehåller en uppsättning python-skript för att analysera insamlade likhets data. I experimentkatalogen använder en (word_exp) ordstimulans och den andra (image_exp) visar bildstimuli. Viss förtrogenhet med Python kommer att vara till hjälp, men inte nödvändigt. Förtrogenhet med kommandoraden förutsätts: flera steg kräver att skript körs från kommandoraden.
2. Installera följande verktyg och konfigurera en virtuell miljö.
   1. python 3: Se länken för instruktioner: https://realpython.com/installing-python/. Det här projektet kräver Python version 3.8.
   2. PsychoPy: Från länken (https://www.psychopy.org/download.html), ladda ner den senaste fristående versionen av PsychoPy för det relevanta operativsystemet, med den blå knappen, under Installation. Detta projekt använder PsychoPy version 2021.2; De tillhandahållna provexperimenten måste köras med rätt version av PsychoPy enligt nedan.
   3. conda: Från länken (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), ladda ner conda, via Miniconda eller Anaconda, för det relevanta operativsystemet.
   4. På kommandoraden kör du följande för att skapa en virtuell miljö med de nödvändiga python-paketen:
      cd ~/likheter
      conda env create -f environment.yaml
   5. Kontrollera om den virtuella miljön har skapats och aktivera den på följande sätt:
      conda env list # venv_sim_3.8 bör listas
      conda aktivera venv_sim_3.8 # för att komma in i den virtuella miljön
      conda inaktivera # för att avsluta den virtuella miljön efter att skript har körts
      Det kan ibland vara långsamt att köra skript i en miljö. Tillåt upp till en minut att se utskrifter på kommandoraden när du kör ett skript.
3. Om du vill vara tills du vill att den nedladdade koden fungerar som förväntat kör du de angivna exempel experimenten med stegen nedan.
   OBS: Experimentkatalogen (likheter/experiment) innehåller provexperiment (word_exp och image_exp), med användning av två typer av stimuli: ord och bilder.
   1. Öppna PsychoPy. Gå till Visa och klicka sedan på Kodare, eftersom PsychoPys standardbyggare inte kan öppna .py filer. Gå till Arkiv, klicka sedan på Öppna och öppna word_exp.py (likheter/experiment/word_exp/word_exp.py).
   2. Om du vill läsa in experimentet klickar du på den gröna knappen Kör experiment . Ange initialer eller namn och sessionsnummer och klicka på OK.
   3. Följ instruktionerna och gå igenom några försök för att kontrollera att stimuli grånas ut när du klickar på. Tryck på Escape när du är redo att avsluta.
      OBS: PsychoPy öppnas i helskärmsläge, visar först instruktioner och sedan några försök, med platshållartext istället för stimulansord. När du klickar på dem grånas orden ut. När alla ord har klickats börjar nästa rättegång. När som helst kan PsychoPy avslutas genom att trycka på Escape-tangenten . Om programmet avslutas under steg 1.3.2 eller 1.3.3 är det möjligt att användarens operativsystem kräver åtkomst till tangentbordet och musen. I så fall skrivs ett beskrivande felmeddelande ut i fönstret PsychoPy Runner, som vägleder användaren.
   4. Kontrollera sedan att avbildnings experimentet körs med platshållarbilder. Öppna PsychoPy. Gå till Arkiv. Klicka på Öppna och välj image_exp.psyexp (similarities/experiments/image_exp/image_exp.psyexp).
   5. Om du vill vara tills rätt version används klickar du på Gear-ikonen . Från alternativet Använd PsychoPy-version välj 2021.2 på rullgardinsmenyn.
   6. Som tidigare klickar du på den gröna knappen Kör experiment . Ange initialer eller namn och sessionsnummer och klicka på OK.
      Obs: Som i steg 1.3.2 kommer PsychoPy först att visa instruktioner och sedan återge försök efter att bilder har laddats. Varje utvärderingsversion innehåller åtta platshållarbilder som omger en central bild. Om du klickar på en bild blir det grått. Programmet kan avslutas genom att trycka på Escape.
   7. Navigera till datakatalogen i var och en av experimentkatalogerna för att se utdata:
      likheter/experiment/image_exp/data
      likheter/experiment/word_exp/data
      EXPERIMENTELLA data skrivs till datakatalogen. Svarsfilen.csv filen innehåller klicksvar från utvärdering för rättegång. Loggfilen innehåller alla tangenttryckningar och musklick. Det är användbart för felsökning, om PsychoPy slutar oväntat.
4. Om du vill verifiera att analysskripten fungerar som förväntat återger du några av siffrorna i avsnittet Representativa resultat enligt följande.
   1. Skapa en katalog för förbehandlade data:
      cd ~/likheter
      mkdir-provmaterial/ämnesdata/förbehandlade
   2. Kombinera rådata från alla svar.csv filer till en json-fil. Kör följande på kommandoraden:
      cd likheter
      conda aktivera venv_sim_3.8
      python -m analysis.preprocess.py
   3. Ange följande värden för indataparametrarna: 1) sökväg till ämnesdata: ./sample-materials/subject-data, 2), namn på experimentet: sample_word och 3) ämnes-ID: S7. Json-filen kommer att vara i likheter/provmaterial/ämnesdata/förbehandlad.
   4. När data har förbehandlats följer du stegen i projektet README under reproduceringssiffror. Dessa analysskript kommer att köras senare för att analysera data som samlas in från användarens eget experiment.

2. Datainsamling genom att ställa in ett anpassat experiment

OBS: Procedurer beskrivs för både bild- och ordexperiment fram till steg 3.1. Efter det här steget är processen densamma för båda experimenten, så avbildnings experimentet nämns inte uttryckligen.

1. Välj ett experiment som ska köras. Navigera till ordexperimentet (likheter/experiment/word_exp) eller bildexperimentet (likheter/experiment/image_exp).
2. Bestäm antalet stimuli. Standardstorleken på stimulansuppsättningen är 37. Om du vill ändra detta öppnar du konfigurationsfilen (similarities/analysis/config.yaml) i en källkodsredigerare. I num_stimuli parametern för analyskonfigurationsfilen ställer du in stimulansstorleken lika med mk + 1 enligt den experimentella designen för heltal k och m.
   OBS: I standardkonstruktionen ≥ k 3 och m = 6. Giltiga värden för num_stimuli därför 19, 25, 31, 37, 43 och 49 (se tabell 1 för eventuella tillägg av formgivningen).
3. Slutför de experimentella stimuli. Om ordexperimentet körs förbereder du en lista med ord. För avbildnings experimentet, skapa en ny katalog och placera alla stimulans bilder i den. Bildtyper som stöds är png och jpeg. Använd inte perioder som avgränsare i filnamn (t.ex. bild.1.png är ogiltig men bild1.png eller image_1.png är giltiga).
4. Om du kör ordet experiment, förbered stimuli enligt följande.
   1. Skapa en ny fil i experiment/word_exp med namnet stimuli.txt. Den här filen kommer att läsas i steg 3.3.
   2. Skriv orden i stimulansuppsättningen som de är avsedda att visas i displayen i filen, med varje ord på en separat rad. Undvik extra tomma rader eller extra blanksteg bredvid orden. Se provmaterial som referens (likheter/provmaterial/ord-exp-material/sample_word_stimuli.txt).
5. Om avbildnings experimentet körs anger du sökvägen till stimulansuppsättningen enligt följande.
   1. I experimentkatalogen hittar du konfigurationsfilen config.yaml (similarities/experiments/config.yaml).
   2. Öppna filen i en källkodsredigerare och uppdatera värdet på filvariabeln till sökvägen till katalogen som innehåller stimulansuppsättningen (steg 2.3). Det är här PsychoPy kommer att leta efter bildstimuli.

3. Skapa rankningsförsök

1. Använd en stimuli.txt fil. Om ordexperimentet körs kan filen som skapas i steg 2.4 användas. Använd annars listan över filnamn (för referens, se likheter/provmaterial/bild-exp-material/sample_image_stimuli.txt). Placera filen i lämplig experimentkatalog (word_exp eller image_exp).
2. Undvik extra tomma rader och blanksteg i namnen. Använd camelCase eller snake_case för stimulansnamn.
3. Skapa sedan utvärderingskonfigurationer. Öppna filen config.yaml i analyskatalogen och ange värdet för parametern path_to_stimulus_list på sökvägen till stimuli.txt (skapad i steg 3.1).
   1. Kör skriptet i likhetskatalogen genom att köra följande kommandon efter varandra:
      cd ~/likheter
      conda aktivera venv_sim_3.8
      python -m analysis.trial_configuration
      conda inaktivera # avsluta den virtuella miljön
   2. Detta skapar en fil som kallas trial_conditions.csv i likheter där varje rad innehåller namnen på stimuli som visas i en rättegång, tillsammans med deras positioner i displayen. Ett exempel trial_conditions.csv fil tillhandahålls (likheter/provmaterial). Mer information om indataparametrar för analysskripten finns i projektet README under Användning.

Figur 1: Representativa exempel på försök (steg 3.3). (A) Varje rad innehåller information om en enda rättegång. Rubriker anger stimulansens position runt cirkeln. Stimulansen under ref visas i mitten och stim 1 till stim 8 visas runt referensen. (B) Den första studien (rad) från A återges av PsychoPy för att visa de åtta stimuli runt referensstimulansen, apa. Klicka här för att se en större version av den här figuren.

OBS: Vid denna tidpunkt har en fullständig uppsättning av 222 försök för en fullständig experimentell körning, dvs. för en fullständig datauppsättning, genererats. Bild 1A visar en del av en villkorsfil som genereras av skriptet ovan för ordexperimentet (se Representativa resultat).

4. Bryt sedan dessa 222 prövningar i sessioner och slumpmässigt provordern. I den typiska designen består sessionerna av 111 försök, som var och en kräver ungefär 1 h för att köras.
   1. Så här kör du följande på kommandoraden:
      conda aktivera venv_sim_3.8
      cd ~/likheter
      python -m analysis.randomize_session_trials
   2. Ange följande indataparametrar när du uppmanas att ange följande indataparametrar: sökväg till trial_conditions.csv som skapas i steg 3.3.2; utdatakatalog; Antal försök per session: 111; Antal upprepningar: 5.
      OBS: Antalet upprepningar kan också varieras men kommer att påverka antalet sessioner som genomförs i steg 4 (se Diskussion: Experimentellt paradigm). Om du ändrar standardvärdet för antalet upprepningar måste du redigera värdet för parametern num_repeats i konfigurationsfilen (similarities/analysis/config.yaml). Om det behövs kontrollerar du steg-för-steg-instruktionerna för att göra ovanstående manuellt i README-filen under avsnittet Skapa utvärderingsversioner.
5. Byt namn på och spara var och en av de genererade filerna som villkor.csv, i sin egen katalog. Se den rekommenderade katalogstrukturen här: likheter/provmaterial/ämnesdata och i projektet README.
   OBS: Som beskrivs i steg 4 upprepas varje experiment fem gånger i standarddesignen, under 10 h långa sessioner, var och en på en separat dag. Försökspersoner bör uppmanas att komma för endast en session per dag för att undvika trötthet. Se tabell 1 för antalet försök och sessioner som behövs för stimulansuppsättningar av olika storlekar.

4. Köra experimentet och samla in likhetsdata

1. Förklara uppgiften för ämnena och ge dem instruktioner. I varje studie kommer försökspersoner att se en central referensstimulans omgiven av åtta stimuli och bli ombedda att klicka på stimuli i omramningen, i form av likhet med den centrala referensen, dvs. de bör klicka på den mest liknande först och minst liknande sist.
2. Be dem att försöka använda en konsekvent strategi. Berätta för dem att de kommer att visas samma konfiguration av stimuli flera gånger under de 10 sessionerna. Om studien undersöker representation av semantisk information, se till att försökspersonerna är bekanta med stimuli innan de börjar.
3. Navigera till relevant experimentkatalog (se steg 2.1). Om det här är första gången experimentet körs skapar du en katalog som kallas ämnesdata för att lagra ämnessvar. Skapa två underkataloger i den: rå och förbehandlad. För varje ämne skapar du en underkatalog inom ämnesdata/rå.
4. Kopiera villkoren.csv fil som utarbetats i steg 3 för den specifika sessionen och klistra in den i den aktuella katalogen, dvs. katalogen som innehåller psyexp-filen. Om det redan finns en fil där, namngivna villkor.csv, se till att ersätta den med den för den aktuella sessionen.
5. Öppna PsychoPy och öppna sedan psyexp- eller py-filen i det aktuella experimentets katalog. I PsychoPy klickar du på den gröna Play-knappen för att köra experimentet. I popup-fönster för modal anger du ämnesnamnet eller ID och sessionsnumret. Klicka på OK för att starta. Instruktioner visas i början av varje session.
6. Låt ämnet slutföras ca 1 h. Eftersom uppgiften är självgående, uppmuntra ämnena att ta pauser om det behövs. När ämnet är klart avslutas PsychoPy automatiskt och filer genereras i likheten/experimenten/_exp/datakatalogen.
7. Överför dessa till katalogen subject-data/raw/ (skapad i steg 4.3). Se README för den rekommenderade katalogstrukturen.
   Som nämnts är loggfilen för felsökning. Den vanligaste orsaken till att PsychoPy stängs oväntat är att ett ämne av misstag trycker på Escape under en session. Om detta händer kommer svar för försök fram till den senaste slutförda prövningen fortfarande att skrivas till svarsfilen.csv filen.
8. Om PsychoPy stängs oväntat öppnar du den igen och skapar en ny .csv fil, med endast de försök som inte hade försökts. Ersätt den befintliga sessionens villkorsfil med den här och kör experimentet igen. Var noga med att spara de genererade filerna på rätt plats. I slutet av sessionen kan de två svarsfilerna kombineras manuellt till en, även om det inte är nödvändigt.
9. Upprepa steg 4.4 till 4.8 för var och en av de återstående sessionerna.
10. När alla sessioner är klara kombinerar du rådatafilerna och formaterar om dem till en enda json-fil för vidare bearbetning. Detta gör du genom att köra preprocess.py i terminalen (likheter/analys/förbearbetning.py) enligt följande:
    cd ~/likheter
    conda aktivera venv_sim_3.8
    python -m analysis.preprocess
11. När du uppmanas anger du de begärda indataparametrarna: sökvägen till ämnesdatakatalogen, ämnes-ID:n för vilka data ska förbehandlas och experimentnamnet (används för att namnge utdatafilen). Tryck på Retur.
12. Avsluta den virtuella miljön:
    conda inaktivera
    Detta skapar en json-fil i utdatakatalogen som kombinerar svar mellan upprepningar för varje utvärderingsversion. Uppgifter om likhet läses in från ämnesdata/rådata och skrivs till ämnesdata/förbehandlas.

5. Analysera likhetsdomar

OBS: Försökspersoner ombeds att klicka på stimuli i ordning efter likhet med referensen, vilket ger en ranking i varje prövning. För standardexperiment upprepar du varje försök fem gånger och genererar fem rankningsordningar av samma åtta stimuli (se figur 2B). Dessa rangordnade bedömningar tolkas som en serie jämförelser där ett ämne jämför par av perceptuella avstånd. Det antas att ämnet ställer följande fråga före varje klick: "Är det (perceptuella) avståndet mellan referensen och stimulansen A mindre än avståndet mellan referensen och stimulans B?" Som visas i figur 2C ger detta valsannolikheter för flera likhetsjämförelser på parurs för varje försök. Analysen nedan använder dessa valsannolikheter.

Figur 2: Erhålla valfrihet från rangordnade domar. (A) En illustration av en rättegång från det ordexperiment vi utförde. (B) Fem rangordningar erhölls för samma rättegång under flera sessioner. (C) Valfrihetssannolikheter för de två- och olikhetsjämförelser som de rangordnade domarna representerar. Klicka här för att se en större version av den här figuren.

1. Bestäm tvåvalssannolikheter från rangordningsdomar.
   1. Kör describe_data.py på kommandoraden i likhet/analys.
      cd ~/likheter
      conda aktivera venv_sim_3.8
      python -m analysis.describe_data
   2. När du uppmanas att ange sökvägen till ämnesdata/förbehandlade och listan över ämnen för vilka analysen ska köras.
      OBS: Detta kommer att skapa tre typer av tomter: i) fördelningen av valsannolikheter för ett visst ämnes fullständiga datauppsättning, ii) värmekartor för att bedöma konsekvens mellan valsannolikheter för par av ämnen, och iii) en värmekarta över valsannolikheter för alla jämförelser som sker i två sammanhang för att bedöma kontexteffekter. Operativt innebär detta att man jämför valfrihetssannolikheter i par av försök som innehåller samma referens och ett gemensamt par stimuli i ringen men skiljer sig åt i alla andra stimuli i ringen: värmekartan visar hur valsannolikheten beror på detta sammanhang.
2. Generera lågdimensionella euklidiska modeller av de perceptuella utrymmena med hjälp av valsannolikheterna. Kör model_fitting.py på kommandoraden enligt följande:
   cd ~/likheter
   conda aktivera venv_sim_3.8
   python -m analysis.model_fitting
   1. Ange följande indataparametrar när du uppmanas: sökväg till ämnesdata/förbehandlad katalog; antalet stimuli (37 som standard); Antalet iterationer (antalet gånger modellanalysen ska köras). Utdatakatalogen. och mängden gaussiskt brus (0,18 som standard).
      Det här skriptet tar några timmar att köra. När de är klara skrivs npy-filer som innehåller de bästa koordinaterna för 1D-, 2D-, 3D-, 4D- och 5D-modeller som beskriver likhetsdata till utdatakatalogen. En csv-fil som innehåller logg-sannolikhetsvärden för de olika modellerna genereras.
3. Visualisera logg sannolikheten för de erhållna modellerna och bedöma deras passform. Det gör du genom att köra likheter/analys/model_fitting_figure.py på kommandoraden:
   cd ~/likheter
   python -m analysis.model_fitting_figure
   1. När du uppmanas att ange den nödvändiga parametern: sökvägen till csv-filerna som innehåller logg sannolikheten (från steg 5.2).
   2. Analysera den genererade siffran och visa logg sannolikheten för y-axeln och modelldimensionerna på x-axeln. Som en sanitetskontroll ingår två modeller utöver euklidiska modeller: en slumpmässig valmodell och en bästa möjliga modell.
      Obs: Den slumpmässiga valmodellen förutsätter att försökspersonerna klickar slumpmässigt. Således ger det en absolut lägre gräns för logg sannolikheten för alla modeller som är bättre än slumpmässiga. På samma sätt, som en övre gräns för logg sannolikheten (märkt bäst), finns det logg sannolikheten för en modell som använder de empiriska val sannolikheterna som sin modell sannolikheter.
   3. Kontrollera att ingen euklidisk modell överträffar den bästa modellen, eftersom den bästa modellen avsiktligt är överanpassad och obegränsad av geometriska överväganden. Kontrollera att sannolikheten som ritas är i förhållande till den bästa logg sannolikheten.
4. Visualisera de perceptuella utrymmena för varje ämne. Generera scatterplots som visar punkterna från 5D-modellen som projiceras på de två första huvudkomponenterna. Det gör du genom att köra likheter/analys/perceptual_space_visualizations.py på kommandoraden:
   cd ~/likheter
   python -m analysis.perceptual_space_visualizations
   1. När du uppmanas att ange parametrarna: ämnes-ID:n (avgränsade med blanksteg) och sökvägen till npy-filen som innehåller de 5D-punkter som erhållits från steg 5.2.
   2. När skriptet har körts klart avslutar du den virtuella miljön:
      conda inaktivera
      OBS: Det här skriptet är för visualisering av likhetsdomarna. Det kommer att skapa en 2D-spridningsplot genom att projicera 5D-punkterna på de två första huvudkomponenterna, normaliserade för att ha samma varians. Två punkter kommer att vara längre ifrån varandra om ämnet ansåg att de var mindre lika och vice versa.

Representative Results

Bild 1A visar en del av en villkorsfil som genereras av skriptet i steg 3.3 för ordexperimentet. Varje rad motsvarar en rättegång. Stimulansen i ref-kolumnen visas i mitten av displayen. Kolumnnamnen stim1 till stim8 motsvarar åtta positioner längs en cirkel, som löper moturs, från positionen till höger om den centrala referensen. En exempelstudie från ordexperimentet visas i figur 1B.

För att påvisa genomförbarhet och reproducerbarhet genomfördes ett experiment där stimulansuppsättningen bestod av namnen på 37 djur. Kompletta datamängder samlades in från åtta friska försökspersoner med normal syn som en del av en studie. För att demonstrera metoden visas data från tre av dessa försökspersoner här, varav två var naiva i studiens syfte. Informerat samtycke erhölls i enlighet med Helsingforsdeklarationen och weill Cornell Medical Colleges institutionella riktlinjer.

Efter datainsamling utfördes den första bearbetningen som beskrivs ovan (protokollsteg 4.10-4.12). Försökspersonernas svar i varje studie tolkades som en uppsättning oberoende, binära val av formen "Är avståndet mellan referensen och _s1 mindre än avståndet mellan referensen och _s2?" för alla par stimuli i den omgivande ringen. Rangordna domar förmultnades i sådana parvis val, vilket framgår av figur 2C.

Figur 3A visar fördelningen av dessa valsannolikheter, som var mycket konsekvent mellan ämnen (protokollsteg 5.1). Eftersom varje försök upprepades fem gånger tog valsannolikheter följande värden: 0, 0,2, 0,4, 0,6, 0,8 och 1. De vanligaste sannolikheterna för val är 0 och 1, vilket motsvarar 50-70% av alla beslut i vart och ett av ämnena; Detta är de domar för vilka ett alternativ väljs varje gång. Att till exempel bedöma avståndet mellan _s1 och _s2 som mindre än avståndet mellan _s1 och _s3 0 av 5 gånger skulle motsvara en valsannolikhet på 0; att göra denna bedömning 5 av 5 gånger skulle motsvara en valsannolikhet på 1. Det finns framför allt en hel del konsekvens i valsannolikheterna mellan försökspersonerna, även för de domar som inte är extrema, vilket framgår av klustring av data nära diagonalen i var och en av panelerna i figur 3B.

Därefter bedömdes kontexteffekter. Detta var möjligt på grund av en viktig egenskap hos den experimentella designen: många trillingar av en referensstimulans och två jämförelsestimuli _s1 och _s2 upprepas i två sammanhang (dvs. med distinkta uppsättningar av sex andra stimuli för att slutföra stimulansmatrisen). Därefter var valsannolikheten för varje parvis jämförelse tabulerad i varje sammanhang separat. Den dominerande diagonalen i figur 4 anger att för varje ämne är valsannolikheterna i de två sammanhangen - inklusive de valsannolikheter som är mellanliggande mellan 0 och 1 - nästan identiska. Om valsannolikheter var starkt beroende av sammanhang, skulle de inte vara starkt korrelerade, och denna diagonal skulle inte vara framträdande.

Sammanhangseffekterna bedömdes också med ett statistiskt mått. Måttet på kontexteffekten konstrueras på följande sätt. Det första steget är att beräkna en obalansstatistik för den observerade datauppsättningen (nedan), som kvantifierar i vilken utsträckning de observerade domarna verkar bero på sammanhanget. Vi konstruerar sedan 10000 simulerade data uppsättningar med samma utvärderings konfigurationer, utvärderings antal och övergripande val sannolikheter som faktiska data, men genereras på ett sätt som inte innehåller några kontext effekter - genom att slumpmässigt tilldela de observerade domarna till de två kontexterna. Vi beräknar sedan obalansstatistiken för dessa simulerade data uppsättningar precis som gjordes för de observerade svaren. Slutligen jämför vi obalansstatistiken för de observerade svaren med obalansstatistiken för de simulerade datamängderna för att fastställa sannolikheten för att den observerade obalansen kunde ha erhållits från en datauppsättning utan kontexteffekt. Ett empiriskt p-värde på < 0,05 tyder på att en kontexteffekt är närvarande. För uppgifterna i figur 4 var p-värdena 0,98, 0,30 respektive 0,33, för S4, S7 respektive S9 >, dvs.

Obalansstatistiken för en data uppsättning beräknas som en summa bidrag över alla triader som förekommer i två sammanhang. Bidraget för varje triad (jämför, säg, d(ref, s1) med d(ref, _s2)) bestäms enligt följande. För det första är domarna för denna triad uppringda i en 2 x 2-tabell. Kolumnerna motsvarar de två kontexterna, så kolumnsummorna begränsas av det totala antalet presentationer i den kontexten. Raderna motsvarar räkningar av de alternativa domarna, d(ref, s1) < d(ref, s2) eller d(ref, s1) > d(ref, s2), så radsummorna begränsas av de observerade valen, summerade över kontexter. Eftersom det tvåsidiga ^{Fisher-testet14} ger sannolikheten för att en tabell med den observerade (eller större) interaktionen mellan rader och kolumner (domar och sammanhang) skulle ses om ingen interaktion faktiskt är närvarande, använder vi den negativa logaritmen av denna sannolikhet som bidraget från denna triad till den övergripande obalansstatistiken. Summering av de negativa logaritmerna för att skapa en övergripande obalansstatistik fångar på så sätt den gemensamma sannolikheten för den observerade obalansen mellan triader, under nollhypotesen om ingen kontexteffekt.

För att modellera den mentala representationen av djurnamnen härleddes euklidiska modeller av perceptuella utrymmen på 1, 2, 3, 4 och 5 dimensioner med en maximal sannolikhetsmetod. Försökspersonernas svar modellerades som beslut som återspeglar jämförelsen av två avstånd med additivt gaussiskt brus som representerade fel i uppskattningen, dvs. Figur 5 visar logg sannolikheten (per beslut) för fem euklidiska modeller. Logg sannolikheten visas i förhållande till logg sannolikheten för den bästa modellen, dvs. en modell som tilldelar den observerade valsannolikheten till varje jämförelse, utan att begränsa dessa sannolikheter med någon geometrisk hänsyn. För att sätta dessa logg-sannolikheter i perspektiv anges också logg sannolikheten för en slumpmässig val modell. Detta fungerar som en lägre gräns för modellprestanda. Modellpassningen förbättras med varje extra dimension. Det största hoppet är mellan 1D- och 2D-modellerna, vilket indikerar att en enkel 1D-modell inte helt förklarar data. Platån runt dimensionerna 4 till 5 indikerar dock att inte ens 5D-modellen helt fångar de avstånd som står för likhetsdomarna. För att validera metoden kördes pipelinen också på simulerade data. Separata experiment simulerades för att generera likhetsdomar mellan punkter från 1D- och 2D-, 3D-, 4D- respektive 5D-utrymmen. I samtliga fall identifierade metoden korrekt dimensionaliteten. Dessutom gav en modell med rätt dimensionalitet en logg-sannolikhet som överensstämde med den marksanning logg-sannolikhet som erhållits från modellen.

Slutligen visualiserades organisationen av punkter i de perceptuella rymdmodellerna. Figur 6 visar dessa uppgifter för en person, S7. Huvudkomponentanalys (PCA) utfördes på punkterna från 5D-modellen av det perceptuella utrymmet. Punkter som projiceras på de två första respektive tredje huvudkomponenterna visas i figurerna 6A och figur 6B, där axlarna normaliseras för lika varians. Avstånd mellan punkter i linje med de likhetsdomar som erhållits experimentellt: djur som uppfattades som likartade betecknades av punkter som var nära varandra.

Figur 3: Konsekvens mellan ämnena. (A) Fördelning av valfrihetssannolikheter mellan tre ämnen för alla jämförelser på par. (B) Valfrihetssannolikheter för samma parjämförelser mellan par av ämnen. Färgfältet visar förhållandet mellan den observerade gemensamma sannolikheten och den oberoende gemensamma sannolikheten. Höga värden längs huvuddiagonalen indikerar konsekvens mellan motiven. Klicka här för att se en större version av den här figuren.

Figur 4: Kontexteffekter. Val sannolikheter för alla par-jämförelser som gjordes i två sammanhang, för var och en av tre ämnen. A hänvisar godtyckligt till ett sammanhang där en triad presenterades, och B hänvisar till det andra sammanhanget. Färgfältet visar förhållandet mellan den observerade gemensamma sannolikheten och den oberoende gemensamma sannolikheten. Höga värden längs huvuddiagonalen indikerar en brist på kontexteffekter. Klicka här för att se en större version av den här figuren.

Figur 5: Resultat av modellpassningsanalys. Relativa logg sannolikheten för modeller av olika dimensioner samt för slumpmässiga val (lägre gräns) modell, visas för tre ämnen. En relativ logg-sannolikhet för noll motsvarar logg sannolikheten för den bästa modellen, där val sannolikheter matchar de empiriska val sannolikheterna utan hänsyn till geometri. Klicka här för att se en större version av den här figuren.

Figur 6: Det perceptuella utrymmet för ett ämne (S7) mer detaljerat. Projektionen av 5D-koordinater som erhållits från modellering som projiceras på de två första huvudkomponenterna i (A) och på den första och tredje huvudkomponenten i B. Axlar skalas så att variansen längs varje axel är lika. Klicka här för att se en större version av den här figuren.

Tabell 1: Exempelparameteruppsättningar. Det experimentella paradigmet kan varieras för att ha färre eller fler stimuli, prövningar och parvis jämförelser. Raden i fetstil anger de parametrar vi använde. Klicka här för att ladda ner den här tabellen.

Tabell 2: Parametrar i analys/config.yaml och experiments/config.yaml. Klicka här för att ladda ner den här tabellen.

Discussion

Protokollet som beskrivs här är effektivt för att erhålla och analysera likhetsdomar för stimuli som kan presenteras visuellt. Det experimentella paradigmet, analysen och möjliga förlängningar diskuteras först och senare fördelarna och nackdelarna med metoden.

Experimentellt paradigm: Den föreslagna metoden demonstreras med hjälp av ett område med 37 djurnamn, och ett urvals dataset med perceptuella domar tillhandahålls så att man kan följa analysen i steg 5 och reproducera delar av figur 3-6 (protokollsteg 1.4). Den experimentella designen grupperar dessa 37 stimuli i 222 försök - var och en innehåller en referensstimulans i mitten och åtta jämförelsestimuli i den omgivande ringen - så att flera kriterier håller: a) var och en av de 37 stimuli visas som referens ett lika stort antal (sex) gånger (222 = 37×6), b) över de sex försöken där en stimulans är referensen, alla återstående 36 stimuli används som jämförelsestimuli minst en gång, c) 24 stimuli förekommer i exakt en jämförelse med en given referens, och d) sex par stimuli uppträder med referensen i två separata prövningar. Denna aspekt av paradigmet, att sex par jämförelsestimuli förekommer i separata sammanhang för varje referensstimulans, gör det möjligt att kontrollera kontexteffekter i steg 5 (se figur 4). Denna standardkonstruktion ger 6216 = 222×28 jämförelser av formen "Är likheten mellan referensen till s1 större eller mindre än likheten mellan referensen till s2." Denna effektivitet är möjlig eftersom var och en av de 222 försöken ger en ranking av åtta likheter, och de åtta rankade likheterna genererar 28 parvis jämförelser. Av dessa 6216 jämförelser upprepas 222, vilket ger oss 5994 unika jämförelser.

När stimulansdomänen har valts är nästa viktigaste designbeslut antalet prover. Många alternativa mönster är möjliga (tabell 1), med andra val för hur stimuli upprepas i olika sammanhang. Som nämns i figur 4 finns det inom varje prövning en trilling - bestående av referensen och två omgivande stimuli - som förekommer tillsammans i en annan rättegång. Antalet omgivande stimuli som överlappar med en annan rättegång med en gemensam referens - i det här fallet lika med två - styrs av överlappningsparametern i analyskonfigurationsfilen. Att öka denna parameter skulle resultera i att fler stimuli delas mellan två försök, vilket möjliggör mer omfattande jämförelser av avståndsrankning, t.ex. "Är _s1 mer lik referensen än s2 och är s2 mer lik än s3?" i två sammanhang. Exempel på andra experimentella konstruktioner som är möjliga med olika värden för detta och andra parametrar, se tabell 1. Mer information om alla parametrar, vad de kontrollerar och var du ska ändra dem finns i tabell 2. Det är också möjligt att ändra antalet stimuli som förekommer runt en referens i varje studie genom att ändra parametrarna num_images_per_trial och num_words_per_trial för bild- respektive ordexperimenten. Att öka storleken på omramningen skulle öka antalet jämförelser per studie och bättre effekter på studiekontexter; minska den skulle minska uppgiftens komplexitet. Antalet jämförelsestimuli i en studie (_Ncircle), antalet stimuli i experimentet (_Nstim), antalet försök (_Ntrials), antalet unika jämförelser (_Ncomparisons) och antalet upprepade jämförelser (_Nrepeated) är inbördes relaterade och beror på storleken på den tidigare nämnda överlappningen mellan prövningar (_Noverlap ) och antalet försök per referensstimulans (k). Stimulansuppsättningsstorleken bestäms av m, vilket är ett godtyckligt heltal. Dessa relationer listas nedan:

Det finns andra detaljer om paradigm- och datainsamlingsförfarandena som hjälper till att minimera sammanblandningar. Randomisering av placeringen av stimuli och försöksordning (steg 3.4) är viktigt så att även när sessioner upprepas börjar ämnet inte känna igen rumsliga eller temporala mönster vid placering av stimuli. Det är också viktigt att inte ge försökspersonerna några direkta ledtrådar om hur man mäter likhet (steg 4) eftersom detta kan snedvrida resultaten. De bör själva besluta om vilken likhet som betyder för dem inom ramen för det specifika experimentet. Det är dock användbart att debriefera ämnena efter att de har slutfört experimentet, eftersom detta kan hjälpa till att förstå hur resultaten varierar mellan ämnen. Om en session av någon anledning är skadad eller avbruten rekommenderar vi att du tar bort hela sessionen så att alla försök slutförs lika många gånger.

Analys av likhetsdata: Experimentet ger för varje studie rangordningar av likhet mellan _{Ncircle-jämförelsestimuli} och referensen. När de sönderdelas i jämförelser av par av stimuli, ger dessa prövningar valsannolikheter för var och en av de unika jämförelserna. Valfrihetssannolikheterna analyseras sedan för att söka efter geometriska modeller av det perceptuella utrymmet (protokollsteg 5). Analysen försöker redogöra för valets sannolikheter när det gäller avstånd mellan stimuli, d(_si, _sj), i ett euklidiskt utrymme. Det vill säga målet är att tilldela koordinater till varje stimulans så att valsannolikheten för att klicka på s1 före s2 återspeglar sannolikheten för att ämnet bedömt d (ref, s1) < d(ref, s2). Den här anpassningsproceduren beskrivs här både för att den har några nya element och för att göra det möjligt för en användare att ändra den (protokollsteg 5.2).

Analysen är ett slags flerdimensionellt skalningsproblem, men med några utmärkande egenskaper. För det första ger uppgifterna rangordning av olikhetsdomar, snarare än uppskattningar av avstånden. För det andra innehåller data uppsättningen, även om den är omfattande, bara en delmängd av alla möjliga jämförelser av parvissavstånd. Slutligen är målet att ta hänsyn till valsannolikheterna, inte bara ett binärt beslut om vilket avstånd som är större. Med dessa överväganden i åtanke väljs kostnadsfunktionen så att dess värde minimeras när modellförutstade valsannolikheter är mest benägna att ge de experimentellt observerade valsannolikheterna. Det definieras därför som den negativa log-sannolikheten för de observerade valsannolikheterna enligt modellen, normaliserad av det totala antalet parvis jämförelser, och är anpassad från tidigare ^arbete15:

där _N0 = _Ncomparisons. _Nrepeats, och _Nrepeats är antalet upprepningar av protokollet (dvs. antalet gånger varje unik prövning upprepas), och

Här, _srdenotes referensstimulansen i en rättegång, _si och _sj och stimuli i ringen runt _sr. P (d(_sr, _si) < d(_sr, _sj)) representerar modellens sannolikhet att avståndet mellan _sr och _si bedöms som mindre än avståndet mellan _sr och _sj och C anger antalet gånger som ämnet bedömt d(_sr, _si ) < d(_sr, _sj). Syftet med modellanalysen är att hitta en konfiguration av punkter i ett euklidiskt utrymme, som står för de empiriska valsannolikheterna. Iterativt justerar minimeringen koordinaterna som tilldelats varje stimulans, och därmed modellvalssannolikheterna (P). Minimering avslutas när kostnadsfunktionen slutar minska under toleransen (en justerbar parameter med namnet tolerans styr detta) eller om det maximala antalet iterationer uppnås (styrs av parametern max_iterations).

För att ansluta stimulanskoordinaterna med modellvalssannolikheterna antas det att ett ämne - när man väljer mellan två stimuli att klicka i en rättegång - kommer att göra en intern jämförelse av deras relativa avstånd till referensen, nämligen d (_sr, _si) och d (_sr, _sj). Dessa avstånd är (som standard) de vanliga euklidiska avstånden mellan punkter som tilldelas stimuli _sr, _si och _sj. Vidare antas det att denna mentala jämförelse har ett internt brus, som vi modellerar som en tillsats gaussisk källa till standardavvikelse σ, en modell som introducerades för endimensionella domäner av Maloney et ^al.16,17och också används för flerdimensionella ^domäner15. Modellvalssannolikheterna är relaterade till koordinaterna genom att:

Det interna bruset, σ, kan styras genom att variera sigma i analyskonditoriumfilen. För att initiera algoritmen med en uppsättning stimulanskoordinater användes rank-order-domarna för att erhålla en uppsättning ungefärliga avstånd och sedan applicerades standard flerdimensionell ^skalning10 på dessa avstånd för att erhålla de första koordinaterna. Dessa ungefärliga avstånd bestämdes genom att räkna vinster och förluster för varje par stimuli. Det vill säga om man tittar över alla parvis jämförelser i data, varje gång ett avstånd, d (_sr, _sk) bedöms större än en annan, d(_sr, _sn), loggas en vinst för större avstånd d (_sr, _sk) och en förlust loggas för d (_sr, _sn ). Kärnidén är att ju större avståndet mellan två stimuli, desto oftare skulle det bedömas som större än ett annat avstånd (när det gäller vinster) och vice versa. Efter att ha itererat genom alla jämförelser och tabulerat vinster och förluster för varje par stimuli beräknas avståndsberäkningar enligt följande:

När detta är gjort bestäms den första uppsättningen koordinater genom att tillämpa standard mått mått multidimensionell skalning på _dinit (_si, _sj).

Minimeringsrutinen som beskrivs på detta sätt körs oberoende för att erhålla modeller med 1, 2, 3, 4 och 5 dimensioner. I varje enskilt fall returneras de optimala koordinaterna för de härledda stimulanspunkterna, liksom värdet på kostnadsfunktionen, dvs. den negativa log-sannolikheten för de empiriska valsannolikheterna. Loggsannolikheten ritas upp i figur 5 i förhållande till bästa möjliga logg-sannolikhet, som beräknas på samma sätt som i ekvation 1, med

,

för alla jämförelser. Som en sanitetskontroll, i figur 5, är den slumpmässiga modellens logg-sannolikhet, en lägre gräns för att bedöma modellernas prestanda också plottad. När vi beräknar slumpmässigt val av logg-sannolikhet ställer vi in

för alla jämförelser.

Möjliga tillägg: För det första, som tidigare nämnts, kan det experimentella paradigmet modifieras för att rymma stimulansuppsättningar av olika storlekar, och antalet stimuli i ringen kan ändras för att ge olika antal parjämförelser per försök (se tabell 1).

För det andra kan det vara användbart att använda icke-euklidiska avståndsmått i analysen. Till exempel fann en studie att stadsblocksmåttet bättre representerade ett perceptuellt utrymme av ytljus och ^belysning18. Den föreslagna metoden kan generaliseras, så modeller med andra avståndsmått, t.ex. ett stadsblocksavstånd, ett Minkowski-avstånd eller ett hyperboliskt ^avstånd19, är lämpliga för likhetsdata. För att göra det måste man ändra den angivna koden och implementera ett alternativt avståndsmått. Den viktigaste ändringen som behövs finns i rad 105 (funktionsnamn: dist_model_ll_vectorized) i filens likheter/analys/pairwise_likelihood_analysis.py.

Styrkor och begränsningar: En viktig styrka med det föreslagna tillvägagångssättet är att det ger en flexibel ram för att utforma experiment med olika stimulansuppsättningsstorlekar, olika antal jämförelser, upprepningar eller antalet stimuli per försök samt olika överlappande setstorlekar för att mäta kontexteffekter. Genom att ändra storleken på överlappningen mellan rättegångar och storleken på omramningen i en rättegång kan man undersöka sammanhangets roll i likhetsdomar, samtidigt som man får ett stort antal tvådepartsdomar om likhet per rättegång. Metoden behandlar många begränsningar i tidigare experimentella paradigm för att samla in likhetsdata. Till exempel, till skillnad från de arrangemangsbaserade ^{metoderna12,20} (som kräver att stimuli ordnas på ett 2D Euclidean-plan med liknande objekt placerade tillsammans och olika objekt placerade isär) och sorteringsmetoderna (som kräver att stimuli kategoriseras i högar), ¹¹ uppmanar rankningsmetoden inte ämnen att projicera sin interna representation på någon geometrisk struktur. En annan begränsning av vissa tidigare metoder - t.ex. förvirringsmatriser där två stimuli anses vara liknande om de förväxlas med varandra i snabba ^{erkännandeuppgifter21} - är att de inte ger graderade åtgärder. Denna metod ger graderade mått, dvs.

Som betonas ovan är insamlingsmetoden flexibel genom att den inte förutsätter att den interna representationen är ett euklidiskt utrymme. Här testar analysmetoden endast euklidiska modeller; Det kan dock utvidgas till att även omfatta icke-euklidiska modeller genom lokaliserade ändringar i källkoden. Modellramen är dock inte utformad för att ta hänsyn till sammanhangseffekter. Om de var betydelsefulla skulle det ge en varning om de slutsatser som skulle kunna dras.

Den föreslagna metoden är mer tidseffektiv än den parade jämförelsemetoden. Varje studie av paradigmet tar cirka ~ 30 s (försökspersoner utför 111 prövningar på en timme), vilket ger 111×28 = 3108 jämförelser per timme. Enjämförelseförsök kommer sannolikt inte att ta mindre än 3 s per försök, vilket skulle ge 1200 jämförelser per timme. Dessutom finns det en andra effektivitetsnivå: det nuvarande tillvägagångssättet kräver inte jämförelser av alla parvis avstånd. För exemplet i manuskriptet är den fullständiga uppsättningen parvis avstånd 221445 jämförelser, men i det nuvarande tillvägagångssättet räcker en gles delmängd av 5994 unika jämförelser, var och en upprepad 5 eller 10 gånger, för att modellera likhetsdata. Men metoden, även om den är effektiv, är fortfarande tidskrävande, och den kräver ett betydande engagemang från ämnena. Som ett resultat är det inte ett genomförbart tillvägagångssätt för en uppsättning hundratals stimuli, såvida inte data slås samman mellan ämnen. Slutligen är tillvägagångssättet inte direkt tillämpligt på icke-uala stimuli.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.