Een psychofysisch paradigma voor het verzamelen en analyseren van gelijkenisoordelen

Samenvatting

Het protocol presenteert een experimenteel psychofysisch paradigma om grote hoeveelheden gelijkenisoordelen te verkrijgen, en een bijbehorende analyseworkflow. Het paradigma onderzoekt contexteffecten en maakt modellering van gelijkenisgegevens mogelijk in termen van Euclidische ruimten van ten minste vijf dimensies.

Samenvatting

Gelijkenisoordelen worden vaak gebruikt om mentale representaties en hun neurale correlaten te bestuderen. Deze benadering is gebruikt om perceptuele ruimtes in vele domeinen te karakteriseren: kleuren, objecten, afbeeldingen, woorden en geluiden. Idealiter zou men schattingen van waargenomen gelijkenis tussen alle paren stimuli willen vergelijken, maar dit is vaak onpraktisch. Als men bijvoorbeeld een onderwerp vraagt om de gelijkenis van twee items te vergelijken met de gelijkenis van twee andere items, groeit het aantal vergelijkingen met de vierde macht van de grootte van de stimulusset. Een alternatieve strategie is om een subject te vragen om overeenkomsten van geïsoleerde paren te beoordelen, bijvoorbeeld op een Likert-schaal. Dit is veel efficiënter (het aantal beoordelingen groeit kwadratisch met de ingestelde grootte in plaats van kwartaal), maar deze beoordelingen zijn meestal onstabiel en hebben een beperkte resolutie, en de aanpak gaat er ook van uit dat er geen contexteffecten zijn.

Hier wordt een nieuw rangschikkingsparadigma voor efficiënte verzameling van gelijkenisoordelen gepresenteerd, samen met een analysepijplijn (meegeleverde software) die test of Euclidische afstandsmodellen rekening houden met de gegevens. Typische studies bestaan uit acht stimuli rond een centrale referentieprikkel: de proefpersoon rangschikt stimuli in volgorde van hun gelijkenis met de referentie. Door een oordeelkundige selectie van combinaties van stimuli die in elk onderzoek worden gebruikt, heeft de aanpak interne controles voor consistentie en contexteffecten. De benadering werd gevalideerd voor stimuli uit Euclidische ruimten van maximaal vijf dimensies.

De aanpak wordt geïllustreerd met een experiment dat overeenkomsten meet tussen 37 woorden. Elke studie levert de resultaten op van 28 paarsgewijze vergelijkingen van de vorm: "Was A meer vergelijkbaar met de referentie dan B met de referentie?" Hoewel het direct vergelijken van alle paren van paren stimuli 221445 proeven zou hebben vereist, maakt dit ontwerp reconstructie van de perceptuele ruimte mogelijk uit 5994 dergelijke vergelijkingen verkregen uit 222 onderzoeken.

Inleiding

Mensen verwerken en vertegenwoordigen mentaal binnenkomende sensorische informatie om een breed scala aan taken uit te voeren, zoals objectherkenning, navigatie, het maken van gevolgtrekkingen over de omgeving en vele anderen. Gelijkenisoordelen worden vaak gebruikt om deze mentale representaties te ^onderzoeken1. Inzicht in de structuur van mentale representaties kan inzicht geven in de organisatie van conceptuele ^kennis2. Het is ook mogelijk om inzicht te krijgen in neurale berekeningen, door gelijkenisoordelen te relateren aan hersenactivatiepatronen3. Bovendien onthullen gelijkenisoordelen kenmerken die saillant zijn in ^perceptie4. Onderzoek naar hoe mentale representaties veranderen tijdens de ontwikkeling kan licht werpen op hoe ze worden ^geleerd5. Gelijkenisoordelen geven dus waardevol inzicht in informatieverwerking in de hersenen.

Een veel voorkomend model van mentale representaties met behulp van overeenkomsten is een geometrisch ruimtemodel6,7,8. Toegepast op sensorische domeinen wordt dit soort model vaak een perceptuele ruimte ^genoemd9. Punten in de ruimte vertegenwoordigen stimuli en afstanden tussen punten komen overeen met de waargenomen ongelijkheid tussen hen. Uit gelijkenisoordelen kan men kwantitatieve schattingen van verschillen verkrijgen. Deze paarsgewijze verschillen (of perceptuele afstanden) kunnen vervolgens worden gebruikt om de perceptuele ruimte te modelleren via multidimensionale ^schaling10.

Er zijn veel methoden voor het verzamelen van gelijkenisoordelen, elk met zijn voor- en nadelen. De meest eenvoudige manier om kwantitatieve metingen van ongelijkwaardigheid te verkrijgen, is door proefpersonen te vragen om op een schaal de mate van ongelijkwaardigheid tussen elk paar stimuli te beoordelen. Hoewel dit relatief snel is, zijn schattingen meestal onstabiel tijdens lange sessies, omdat proefpersonen niet terug kunnen gaan naar eerdere oordelen en contexteffecten, indien aanwezig, niet kunnen worden gedetecteerd. (Hier wordt een contexteffect gedefinieerd als een verandering in de beoordeelde gelijkenis tussen twee stimuli, gebaseerd op de aanwezigheid van andere stimuli die niet worden vergeleken.) Als alternatief kunnen proefpersonen worden gevraagd om alle paren stimuli te vergelijken met alle andere paren stimuli. Hoewel dit een betrouwbaarder rangorde van verschillen zou opleveren, vereiste het aantal vergelijkingen schalen met de vierde macht van het aantal stimuli, waardoor het haalbaar is voor slechts kleine stimulussets. Snellere alternatieven, zoals sorteren in een vooraf gedefinieerd aantal ^clusters11 of gratis sorteren, hebben hun eigen beperkingen. Vrij sorteren (in een willekeurig aantal stapels) is intuïtief, maar het dwingt het onderwerp om de stimuli te categoriseren, zelfs als de stimuli zich niet gemakkelijk lenen voor categorisatie. De meer recente multi-arrangement methode, inverse MDS, omzeilt veel van deze beperkingen en is zeer ^efficiënt12. Deze methode vereist echter dat proefpersonen hun mentale representaties projecteren op een 2D Euclidisch vlak en overeenkomsten op een specifieke geometrische manier overwegen, waarbij de veronderstelling wordt gemaakt dat gelijkenisstructuur kan worden hersteld van Euclidische afstanden op een vlak. Er blijft dus behoefte aan een efficiënte methode om grote hoeveelheden gelijkenisoordelen te verzamelen, zonder aannames te doen over de geometrie die aan de oordelen ten grondslag ligt.

Hier beschreven is een methode die zowel redelijk efficiënt is als ook de bovenstaande mogelijke valkuilen vermijdt. Door proefpersonen te vragen stimuli te rangschikken in volgorde van gelijkenis met een centrale referentie in elke ^studie13, kan relatieve gelijkenis direct worden onderzocht, zonder iets aan te nemen over de geometrische structuur van de reacties van de proefpersonen. Het paradigma herhaalt een subset van vergelijkingen met zowel identieke als verschillende contexten, waardoor directe beoordeling van contexteffecten mogelijk is, evenals de verwerving van graduele responsen in termen van keuzekansen. De analyseprocedure ontleedt deze rangoordelen in meerdere paarsgewijze vergelijkingen en gebruikt ze om Euclidische modellen van perceptuele ruimten te bouwen en te zoeken die de oordelen verklaren. De methode is geschikt om de weergave van stimulussets van gemiddelde grootte (bijv. 19 tot 49) in detail te beschrijven.

Om de haalbaarheid van de aanpak aan te tonen, werd een experiment uitgevoerd, waarbij een set van 37 dieren als stimuli werd gebruikt. Gegevens werden verzameld in de loop van 10 sessies van een uur en vervolgens afzonderlijk geanalyseerd voor elk onderwerp. Analyse toonde consistentie tussen onderwerpen en verwaarloosbare contexteffecten. Het beoordeelde ook de consistentie van waargenomen verschillen tussen stimuli met Euclidische modellen van hun perceptuele ruimtes. Het paradigma en de analyseprocedures die in dit artikel worden beschreven, zijn flexibel en zullen naar verwachting van nut zijn voor onderzoekers die geïnteresseerd zijn in het karakteriseren van de geometrische eigenschappen van een reeks perceptuele ruimten.

Protocol

Voorafgaand aan het begin van de experimenten geven alle proefpersonen geïnformeerde toestemming in overeenstemming met institutionele richtlijnen en de Verklaring van Helsinki. In het geval van deze studie werd het protocol goedgekeurd door de institutionele beoordelingscommissie van Weill Cornell Medical College.

1. Installatie en set-up

1. Download de code uit de GitHub repository, similarities (https://github.com/jvlab/similarities). Voer op de opdrachtregel uit: git clone https://github.com/jvlab/similarities.git. - Als git niet is geïnstalleerd, download dan de code als een gezipte map uit de repository.
   OPMERKING: In de repository bevinden zich twee submappen: experimenten, die twee voorbeeldexperimenten bevatten, en analyse, die een set python-scripts bevat om verzamelde gelijkenisgegevens te analyseren. In de experimentendirectory maakt de ene (word_exp) gebruik van woordprikkels en de andere (image_exp) geeft beeldprikkels weer. Enige bekendheid met Python zal nuttig zijn, maar niet noodzakelijk. Vertrouwdheid met de opdrachtregel wordt verondersteld: meerdere stappen vereisen het uitvoeren van scripts vanaf de opdrachtregel.
2. Installeer de volgende hulpprogramma's en stel een virtuele omgeving in.
   1. python 3: Zie de link voor instructies: https://realpython.com/installing-python/. Dit project vereist Python versie 3.8.
   2. PsychoPy: Download via de link (https://www.psychopy.org/download.html) de nieuwste zelfstandige versie van PsychoPy voor het betreffende besturingssysteem met behulp van de blauwe knop onder Installatie. Dit project maakt gebruik van PsychoPy versie 2021.2; de verstrekte monsterexperimenten moeten worden uitgevoerd met de juiste versie van PsychoPy zoals hieronder gespecificeerd.
   3. conda: Download via de link (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation) conda, via Miniconda of Anaconda, voor het betreffende besturingssysteem.
   4. Voer op de opdrachtregel het volgende uit om een virtuele omgeving te maken met de vereiste python-pakketten:
      cd ~/overeenkomsten
      conda env create -f environment.yaml
   5. Controleer of de virtuele omgeving is gemaakt en activeer deze als volgt:
      conda env lijst # venv_sim_3.8 moet worden vermeld
      conda activeren venv_sim_3.8 # om de virtuele omgeving te betreden
      conda deactiveren # om de virtuele omgeving te verlaten na het uitvoeren van scripts
      OPMERKING: Het uitvoeren van scripts in een omgeving kan soms traag zijn. Het kan tot een minuut duren voordat u een afgedrukte uitvoer op de opdrachtregel ziet wanneer u een script uitvoert.
3. Om ervoor te zorgen dat gedownloade code werkt zoals verwacht, voert u de meegeleverde voorbeeldexperimenten uit met behulp van de onderstaande stappen.
   OPMERKING: De experimenten directory (overeenkomsten/experimenten) bevat voorbeeldexperimenten (word_exp en image_exp), waarbij gebruik wordt gemaakt van twee soorten stimuli: woorden en beelden.
   1. Open PsychoPy. Ga naar Weergave en klik vervolgens op Coder, omdat de standaardbouwer van PsychoPy .py bestanden niet kan openen. Ga naar 'Archief', klik op 'Open' en open word_exp.py (overeenkomsten/experimenten/word_exp/word_exp.py).
   2. Als u het experiment wilt laden, klikt u op de groene knop Experiment uitvoeren . Voer initialen of naam en sessienummer in en klik op OK.
   3. Volg de instructies en doorloop een paar proeven om te controleren of stimuli grijs worden wanneer erop wordt geklikt. Druk op Escape wanneer u klaar bent om af te sluiten.
      OPMERKING: PsychoPy wordt op volledig scherm geopend, waarbij eerst instructies worden weergegeven en vervolgens een paar proefversies, met tijdelijke tekst in plaats van stimuluswoorden. Wanneer erop wordt geklikt, worden woorden grijs. Wanneer op alle woorden is geklikt, begint de volgende proef. PsychoPy kan op elk moment worden beëindigd door op de Escape-toets te drukken. Als het programma wordt beëindigd tijdens stap 1.3.2 of 1.3.3, is het mogelijk dat het besturingssysteem van de gebruiker toegang tot het toetsenbord en de muis vereist. Als dit het geval is, wordt een beschrijvende foutmelding afgedrukt in het PsychoPy Runner-venster, dat de gebruiker zal begeleiden.
   4. Controleer vervolgens of het afbeeldingsexperiment wordt uitgevoerd met tijdelijke aanduidingen voor afbeeldingen. Open PsychoPy. Ga naar Bestand. Klik op Openen en kies image_exp.psyexp (similarities/experiments/image_exp/image_exp.psyexp).
   5. Om ervoor te zorgen dat de juiste versie wordt gebruikt, klikt u op het tandwielpictogram. Selecteer in de optie PsychoPy-versie gebruiken 2021.2 in het vervolgkeuzemenu.
   6. Klik net als voorheen op de groene knop Experiment uitvoeren . Voer initialen of naam en sessienummer in en klik op OK.
      OPMERKING: Net als in stap 1.3.2 zal PsychoPy eerst instructies weergeven en vervolgens proeven uitvoeren nadat afbeeldingen zijn geladen. Elke proefversie bevat acht tijdelijke aanduidingen voor afbeeldingen rond een centrale afbeelding. Als u op een afbeelding klikt, wordt deze grijs weergegeven. Het programma kan worden afgesloten door op Escape te drukken.
   7. Navigeer naar de gegevensmap in elk van de experimentmappen om de uitvoer te bekijken:
      overeenkomsten/experimenten/image_exp/data
      overeenkomsten/experimenten/word_exp/data
      OPMERKING: Experimentele gegevens worden naar de gegevensmap geschreven. Het .csv bestand met reacties per proefklik. Het logbestand bevat alle toetsaanslagen en muisklikken. Het is handig voor het oplossen van problemen als PsychoPy onverwacht stopt.
4. Als u wilt controleren of de analysescripts werken zoals verwacht, kunt u enkele cijfers in de sectie Representatieve resultaten als volgt reproduceren.
   1. Maak een map voor voorbewerkte gegevens:
      cd ~/overeenkomsten
      mkdir sample-materials/subject-data/voorbewerkt
   2. Combineer de onbewerkte gegevens van alle antwoorden.csv bestanden tot één json-bestand. Voer op de opdrachtregel het volgende uit:
      cd overeenkomsten
      conda activeren venv_sim_3.8
      python -m analysis.preprocess.py
   3. Voer desgevraagd de volgende waarden in voor de invoerparameters: 1) pad naar onderwerpgegevens: ./sample-materials/subject-data, 2), naam van het experiment: sample_word en 3) subject-ID: S7. Het json-bestand zal in overeenkomsten/voorbeeldmateriaal/onderwerp-gegevens/voorbewerkt zijn.
   4. Zodra de gegevens zijn voorbewerkt, volgt u de stappen in het project README onder het reproduceren van cijfers. Deze analysescripts worden later uitgevoerd om gegevens te analyseren die zijn verzameld uit het eigen experiment van de gebruiker.

2. Gegevensverzameling door een aangepast experiment in te stellen

OPMERKING: Procedures worden beschreven voor zowel de afbeeldings- als woordexperimenten tot stap 3.1. Na deze stap is het proces voor beide experimenten hetzelfde, dus het beeldexperiment wordt niet expliciet genoemd.

1. Selecteer een experiment dat u wilt uitvoeren. Navigeer naar het woord experiment (overeenkomsten/experimenten/word_exp) of het afbeeldingsexperiment (overeenkomsten/experimenten/image_exp).
2. Bepaal het aantal stimuli. De standaardgrootte van de stimulusset is 37. Als u dit wilt wijzigen, opent u het configuratiebestand (similarities/analysis/config.yaml) in een broncode-editor. Stel in de parameter num_stimuli van het analyseconfiguratiebestand de stimulusgrootte in die gelijk is aan mk + 1, zoals vereist door het experimentele ontwerp voor gehele getallen k en m.
   OPMERKING: In het standaardontwerp ≥ k 3 en m = 6. Daarom zijn geldige waarden voor num_stimuli 19, 25, 31, 37, 43 en 49 (zie tabel 1 voor mogelijke uitbreidingen van het ontwerp).
3. Rond de experimentele stimuli af. Als het woordexperiment wordt uitgevoerd, bereidt u een lijst met woorden voor. Maak voor het afbeeldingsexperiment een nieuwe map en plaats alle stimulusafbeeldingen erin. Ondersteunde afbeeldingstypen zijn png en jpeg. Gebruik geen punten als scheidingstekens in bestandsnamen (bijvoorbeeld image.1.png ongeldig is, maar image1.png of image_1.png geldig zijn).
4. Als u het woord experiment uitvoert, bereidt u de stimuli als volgt voor.
   1. Maak een nieuw bestand in experimenten/word_exp met de naam stimuli.txt. Dit bestand wordt gelezen in stap 3.3.
   2. Schrijf in het bestand de woorden in de stimulusset zoals ze bedoeld zijn om in de weergave te verschijnen, met elk woord in een afzonderlijke regel. Vermijd extra lege regels of extra spaties naast de woorden. Zie voorbeeldmaterialen voor referentie (overeenkomsten/monstermaterialen/woordexplosies/sample_word_stimuli.txt).
5. Als het afbeeldingsexperiment wordt uitgevoerd, stelt u het pad naar de stimulusset als volgt in.
   1. Zoek in de map experimenten het configuratiebestand met de naam config.yaml (similarities/experiments/config.yaml).
   2. Open het bestand in een broncode-editor en werk de waarde van de variabelen bestanden bij naar het pad naar de map met de stimulusset (stap 2.3). Hier gaat PsychoPy op zoek naar de beeldprikkels.

3. Ranking trials maken

1. Gebruik een stimuli.txt bestand. Als het woord experiment wordt uitgevoerd, kan het bestand dat in stap 2.4 is gemaakt, worden gebruikt. Gebruik anders de lijst met bestandsnamen (zie ter referentie overeenkomsten/voorbeeldmaterialen/image-exp-materials/sample_image_stimuli.txt). Plaats dit bestand in de juiste experimentmap (word_exp of image_exp).
2. Vermijd extra lege regels en spaties in de namen. Gebruik camelCase of snake_case voor stimulusnamen.
3. Maak vervolgens proefconfiguraties. Open het bestand config.yaml in de analysemap en stel de waarde van de parameter path_to_stimulus_list in op het pad naar stimuli.txt (gemaakt in stap 3.1).
   1. Voer vanuit de map similarities het script uit door de volgende opdrachten achter elkaar uit te voeren:
      cd ~/overeenkomsten
      conda activeren venv_sim_3.8
      python -m analysis.trial_configuration
      conda deactiveren # verlaat de virtuele omgeving
   2. Dit creëert een bestand met de naam trial_conditions.csv in overeenkomsten waarin elke rij de namen bevat van de stimuli die in een proef verschijnen, samen met hun posities in het display. Er wordt een voorbeeld trial_conditions.csv dossier verstrekt (overeenkomsten/monstermateriaal). Voor meer informatie over invoerparameters voor de analysescripts raadpleegt u het project README onder Gebruik.

Figuur 1: Representatieve voorbeelden van onderzoeken (stap 3.3). (A) Elke rij bevat de details van één enkele proef. Headers geven de positie van de stimulus rond de cirkel aan. De stimulus onder ref verschijnt in het midden en stim 1 tot stim 8 verschijnen rond de referentie. (B) De eerste proef (rij) van A wordt weergegeven door PsychoPy om de acht stimuli rond de referentieprikkel, aap, weer te geven. Klik hier om een grotere versie van deze figuur te bekijken.

OPMERKING: Op dit moment is een volledige set van 222 onderzoeken voor één volledige experimentele run, d.w.z. voor één volledige dataset, gegenereerd. Figuur 1A toont een deel van een voorwaardenbestand dat is gegenereerd door het bovenstaande script, voor het woord experiment (zie Representatieve resultaten).

4. Verdeel vervolgens deze 222 onderzoeken in sessies en randomiseer de onderzoeksvolgorde. In het typische ontwerp bestaan sessies uit 111 proeven, die elk ongeveer 1 uur nodig hebben om te lopen.
   1. Voer hiervoor op de opdrachtregel het volgende uit:
      conda activeren venv_sim_3.8
      cd ~/overeenkomsten
      python -m analysis.randomize_session_trials
   2. Voer desgevraagd de volgende invoerparameters in: pad naar trial_conditions.csv die in stap 3.3.2 is gemaakt; uitvoermap; aantal proeven per sessie: 111; aantal herhalingen: 5.
      OPMERKING: Het aantal herhalingen kan ook worden gevarieerd, maar heeft invloed op het aantal sessies dat in stap 4 wordt uitgevoerd (zie Discussie: Experimenteel paradigma). Als u de standaardwaarde van het aantal herhalingen wijzigt, moet u de waarde van de parameter num_repeats in het configuratiebestand (similarities/analysis/config.yaml) bewerken. Raadpleeg indien nodig de stapsgewijze instructies om het bovenstaande handmatig uit te voeren in het README-bestand onder de sectie Proefversies maken.
5. Hernoem en sla elk van de gegenereerde bestanden op als voorwaarden.csv, in een eigen map. Zie hier de aanbevolen directorystructuur: overeenkomsten/sample-materials/subject-data en in het project README.
   OPMERKING: Zoals beschreven in stap 4, wordt elk experiment vijf keer herhaald in het standaardontwerp, in de loop van sessies van 10 uur lang, elk op een afzonderlijke dag. Proefpersonen moeten worden gevraagd om slechts één sessie per dag te komen om vermoeidheid te voorkomen. Zie tabel 1 voor het aantal onderzoeken en sessies dat nodig is voor stimulussets van verschillende grootte.

4. Het uitvoeren van het experiment en het verzamelen van gelijkenisgegevens

1. Leg de taak uit aan de proefpersonen en geef ze instructies. In elke proef zullen proefpersonen een centrale referentieprikkel bekijken omringd door acht stimuli en worden gevraagd om op de stimuli in de surround te klikken, in volgorde van gelijkenis met de centrale referentie, d.w.z. ze moeten op de meest vergelijkbare eerste en minst vergelijkbare laatste klikken.
2. Vraag hen om te proberen een consistente strategie te gebruiken. Vertel hen dat ze in de loop van de 10 sessies meerdere keren dezelfde configuratie van stimuli te zien krijgen. Als de studie de representatie van semantische informatie onderzoekt, zorg er dan voor dat proefpersonen bekend zijn met de stimuli voordat ze beginnen.
3. Navigeer naar de relevante experimentmap (zie stap 2.1). Als dit de eerste keer is dat het experiment wordt uitgevoerd, maakt u een map met de naam onderwerpgegevens om reacties van proefpersonen op te slaan. Maak er twee submappen in: onbewerkt en voorbewerkt. Maak voor elk onderwerp een submap in subject-data/raw.
4. Kopieer de voorwaarden.csv bestand dat in stap 3 is voorbereid voor de specifieke sessie en plak het in de huidige map, d.w.z. de map met het psyexp-bestand. Als er al een bestand is, met de naam voorwaarden.csv, moet u dit vervangen door het bestand voor de huidige sessie.
5. Open PsychoPy en open vervolgens het psyexp- of py-bestand in de map van het betreffende experiment. Klik in PsychoPy op de groene knop Afspelen om het experiment uit te voeren. Voer in de modale pop-up de naam van het onderwerp of de ID en het sessienummer in. Klik op OK om te beginnen. Instructies worden aan het begin van elke sessie weergegeven.
6. Geef het onderwerp ongeveer 1 uur om de taak te voltooien. Omdat de taak op eigen tempo is, moedigt u de proefpersonen aan om indien nodig pauzes te nemen. Wanneer het onderwerp de sessie beëindigt, wordt PsychoPy automatisch beëindigd en worden bestanden gegenereerd in de map similarities/experiments/_exp/data.
7. Breng deze over naar de map subject-data/raw/ (aangemaakt in stap 4.3). Zie README voor de aanbevolen directorystructuur.
   OPMERKING: Zoals vermeld, is het logbestand bedoeld voor het oplossen van problemen. De meest voorkomende oorzaak voor PsychoPy om onverwacht te sluiten is dat een onderwerp per ongeluk op Escape drukt tijdens een sessie. Als dit gebeurt, worden reacties voor onderzoeken tot de laatste voltooide studie nog steeds naar het .csv bestand geschreven.
8. Als PsychoPy onverwacht wordt gesloten, opent u het opnieuw en maakt u een bestand met nieuwe voorwaarden.csv, met alleen de proeven die niet zijn geprobeerd. Vervang het voorwaardenbestand van de bestaande sessie door dit bestand en voer het experiment opnieuw uit. Zorg ervoor dat u de gegenereerde bestanden op de juiste plaats opslaat. Aan het einde van de sessie kunnen de twee antwoordbestanden handmatig worden gecombineerd tot één, hoewel dit niet nodig is.
9. Herhaal voor elk van de resterende sessies stap 4.4 tot en met 4.8.
10. Nadat alle sessies zijn voltooid, combineert u de RAW-gegevensbestanden en formatteert u ze opnieuw in één json-bestand voor verdere verwerking. Voer hiervoor preprocess.py in de terminal (overeenkomsten/analyse/voorbewerking.py) als volgt uit:
    cd ~/overeenkomsten
    conda activeren venv_sim_3.8
    python -m analyse.preprocess
11. Voer desgevraagd de gevraagde invoerparameters in: het pad naar de map met onderwerpgegevens, de onderwerp-id's waarvoor de gegevens vooraf moeten worden verwerkt en de experimentnaam (gebruikt om het uitvoerbestand een naam te geven). Druk op Enter.
12. Sluit de virtuele omgeving af:
    conda deactiveren
    OPMERKING: Hiermee wordt een json-bestand in de uitvoermap gemaakt dat reacties over herhalingen voor elke proef combineert. Gelijkenisgegevens worden ingelezen van subject-data/raw en geschreven naar subject-data/preprocessed.

5. Analyse van gelijkenisoordelen

OPMERKING: Proefpersonen wordt gevraagd om op stimuli te klikken in volgorde van gelijkenis met de referentie, waardoor een rangschikking in elke studie wordt verkregen. Voor standaardexperimenten herhaalt u elke proef vijf keer, waarbij vijf rangordes van dezelfde acht stimuli worden gegenereerd (zie figuur 2B). Deze rangoordelen worden geïnterpreteerd als een reeks vergelijkingen waarin een onderwerp paren van perceptuele afstanden vergelijkt. Aangenomen wordt dat het onderwerp voor elke klik de volgende vraag stelt: "Is de (perceptuele) afstand tussen de referentie en stimulus A kleiner dan de afstand tussen de referentie en stimulus B?" Zoals te zien is in figuur 2C, levert dit keuzekansen op voor meerdere paarsgewijze gelijkenisvergelijkingen voor elke studie. De onderstaande analyse maakt gebruik van deze keuzekansen.

Figuur 2: Het verkrijgen van keuzekansen uit rangschikkingsoordelen. (A) Een illustratie van een proef uit het woord experiment dat we hebben uitgevoerd. (B) Voor hetzelfde proces werden vijf rangordes verkregen, in de loop van meerdere sessies. (C) Keuzekansen voor de paarsgewijze verschillenvergelijkingsvergelijkingen die de rangschikkingsoordelen vertegenwoordigen. Klik hier om een grotere versie van deze figuur te bekijken.

1. Bepaal paarsgewijze keuzekansen uit rangordeoordelen.
   1. Voer bij overeenkomsten/analyse describe_data.py uit op de opdrachtregel.
      cd ~/overeenkomsten
      conda activeren venv_sim_3.8
      python -m analysis.describe_data
   2. Voer desgevraagd het pad in naar onderwerpgegevens/voorbewerkt en de lijst met onderwerpen waarvoor de analyse moet worden uitgevoerd.
      OPMERKING: Dit creëert drie soorten plots: i) de verdeling van keuzekansen voor de volledige dataset van een bepaald onderwerp, ii) heatmaps om de consistentie tussen keuzekansen voor paren van onderwerpen te beoordelen, en iii) een heatmap van keuzekansen voor alle vergelijkingen die zich in twee contexten voordoen om contexteffecten te beoordelen. Operationeel betekent dit het vergelijken van keuzekansen in paren van proeven die dezelfde referentie en een gemeenschappelijk paar stimuli in de ring bevatten, maar verschillen in alle andere stimuli in de ring: de heatmap laat zien hoe de keuzekans afhankelijk is van deze context.
2. Genereer laagdimensionale Euclidische modellen van de perceptuele ruimten, met behulp van de keuzekansen. Voer model_fitting.py op de opdrachtregel als volgt uit:
   cd ~/overeenkomsten
   conda activeren venv_sim_3.8
   python -m analysis.model_fitting
   1. Geef de volgende invoerparameters op wanneer daarom wordt gevraagd: pad naar de map met onderwerpgegevens/voorbewerkte map; het aantal stimuli (standaard 37); het aantal iteraties (het aantal keren dat de modelleringsanalyse moet worden uitgevoerd); de uitvoermap; en de hoeveelheid Gaussiaanse ruis (standaard 0,18).
      OPMERKING: Het uitvoeren van dit script duurt een paar uur. Als u klaar bent, worden npy-bestanden met de best passende coördinaten voor 1D-, 2D-, 3D-, 4D- en 5D-modellen die de gelijkenisgegevens beschrijven, naar de uitvoermap geschreven. Er wordt een csv-bestand gegenereerd met log-waarschijnlijkheidswaarden van de verschillende modellen.
3. Visualiseer de log-waarschijnlijkheid van de verkregen modellen en beoordeel hun pasvorm. Voer hiervoor overeenkomsten/analyse/model_fitting_figure.py uit op de opdrachtregel:
   cd ~/overeenkomsten
   python -m analysis.model_fitting_figure
   1. Voer desgevraagd de benodigde parameter in: het pad naar de csv-bestanden met log-waarschijnlijkheden (uit stap 5.2).
   2. Analyseer de gegenereerde figuur en toon logboekwaarschijnlijkheden op de y-as en modelafmetingen op de x-as. Als sanity check zijn naast de Euclidische modellen twee modellen opgenomen: een random choice model en een best mogelijke model.
      OPMERKING: Het willekeurige keuzemodel gaat ervan uit dat onderwerpen willekeurig klikken. Het biedt dus een absolute ondergrens op de log-waarschijnlijkheid voor elk model dat beter is dan willekeurig. Evenzo is er als bovengrens voor de log-waarschijnlijkheid (beste gelabeld) de log-waarschijnlijkheid van een model dat de empirische keuzekansen als modelkansen gebruikt.
   3. Controleer of geen enkel Euclidisch model beter presteert dan het beste model, omdat het beste model door het ontwerp overfit is en niet wordt gehinderd door geometrische overwegingen. Controleer of de uitgezette waarschijnlijkheden relatief zijn ten opzichte van de beste log-waarschijnlijkheid.
4. Visualiseer de perceptuele ruimtes voor elk onderwerp. Genereer scatterplots die de punten van het 5D-model weergeven die op de eerste twee hoofdcomponenten zijn geprojecteerd. Voer hiervoor overeenkomsten/analyse/perceptual_space_visualizations.py uit op de opdrachtregel:
   cd ~/overeenkomsten
   python -m analysis.perceptual_space_visualizations
   1. Voer desgevraagd de parameters in: de onderwerp-id's (gescheiden door spaties) en het pad naar het npy-bestand met de 5D-punten die zijn verkregen uit stap 5.2.
   2. Nadat het script is uitgevoerd, verlaat u de virtuele omgeving:
      conda deactiveren
      OPMERKING: Dit script is bedoeld voor visualisatie van de gelijkenisoordelen. Het zal een 2D-spreidingsdiagram maken door de 5D-punten op de eerste twee hoofdcomponenten te projecteren, genormaliseerd om gelijke variantie te hebben. Twee punten zullen verder uit elkaar liggen als het onderwerp ze minder op elkaar zou vinden en vice versa.

Resultaten

Figuur 1A toont een deel van een voorwaardenbestand dat door het script is gegenereerd in stap 3.3, voor het woord experiment. Elke rij komt overeen met een proefversie. De stimulus in de ref-kolom verschijnt in het midden van het display. De kolomnamen stim1 tot stim8 komen overeen met acht posities langs een cirkel, die tegen de klok in lopen, beginnend bij de positie rechts van de centrale verwijzing. Een voorbeeldproef van het woord experiment is weergegeven in figuu...

Discussie

Het hier beschreven protocol is effectief voor het verkrijgen en analyseren van gelijkenisoordelen voor stimuli die visueel kunnen worden gepresenteerd. Het experimentele paradigma, de analyse en mogelijke uitbreidingen worden eerst besproken, en later de voor- en nadelen van de methode.

Experimenteel paradigma: De voorgestelde methode wordt gedemonstreerd met behulp van een domein van 37 diernamen en er wordt een voorbeelddataset van perceptuele oordelen verstrekt, zodat men ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 of hoger/ Linux; 3,1 GHz Dual-Core Intel Core i5 of soortgelijk; 8GB of meer geheugen; Gebruikersrechten voor het schrijven en uitvoeren van bestanden
conda		Versie 4.11	OS: Windows/ MacOS 10 of hoger/ Linux
Microsoft Excel	Microsoft	Alle	Om rijen en kolommen in proefomstandighedenbestanden te openen en te schuiven.
PsychoPy	N/A	Versie 2021.2	Framework voor het uitvoeren van psychofysische studies
Python 3	Python Software Foundation	Python-versie 3.8	Python3 en bijbehorende ingebouwde bibliotheken
Vereiste Python-bibliotheken	N/A	numpy-versie: 1.17.2 of hoger; matplotlib-versie 3.4.3 of hoger; scipy-versie 1.3.1 of hoger; pandas-versie 0.25.3 of hoger; seaborn-versie 0.9.0 of hoger; scikit_learn-versie 0.23.1 of hoger; yaml-versie 6.0 of hoger	numpy, scipy en scikit_learn zijn rekenmodules met ingebouwde functies voor optimalisatie en vectorbewerkingen. matplotlib en seaborn zijn plotbibliotheken. pandas wordt gebruikt om gegevens uit csv-bestanden te lezen en te bewerken.