Summary
Het protocol presenteert een experimenteel psychofysisch paradigma om grote hoeveelheden gelijkenisoordelen te verkrijgen, en een bijbehorende analyseworkflow. Het paradigma onderzoekt contexteffecten en maakt modellering van gelijkenisgegevens mogelijk in termen van Euclidische ruimten van ten minste vijf dimensies.
Abstract
Gelijkenisoordelen worden vaak gebruikt om mentale representaties en hun neurale correlaten te bestuderen. Deze benadering is gebruikt om perceptuele ruimtes in vele domeinen te karakteriseren: kleuren, objecten, afbeeldingen, woorden en geluiden. Idealiter zou men schattingen van waargenomen gelijkenis tussen alle paren stimuli willen vergelijken, maar dit is vaak onpraktisch. Als men bijvoorbeeld een onderwerp vraagt om de gelijkenis van twee items te vergelijken met de gelijkenis van twee andere items, groeit het aantal vergelijkingen met de vierde macht van de grootte van de stimulusset. Een alternatieve strategie is om een subject te vragen om overeenkomsten van geïsoleerde paren te beoordelen, bijvoorbeeld op een Likert-schaal. Dit is veel efficiënter (het aantal beoordelingen groeit kwadratisch met de ingestelde grootte in plaats van kwartaal), maar deze beoordelingen zijn meestal onstabiel en hebben een beperkte resolutie, en de aanpak gaat er ook van uit dat er geen contexteffecten zijn.
Hier wordt een nieuw rangschikkingsparadigma voor efficiënte verzameling van gelijkenisoordelen gepresenteerd, samen met een analysepijplijn (meegeleverde software) die test of Euclidische afstandsmodellen rekening houden met de gegevens. Typische studies bestaan uit acht stimuli rond een centrale referentieprikkel: de proefpersoon rangschikt stimuli in volgorde van hun gelijkenis met de referentie. Door een oordeelkundige selectie van combinaties van stimuli die in elk onderzoek worden gebruikt, heeft de aanpak interne controles voor consistentie en contexteffecten. De benadering werd gevalideerd voor stimuli uit Euclidische ruimten van maximaal vijf dimensies.
De aanpak wordt geïllustreerd met een experiment dat overeenkomsten meet tussen 37 woorden. Elke studie levert de resultaten op van 28 paarsgewijze vergelijkingen van de vorm: "Was A meer vergelijkbaar met de referentie dan B met de referentie?" Hoewel het direct vergelijken van alle paren van paren stimuli 221445 proeven zou hebben vereist, maakt dit ontwerp reconstructie van de perceptuele ruimte mogelijk uit 5994 dergelijke vergelijkingen verkregen uit 222 onderzoeken.
Introduction
Mensen verwerken en vertegenwoordigen mentaal binnenkomende sensorische informatie om een breed scala aan taken uit te voeren, zoals objectherkenning, navigatie, het maken van gevolgtrekkingen over de omgeving en vele anderen. Gelijkenisoordelen worden vaak gebruikt om deze mentale representaties te onderzoeken1. Inzicht in de structuur van mentale representaties kan inzicht geven in de organisatie van conceptuele kennis2. Het is ook mogelijk om inzicht te krijgen in neurale berekeningen, door gelijkenisoordelen te relateren aan hersenactivatiepatronen3. Bovendien onthullen gelijkenisoordelen kenmerken die saillant zijn in perceptie4. Onderzoek naar hoe mentale representaties veranderen tijdens de ontwikkeling kan licht werpen op hoe ze worden geleerd5. Gelijkenisoordelen geven dus waardevol inzicht in informatieverwerking in de hersenen.
Een veel voorkomend model van mentale representaties met behulp van overeenkomsten is een geometrisch ruimtemodel6,7,8. Toegepast op sensorische domeinen wordt dit soort model vaak een perceptuele ruimte genoemd9. Punten in de ruimte vertegenwoordigen stimuli en afstanden tussen punten komen overeen met de waargenomen ongelijkheid tussen hen. Uit gelijkenisoordelen kan men kwantitatieve schattingen van verschillen verkrijgen. Deze paarsgewijze verschillen (of perceptuele afstanden) kunnen vervolgens worden gebruikt om de perceptuele ruimte te modelleren via multidimensionale schaling10.
Er zijn veel methoden voor het verzamelen van gelijkenisoordelen, elk met zijn voor- en nadelen. De meest eenvoudige manier om kwantitatieve metingen van ongelijkwaardigheid te verkrijgen, is door proefpersonen te vragen om op een schaal de mate van ongelijkwaardigheid tussen elk paar stimuli te beoordelen. Hoewel dit relatief snel is, zijn schattingen meestal onstabiel tijdens lange sessies, omdat proefpersonen niet terug kunnen gaan naar eerdere oordelen en contexteffecten, indien aanwezig, niet kunnen worden gedetecteerd. (Hier wordt een contexteffect gedefinieerd als een verandering in de beoordeelde gelijkenis tussen twee stimuli, gebaseerd op de aanwezigheid van andere stimuli die niet worden vergeleken.) Als alternatief kunnen proefpersonen worden gevraagd om alle paren stimuli te vergelijken met alle andere paren stimuli. Hoewel dit een betrouwbaarder rangorde van verschillen zou opleveren, vereiste het aantal vergelijkingen schalen met de vierde macht van het aantal stimuli, waardoor het haalbaar is voor slechts kleine stimulussets. Snellere alternatieven, zoals sorteren in een vooraf gedefinieerd aantal clusters11 of gratis sorteren, hebben hun eigen beperkingen. Vrij sorteren (in een willekeurig aantal stapels) is intuïtief, maar het dwingt het onderwerp om de stimuli te categoriseren, zelfs als de stimuli zich niet gemakkelijk lenen voor categorisatie. De meer recente multi-arrangement methode, inverse MDS, omzeilt veel van deze beperkingen en is zeer efficiënt12. Deze methode vereist echter dat proefpersonen hun mentale representaties projecteren op een 2D Euclidisch vlak en overeenkomsten op een specifieke geometrische manier overwegen, waarbij de veronderstelling wordt gemaakt dat gelijkenisstructuur kan worden hersteld van Euclidische afstanden op een vlak. Er blijft dus behoefte aan een efficiënte methode om grote hoeveelheden gelijkenisoordelen te verzamelen, zonder aannames te doen over de geometrie die aan de oordelen ten grondslag ligt.
Hier beschreven is een methode die zowel redelijk efficiënt is als ook de bovenstaande mogelijke valkuilen vermijdt. Door proefpersonen te vragen stimuli te rangschikken in volgorde van gelijkenis met een centrale referentie in elke studie13, kan relatieve gelijkenis direct worden onderzocht, zonder iets aan te nemen over de geometrische structuur van de reacties van de proefpersonen. Het paradigma herhaalt een subset van vergelijkingen met zowel identieke als verschillende contexten, waardoor directe beoordeling van contexteffecten mogelijk is, evenals de verwerving van graduele responsen in termen van keuzekansen. De analyseprocedure ontleedt deze rangoordelen in meerdere paarsgewijze vergelijkingen en gebruikt ze om Euclidische modellen van perceptuele ruimten te bouwen en te zoeken die de oordelen verklaren. De methode is geschikt om de weergave van stimulussets van gemiddelde grootte (bijv. 19 tot 49) in detail te beschrijven.
Om de haalbaarheid van de aanpak aan te tonen, werd een experiment uitgevoerd, waarbij een set van 37 dieren als stimuli werd gebruikt. Gegevens werden verzameld in de loop van 10 sessies van een uur en vervolgens afzonderlijk geanalyseerd voor elk onderwerp. Analyse toonde consistentie tussen onderwerpen en verwaarloosbare contexteffecten. Het beoordeelde ook de consistentie van waargenomen verschillen tussen stimuli met Euclidische modellen van hun perceptuele ruimtes. Het paradigma en de analyseprocedures die in dit artikel worden beschreven, zijn flexibel en zullen naar verwachting van nut zijn voor onderzoekers die geïnteresseerd zijn in het karakteriseren van de geometrische eigenschappen van een reeks perceptuele ruimten.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Voorafgaand aan het begin van de experimenten geven alle proefpersonen geïnformeerde toestemming in overeenstemming met institutionele richtlijnen en de Verklaring van Helsinki. In het geval van deze studie werd het protocol goedgekeurd door de institutionele beoordelingscommissie van Weill Cornell Medical College.
1. Installatie en set-up
- Download de code uit de GitHub repository, similarities (https://github.com/jvlab/similarities). Voer op de opdrachtregel uit: git clone https://github.com/jvlab/similarities.git. - Als git niet is geïnstalleerd, download dan de code als een gezipte map uit de repository.
OPMERKING: In de repository bevinden zich twee submappen: experimenten, die twee voorbeeldexperimenten bevatten, en analyse, die een set python-scripts bevat om verzamelde gelijkenisgegevens te analyseren. In de experimentendirectory maakt de ene (word_exp) gebruik van woordprikkels en de andere (image_exp) geeft beeldprikkels weer. Enige bekendheid met Python zal nuttig zijn, maar niet noodzakelijk. Vertrouwdheid met de opdrachtregel wordt verondersteld: meerdere stappen vereisen het uitvoeren van scripts vanaf de opdrachtregel. - Installeer de volgende hulpprogramma's en stel een virtuele omgeving in.
- python 3: Zie de link voor instructies: https://realpython.com/installing-python/. Dit project vereist Python versie 3.8.
- PsychoPy: Download via de link (https://www.psychopy.org/download.html) de nieuwste zelfstandige versie van PsychoPy voor het betreffende besturingssysteem met behulp van de blauwe knop onder Installatie. Dit project maakt gebruik van PsychoPy versie 2021.2; de verstrekte monsterexperimenten moeten worden uitgevoerd met de juiste versie van PsychoPy zoals hieronder gespecificeerd.
- conda: Download via de link (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation) conda, via Miniconda of Anaconda, voor het betreffende besturingssysteem.
- Voer op de opdrachtregel het volgende uit om een virtuele omgeving te maken met de vereiste python-pakketten:
cd ~/overeenkomsten
conda env create -f environment.yaml - Controleer of de virtuele omgeving is gemaakt en activeer deze als volgt:
conda env lijst # venv_sim_3.8 moet worden vermeld
conda activeren venv_sim_3.8 # om de virtuele omgeving te betreden
conda deactiveren # om de virtuele omgeving te verlaten na het uitvoeren van scripts
OPMERKING: Het uitvoeren van scripts in een omgeving kan soms traag zijn. Het kan tot een minuut duren voordat u een afgedrukte uitvoer op de opdrachtregel ziet wanneer u een script uitvoert.
- Om ervoor te zorgen dat gedownloade code werkt zoals verwacht, voert u de meegeleverde voorbeeldexperimenten uit met behulp van de onderstaande stappen.
OPMERKING: De experimenten directory (overeenkomsten/experimenten) bevat voorbeeldexperimenten (word_exp en image_exp), waarbij gebruik wordt gemaakt van twee soorten stimuli: woorden en beelden.- Open PsychoPy. Ga naar Weergave en klik vervolgens op Coder, omdat de standaardbouwer van PsychoPy .py bestanden niet kan openen. Ga naar 'Archief', klik op 'Open' en open word_exp.py (overeenkomsten/experimenten/word_exp/word_exp.py).
- Als u het experiment wilt laden, klikt u op de groene knop Experiment uitvoeren . Voer initialen of naam en sessienummer in en klik op OK.
- Volg de instructies en doorloop een paar proeven om te controleren of stimuli grijs worden wanneer erop wordt geklikt. Druk op Escape wanneer u klaar bent om af te sluiten.
OPMERKING: PsychoPy wordt op volledig scherm geopend, waarbij eerst instructies worden weergegeven en vervolgens een paar proefversies, met tijdelijke tekst in plaats van stimuluswoorden. Wanneer erop wordt geklikt, worden woorden grijs. Wanneer op alle woorden is geklikt, begint de volgende proef. PsychoPy kan op elk moment worden beëindigd door op de Escape-toets te drukken. Als het programma wordt beëindigd tijdens stap 1.3.2 of 1.3.3, is het mogelijk dat het besturingssysteem van de gebruiker toegang tot het toetsenbord en de muis vereist. Als dit het geval is, wordt een beschrijvende foutmelding afgedrukt in het PsychoPy Runner-venster, dat de gebruiker zal begeleiden. - Controleer vervolgens of het afbeeldingsexperiment wordt uitgevoerd met tijdelijke aanduidingen voor afbeeldingen. Open PsychoPy. Ga naar Bestand. Klik op Openen en kies image_exp.psyexp (similarities/experiments/image_exp/image_exp.psyexp).
- Om ervoor te zorgen dat de juiste versie wordt gebruikt, klikt u op het tandwielpictogram. Selecteer in de optie PsychoPy-versie gebruiken 2021.2 in het vervolgkeuzemenu.
- Klik net als voorheen op de groene knop Experiment uitvoeren . Voer initialen of naam en sessienummer in en klik op OK.
OPMERKING: Net als in stap 1.3.2 zal PsychoPy eerst instructies weergeven en vervolgens proeven uitvoeren nadat afbeeldingen zijn geladen. Elke proefversie bevat acht tijdelijke aanduidingen voor afbeeldingen rond een centrale afbeelding. Als u op een afbeelding klikt, wordt deze grijs weergegeven. Het programma kan worden afgesloten door op Escape te drukken. - Navigeer naar de gegevensmap in elk van de experimentmappen om de uitvoer te bekijken:
overeenkomsten/experimenten/image_exp/data
overeenkomsten/experimenten/word_exp/data
OPMERKING: Experimentele gegevens worden naar de gegevensmap geschreven. Het .csv bestand met reacties per proefklik. Het logbestand bevat alle toetsaanslagen en muisklikken. Het is handig voor het oplossen van problemen als PsychoPy onverwacht stopt.
- Als u wilt controleren of de analysescripts werken zoals verwacht, kunt u enkele cijfers in de sectie Representatieve resultaten als volgt reproduceren.
- Maak een map voor voorbewerkte gegevens:
cd ~/overeenkomsten
mkdir sample-materials/subject-data/voorbewerkt - Combineer de onbewerkte gegevens van alle antwoorden.csv bestanden tot één json-bestand. Voer op de opdrachtregel het volgende uit:
cd overeenkomsten
conda activeren venv_sim_3.8
python -m analysis.preprocess.py - Voer desgevraagd de volgende waarden in voor de invoerparameters: 1) pad naar onderwerpgegevens: ./sample-materials/subject-data, 2), naam van het experiment: sample_word en 3) subject-ID: S7. Het json-bestand zal in overeenkomsten/voorbeeldmateriaal/onderwerp-gegevens/voorbewerkt zijn.
- Zodra de gegevens zijn voorbewerkt, volgt u de stappen in het project README onder het reproduceren van cijfers. Deze analysescripts worden later uitgevoerd om gegevens te analyseren die zijn verzameld uit het eigen experiment van de gebruiker.
- Maak een map voor voorbewerkte gegevens:
2. Gegevensverzameling door een aangepast experiment in te stellen
OPMERKING: Procedures worden beschreven voor zowel de afbeeldings- als woordexperimenten tot stap 3.1. Na deze stap is het proces voor beide experimenten hetzelfde, dus het beeldexperiment wordt niet expliciet genoemd.
- Selecteer een experiment dat u wilt uitvoeren. Navigeer naar het woord experiment (overeenkomsten/experimenten/word_exp) of het afbeeldingsexperiment (overeenkomsten/experimenten/image_exp).
- Bepaal het aantal stimuli. De standaardgrootte van de stimulusset is 37. Als u dit wilt wijzigen, opent u het configuratiebestand (similarities/analysis/config.yaml) in een broncode-editor. Stel in de parameter num_stimuli van het analyseconfiguratiebestand de stimulusgrootte in die gelijk is aan mk + 1, zoals vereist door het experimentele ontwerp voor gehele getallen k en m.
OPMERKING: In het standaardontwerp ≥ k 3 en m = 6. Daarom zijn geldige waarden voor num_stimuli 19, 25, 31, 37, 43 en 49 (zie tabel 1 voor mogelijke uitbreidingen van het ontwerp). - Rond de experimentele stimuli af. Als het woordexperiment wordt uitgevoerd, bereidt u een lijst met woorden voor. Maak voor het afbeeldingsexperiment een nieuwe map en plaats alle stimulusafbeeldingen erin. Ondersteunde afbeeldingstypen zijn png en jpeg. Gebruik geen punten als scheidingstekens in bestandsnamen (bijvoorbeeld image.1.png ongeldig is, maar image1.png of image_1.png geldig zijn).
- Als u het woord experiment uitvoert, bereidt u de stimuli als volgt voor.
- Maak een nieuw bestand in experimenten/word_exp met de naam stimuli.txt. Dit bestand wordt gelezen in stap 3.3.
- Schrijf in het bestand de woorden in de stimulusset zoals ze bedoeld zijn om in de weergave te verschijnen, met elk woord in een afzonderlijke regel. Vermijd extra lege regels of extra spaties naast de woorden. Zie voorbeeldmaterialen voor referentie (overeenkomsten/monstermaterialen/woordexplosies/sample_word_stimuli.txt).
- Als het afbeeldingsexperiment wordt uitgevoerd, stelt u het pad naar de stimulusset als volgt in.
- Zoek in de map experimenten het configuratiebestand met de naam config.yaml (similarities/experiments/config.yaml).
- Open het bestand in een broncode-editor en werk de waarde van de variabelen bestanden bij naar het pad naar de map met de stimulusset (stap 2.3). Hier gaat PsychoPy op zoek naar de beeldprikkels.
3. Ranking trials maken
- Gebruik een stimuli.txt bestand. Als het woord experiment wordt uitgevoerd, kan het bestand dat in stap 2.4 is gemaakt, worden gebruikt. Gebruik anders de lijst met bestandsnamen (zie ter referentie overeenkomsten/voorbeeldmaterialen/image-exp-materials/sample_image_stimuli.txt). Plaats dit bestand in de juiste experimentmap (word_exp of image_exp).
- Vermijd extra lege regels en spaties in de namen. Gebruik camelCase of snake_case voor stimulusnamen.
- Maak vervolgens proefconfiguraties. Open het bestand config.yaml in de analysemap en stel de waarde van de parameter path_to_stimulus_list in op het pad naar stimuli.txt (gemaakt in stap 3.1).
- Voer vanuit de map similarities het script uit door de volgende opdrachten achter elkaar uit te voeren:
cd ~/overeenkomsten
conda activeren venv_sim_3.8
python -m analysis.trial_configuration
conda deactiveren # verlaat de virtuele omgeving - Dit creëert een bestand met de naam trial_conditions.csv in overeenkomsten waarin elke rij de namen bevat van de stimuli die in een proef verschijnen, samen met hun posities in het display. Er wordt een voorbeeld trial_conditions.csv dossier verstrekt (overeenkomsten/monstermateriaal). Voor meer informatie over invoerparameters voor de analysescripts raadpleegt u het project README onder Gebruik.
- Voer vanuit de map similarities het script uit door de volgende opdrachten achter elkaar uit te voeren:
Figuur 1: Representatieve voorbeelden van onderzoeken (stap 3.3). (A) Elke rij bevat de details van één enkele proef. Headers geven de positie van de stimulus rond de cirkel aan. De stimulus onder ref verschijnt in het midden en stim 1 tot stim 8 verschijnen rond de referentie. (B) De eerste proef (rij) van A wordt weergegeven door PsychoPy om de acht stimuli rond de referentieprikkel, aap, weer te geven. Klik hier om een grotere versie van deze figuur te bekijken.
OPMERKING: Op dit moment is een volledige set van 222 onderzoeken voor één volledige experimentele run, d.w.z. voor één volledige dataset, gegenereerd. Figuur 1A toont een deel van een voorwaardenbestand dat is gegenereerd door het bovenstaande script, voor het woord experiment (zie Representatieve resultaten).
- Verdeel vervolgens deze 222 onderzoeken in sessies en randomiseer de onderzoeksvolgorde. In het typische ontwerp bestaan sessies uit 111 proeven, die elk ongeveer 1 uur nodig hebben om te lopen.
- Voer hiervoor op de opdrachtregel het volgende uit:
conda activeren venv_sim_3.8
cd ~/overeenkomsten
python -m analysis.randomize_session_trials - Voer desgevraagd de volgende invoerparameters in: pad naar trial_conditions.csv die in stap 3.3.2 is gemaakt; uitvoermap; aantal proeven per sessie: 111; aantal herhalingen: 5.
OPMERKING: Het aantal herhalingen kan ook worden gevarieerd, maar heeft invloed op het aantal sessies dat in stap 4 wordt uitgevoerd (zie Discussie: Experimenteel paradigma). Als u de standaardwaarde van het aantal herhalingen wijzigt, moet u de waarde van de parameter num_repeats in het configuratiebestand (similarities/analysis/config.yaml) bewerken. Raadpleeg indien nodig de stapsgewijze instructies om het bovenstaande handmatig uit te voeren in het README-bestand onder de sectie Proefversies maken.
- Voer hiervoor op de opdrachtregel het volgende uit:
- Hernoem en sla elk van de gegenereerde bestanden op als voorwaarden.csv, in een eigen map. Zie hier de aanbevolen directorystructuur: overeenkomsten/sample-materials/subject-data en in het project README.
OPMERKING: Zoals beschreven in stap 4, wordt elk experiment vijf keer herhaald in het standaardontwerp, in de loop van sessies van 10 uur lang, elk op een afzonderlijke dag. Proefpersonen moeten worden gevraagd om slechts één sessie per dag te komen om vermoeidheid te voorkomen. Zie tabel 1 voor het aantal onderzoeken en sessies dat nodig is voor stimulussets van verschillende grootte.
4. Het uitvoeren van het experiment en het verzamelen van gelijkenisgegevens
- Leg de taak uit aan de proefpersonen en geef ze instructies. In elke proef zullen proefpersonen een centrale referentieprikkel bekijken omringd door acht stimuli en worden gevraagd om op de stimuli in de surround te klikken, in volgorde van gelijkenis met de centrale referentie, d.w.z. ze moeten op de meest vergelijkbare eerste en minst vergelijkbare laatste klikken.
- Vraag hen om te proberen een consistente strategie te gebruiken. Vertel hen dat ze in de loop van de 10 sessies meerdere keren dezelfde configuratie van stimuli te zien krijgen. Als de studie de representatie van semantische informatie onderzoekt, zorg er dan voor dat proefpersonen bekend zijn met de stimuli voordat ze beginnen.
- Navigeer naar de relevante experimentmap (zie stap 2.1). Als dit de eerste keer is dat het experiment wordt uitgevoerd, maakt u een map met de naam onderwerpgegevens om reacties van proefpersonen op te slaan. Maak er twee submappen in: onbewerkt en voorbewerkt. Maak voor elk onderwerp een submap in subject-data/raw.
- Kopieer de voorwaarden.csv bestand dat in stap 3 is voorbereid voor de specifieke sessie en plak het in de huidige map, d.w.z. de map met het psyexp-bestand. Als er al een bestand is, met de naam voorwaarden.csv, moet u dit vervangen door het bestand voor de huidige sessie.
- Open PsychoPy en open vervolgens het psyexp- of py-bestand in de map van het betreffende experiment. Klik in PsychoPy op de groene knop Afspelen om het experiment uit te voeren. Voer in de modale pop-up de naam van het onderwerp of de ID en het sessienummer in. Klik op OK om te beginnen. Instructies worden aan het begin van elke sessie weergegeven.
- Geef het onderwerp ongeveer 1 uur om de taak te voltooien. Omdat de taak op eigen tempo is, moedigt u de proefpersonen aan om indien nodig pauzes te nemen. Wanneer het onderwerp de sessie beëindigt, wordt PsychoPy automatisch beëindigd en worden bestanden gegenereerd in de map similarities/experiments/
_exp/data. - Breng deze over naar de map subject-data/raw/
(aangemaakt in stap 4.3). Zie README voor de aanbevolen directorystructuur.
OPMERKING: Zoals vermeld, is het logbestand bedoeld voor het oplossen van problemen. De meest voorkomende oorzaak voor PsychoPy om onverwacht te sluiten is dat een onderwerp per ongeluk op Escape drukt tijdens een sessie. Als dit gebeurt, worden reacties voor onderzoeken tot de laatste voltooide studie nog steeds naar het .csv bestand geschreven. - Als PsychoPy onverwacht wordt gesloten, opent u het opnieuw en maakt u een bestand met nieuwe voorwaarden.csv, met alleen de proeven die niet zijn geprobeerd. Vervang het voorwaardenbestand van de bestaande sessie door dit bestand en voer het experiment opnieuw uit. Zorg ervoor dat u de gegenereerde bestanden op de juiste plaats opslaat. Aan het einde van de sessie kunnen de twee antwoordbestanden handmatig worden gecombineerd tot één, hoewel dit niet nodig is.
- Herhaal voor elk van de resterende sessies stap 4.4 tot en met 4.8.
- Nadat alle sessies zijn voltooid, combineert u de RAW-gegevensbestanden en formatteert u ze opnieuw in één json-bestand voor verdere verwerking. Voer hiervoor preprocess.py in de terminal (overeenkomsten/analyse/voorbewerking.py) als volgt uit:
cd ~/overeenkomsten
conda activeren venv_sim_3.8
python -m analyse.preprocess - Voer desgevraagd de gevraagde invoerparameters in: het pad naar de map met onderwerpgegevens, de onderwerp-id's waarvoor de gegevens vooraf moeten worden verwerkt en de experimentnaam (gebruikt om het uitvoerbestand een naam te geven). Druk op Enter.
- Sluit de virtuele omgeving af:
conda deactiveren
OPMERKING: Hiermee wordt een json-bestand in de uitvoermap gemaakt dat reacties over herhalingen voor elke proef combineert. Gelijkenisgegevens worden ingelezen van subject-data/raw en geschreven naar subject-data/preprocessed.
5. Analyse van gelijkenisoordelen
OPMERKING: Proefpersonen wordt gevraagd om op stimuli te klikken in volgorde van gelijkenis met de referentie, waardoor een rangschikking in elke studie wordt verkregen. Voor standaardexperimenten herhaalt u elke proef vijf keer, waarbij vijf rangordes van dezelfde acht stimuli worden gegenereerd (zie figuur 2B). Deze rangoordelen worden geïnterpreteerd als een reeks vergelijkingen waarin een onderwerp paren van perceptuele afstanden vergelijkt. Aangenomen wordt dat het onderwerp voor elke klik de volgende vraag stelt: "Is de (perceptuele) afstand tussen de referentie en stimulus A kleiner dan de afstand tussen de referentie en stimulus B?" Zoals te zien is in figuur 2C, levert dit keuzekansen op voor meerdere paarsgewijze gelijkenisvergelijkingen voor elke studie. De onderstaande analyse maakt gebruik van deze keuzekansen.
Figuur 2: Het verkrijgen van keuzekansen uit rangschikkingsoordelen. (A) Een illustratie van een proef uit het woord experiment dat we hebben uitgevoerd. (B) Voor hetzelfde proces werden vijf rangordes verkregen, in de loop van meerdere sessies. (C) Keuzekansen voor de paarsgewijze verschillenvergelijkingsvergelijkingen die de rangschikkingsoordelen vertegenwoordigen. Klik hier om een grotere versie van deze figuur te bekijken.
- Bepaal paarsgewijze keuzekansen uit rangordeoordelen.
- Voer bij overeenkomsten/analyse describe_data.py uit op de opdrachtregel.
cd ~/overeenkomsten
conda activeren venv_sim_3.8
python -m analysis.describe_data - Voer desgevraagd het pad in naar onderwerpgegevens/voorbewerkt en de lijst met onderwerpen waarvoor de analyse moet worden uitgevoerd.
OPMERKING: Dit creëert drie soorten plots: i) de verdeling van keuzekansen voor de volledige dataset van een bepaald onderwerp, ii) heatmaps om de consistentie tussen keuzekansen voor paren van onderwerpen te beoordelen, en iii) een heatmap van keuzekansen voor alle vergelijkingen die zich in twee contexten voordoen om contexteffecten te beoordelen. Operationeel betekent dit het vergelijken van keuzekansen in paren van proeven die dezelfde referentie en een gemeenschappelijk paar stimuli in de ring bevatten, maar verschillen in alle andere stimuli in de ring: de heatmap laat zien hoe de keuzekans afhankelijk is van deze context.
- Voer bij overeenkomsten/analyse describe_data.py uit op de opdrachtregel.
- Genereer laagdimensionale Euclidische modellen van de perceptuele ruimten, met behulp van de keuzekansen. Voer model_fitting.py op de opdrachtregel als volgt uit:
cd ~/overeenkomsten
conda activeren venv_sim_3.8
python -m analysis.model_fitting- Geef de volgende invoerparameters op wanneer daarom wordt gevraagd: pad naar de map met onderwerpgegevens/voorbewerkte map; het aantal stimuli (standaard 37); het aantal iteraties (het aantal keren dat de modelleringsanalyse moet worden uitgevoerd); de uitvoermap; en de hoeveelheid Gaussiaanse ruis (standaard 0,18).
OPMERKING: Het uitvoeren van dit script duurt een paar uur. Als u klaar bent, worden npy-bestanden met de best passende coördinaten voor 1D-, 2D-, 3D-, 4D- en 5D-modellen die de gelijkenisgegevens beschrijven, naar de uitvoermap geschreven. Er wordt een csv-bestand gegenereerd met log-waarschijnlijkheidswaarden van de verschillende modellen.
- Geef de volgende invoerparameters op wanneer daarom wordt gevraagd: pad naar de map met onderwerpgegevens/voorbewerkte map; het aantal stimuli (standaard 37); het aantal iteraties (het aantal keren dat de modelleringsanalyse moet worden uitgevoerd); de uitvoermap; en de hoeveelheid Gaussiaanse ruis (standaard 0,18).
- Visualiseer de log-waarschijnlijkheid van de verkregen modellen en beoordeel hun pasvorm. Voer hiervoor overeenkomsten/analyse/model_fitting_figure.py uit op de opdrachtregel:
cd ~/overeenkomsten
python -m analysis.model_fitting_figure- Voer desgevraagd de benodigde parameter in: het pad naar de csv-bestanden met log-waarschijnlijkheden (uit stap 5.2).
- Analyseer de gegenereerde figuur en toon logboekwaarschijnlijkheden op de y-as en modelafmetingen op de x-as. Als sanity check zijn naast de Euclidische modellen twee modellen opgenomen: een random choice model en een best mogelijke model.
OPMERKING: Het willekeurige keuzemodel gaat ervan uit dat onderwerpen willekeurig klikken. Het biedt dus een absolute ondergrens op de log-waarschijnlijkheid voor elk model dat beter is dan willekeurig. Evenzo is er als bovengrens voor de log-waarschijnlijkheid (beste gelabeld) de log-waarschijnlijkheid van een model dat de empirische keuzekansen als modelkansen gebruikt. - Controleer of geen enkel Euclidisch model beter presteert dan het beste model, omdat het beste model door het ontwerp overfit is en niet wordt gehinderd door geometrische overwegingen. Controleer of de uitgezette waarschijnlijkheden relatief zijn ten opzichte van de beste log-waarschijnlijkheid.
- Visualiseer de perceptuele ruimtes voor elk onderwerp. Genereer scatterplots die de punten van het 5D-model weergeven die op de eerste twee hoofdcomponenten zijn geprojecteerd. Voer hiervoor overeenkomsten/analyse/perceptual_space_visualizations.py uit op de opdrachtregel:
cd ~/overeenkomsten
python -m analysis.perceptual_space_visualizations- Voer desgevraagd de parameters in: de onderwerp-id's (gescheiden door spaties) en het pad naar het npy-bestand met de 5D-punten die zijn verkregen uit stap 5.2.
- Nadat het script is uitgevoerd, verlaat u de virtuele omgeving:
conda deactiveren
OPMERKING: Dit script is bedoeld voor visualisatie van de gelijkenisoordelen. Het zal een 2D-spreidingsdiagram maken door de 5D-punten op de eerste twee hoofdcomponenten te projecteren, genormaliseerd om gelijke variantie te hebben. Twee punten zullen verder uit elkaar liggen als het onderwerp ze minder op elkaar zou vinden en vice versa.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Figuur 1A toont een deel van een voorwaardenbestand dat door het script is gegenereerd in stap 3.3, voor het woord experiment. Elke rij komt overeen met een proefversie. De stimulus in de ref-kolom verschijnt in het midden van het display. De kolomnamen stim1 tot stim8 komen overeen met acht posities langs een cirkel, die tegen de klok in lopen, beginnend bij de positie rechts van de centrale verwijzing. Een voorbeeldproef van het woord experiment is weergegeven in figuur 1B.
Om haalbaarheid en reproduceerbaarheid aan te tonen, werd een experiment uitgevoerd waarbij de stimulusset de namen van 37 dieren bevatte. Volledige datasets werden verzameld van acht gezonde proefpersonen met een normaal gezichtsvermogen als onderdeel van een studie. Om de methode aan te tonen, worden hier gegevens van drie van die proefpersonen getoond, van wie er twee naïef waren voor het doel van de studie. Geïnformeerde toestemming werd verkregen in overeenstemming met de Verklaring van Helsinki en de institutionele richtlijnen van Weill Cornell Medical College.
Na het verzamelen van gegevens werd de hierboven beschreven initiële verwerking (protocolstap 4.10-4.12) uitgevoerd. De reacties van proefpersonen in elk onderzoek werden geïnterpreteerd als een reeks onafhankelijke, binaire keuzes van de vorm "Is de afstand tussen de referentie en s1 kleiner dan die tussen de referentie en s2?" voor alle paren stimuli in de omringende ring. Rangoordelen werden opgesplitst in dergelijke paarsgewijze keuzes, zoals weergegeven in figuur 2C.
Figuur 3A toont de verdeling van deze keuzekansen, die zeer consistent was over de proefpersonen (protocolstap 5.1). Aangezien elke proef vijf keer werd herhaald, namen keuzekansen de volgende waarden: 0, 0,2, 0,4, 0,6, 0,8 en 1. De meest voorkomende keuzekansen zijn 0 en 1, wat neerkomt op 50% -70% van alle beslissingen in elk van de proefpersonen; dit zijn de oordelen waarvoor telkens één optie wordt gekozen. Bijvoorbeeld, het beoordelen van de afstand tussen s1 en s2 als kleiner dan die tussen s1 en s3 0 op 5 keer zou overeenkomen met een keuzekans van 0; dit oordeel 5 van de 5 keer maken zou overeenkomen met een keuzekans van 1. Met name is er veel consistentie in keuzekansen tussen de proefpersonen, zelfs voor de oordelen die niet aan de uitersten liggen, zoals te zien is aan de clustering van de gegevens in de buurt van de diagonaal in elk van de panelen in figuur 3B.
Vervolgens werden contexteffecten beoordeeld. Dit was mogelijk vanwege een belangrijk kenmerk van het experimentele ontwerp: veel drielingen van een referentieprikkel en twee vergelijkingsstimuli s1 en s2 worden herhaald in twee contexten (d.w.z. met verschillende sets van zes andere stimuli om de stimulusarray te voltooien). Vervolgens werd de keuzekans voor elke paarsgewijze vergelijking in elke context afzonderlijk getabelleerd. De dominante diagonaal in figuur 4 geeft aan dat voor elk onderwerp de keuzekansen in de twee contexten - inclusief de keuzekansen die tussen 0 en 1 liggen - vrijwel identiek zijn. Als keuzekansen sterk afhankelijk zouden zijn van de context, zouden ze niet sterk gecorreleerd zijn en zou deze diagonaal niet prominent aanwezig zijn.
Contexteffecten werden ook beoordeeld met behulp van een statistische meting. De maat van het contexteffect is als volgt opgebouwd. De eerste stap is het berekenen van een onbalansstatistiek voor de waargenomen dataset (hieronder gedetailleerd), die kwantificeert in hoeverre de waargenomen oordelen afhankelijk lijken te zijn van de context. Vervolgens construeren we 10000 gesimuleerde datasets met dezelfde proefconfiguraties, proeftellingen en algemene keuzekansen als de werkelijke gegevens, maar gegenereerd op een manier die geen contexteffecten bevat - door de waargenomen oordelen willekeurig toe te wijzen aan de twee contexten. Vervolgens berekenen we de onbalansstatistiek voor deze gesimuleerde datasets, net zoals werd gedaan voor de waargenomen responsen. Ten slotte vergelijken we de onbalansstatistiek voor de waargenomen responsen met de onbalansstatistiek voor de gesimuleerde datasets, om de waarschijnlijkheid te bepalen dat de waargenomen onbalans kon zijn verkregen uit een dataset zonder contexteffect. Een empirische p-waarde van < 0,05 suggereert dat er een contexteffect aanwezig is. Voor de gegevens in figuur 4 waren de p-waarden 0,98, 0,30 en 0,33, voor respectievelijk S4, S7 en S9, d.w.z. alle waarden werden > 0,05.
De onbalansstatistiek voor een dataset wordt berekend als een som van bijdragen over alle triades die zich in twee contexten voordoen. De bijdrage voor elke triade (het vergelijken van bijvoorbeeld d(ref, s1) met d(ref, s2)) wordt als volgt bepaald. Eerst worden de oordelen voor deze triade opgeteld in een tabel van 2 x 2. De kolommen komen overeen met de twee contexten, dus de kolomsommen worden beperkt door het totale aantal presentaties in die context. De rijen komen overeen met tellingen van de alternatieve oordelen, d(ref, s1) < d(ref, s2) of d(ref, s1) > d(ref, s2), dus de rijsommen worden beperkt door de waargenomen keuzes, opgeteld over contexten. Aangezien de two-tailed Fisher exact test14 de waarschijnlijkheid oplevert dat een tabel met de waargenomen (of grotere) interactie tussen rijen en kolommen (oordelen en contexten) zou worden gezien als er geen interactie daadwerkelijk aanwezig is, gebruiken we de negatieve logaritme van deze waarschijnlijkheid als de bijdrage van deze triade aan de algehele onbalansstatistiek. Door de negatieve logaritmen op te tellen om een algemene onbalansstatistiek te creëren, wordt dus de gezamenlijke waarschijnlijkheid van de waargenomen onbalans tussen triades vastgelegd, onder de nulhypothese van geen contexteffect.
Om de mentale representatie van de diernamen te modelleren, werden Euclidische modellen van perceptuele ruimten van 1, 2, 3, 4 en 5 dimensies afgeleid met behulp van een maximale waarschijnlijkheidsbenadering. De antwoorden van de proefpersonen werden gemodelleerd als beslissingen die de vergelijking van twee afstanden met additieve Gaussiaanse ruis weerspiegelden die fouten in de schatting vertegenwoordigden, d.w.z. ruis in de beslissingsfase. Figuur 5 toont log-waarschijnlijkheden (per beslissing) van vijf Euclidische modellen. De log-waarschijnlijkheden worden weergegeven ten opzichte van de log-waarschijnlijkheid van het beste model, d.w.z. een model dat de waargenomen keuzekans toewijst aan elke vergelijking, zonder deze waarschijnlijkheden te beperken door enige geometrische overweging. Om deze log-likelihoods in perspectief te plaatsen, wordt ook de log-likelihood van een random-choice model aangegeven; dit dient als ondergrens voor modelprestaties. De pasvorm van het model verbetert met elke toegevoegde dimensie. De grootste sprong is tussen de 1D- en 2D-modellen, wat aangeeft dat een eenvoudig 1D-model de gegevens niet volledig kan verklaren. Het plateau rond de dimensies 4 tot en met 5 geeft echter aan dat zelfs het 5D-model de afstanden die de gelijkenisoordelen verklaren niet volledig vastlegt. Om de aanpak te valideren, werd de pijplijn ook uitgevoerd op gesimuleerde gegevens. Afzonderlijke experimenten werden gesimuleerd om gelijkenisoordelen te genereren tussen punten uit respectievelijk 1D-, 2D-, 3D-, 4D- en 5D-ruimtes. In alle gevallen identificeerde de methode de dimensionaliteit correct. Bovendien leverde een model met de juiste dimensionaliteit een log-likelihood op die overeenkwam met de ground truth log-likelihood verkregen uit het model.
Ten slotte werd de organisatie van punten in de perceptuele ruimtemodellen gevisualiseerd. Figuur 6 toont deze gegevens voor één onderwerp, S7. Principal component analysis (PCA) werd uitgevoerd op de punten uit het 5D-model van de perceptuele ruimte. Punten geprojecteerd op respectievelijk de eerste twee en de eerste en derde hoofdcomponenten zijn weergegeven in figuren 6A en figuur 6B, met assen genormaliseerd voor gelijke variantie. Afstanden tussen punten die in lijn waren met de gelijkenisoordelen die experimenteel werden verkregen: dieren die als vergelijkbaar werden waargenomen, werden aangeduid met punten die dicht bij elkaar lagen.
Figuur 3: Consistentie tussen onderwerpen. (A) Verdeling van keuzekansen over drie onderwerpen voor alle paarsgewijze vergelijkingen. (B) Keuzekansen voor dezelfde paarsgewijze vergelijkingen tussen paren van proefpersonen. De kleurenbalk toont de verhouding tussen de waargenomen gezamenlijke waarschijnlijkheid en de onafhankelijke gezamenlijke waarschijnlijkheid. Hoge waarden langs de hoofddiagonaal geven consistentie tussen onderwerpen aan. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 4: Contexteffecten. Keuzekansen voor alle paarsgewijze vergelijkingen die in twee contexten zijn gemaakt, voor elk van de drie onderwerpen. A verwijst willekeurig naar de ene context waarin een triade werd gepresenteerd, en B verwijst naar de andere context. De kleurenbalk toont de verhouding tussen de waargenomen gezamenlijke waarschijnlijkheid en de onafhankelijke gezamenlijke waarschijnlijkheid. Hoge waarden langs de hoofddiagonaal duiden op een gebrek aan contexteffecten. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 5: Resultaten van modelaanpassingsanalyse. Relatieve log-waarschijnlijkheden voor modellen van verschillende afmetingen en voor het random choice (ondergrens) model, weergegeven voor drie onderwerpen. Een relatieve log-waarschijnlijkheid van nul komt overeen met de log-likelihood van het beste model, waarin keuzekansen overeenkomen met de empirische keuzekansen zonder rekening te houden met de meetkunde. Klik hier om een grotere versie van deze figuur te bekijken.
Figuur 6: De perceptuele ruimte van één onderwerp (S7) in meer detail. De projectie van 5D-coördinaten verkregen uit de modellering geprojecteerd op de eerste twee hoofdcomponenten in (A) en op de eerste en derde hoofdcomponenten in (B). Assen worden zo geschaald dat de variantie langs elke as gelijk is. Klik hier om een grotere versie van deze figuur te bekijken.
Tabel 1: Voorbeeldparametersets. Het experimentele paradigma kan worden gevarieerd om minder of meer stimuli, proeven en paarsgewijze vergelijkingen te hebben. De vetgedrukte rij geeft de parameters aan die we hebben gebruikt. Klik hier om deze tabel te downloaden.
Tabel 2: Parameters in analyse/config.yaml en experiments/config.yaml. Klik hier om deze tabel te downloaden.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Het hier beschreven protocol is effectief voor het verkrijgen en analyseren van gelijkenisoordelen voor stimuli die visueel kunnen worden gepresenteerd. Het experimentele paradigma, de analyse en mogelijke uitbreidingen worden eerst besproken, en later de voor- en nadelen van de methode.
Experimenteel paradigma: De voorgestelde methode wordt gedemonstreerd met behulp van een domein van 37 diernamen en er wordt een voorbeelddataset van perceptuele oordelen verstrekt, zodat men de analyse in stap 5 kan volgen en delen van figuren 3-6 kan reproduceren (protocolstap 1.4). Het experimentele ontwerp groepeert deze 37 stimuli in 222 onderzoeken - elk met een referentieprikkel in het midden en acht vergelijkingsstimuli in de omringende ring - zodanig dat verschillende criteria gelden: a) elk van de 37 stimuli verschijnt als referentie een gelijk aantal (zes) keer (222 = 37×6), b) over de zes onderzoeken waarin een stimulus de referentie is, alle resterende 36 stimuli worden minstens één keer gebruikt als vergelijkingsstimuli, c) 24 stimuli komen voor in precies één vergelijking met een bepaalde referentie, en d) zes paar stimuli verschijnen met de referentie in twee afzonderlijke onderzoeken. Dit aspect van het paradigma, dat zes paar vergelijkingsstimuli in afzonderlijke contexten voor elke referentieprikkel voorkomen, maakt het mogelijk om contexteffecten in stap 5 te controleren (zie figuur 4). Dit standaardontwerp levert 6216 = 222×28 vergelijkingen op van de vorm "Is de gelijkenis van de verwijzing naar s1 groter of kleiner dan de gelijkenis van de verwijzing naar s2." Deze efficiëntie is mogelijk omdat elk van de 222 onderzoeken een rangschikking van acht overeenkomsten oplevert, en de acht gerangschikte overeenkomsten genereren 28 paarsgewijze vergelijkingen. Van deze 6216 vergelijkingen worden er 222 herhaald, wat ons 5994 unieke vergelijkingen oplevert.
Zodra het stimulusdomein is gekozen, is de volgende belangrijkste ontwerpbeslissing het aantal monsters. Er zijn veel alternatieve ontwerpen mogelijk (tabel 1), met andere keuzes voor de manier waarop stimuli in verschillende contexten worden herhaald. Zoals vermeld in figuur 4, is er binnen elke studie een triplet - bestaande uit de referentie en twee omringende stimuli - die samen in één andere studie voorkomen. Het aantal omringende stimuli dat overlapt met een andere studie met een gemeenschappelijke referentie - in dit geval gelijk aan twee - wordt geregeld door de overlapparameter in het analyseconfiguratiebestand. Het verhogen van deze parameter zou ertoe leiden dat meer stimuli worden gedeeld tussen twee onderzoeken, waardoor uitgebreidere vergelijkingen van afstandsrangschikking mogelijk zijn, bijvoorbeeld: "Lijkt s1 meer op de referentie dan s2 en lijkt s2 meer op s3?" in twee contexten. Voor voorbeelden van andere experimentele ontwerpen die mogelijk zijn met andere waarden van deze en andere parameters, zie tabel 1. Zie tabel 2 voor meer informatie over alle parameters, waar ze onder vallen en waar ze kunnen worden gewijzigd. Met name is het ook mogelijk om het aantal stimuli dat rond een referentie in elke proef verschijnt te wijzigen door de parameters num_images_per_trial en num_words_per_trial voor respectievelijk de beeld- en woordexperimenten te wijzigen. Het vergroten van de omvang van de omgeving zou het aantal vergelijkingen per studie verhogen en de effecten van de studiecontext verbeteren; het verminderen ervan zou de complexiteit van de taak verminderen. Het aantal vergelijkingsstimuli in een trial (Ncircle), het aantal stimuli in het experiment (Nstim), het aantal trials (Ntrials), het aantal unieke vergelijkingen (Ncomparisons) en het aantal herhaalde vergelijkingen (Nrepeated) zijn onderling gerelateerd en afhankelijk van de grootte van de eerder genoemde overlap tussen trials (Noverlap ) en het aantal proeven per referentieprikkel (k). De grootte van de stimulusset wordt bepaald door m, wat een willekeurig geheel getal is. Deze relaties worden hieronder vermeld:
Er zijn andere details van het paradigma en de procedures voor het verzamelen van gegevens die helpen om verstoringen te minimaliseren. Het randomiseren van de plaatsing van stimuli en de proefvolgorde (stap 3.4) is belangrijk, zodat zelfs wanneer sessies worden herhaald, het onderwerp geen ruimtelijke of temporele patronen begint te herkennen in de plaatsing van stimuli. Het is ook belangrijk om proefpersonen geen directe aanwijzingen te geven over hoe gelijkenis te meten (stap 4), omdat dit de resultaten kan beïnvloeden. Ze moeten zelf beslissen wat gelijkenis voor hen betekent in de context van het specifieke experiment. Het is echter nuttig om de proefpersonen te debriefen nadat ze het experiment hebben voltooid, omdat dit kan helpen begrijpen hoe bevindingen variëren tussen proefpersonen. Als een sessie om wat voor reden dan ook beschadigd of afgebroken is, raden we aan de hele sessie te verwijderen, zodat alle proeven een gelijk aantal keren worden voltooid.
Analyse van gelijkenisgegevens: Het experiment levert voor elke studie rangorden van gelijkenis op tussen de Ncircle-vergelijkingsstimuli en de referentie. Wanneer ze worden opgesplitst in vergelijkingen van paren stimuli, leveren deze onderzoeken keuzekansen op voor elk van de unieke vergelijkingen. De keuzekansen worden vervolgens geanalyseerd om te zoeken naar geometrische modellen van de perceptuele ruimte (protocolstap 5). De analyse probeert de keuzekansen te verklaren in termen van afstanden tussen stimuli, d(si, sj), in een Euclidische ruimte. Dat wil zeggen, het doel is om coördinaten toe te wijzen aan elke stimulus, zodat de keuzekans voor het klikken op s1 vóór s2 de waarschijnlijkheid weerspiegelt dat het onderwerp d(ref, s1) < d(ref, s2) heeft beoordeeld. Deze aanpassingsprocedure wordt hier beschreven, zowel omdat het enkele nieuwe elementen bevat, als om een gebruiker in staat te stellen het te wijzigen (protocolstap 5.2).
De analyse is een soort multidimensionaal schaalprobleem, maar met enkele onderscheidende kenmerken. Ten eerste bieden de gegevens rangorde van ongelijksoortige oordelen, in plaats van schattingen van de afstanden. Ten tweede bevat de dataset, hoewel uitgebreid, slechts een subset van alle mogelijke vergelijkingen van paarsgewijze afstanden. Ten slotte is het doel om rekening te houden met de keuzekansen, niet alleen een binaire beslissing waarvan de afstand groter is. Met deze overwegingen in gedachten wordt de kostenfunctie zodanig gekozen dat de waarde ervan wordt geminimaliseerd wanneer modelvoorspellingen het meest waarschijnlijk de experimenteel waargenomen keuzekansen opleveren. Het wordt daarom gedefinieerd als de negatieve log-waarschijnlijkheid van de waargenomen keuzekansen onder het model, genormaliseerd door het totale aantal paarsgewijze vergelijkingen, en is aangepast van eerder werk15:
waarbij N0 = Ncomparisons. Nrepeats en Nrepeats is het aantal herhalingen van het protocol (d.w.z. het aantal keren dat elke unieke proef wordt herhaald), en
Hier duidt srde de referentieprikkel in een proef aan, si en sj en de stimuli in de ring rond sr. P (d(sr, si) < d(sr, sj)) vertegenwoordigt de modelkans dat de afstand tussen sr en si kleiner wordt geacht dan de afstand tussen sr en sj en C geeft het aantal keren aan dat de proefpersoon d(sr, si) heeft beoordeeld ) < d(sr, sj). Het doel van de modelleringsanalyse is om een configuratie van punten in een Euclidische ruimte te vinden, die rekening houdt met de empirische keuzekansen. Iteratief past de minimalisatie de coördinaten aan die aan elke stimulus zijn toegewezen, en daarmee de modelkeuzekansen (P). De minimalisatie eindigt wanneer de kostenfunctie stopt met dalen onder de tolerantie (een instelbare parameter met de naam tolerance regelt dit) of als het maximale aantal iteraties wordt bereikt (geregeld door parameter max_iterations).
Om de stimuluscoördinaten te verbinden met de modelkeuzekansen, wordt aangenomen dat een subject - bij het kiezen tussen twee stimuli om in een proef op te klikken - een interne vergelijking zal maken van hun relatieve afstanden tot de referentie, namelijk d(sr, si) en d(sr, sj). Deze afstanden zijn (standaard) de gewone Euclidische afstanden tussen punten die zijn toegewezen aan stimuli sr, si en sj. Verder wordt verondersteld dat deze mentale vergelijking een interne ruis heeft, die we modelleren als een additieve Gaussiaanse bron van standaarddeviatie σ, een model geïntroduceerd voor eendimensionale domeinen door Maloney et al.16,17 en ook gebruikt voor multidimensionale domeinen15. De modelkeuzekansen zijn gerelateerd aan de coördinaten door:
De interne ruis, σ, kan worden geregeld door sigma te variëren in het analyseconfiguratiebestand. Om het algoritme te initialiseren met een set stimuluscoördinaten, werden de rangordeoordelen gebruikt om een reeks geschatte afstanden te verkrijgen en vervolgens werd standaard multidimensionale schaling10 toegepast op deze afstanden om de initiële coördinaten te verkrijgen. Deze geschatte afstanden werden bepaald door de winsten en verliezen voor elk paar stimuli te tellen. Dat wil zeggen, kijkend naar alle paarsgewijze vergelijkingen in de gegevens, elke keer dat een afstand, d (sr, sk) groter wordt beoordeeld dan een andere, d (sr, sn), wordt een winst geregistreerd voor de grotere afstand d (sr, sk) en een verlies wordt geregistreerd voor d (sr, sn ). Het kernidee is dat hoe groter de afstand tussen twee stimuli, hoe vaker deze als groter zou worden beoordeeld dan een andere afstand (in termen van overwinningen) en vice versa. Na het doorlopen van alle vergelijkingen en het in tabelvorm weergeven van de winsten en verliezen van elk paar stimuli, worden afstandsschattingen als volgt berekend:
Zodra dit is gebeurd, wordt de eerste set coördinaten bepaald door standaard metrische multidimensionale schaling toe te passen op dinit (si, sj).
De aldus beschreven minimalisatieroutine wordt onafhankelijk uitgevoerd om modellen van 1, 2, 3, 4 en 5 dimensies te verkrijgen. In elk geval worden de optimale coördinaten van de afgeleide stimuluspunten, evenals de waarde van de kostenfunctie, d.w.z. de negatieve log-waarschijnlijkheid van de empirische keuzekansen, geretourneerd. De log-waarschijnlijkheid wordt in figuur 5 uitgezet ten opzichte van de best mogelijke log-waarschijnlijkheid, die op dezelfde manier wordt berekend als in vergelijking 1, met
,
voor alle vergelijkingen. Als sanity check wordt in figuur 5 ook de random model log-likelihood, een ondergrens uitgezet om de prestaties van de modellen te beoordelen. Bij het berekenen van de random choice log-likelihood stellen we
voor alle vergelijkingen.
Mogelijke uitbreidingen: Ten eerste, zoals eerder vermeld, kan het experimentele paradigma worden aangepast om stimulussets van verschillende groottes te accommoderen, en het aantal stimuli in de ring kan worden gewijzigd om verschillende aantallen paarsgewijze vergelijkingen per proef op te leveren (zie tabel 1).
Ten tweede kan het nuttig zijn om niet-Euclidische afstandsmetingen in de analyse te gebruiken. Uit een studie bleek bijvoorbeeld dat de stadsblokmetriek beter een perceptuele ruimte van oppervlaktelichtheid en verlichting vertegenwoordigde18. De voorgestelde methode kan worden gegeneraliseerd, zodat modellen met andere afstandsmetingen, bijvoorbeeld een afstand van een stadsblok, een Minkowski-afstand of een hyperbolische afstand19, geschikt zijn voor gelijkenisgegevens. Om dit te doen, zou men de verstrekte code moeten wijzigen en een alternatieve afstandsmetriek moeten implementeren. De belangrijkste wijziging die nodig is, is in regel 105 (functienaam: dist_model_ll_vectorized) in het bestand overeenkomsten / analyse / pairwise_likelihood_analysis.py.
Sterke punten en beperkingen: Een belangrijke kracht van de voorgestelde aanpak is dat het een flexibel kader biedt voor het ontwerpen van experimenten met verschillende stimulussetgroottes, verschillende aantallen vergelijkingen, herhalingen of het aantal stimuli per studie, evenals verschillende overlappende setgroottes om contexteffecten te meten. Door de grootte van de overlap tussen processen en de grootte van de omgeving in een proces te veranderen, kan men de rol van context in gelijkenisoordelen onderzoeken, terwijl een groot aantal paarsgewijze gelijkenisoordelen per proces wordt verkregen. De methode behandelt veel beperkingen van eerdere experimentele paradigma's voor het verzamelen van gelijkenisgegevens. Bijvoorbeeld, in tegenstelling tot de op arrangementen gebaseerde methoden12,20 (die vereisen dat stimuli worden gerangschikt op een 2D Euclidisch vlak met vergelijkbare items die bij elkaar worden geplaatst en verschillende items uit elkaar worden geplaatst) en de sorteermethoden (waarvoor stimuli in stapels moeten worden gecategoriseerd),11, vraagt de rangschikkingsmethode proefpersonen niet om hun interne representatie op een geometrische structuur te projecteren. Een andere beperking van sommige methoden uit het verleden - bijvoorbeeld verwarringsmatrices waarin twee stimuli als vergelijkbaar worden beschouwd als ze met elkaar worden verward bij snelle herkenningstaken21 - is dat ze geen graduele metingen opleveren. Deze methode levert wel graduele maatstaven op, d.w.z. de keuzekansen.
Zoals hierboven benadrukt, is de verzamelmethode flexibel in die zin dat het er niet van uitgaat dat de interne representatie een Euclidische ruimte is. Hier test de analysemethode alleen Euclidische modellen; het kan echter ook worden uitgebreid met niet-Euclidische modellen, door gelokaliseerde wijzigingen in de broncode. Het modelleringskader is echter niet ontworpen om rekening te houden met contexteffecten. Als ze belangrijk waren, zou het een kanttekening plaatsen bij de conclusies die konden worden getrokken.
De voorgestelde methode is tijdsefficiënter dan de gepaarde vergelijkingsbenadering. Elke proef met het paradigma duurt ongeveer ~ 30 s (proefpersonen voeren 111 proeven uit in een uur), wat 111×28 = 3108 vergelijkingen per uur oplevert. Het is onwaarschijnlijk dat enkelvoudige vergelijkingsproeven minder dan 3 s per proef duren, wat 1200 vergelijkingen per uur zou opleveren. Bovendien is er een tweede niveau van efficiëntie: de huidige aanpak vereist geen vergelijkingen van alle paarsgewijze afstanden. Voor het voorbeeld in het manuscript komt de volledige verzameling paarsgewijze afstanden neer op 221445 vergelijkingen, maar in de huidige benadering volstaat een schaarse deelverzameling van 5994 unieke vergelijkingen, elk 5 of 10 keer herhaald, om de gelijkenisgegevens te modelleren. De methode, hoewel efficiënt, is echter nog steeds tijdrovend en vereist een aanzienlijke inzet van proefpersonen. Als gevolg hiervan is het geen haalbare aanpak voor een reeks van honderden stimuli, tenzij gegevens over onderwerpen worden samengevoegd. Ten slotte is de aanpak niet direct toepasbaar op niet-visuele stimuli.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Het werk wordt ondersteund door financiering van de National Institutes of Health (NIH), subsidie EY07977. De auteurs willen ook Usman Ayyaz bedanken voor zijn hulp bij het testen van de software en Muhammad Naeem Ayyaz voor zijn commentaar op het manuscript.
Materials
| Name | Company | Catalog Number | Comments |
| Computer Workstation | N/A | N/A | OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files |
| conda | Version 4.11 | OS: Windows/ MacOS 10 or higher/ Linux | |
| Microsoft Excel | Microsoft | Any | To open and shuffle rows and columns in trial conditions files. |
| PsychoPy | N/A | Version 2021.2 | Framework for running psychophysical studies |
| Python 3 | Python Software Foundation | Python Version 3.8 | Python3 and associated built-in libraries |
| Required Python Libraries | N/A | numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher | numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files. |
References
- Edelman, S.
- Hahn, U., Chater, N. Concepts and similarity. Knowledge, Concepts and Categories. , The MIT Press. 43-84 (1997).
- Kriegeskorte, N., Kievit, R. A. Representational geometry: integrating cognition, computation, and the brain. Trends in Cognitive Sciences. 17 (8), 401-412 (2013).
- Hebart, M. N., Zheng, C. Y., Pereira, F., Baker, C. I. Revealing the multidimensional mental representations of natural objects underlying human similarity judgements. Nature Human Behaviour. 4 (11), 1173-1185 (2020).
- Deng, W. S., Sloutsky, V. M. The development of categorization: Effects of classification and inference training on category representation. Developmental Psychology. 51 (3), 392-405 (2015).
- Shepard, R. N. Stimulus and response generalization: tests of a model relating generalization to distance in psychological space. Journal of Experimental Psychology. 55 (6), 509-523 (1958).
- Coombs, C. H. A method for the study of interstimulus similarity. Psychometrika. 19 (3), 183-194 (1954).
- Gärdenfors, P. Conceptual Spaces: The Geometry of Thought. , The MIT Press. (2000).
- Zaidi, Q., et al. Perceptual spaces: mathematical structures to neural mechanisms. The Journal of Neuroscience The Official Journal of the Society for Neuroscience. 33 (45), 17597-17602 (2013).
- Krishnaiah, P. R., Kanal, L. N. Handbook of Statistics 2. , Elsevier. (1982).
- Tsogo, L., Masson, M. H., Bardot, A. Multidimensional Scaling Methods for Many-Object Sets: A Review. Multivariate Behavioral Research. 35 (3), 307-319 (2000).
- Kriegeskorte, N., Mur, M. Inverse MDS: Inferring dissimilarity structure from multiple item arrangements. Frontiers in Psychology. 3, 245 (2012).
- Rao, V. R., Katz, R. Alternative Multidimensional Scaling Methods for Large Stimulus Sets. Journal of Marketing Research. 8 (4), 488-494 (1971).
- Hoffman, J. I. E. Hypergeometric Distribution. Biostatistics for Medical and Biomedical Practitioners. , Academic Press. 179-182 (2015).
- Victor, J. D., Rizvi, S. M., Conte, M. M. Two representations of a high-dimensional perceptual space. Vision Research. 137, 1-23 (2017).
- Knoblauch, K., Maloney, L. T. Estimating classification images with generalized linear and additive models. Journal of Vision. 8 (16), 1-19 (2008).
- Maloney, L. T., Yang, J. N.
- Logvinenko, A. D., Maloney, L. T. The proximity structure of achromatic surface colors and the impossibility of asymmetric lightness matching. Perception & Psychophysics. 68 (1), 76-83 (2006).
- Zhou, Y., Smith, B. H., Sharpee, T. O.
- Goldstone, R. An efficient method for obtaining similarity data. Behavior Research Methods, Instruments, & Computers. 26 (4), 381-386 (1994).
- Townsend, J. T. Theoretical analysis of an alphabetic confusion matrix. Perception & Psychophysics. 9, 40-50 (1971).
