Un paradigma psicofisico per la raccolta e l'analisi dei giudizi di somiglianza

Summary

Il protocollo presenta un paradigma psicofisico sperimentale per ottenere grandi quantità di giudizi di somiglianza e un flusso di lavoro di analisi di accompagnamento. Il paradigma sonda gli effetti del contesto e consente la modellazione di dati di somiglianza in termini di spazi euclidei di almeno cinque dimensioni.

Abstract

I giudizi di somiglianza sono comunemente usati per studiare le rappresentazioni mentali e i loro correlati neurali. Questo approccio è stato utilizzato per caratterizzare gli spazi percettivi in molti domini: colori, oggetti, immagini, parole e suoni. Idealmente, si potrebbe voler confrontare le stime di somiglianza percepita tra tutte le coppie di stimoli, ma questo è spesso poco pratico. Ad esempio, se si chiede a un soggetto di confrontare la somiglianza di due elementi con la somiglianza di altri due elementi, il numero di confronti cresce con la quarta potenza della dimensione del set di stimoli. Una strategia alternativa è quella di chiedere a un soggetto di valutare le somiglianze di coppie isolate, ad esempio su una scala Likert. Questo è molto più efficiente (il numero di valutazioni cresce quadraticamente con le dimensioni impostate piuttosto che trimestralmente), ma queste valutazioni tendono ad essere instabili e hanno una risoluzione limitata, e l'approccio presuppone anche che non ci siano effetti di contesto.

Qui viene presentato un nuovo paradigma di classificazione per una raccolta efficiente di giudizi di somiglianza, insieme a una pipeline di analisi (software fornito) che verifica se i modelli di distanza euclidei tengono conto dei dati. Le prove tipiche consistono in otto stimoli attorno a uno stimolo di riferimento centrale: il soggetto classifica gli stimoli in ordine di somiglianza con il riferimento. Selezionando con giudizio le combinazioni di stimoli utilizzati in ogni prova, l'approccio ha controlli interni per la coerenza e gli effetti di contesto. L'approccio è stato convalidato per stimoli tratti da spazi euclidei fino a cinque dimensioni.

L'approccio è illustrato con un esperimento che misura le somiglianze tra 37 parole. Ogni prova produce i risultati di 28 confronti a coppie del modulo, "A era più simile al riferimento di quanto B fosse al riferimento?" Mentre il confronto diretto di tutte le coppie di coppie di stimoli avrebbe richiesto prove 221445, questo progetto consente la ricostruzione dello spazio percettivo da 5994 confronti ottenuti da 222 studi.

Introduction

Gli esseri umani elaborano e rappresentano mentalmente le informazioni sensoriali in arrivo per eseguire una vasta gamma di compiti, come il riconoscimento degli oggetti, la navigazione, fare inferenze sull'ambiente e molti altri. I giudizi di somiglianza sono comunemente usati per sondare queste rappresentazioni ^mentali1. Comprendere la struttura delle rappresentazioni mentali può fornire informazioni sull'organizzazione della conoscenza ^concettuale2. È anche possibile ottenere informazioni sui calcoli neurali, mettendo in relazione i giudizi di somiglianza con i modelli di attivazione ^cerebrale3. Inoltre, i giudizi di somiglianza rivelano caratteristiche salienti nella ^percezione4. Studiare come cambiano le rappresentazioni mentali durante lo sviluppo può far luce su come vengono ^apprese5. Pertanto, i giudizi di somiglianza forniscono preziose informazioni sull'elaborazione delle informazioni nel cervello.

Un modello comune di rappresentazioni mentali che usano somiglianze è un modello geometrico di ^spazio6,7,8. Applicato ai domini sensoriali, questo tipo di modello è spesso indicato come uno spazio percettivo9. I punti nello spazio rappresentano gli stimoli e le distanze tra i punti corrispondono alla dissomiglianza percepita tra di loro. Dai giudizi di somiglianza, si possono ottenere stime quantitative delle dissomiglianze. Queste dissomiglianze a coppie (o distanze percettive) possono quindi essere utilizzate per modellare lo spazio percettivo tramite il ridimensionamento multidimensionale10.

Esistono molti metodi per raccogliere giudizi di somiglianza, ognuno con i suoi vantaggi e svantaggi. Il modo più semplice per ottenere misure quantitative di dissomiglianza è chiedere ai soggetti di valutare su una scala il grado di dissomiglianza tra ogni coppia di stimoli. Mentre questo è relativamente veloce, le stime tendono ad essere instabili durante lunghe sessioni in quanto i soggetti non possono tornare ai giudizi precedenti e gli effetti del contesto, se presenti, non possono essere rilevati. (Qui, un effetto di contesto è definito come un cambiamento nella somiglianza giudicata tra due stimoli, in base alla presenza di altri stimoli che non vengono confrontati.) In alternativa, ai soggetti può essere chiesto di confrontare tutte le coppie di stimoli con tutte le altre coppie di stimoli. Mentre questo produrrebbe un ordinamento di rango più affidabile delle dissomiglianze, il numero di confronti richiesti scala con la quarta potenza del numero di stimoli, rendendolo fattibile solo per piccoli insiemi di stimoli. Le alternative più rapide, come l'ordinamento in un numero predefinito di ^cluster11 o l'ordinamento gratuito, hanno i loro limiti. L'ordinamento libero (in un numero qualsiasi di pile) è intuitivo, ma costringe il soggetto a categorizzare gli stimoli, anche se gli stimoli non si prestano facilmente alla categorizzazione. Il più recente metodo multi-arrangiamento, MDS inverso, aggira molte di queste limitazioni ed è molto ^efficiente12. Tuttavia, questo metodo richiede ai soggetti di proiettare le loro rappresentazioni mentali su un piano euclideo 2D e di considerare le somiglianze in un modo geometrico specifico, assumendo che la struttura di somiglianza possa essere recuperata dalle distanze euclidee su un piano. Pertanto, rimane la necessità di un metodo efficiente per raccogliere grandi quantità di giudizi di somiglianza, senza fare ipotesi sulla geometria alla base dei giudizi.

Descritto qui è un metodo che è sia ragionevolmente efficiente che evita anche le potenziali insidie di cui sopra. Chiedendo ai soggetti di classificare gli stimoli in ordine di somiglianza con un riferimento centrale in ogni ^prova13, la somiglianza relativa può essere sondata direttamente, senza assumere nulla sulla struttura geometrica delle risposte dei soggetti. Il paradigma ripete un sottoinsieme di confronti con contesti identici e diversi, consentendo la valutazione diretta degli effetti del contesto e l'acquisizione di risposte graduali in termini di probabilità di scelta. La procedura di analisi scompone questi giudizi di rango in più confronti a coppie e li utilizza per costruire e cercare modelli euclidei di spazi percettivi che spiegano i giudizi. Il metodo è adatto per descrivere in dettaglio la rappresentazione di insiemi di stimoli di dimensioni moderate (ad esempio, da 19 a 49).

Per dimostrare la fattibilità dell'approccio, è stato condotto un esperimento, utilizzando una serie di 37 animali come stimoli. I dati sono stati raccolti nel corso di 10 sessioni di un'ora e poi analizzati separatamente per ciascun soggetto. L'analisi ha rivelato coerenza tra i soggetti ed effetti di contesto trascurabili. Ha anche valutato la coerenza delle dissomiglianze percepite tra gli stimoli con i modelli euclidei dei loro spazi percettivi. Il paradigma e le procedure di analisi delineati in questo articolo sono flessibili e dovrebbero essere utili ai ricercatori interessati a caratterizzare le proprietà geometriche di una gamma di spazi percettivi.

Protocol

Prima di iniziare gli esperimenti, tutti i soggetti forniscono il consenso informato in conformità con le linee guida istituzionali e la Dichiarazione di Helsinki. Nel caso di questo studio, il protocollo è stato approvato dal comitato di revisione istituzionale del Weill Cornell Medical College.

1. Installazione e configurazione

1. Scarica il codice dal repository GitHub, somiglianze (https://github.com/jvlab/similarities). Nella riga di comando, esegui: git clone https://github.com/jvlab/similarities.git. - Se git non è installato, scaricare il codice come cartella compressa dal repository.
   NOTA: nel repository sono presenti due sottodirectory: experiments, che contiene due esperimenti di esempio, e analysis, che contiene un set di script python per analizzare i dati di somiglianza raccolti. Nella directory degli esperimenti uno (word_exp) fa uso di stimoli di parole e l'altro (image_exp) visualizza stimoli di immagine. Una certa familiarità con Python sarà utile, ma non necessaria. Si presume familiarità con la riga di comando: più passaggi richiedono l'esecuzione di script dalla riga di comando.
2. Installare i seguenti strumenti e configurare un ambiente virtuale.
   1. python 3: Vedere il link per le istruzioni: https://realpython.com/installing-python/. Questo progetto richiede Python versione 3.8.
   2. PsychoPy: Dal link (https://www.psychopy.org/download.html), scaricare l'ultima versione standalone di PsychoPy per il sistema operativo pertinente, utilizzando il pulsante blu, sotto Installazione. Questo progetto utilizza PsychoPy versione 2021.2; gli esperimenti di esempio forniti devono essere eseguiti con la versione corretta di PsychoPy come specificato di seguito.
   3. conda: Dal link (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), scaricare conda, tramite Miniconda o Anaconda, per il relativo sistema operativo.
   4. Nella riga di comando, eseguire quanto segue per creare un ambiente virtuale con i pacchetti python richiesti:
      cd ~/somiglianze
      conda env create -f environment.yaml
   5. Verificare se l'ambiente virtuale è stato creato e attivarlo come segue:
      Conda env list # venv_sim_3.8 dovrebbe essere elencato
      conda attiva venv_sim_3.8 # per accedere all'ambiente virtuale
      CONDA disattiva # per uscire dall'ambiente virtuale dopo l'esecuzione degli script
      NOTA: l'esecuzione di script in un ambiente a volte può essere lenta. Attendere fino a un minuto per visualizzare qualsiasi output stampato nella riga di comando quando si esegue uno script.
3. Per assicurarsi che il codice scaricato funzioni come previsto, eseguire gli esperimenti di esempio forniti attenendosi alla procedura seguente.
   NOTA: La directory degli esperimenti (somiglianze/esperimenti) contiene esperimenti campione (word_exp e image_exp), facendo uso di due tipi di stimoli: parole e immagini.
   1. Apri PsychoPy. Vai su Visualizza, quindi fai clic su Coder, perché il builder predefinito di PsychoPy non può aprire .py file. Vai a File, quindi fai clic su Apri e apri word_exp.py (somiglianze/esperimenti/word_exp/word_exp.py).
   2. Per caricare l'esperimento, fai clic sul pulsante verde Esegui esperimento . Immettere le iniziali o il nome e il numero di sessione e fare clic su OK.
   3. Segui le istruzioni ed esegui alcune prove per verificare che gli stimoli si ingrigiscano quando si fa clic. Premere Esc quando si è pronti per uscire.
      NOTA: PsychoPy si aprirà a schermo intero, visualizzando prima le istruzioni e poi alcune prove, con testo segnaposto anziché parole di stimolo. Quando si fa clic, le parole si disattivano. Quando tutte le parole sono state cliccate, inizia la prova successiva. In qualsiasi momento, PsychoPy può essere terminato premendo il tasto Esc . Se il programma termina durante i passaggi 1.3.2 o 1.3.3, è possibile che il sistema operativo dell'utente richieda l'accesso alla tastiera e al mouse. In tal caso, nella finestra di PsychoPy Runner verrà stampato un messaggio di errore descrittivo che guiderà l'utente.
   4. Verificare quindi che l'esperimento di immagine venga eseguito con immagini segnaposto. Apri PsychoPy. Vai a File. Fare clic su Apri e scegliere image_exp.psyexp (somiglianze /esperimenti/image_exp/image_exp.psyexp).
   5. Per assicurarsi che venga utilizzata la versione corretta, fare clic sull'icona a forma di ingranaggio . Dall'opzione Usa versione PsychoPy selezionare 2021.2 dal menu a discesa.
   6. Come prima, fai clic sul pulsante verde Esegui esperimento . Immettere le iniziali o il nome e il numero di sessione e fare clic su OK.
      NOTA: come nel passaggio 1.3.2, PsychoPy visualizzerà prima le istruzioni e poi eseguirà il rendering delle prove dopo che le immagini sono state caricate. Ogni prova conterrà otto immagini segnaposto che circondano un'immagine centrale. Facendo clic su un'immagine verrà disattivata. Il programma può essere chiuso premendo Esc.
   7. Passare alla directory dei dati in ciascuna delle directory dell'esperimento per visualizzare l'output:
      somiglianze/esperimenti/image_exp/dati
      somiglianze/esperimenti/word_exp/dati
      NOTA: i dati sperimentali vengono scritti nella directory dei dati. Il file delle risposte.csv contiene le risposte ai clic della versione di prova per prova. Il file di registro contiene tutte le pressioni dei tasti e i clic del mouse. È utile per la risoluzione dei problemi, se PsychoPy si chiude inaspettatamente.
4. Facoltativamente, per verificare che gli script di analisi funzionino come previsto, riprodurre alcune delle figure nella sezione Risultati rappresentativi come segue.
   1. Creare una directory per i dati preelaborati:
      cd ~/somiglianze
      mkdir sample-materials/subject-data/preprocessed
   2. Combina i dati grezzi di tutti i file .csv risposte in un unico file json. Nella riga di comando eseguire le operazioni seguenti:
      cd somiglianze
      conda activate venv_sim_3.8
      python -m analysis.preprocess.py
   3. Quando richiesto, immettere i seguenti valori per i parametri di input: 1) percorso dei dati del soggetto: ./sample-materials/subject-data, 2), nome dell'esperimento: sample_word e 3) ID soggetto: S7. Il file json sarà in somiglianze / materiali campione / dati-soggetto / pre-elaborato.
   4. Una volta che i dati sono preelaborati, seguire i passaggi del progetto README sotto la riproduzione delle figure. Questi script di analisi verranno eseguiti in un secondo momento per analizzare i dati raccolti dall'esperimento dell'utente.

2. Raccolta dei dati mediante l'impostazione di un esperimento personalizzato

NOTA: le procedure sono descritte sia per gli esperimenti di immagine che di parola fino al passaggio 3.1. Seguendo questo passaggio, il processo è lo stesso per entrambi gli esperimenti, quindi l'esperimento di immagine non è esplicitamente menzionato.

1. Selezionare un esperimento da eseguire. Passare alla parola esperimento (somiglianze/esperimenti/word_exp) o esperimento immagine (somiglianze/esperimenti/image_exp).
2. Decidi il numero di stimoli. La dimensione predefinita del set di stimoli è 37. Per modificare questa impostazione, aprire il file di configurazione (similarities/analysis/config.yaml) in un editor di codice sorgente. Nel parametro num_stimuli del file di configurazione dell'analisi, impostare la dimensione dello stimolo uguale a mk + 1 come richiesto dal progetto sperimentale per gli interi k e m.
   NOTA: nel progetto standard, k ≥ 3 e m = 6. Pertanto, i valori validi per num_stimuli includono 19, 25, 31, 37, 43 e 49 (vedere la Tabella 1 per le possibili estensioni del progetto).
3. Finalizzare gli stimoli sperimentali. Se la parola esperimento è in esecuzione, preparare un elenco di parole. Per l'esperimento di immagine, crea una nuova directory e inserisci tutte le immagini di stimolo al suo interno. I tipi di immagine supportati sono png e jpeg. Non utilizzare i punti come separatori nei nomi dei file (ad esempio, image.1.png non è valido ma image1.png o image_1.png sono validi).
4. Se si esegue la parola esperimento, preparare gli stimoli come segue.
   1. Creare un nuovo file in esperimenti/word_exp denominato stimuli.txt. Questo file verrà letto nel passaggio 3.3.
   2. Nel file, scrivi le parole nel set di stimoli come dovrebbero apparire sul display, con ogni parola in una riga separata. Evita righe vuote extra o spazi extra accanto alle parole. Vedere i materiali di esempio per riferimento (somiglianze/materiali-campione/word-exp-materials/sample_word_stimuli.txt).
5. Se l'esperimento di immagine è in esecuzione, impostare il percorso del set di stimoli come segue.
   1. Nella directory degli esperimenti, trova il file di configurazione chiamato config.yaml (similarities/experiments/config.yaml).
   2. Aprire il file in un editor di codice sorgente e aggiornare il valore della variabile files al percorso della directory contenente il set di stimoli (passaggio 2.3). È qui che PsychoPy cercherà gli stimoli dell'immagine.

3. Creazione di prove di classificazione

1. Usa un file di stimoli.txt. Se viene eseguito l'esperimento di word, è possibile utilizzare il file creato nel passaggio 2.4. In caso contrario, utilizzare l'elenco dei nomi dei file (per riferimento, vedere similarities/sample-materials/image-exp-materials/sample_image_stimuli.txt). Inserisci questo file nella directory di esperimento appropriata (word_exp o image_exp).
2. Evita le righe vuote extra, così come gli spazi nei nomi. Usa camelCase o snake_case per i nomi degli stimoli.
3. Quindi, creare configurazioni di prova. Aprire il file config.yaml nella directory di analisi e impostare il valore del parametro path_to_stimulus_list sul percorso di stimuli.txt (creato nel passaggio 3.1).
   1. Dalla directory delle somiglianze, eseguire lo script eseguendo i seguenti comandi uno dopo l'altro:
      cd ~/somiglianze
      conda activate venv_sim_3.8
      python -m analysis.trial_configuration
      conda disattivare # uscire dall'ambiente virtuale
   2. Questo crea un file chiamato trial_conditions.csv in somiglianze in cui ogni riga contiene i nomi degli stimoli che appaiono in una prova, insieme alle loro posizioni nel display. Viene fornito un file di trial_conditions.csv di esempio (somiglianze/materiali di esempio). Per informazioni dettagliate sui parametri di input per gli script di analisi, fare riferimento al file README del progetto in Utilizzo.

Figura 1: Esempi rappresentativi di prove (fase 3.3). (A) Ogni riga contiene i dettagli di una singola prova. Le intestazioni indicano la posizione dello stimolo attorno al cerchio. Lo stimolo sotto ref appare al centro e stim da 1 a stim 8 appaiono intorno al riferimento. (B) La prima prova (riga) da A è resa da PsychoPy per visualizzare gli otto stimoli intorno allo stimolo di riferimento, scimmia. Fare clic qui per visualizzare una versione più grande di questa figura.

NOTA: A questo punto, è stato generato un set completo di 222 prove per una prova completa, cioè per un set di dati completo. La Figura 1A mostra parte di un file di condizioni generato dallo script precedente, per la parola esperimento (vedere Risultati rappresentativi).

4. Quindi, suddividi questi 222 studi in sessioni e randomizza l'ordine di prova. Nel design tipico, le sessioni comprendono 111 prove, ognuna delle quali richiede circa 1 ora per essere eseguita.
   1. A tale scopo, nella riga di comando eseguire quanto segue:
      conda activate venv_sim_3.8
      cd ~/somiglianze
      python -m analysis.randomize_session_trials
   2. Quando richiesto, immettere i seguenti parametri di input: percorso per trial_conditions.csv creato nel passaggio 3.3.2; directory di output; numero di prove per sessione: 111; numero di ripetizioni: 5.
      NOTA: il numero di ripetizioni può anche essere variato, ma influenzerà il numero di sessioni condotte nel passaggio 4 (vedi Discussione: Paradigma sperimentale). Se si modifica il valore predefinito del numero di ripetizioni, assicurarsi di modificare il valore del parametro num_repeats nel file di configurazione (similarities/analysis/config.yaml). Se necessario, consultare le istruzioni dettagliate per eseguire manualmente quanto sopra nel file README nella sezione Crea prove.
5. Rinominare e salvare ciascuno dei file generati come condizioni.csv, nella propria directory. Vedi la struttura di directory consigliata qui: somiglianze / materiali di esempio / dati soggettivi e nel progetto README.
   NOTA: come indicato nel passaggio 4, ogni esperimento viene ripetuto cinque volte nel progetto standard, nel corso di sessioni lunghe 10 ore, ciascuna in un giorno separato. Ai soggetti dovrebbe essere chiesto di venire per una sola sessione al giorno per evitare l'affaticamento. Vedere la Tabella 1 per il numero di prove e sessioni necessarie per set di stimoli di diverse dimensioni.

4. Esecuzione dell'esperimento e raccolta di dati di somiglianza

1. Spiega il compito ai soggetti e dai loro istruzioni. In ogni studio, i soggetti visualizzeranno uno stimolo di riferimento centrale circondato da otto stimoli e gli verrà chiesto di fare clic sugli stimoli nel contorno, in ordine di somiglianza con il riferimento centrale, cioè dovrebbero fare clic sul primo più simile e sull'ultimo meno simile.
2. Chiedi loro di provare a utilizzare una strategia coerente. Dì loro che verrà mostrata loro la stessa configurazione di stimoli più volte nel corso delle 10 sessioni. Se lo studio sonda la rappresentazione delle informazioni semantiche, assicurarsi che i soggetti abbiano familiarità con gli stimoli prima di iniziare.
3. Passare alla directory dell'esperimento pertinente (vedere il passaggio 2.1). Se è la prima volta che si esegue l'esperimento, creare una directory denominata subject-data per archiviare le risposte del soggetto. Crea due sottodirectory al suo interno: raw e preprocessed. Per ogni soggetto, creare una sottodirectory all'interno di subject-data/raw.
4. Copiare il file conditions.csv preparato nel passaggio 3 per la sessione specifica e incollarlo nella directory corrente, ovvero la directory contenente il file psyexp. Se c'è già un file lì, denominato conditions.csv, assicurati di sostituirlo con quello per la sessione corrente.
5. Apri PsychoPy e quindi apri il file psyexp o py nella directory dell'esperimento pertinente. In PsychoPy, fai clic sul pulsante verde Play per eseguire l'esperimento. Nel pop-up modale, inserisci il nome del soggetto o l'ID e il numero di sessione. Fare clic su OK per iniziare. Le istruzioni verranno visualizzate all'inizio di ogni sessione.
6. Consentire al soggetto di circa 1 ora di completare l'attività. Poiché il compito è autogestito, incoraggia i soggetti a fare delle pause se necessario. Quando il soggetto termina la sessione, PsychoPy terminerà automaticamente e i file verranno generati nella directory somiglianze/ esperimenti / _exp / dati.
7. Trasferirli nella directory subject-data/raw/ (creata nel passaggio 4.3). Vedere README per la struttura di directory consigliata.
   NOTA: come accennato, il file di registro è per la risoluzione dei problemi. La causa più comune per cui PsychoPy si chiude inaspettatamente è che un soggetto preme accidentalmente Escape durante una sessione. Se ciò accade, le risposte per le prove fino all'ultimo processo completato verranno comunque scritte nel file delle risposte.csv.
8. Se PsychoPy si chiude inaspettatamente, riaprilo e crea un nuovo file di condizioni.csv, con solo le prove che non erano state tentate. Sostituire il file delle condizioni della sessione esistente con questo ed eseguire nuovamente l'esperimento. Assicurati di salvare i file generati nella posizione appropriata. Alla fine della sessione, i due file di risposte possono essere combinati manualmente in uno, anche se questo non è necessario.
9. Per ciascuna delle sessioni rimanenti, ripetere i passaggi da 4.4 a 4.8.
10. Al termine di tutte le sessioni, combinare i file di dati grezzi e riformattarli in un unico file json per un'ulteriore elaborazione. Per fare ciò, eseguire preprocess.py nel terminale (somiglianze / analisi / pre-elaborazione.py) come segue:
    cd ~/somiglianze
    conda activate venv_sim_3.8
    python -m analysis.preprocess
11. Quando richiesto, immettere i parametri di input richiesti: il percorso della directory dei dati oggetto, gli ID oggetto per i quali preelaborare i dati e il nome dell'esperimento (utilizzato per denominare il file di output). Premere Invio.
12. Uscire dall'ambiente virtuale:
    conda disattivare
    NOTA: in questo modo verrà creato un file json nella directory di output che combina le risposte tra le ripetizioni per ogni versione di prova. I dati di somiglianza vengono letti da subject-data/raw e scritti in subject-data/pre-elaborati.

5. Analizzare i giudizi di somiglianza

NOTA: Ai soggetti viene chiesto di fare clic sugli stimoli in ordine di somiglianza con il riferimento, fornendo così una classifica in ogni studio. Per gli esperimenti standard, ripetere ogni prova cinque volte, generando cinque ordini di rango degli stessi otto stimoli (vedere figura 2B). Questi giudizi di rango sono interpretati come una serie di confronti in cui un soggetto confronta coppie di distanze percettive. Si presume che il soggetto stia ponendo la seguente domanda prima di ogni clic: "La distanza (percettiva) tra il riferimento e lo stimolo A è inferiore alla distanza tra il riferimento e lo stimolo B?" Come mostrato nella Figura 2C, questo produce probabilità di scelta per confronti di somiglianze multiple a coppie per ogni studio. L'analisi seguente utilizza queste probabilità di scelta.

Figura 2: Ottenere probabilità di scelta dai giudizi di classificazione. (A) Un'illustrazione di una prova tratta dalla parola esperimento che abbiamo condotto. (B) Cinque ordini di grado sono stati ottenuti per lo stesso processo, nel corso di più sessioni. (C) Probabilità di scelta per i confronti di dissomiglianza a coppie rappresentati dai giudizi di classifica. Fare clic qui per visualizzare una versione più grande di questa figura.

1. Determina le probabilità di scelta a coppie dai giudizi dell'ordine di rango.
   1. In somiglianze/analisi, eseguire describe_data.py nella riga di comando.
      cd ~/somiglianze
      conda activate venv_sim_3.8
      python -m analysis.describe_data
   2. Quando richiesto, immettere il percorso dei dati soggetto/preelaborati e l'elenco dei soggetti per i quali eseguire l'analisi.
      NOTA: Questo creerà tre tipi di grafici: i) la distribuzione delle probabilità di scelta per il set di dati completo di un dato soggetto, ii) mappe di calore per valutare la coerenza tra le probabilità di scelta per coppie di soggetti e iii) una mappa termica delle probabilità di scelta per tutti i confronti che si verificano in due contesti per valutare gli effetti del contesto. Operativamente, questo significa confrontare le probabilità di scelta in coppie di prove che contengono lo stesso riferimento e una coppia comune di stimoli nell'anello ma differiscono in tutti gli altri stimoli nell'anello: la mappa di calore mostra come la probabilità di scelta dipenda da questo contesto.
2. Generare modelli euclidei a bassa dimensione degli spazi percettivi, utilizzando le probabilità di scelta. Eseguire model_fitting.py nella riga di comando come segue:
   cd ~/somiglianze
   conda activate venv_sim_3.8
   python -m analysis.model_fitting
   1. Fornire i seguenti parametri di input quando richiesto: percorso alla directory subject-data/preprocessed; il numero di stimoli (37 per impostazione predefinita); il numero di iterazioni (il numero di volte in cui deve essere eseguita l'analisi di modellazione); la directory di output; e la quantità di rumore gaussiano (0,18 per impostazione predefinita).
      Nota : questo script richiede alcune ore per l'esecuzione. Al termine, i file npy contenenti le coordinate più adatte per i modelli 1D, 2D, 3D, 4D e 5D che descrivono i dati di somiglianza verranno scritti nella directory di output. Verrà generato un file csv contenente i valori di probabilità di log dei diversi modelli.
3. Visualizza la probabilità di log dei modelli ottenuti e valuta la loro adattabilità. Per fare ciò, eseguire similarities/analysis/model_fitting_figure.py nella riga di comando:
   cd ~/somiglianze
   python -m analysis.model_fitting_figure
   1. Quando richiesto, immettere il parametro necessario: il percorso dei file csv contenenti le probabilità di log (dal passaggio 5.2).
   2. Analizzate la figura generata, mostrando le probabilità di log sull'asse y e le quote del modello sull'asse x. Come controllo di sanità mentale, sono inclusi due modelli oltre ai modelli euclidei: un modello a scelta casuale e un modello migliore possibile.
      NOTA: il modello di scelta casuale presuppone che i soggetti facciano clic in modo casuale. Pertanto, fornisce un limite inferiore assoluto sulla probabilità di log per qualsiasi modello che sia migliore del casuale. Allo stesso modo, come limite superiore per la log-probabilità (etichettata come migliore), c'è la log-probabilità di un modello che utilizza le probabilità di scelta empirica come probabilità del modello.
   3. Verificare che nessun modello euclideo superi il modello migliore, poiché il modello migliore è, per progettazione, overfit e non vincolato da considerazioni geometriche. Verificare che le probabilità tracciate siano relative alla migliore probabilità di log.
4. Visualizza gli spazi percettivi per ogni soggetto. Generare grafici a dispersione che mostrino i punti del modello 5D proiettati sui primi due componenti principali. Per fare ciò, eseguire similarities/analysis/perceptual_space_visualizations.py nella riga di comando:
   cd ~/somiglianze
   python -m analysis.perceptual_space_visualizations
   1. Quando richiesto, inserisci i parametri: gli ID soggetto (separati da spazi) e il percorso del file npy contenente i punti 5D ottenuti dal passaggio 5.2.
   2. Al termine dell'esecuzione dello script, uscire dall'ambiente virtuale:
      conda disattivare
      NOTA: questo script è per la visualizzazione dei giudizi di somiglianza. Creerà un grafico a dispersione 2D, proiettando i punti 5D sui primi due componenti principali, normalizzati per avere uguale varianza. Due punti saranno più distanti se il soggetto li considera meno simili e viceversa.

Representative Results

Nella Figura 1A viene illustrata parte di un file di condizioni generato dallo script nel passaggio 3.3, per la parola esperimento. Ogni riga corrisponde a una prova. Lo stimolo nella colonna ref viene visualizzato al centro del display. I nomi delle colonne da stim1 a stim8 corrispondono a otto posizioni lungo un cerchio, che corrono in senso antiorario, a partire dalla posizione a destra del riferimento centrale. Una prova di esempio dalla parola esperimento è mostrata nella Figura 1B.

Per dimostrare la fattibilità e la riproducibilità, è stato condotto un esperimento in cui il set di stimoli comprendeva i nomi di 37 animali. Set di dati completi sono stati raccolti da otto soggetti sani con visione normale come parte di uno studio. Per dimostrare il metodo, i dati di tre di questi soggetti sono mostrati qui, due dei quali erano ingenui allo scopo dello studio. Il consenso informato è stato ottenuto in conformità con la Dichiarazione di Helsinki e le linee guida istituzionali del Weill Cornell Medical College.

Dopo la raccolta dei dati, è stata eseguita l'elaborazione iniziale sopra descritta (fase del protocollo 4.10-4.12). Le risposte dei soggetti in ogni studio sono state interpretate come un insieme di scelte binarie indipendenti della forma "La distanza tra il riferimento e _s1 è inferiore a quella tra il riferimento e _s2?" per tutte le coppie di stimoli nell'anello circostante. I giudizi di rango sono stati scomposti in tali scelte a coppie, come mostrato nella Figura 2C.

La Figura 3A mostra la distribuzione di queste probabilità di scelta, che era altamente coerente tra i soggetti (fase di protocollo 5.1). Poiché ogni prova è stata ripetuta cinque volte, le probabilità di scelta hanno assunto i seguenti valori: 0, 0,2, 0,4, 0,6, 0,8 e 1. Le probabilità di scelta più frequenti sono 0 e 1, pari al 50% -70% di tutte le decisioni in ciascuno dei soggetti; questi sono i giudizi per i quali viene scelta ogni volta un'opzione. Ad esempio, giudicare la distanza tra _s1 e _s2 come inferiore a quella tra _s1 e _s3 0 su 5 volte corrisponderebbe a una probabilità di scelta di 0; fare questo giudizio 5 volte su 5 corrisponderebbe ad una probabilità di scelta di 1. In particolare, c'è una grande coerenza nelle probabilità di scelta tra i soggetti, anche per i giudizi che non sono agli estremi, come si vede dal raggruppamento dei dati vicino alla diagonale in ciascuno dei pannelli nella Figura 3B.

Successivamente, sono stati valutati gli effetti del contesto. Ciò è stato possibile grazie a un'importante caratteristica del progetto sperimentale: molte terzine di uno stimolo di riferimento e due stimoli di confronto _s1 e _s2 vengono ripetuti in due contesti (cioè con insiemi distinti di altri sei stimoli per completare l'array di stimoli). Quindi, la probabilità di scelta per ogni confronto a coppie è stata tabulata in ciascun contesto separatamente. La diagonale dominante in Figura 4 indica che per ogni soggetto le probabilità di scelta nei due contesti - comprese le probabilità di scelta intermedie tra 0 e 1 - sono quasi identiche. Se le probabilità di scelta dipendessero fortemente dal contesto, non sarebbero fortemente correlate e questa diagonale non sarebbe prominente.

Anche gli effetti sul contesto sono stati valutati mediante una misura statistica. La misura dell'effetto di contesto è costruita come segue. Il primo passo è calcolare una statistica di squilibrio per il set di dati osservato (dettagliato di seguito), che quantifica la misura in cui i giudizi osservati sembrano dipendere dal contesto. Costruiamo quindi 10000 set di dati simulati con le stesse configurazioni di prova, conteggi di prova e probabilità di scelta complessive dei dati effettivi, ma generati in un modo che non contiene effetti di contesto - assegnando in modo casuale i giudizi osservati ai due contesti. Successivamente calcoliamo la statistica di squilibrio per questi set di dati simulati proprio come è stato fatto per le risposte osservate. Infine, confrontiamo la statistica degli squilibri per le risposte osservate con la statistica degli squilibri per i set di dati simulati, per determinare la probabilità che lo squilibrio osservato possa essere stato ottenuto da un set di dati senza effetto contesto. Un valore p empirico di < 0,05 suggerisce che è presente un effetto di contesto. Per i dati nella Figura 4, i valori p erano 0,98, 0,30 e 0,33, rispettivamente per S4, S7 e S9, cioè tutti i valori erano > 0,05.

La statistica di squilibrio per un set di dati viene calcolata come somma di contributi su tutte le triadi che si verificano in due contesti. Il contributo per ogni triade (confrontando, ad esempio, d(ref, s1) con d(ref, s2)) è determinato come segue. In primo luogo, i giudizi per questa triade sono conteggiati in una tabella 2 x 2. Le colonne corrispondono ai due contesti, quindi le somme delle colonne sono vincolate dal numero totale di presentazioni in quel contesto. Le righe corrispondono ai conteggi delle sentenze alternative, d(ref, _s1) < d(ref, _s2) o d(ref, s1) > d(ref, s2), quindi le somme di riga sono vincolate dalle scelte osservate, sommate attraverso i contesti. Poiché il test esatto di Fisher a due ^code14 produce la probabilità che una tabella con l'interazione osservata (o maggiore) tra righe e colonne (giudizi e contesti) sarebbe vista se non è effettivamente presente alcuna interazione, usiamo il logaritmo negativo di questa probabilità come contributo di questa triade alla statistica generale dello squilibrio. Sommando i logaritmi negativi per creare una statistica di squilibrio complessiva, si cattura così la probabilità congiunta dello squilibrio osservato tra le triadi, sotto l'ipotesi nulla di nessun effetto di contesto.

Per modellare la rappresentazione mentale dei nomi degli animali, sono stati derivati modelli euclidei di spazi percettivi di 1, 2, 3, 4 e 5 dimensioni utilizzando un approccio di massima verosimiglianza. Le risposte dei soggetti sono state modellate come decisioni che riflettono il confronto di due distanze con il rumore gaussiano additivo che rappresenta errori nella stima, cioè il rumore nella fase decisionale. La Figura 5 mostra le probabilità di log (per decisione) di cinque modelli euclidei. Le log-probabilità sono mostrate rispetto alla log-probabilità del modello migliore, cioè un modello che assegna la probabilità di scelta osservata a ciascun confronto, senza vincolare queste probabilità con alcuna considerazione geometrica. Per mettere queste probabilità di log in prospettiva, viene anche indicata la probabilità di log di un modello a scelta casuale; questo funge da limite inferiore per le prestazioni del modello. L'adattamento del modello migliora con ogni dimensione aggiunta. Il salto più grande è tra i modelli 1D e 2D, indicando che un semplice modello 1D non riesce a spiegare completamente i dati. Tuttavia, il plateau intorno alle dimensioni da 4 a 5 indica che anche il modello 5D non cattura completamente le distanze che spiegano i giudizi di somiglianza. Per convalidare l'approccio, la pipeline è stata eseguita anche su dati simulati. Sono stati simulati esperimenti separati per generare giudizi di somiglianza tra punti tratti rispettivamente da spazi 1D, 2D, 3D, 4D e 5D. In tutti i casi, il metodo ha identificato correttamente la dimensionalità. Inoltre, un modello con la corretta dimensionalità produceva una probabilità di log che concordava con la probabilità di log-vero di base ottenuta dal modello.

Infine, è stata visualizzata l'organizzazione dei punti nei modelli spaziali percettivi. La Figura 6 mostra questi dati per un soggetto, S7. L'analisi dei componenti principali (PCA) è stata eseguita sui punti del modello 5D dello spazio percettivo. I punti proiettati rispettivamente sui primi due e sul primo e sul terzo componente principale sono mostrati nelle figure 6A e 6B, con assi normalizzati per una variazione uguale. Distanze tra punti allineati con i giudizi di somiglianza ottenuti sperimentalmente: gli animali percepiti come simili erano indicati da punti che erano vicini l'uno all'altro.

Figura 3: Coerenza tra i soggetti. (A) Distribuzione delle probabilità di scelta su tre soggetti per tutti i confronti a coppie. (B) Probabilità di scelta per gli stessi confronti a coppie tra coppie di soggetti. La barra dei colori mostra il rapporto tra la probabilità congiunta osservata e la probabilità congiunta indipendente. Valori elevati lungo la diagonale principale indicano coerenza tra i soggetti. Fare clic qui per visualizzare una versione più grande di questa figura.

Figura 4: Effetti di contesto. Probabilità di scelta per tutti i confronti a coppie che sono stati fatti in due contesti, per ciascuno dei tre soggetti. A si riferisce, arbitrariamente, a un contesto in cui è stata presentata una triade e B si riferisce all'altro contesto. La barra dei colori mostra il rapporto tra la probabilità congiunta osservata e la probabilità congiunta indipendente. Valori elevati lungo la diagonale principale indicano una mancanza di effetti di contesto. Fare clic qui per visualizzare una versione più grande di questa figura.

Figura 5: Risultati dell'analisi del raccordo del modello. Probabilità di log relative per modelli di dimensioni diverse e per il modello a scelta casuale (limite inferiore), mostrato per tre soggetti. Una log-probabilità relativa pari a zero corrisponde alla log-probabilità del modello migliore, in cui le probabilità di scelta corrispondono alle probabilità di scelta empiriche senza considerare la geometria. Fare clic qui per visualizzare una versione più grande di questa figura.

Figura 6: Lo spazio percettivo di un soggetto (S7) in modo più dettagliato. La proiezione delle coordinate 5D ottenute dalla modellazione proiettata sulle prime due componenti principali in (A) e sulla prima e terza componente principale in (B). Gli assi vengono ridimensionati in modo che la varianza lungo ciascun asse sia uguale. Fare clic qui per visualizzare una versione più grande di questa figura.

Tabella 1: Set di parametri di esempio. Il paradigma sperimentale può essere variato per avere meno o più stimoli, prove e confronti a coppie. La riga in grassetto indica i parametri che abbiamo usato. Fare clic qui per scaricare questa tabella.

Tabella 2: Parametri in analysis/config.yaml e experiments/config.yaml. Fare clic qui per scaricare questa tabella.

Discussion

Il protocollo qui delineato è efficace per ottenere e analizzare giudizi di somiglianza per stimoli che possono essere presentati visivamente. Il paradigma sperimentale, l'analisi e le possibili estensioni vengono discussi prima e successivamente i vantaggi e gli svantaggi del metodo.

Paradigma sperimentale: Il metodo proposto è dimostrato utilizzando un dominio di 37 nomi di animali e viene fornito un set di dati campione di giudizi percettivi in modo da poter seguire l'analisi nel passaggio 5 e riprodurre parti delle figure 3-6 (fase di protocollo 1.4). Il disegno sperimentale raggruppa questi 37 stimoli in 222 prove - ciascuna contenente uno stimolo di riferimento al centro e otto stimoli di confronto nell'anello circostante - in modo tale che diversi criteri tengano: a) ciascuno dei 37 stimoli appare come riferimento un numero uguale (sei) di volte (222 = 37×6), b) nelle sei prove in cui uno stimolo è il riferimento, tutti i restanti 36 stimoli sono usati come stimoli di confronto almeno una volta, c) 24 stimoli si verificano esattamente in un confronto con un dato riferimento e d) sei coppie di stimoli appaiono con il riferimento in due studi separati. Questo aspetto del paradigma, che sei coppie di stimoli di confronto si verificano in contesti separati per ogni stimolo di riferimento, consente di verificare gli effetti del contesto nel passaggio 5 (vedi Figura 4). Questo progetto standard produce 6216 = 222×28 confronti della forma "La somiglianza del riferimento a _s1 è maggiore o minore della somiglianza del riferimento a s2". Questa efficienza è possibile perché ciascuno dei 222 studi produce una classifica di otto somiglianze e le otto somiglianze classificate generano 28 confronti a coppie. Di questi 6216 confronti, 222 vengono ripetuti, dandoci 5994 confronti unici.

Una volta scelto il dominio dello stimolo, la successiva decisione di progettazione più importante è il numero di campioni. Sono possibili molti disegni alternativi (Tabella 1), con altre scelte per il modo in cui gli stimoli vengono ripetuti in contesti diversi. Come accennato nella Figura 4, all'interno di ogni prova c'è una tripletta - che comprende il riferimento e due stimoli circostanti - che appaiono insieme in un altro studio. Il numero degli stimoli circostanti che si sovrappongono a un'altra prova con un riferimento comune - in questo caso, pari a due - è controllato dal parametro di sovrapposizione nel file di configurazione dell'analisi. L'aumento di questo parametro comporterebbe la condivisione di più stimoli tra due studi, consentendo confronti più ampi della classifica delle distanze, ad esempio, "_s1 è più simile al riferimento di s2 ed è s2 più simile di s3?" in due contesti. Per esempi di altri progetti sperimentali possibili con valori diversi di questo e di altri parametri, vedere tabella 1. Per informazioni dettagliate su tutti i parametri, su cosa controllano e su dove modificarli, vedere la Tabella 2. In particolare, è anche possibile modificare il numero di stimoli che appaiono intorno a un riferimento in ogni prova modificando i parametri num_images_per_trial e num_words_per_trial rispettivamente per gli esperimenti di immagine e parola. Aumentare le dimensioni del surround aumenterebbe il numero di confronti per studio e migliorerebbe gli effetti del contesto di studio; diminuendolo si ridurrebbe la complessità delle attività. Il numero di stimoli di confronto in uno studio (_Ncircle), il numero di stimoli nell'esperimento (_Nstim), il numero di studi (_Ntrials), il numero di confronti unici (_Ncomparisons) e il numero di confronti ripetuti (_Nrepeated) sono correlati e dipendono dalla dimensione della sovrapposizione precedentemente menzionata tra gli studi (_Noverlap ) e il numero di prove per stimolo di riferimento (k). La dimensione dell'insieme di stimoli è determinata da m, che è un intero arbitrario. Queste relazioni sono elencate di seguito:

Ci sono altri dettagli del paradigma e delle procedure di raccolta dei dati che aiutano a ridurre al minimo le confusioni. Randomizzare il posizionamento degli stimoli e l'ordine di prova (passo 3.4) è importante in modo che anche quando le sessioni vengono ripetute, il soggetto non inizi a riconoscere schemi spaziali o temporali nel posizionamento degli stimoli. È anche importante non dare ai soggetti alcun segnale diretto su come valutare la somiglianza (passaggio 4) in quanto ciò può influenzare i risultati. Dovrebbero decidere essi stessi cosa significa somiglianza per loro nel contesto dell'esperimento specifico. Tuttavia, è utile informare i soggetti dopo aver completato l'esperimento, in quanto ciò può aiutare a capire come i risultati variano tra i soggetti. Se per qualche motivo una sessione è danneggiata o interrotta, si consiglia di eliminare l'intera sessione, in modo che tutte le prove vengano completate un numero uguale di volte.

Analisi dei dati di somiglianza: L'esperimento produce, per ogni prova, ordini di rango di somiglianza tra gli stimoli di confronto _Ncircle e il riferimento. Quando si decompongono in confronti di coppie di stimoli, questi studi producono probabilità di scelta per ciascuno dei confronti unici. Le probabilità di scelta vengono quindi analizzate per cercare modelli geometrici dello spazio percettivo (passo di protocollo 5). L'analisi tenta di tenere conto delle probabilità di scelta in termini di distanze tra stimoli, d(_si, _sj), in uno spazio euclideo. Cioè, l'obiettivo è quello di assegnare coordinate a ciascuno stimolo in modo che la probabilità di scelta per fare clic su _s1 prima di _s2 rifletta la probabilità che il soggetto abbia giudicato d(ref, s1) < d(ref, s2). Questa procedura di fitting è descritta qui sia perché ha alcuni nuovi elementi, sia per consentire a un utente di modificarla (passaggio del protocollo 5.2).

L'analisi è una sorta di problema di ridimensionamento multidimensionale, ma con alcune caratteristiche distintive. In primo luogo, i dati forniscono l'ordinamento dei giudizi di dissomiglianza, piuttosto che le stime delle distanze. In secondo luogo, il set di dati, sebbene esteso, contiene solo un sottoinsieme di tutti i possibili confronti di distanze a coppie. Infine, l'obiettivo è quello di tenere conto delle probabilità di scelta, non solo di una decisione binaria di quale distanza è maggiore. Con queste considerazioni in mente, la funzione di costo viene scelta in modo tale che il suo valore sia ridotto al minimo quando le probabilità di scelta previste dal modello hanno maggiori probabilità di produrre le probabilità di scelta osservate sperimentalmente. È quindi definita come la log-probabilità negativa delle probabilità di scelta osservate sotto il modello, normalizzata dal numero totale di confronti a coppie, ed è adattata dal lavoro ^precedente15:

dove _N0 = _Ncomparisons. _Nrepeats, and _Nrepeats è il numero di ripetizioni del protocollo, (cioè, il numero di volte in cui ogni singola prova viene ripetuta), e

Qui, _srdenotes lo stimolo di riferimento in una prova, _si e _sj e gli stimoli nell'anello intorno a _sr. P (d(_sr, _si) < d(_sr, _sj)) rappresenta la probabilità del modello che la distanza tra _sr e _si sia giudicata minore della distanza tra _sr e _sj e C denota il numero di volte che il soggetto ha giudicato d(_sr, _si ) < d(_sr, _sj). L'obiettivo dell'analisi di modellazione è quello di trovare una configurazione di punti in uno spazio euclideo, che tenga conto delle probabilità di scelta empirica. Iterativamente, la minimizzazione regola le coordinate assegnate a ciascuno stimolo e, così facendo, le probabilità di scelta del modello (P). La minimizzazione termina quando la funzione di costo smette di diminuire al di sotto della tolleranza (un parametro regolabile denominato tolleranza controlla questo) o se viene raggiunto il numero massimo di iterazioni (controllato dal parametro max_iterations).

Per collegare le coordinate dello stimolo con le probabilità di scelta del modello, si presume che un soggetto - quando sceglie tra due stimoli da cliccare in una prova - farà un confronto interno delle loro distanze relative al riferimento, vale a dire d(_sr, _si) e d(_sr, _sj). Queste distanze sono (per impostazione predefinita) le normali distanze euclidee tra i punti assegnati agli stimoli _sr, _si e _sj. Inoltre, si suppone che questo confronto mentale abbia un rumore interno, che modelliamo come fonte gaussiana additiva di deviazione standard σ, un modello introdotto per i domini unidimensionali da Maloney et ^al.16,17 e utilizzato anche per domini ^{multidimensionali15}. Le probabilità di scelta del modello sono correlate alle coordinate da:

Il rumore interno, σ, può essere controllato variando sigma nel file di configurazione dell'analisi. Per inizializzare l'algoritmo con un insieme di coordinate di stimolo, sono stati utilizzati i giudizi di ordine di rango per ottenere un insieme di distanze approssimative e quindi è stato applicato il ridimensionamento multidimensionale ^standard10 a queste distanze per ottenere le coordinate iniziali. Queste distanze approssimative sono state determinate calcolando le vittorie e le sconfitte per ogni coppia di stimoli. Cioè, guardando tutti i confronti a coppie nei dati, ogni volta che una distanza, d(_sr, _sk) viene giudicata più grande di un'altra, d(_sr, _sn), viene registrata una vittoria per la distanza maggiore d(_sr, _sk) e viene registrata una perdita per d(_sr, _sn ). L'idea di base è che maggiore è la distanza tra due stimoli, più spesso sarebbe giudicata maggiore di un'altra distanza (in termini di vittorie) e viceversa. Dopo aver ripetuto tutti i confronti e aver tabulato le vittorie e le perdite di ciascuna coppia di stimoli, le stime della distanza vengono calcolate come segue:

Una volta fatto questo, il set iniziale di coordinate viene determinato applicando il ridimensionamento multidimensionale metrico standard a _dinit (_si, _sj).

La routine di minimizzazione così descritta viene eseguita in modo indipendente per ottenere modelli di 1, 2, 3, 4 e 5 dimensioni. In ogni caso, vengono restituite le coordinate ottimali dei punti di stimolo dedotti, nonché il valore della funzione di costo, cioè la probabilità di log negativa delle probabilità di scelta empirica. La log-verosimiglianza è tracciata nella Figura 5 rispetto alla migliore probabilità di log possibile, che viene calcolata in modo simile all'equazione 1, con

,

per tutti i confronti. Come controllo di sanità mentale, nella Figura 5, viene tracciato anche il log-probabilità del modello casuale, un limite inferiore in base al quale giudicare le prestazioni dei modelli. Quando si calcola la probabilità di log di scelta casuale, impostiamo

per tutti i confronti.

Possibili estensioni: In primo luogo, come accennato in precedenza, il paradigma sperimentale può essere modificato per adattarsi a insiemi di stimoli di diverse dimensioni e il numero di stimoli nell'anello può essere modificato per produrre un numero diverso di confronti a coppie per prova (vedi Tabella 1).

In secondo luogo, può essere utile utilizzare metriche di distanza non euclidee nell'analisi. Ad esempio, uno studio ha rilevato che la metrica dell'isolato rappresentava meglio uno spazio percettivo di leggerezza e illuminazione ^{superficiale18}. Il metodo proposto può essere generalizzato, quindi i modelli con altre metriche di distanza, ad esempio una distanza di un isolato, una distanza di Minkowski o una distanza ^iperbolica19, sono adatti ai dati di somiglianza. Per fare ciò, si dovrebbe modificare il codice fornito e implementare una metrica di distanza alternativa. La modifica principale necessaria è nella riga 105 (nome funzione: dist_model_ll_vectorized) nel file similarities/analysis/pairwise_likelihood_analysis.py.

Punti di forza e limiti: Un punto di forza chiave dell'approccio proposto è che fornisce un quadro flessibile per la progettazione di esperimenti con varie dimensioni del set di stimoli, vari numeri di confronti, ripetizioni o il numero di stimoli per prova, nonché varie dimensioni di set sovrapposte per misurare gli effetti del contesto. Modificando la dimensione della sovrapposizione tra i processi e la dimensione dell'ambiente circostante in un processo, si può sondare il ruolo del contesto nei giudizi di somiglianza, ottenendo al contempo un numero elevato di sentenze di somiglianza a coppie per processo. Il metodo affronta molte limitazioni dei precedenti paradigmi sperimentali per la raccolta di dati di somiglianza. Ad esempio, a differenza dei metodi basati sulla ^{disposizione12,20} (che richiedono che gli stimoli siano disposti su un piano euclideo 2D con oggetti simili messi insieme e diversi elementi posizionati a parte) e dei metodi di ordinamento (che richiedono che gli stimoli siano classificati in pile),¹¹ il metodo di classificazione non richiede ai soggetti di proiettare la loro rappresentazione interna su alcuna struttura geometrica. Un altro limite di alcuni metodi passati - ad esempio, matrici di confusione in cui due stimoli sono considerati simili se sono confusi tra loro in compiti di riconoscimento ^rapido21 - è che non producono misure graduali. Questo metodo produce misure classificate, cioè le probabilità di scelta.

Come sottolineato sopra, il metodo di raccolta è flessibile in quanto non presuppone che la rappresentazione interna sia uno spazio euclideo. Qui, il metodo di analisi testa solo i modelli euclidei; tuttavia, può essere esteso per includere anche modelli non euclidei, mediante modifiche localizzate nel codice sorgente. Tuttavia, il framework di modellazione non è progettato per tenere conto degli effetti di contesto. Se fossero significativi, metterebbero un avvertimento sulle conclusioni che potrebbero essere tratte.

Il metodo proposto è più efficiente in termini di tempo rispetto all'approccio di confronto accoppiato. Ogni prova del paradigma richiede circa ~ 30 s (i soggetti eseguono 111 studi in un'ora), producendo 111×28 = 3108 confronti all'ora. È improbabile che gli studi di confronto singolo richiedano meno di 3 s per prova, il che produrrebbe 1200 confronti all'ora. Inoltre, c'è un secondo livello di efficienza: l'approccio attuale non richiede confronti di tutte le distanze a coppie. Per l'esempio nel manoscritto, l'insieme completo delle distanze a coppie equivale a 221445 confronti, ma nel presente approccio, un sottoinsieme sparso di 5994 confronti unici, ciascuno ripetuto 5 o 10 volte, è sufficiente per modellare i dati di somiglianza. Tuttavia, il metodo, sebbene efficiente, richiede ancora molto tempo e richiede un impegno significativo da parte dei soggetti. Di conseguenza, non è un approccio fattibile per una serie di centinaia di stimoli, a meno che i dati non siano raggruppati tra i soggetti. Infine, l'approccio non è direttamente applicabile agli stimoli non visivi.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.