Um Paradigma Psicofísico para a Coleta e Análise de Julgamentos de Similaridade

Summary

O protocolo apresenta um paradigma psicofísico experimental para obter grandes quantidades de julgamentos de similaridade, e um fluxo de trabalho de análise que acompanha. O paradigma sonda efeitos de contexto e permite a modelagem de dados de similaridade em termos de espaços euclidianos de pelo menos cinco dimensões.

Abstract

Julgamentos de similaridade são comumente usados para estudar representações mentais e suas correlações neurais. Essa abordagem tem sido usada para caracterizar espaços perceptivos em muitos domínios: cores, objetos, imagens, palavras e sons. Idealmente, pode-se querer comparar estimativas de similaridade percebida entre todos os pares de estímulos, mas isso é muitas vezes impraticável. Por exemplo, se alguém pede a um sujeito para comparar a semelhança de dois itens com a semelhança de dois outros itens, o número de comparações cresce com a quarta potência do tamanho do conjunto de estímulos. Uma estratégia alternativa é pedir a um sujeito para classificar semelhanças de pares isolados, por exemplo, em uma escala Likert. Isso é muito mais eficiente (o número de classificações cresce quadráticamente com tamanho definido em vez de quarticamente), mas essas classificações tendem a ser instáveis e têm resolução limitada, e a abordagem também assume que não há efeitos de contexto.

Aqui, é apresentado um novo paradigma de classificação para a coleta eficiente de julgamentos de similaridade, juntamente com um pipeline de análise (software fornecido) que testa se os modelos de distância euclidianos explicam os dados. Os ensaios típicos consistem em oito estímulos em torno de um estímulo de referência central: o sujeito classifica estímulos em ordem de sua semelhança com a referência. Por seleção criteriosa de combinações de estímulos utilizados em cada ensaio, a abordagem tem controles internos para efeitos de consistência e contexto. A abordagem foi validada para estímulos extraídos de espaços euclidianos de até cinco dimensões.

A abordagem é ilustrada com um experimento que mede semelhanças entre 37 palavras. Cada ensaio produz os resultados de 28 comparações em pares da forma: "A era mais semelhante à referência do que B era a referência?" Embora comparar diretamente todos os pares de pares de estímulos teria exigido 221445 ensaios, este projeto permite a reconstrução do espaço perceptivo a partir de 5994 comparações obtidas a partir de 222 ensaios.

Introduction

Os seres humanos processam mentalmente e representam informações sensoriais recebidas para realizar uma ampla gama de tarefas, como reconhecimento de objetos, navegação, fazer inferências sobre o meio ambiente e muitas outras. Julgamentos de similaridade são comumente usados para sondar essas representações ^mentais1. Compreender a estrutura das representações mentais pode fornecer insights sobre a organização do conhecimento ^conceitual2. Também é possível obter insights sobre computação neural, relacionando julgamentos de similaridade aos padrões de ativação ^cerebral3. Além disso, julgamentos de similaridade revelam características que são salientes na ^percepção4. Estudar como as representações mentais mudam durante o desenvolvimento pode lançar luz sobre como elas são ^aprendidas5. Assim, julgamentos de similaridade fornecem informações valiosas sobre o processamento de informações no cérebro.

Um modelo comum de representações mentais usando semelhanças é um modelo de espaço geométrico6,7,8. Aplicado a domínios sensoriais, esse tipo de modelo é frequentemente referido como um espaço ^perceptivo9. Os pontos no espaço representam estímulos e distâncias entre os pontos correspondem à diferença percebida entre eles. A partir de julgamentos de similaridade, pode-se obter estimativas quantitativas de diferenças. Essas diferenças pareentas (ou distâncias perceptuais) podem então ser usadas para modelar o espaço perceptivo através de dimensionamento multidimensional10.

Existem muitos métodos para coletar julgamentos de similaridade, cada um com suas vantagens e desvantagens. A maneira mais simples de obter medidas quantitativas de dissimilaridade é pedir aos sujeitos que classifiquem em escala o grau de dissimilaridade entre cada par de estímulos. Embora isso seja relativamente rápido, as estimativas tendem a ser instáveis em longas sessões, pois os sujeitos não podem voltar a julgamentos anteriores, e os efeitos do contexto, se presentes, não podem ser detectados. (Aqui, um efeito de contexto é definido como uma mudança na similaridade julgada entre dois estímulos, com base na presença de outros estímulos que não estão sendo comparados.) Alternativamente, os sujeitos podem ser solicitados a comparar todos os pares de estímulos com todos os outros pares de estímulos. Embora isso produziria uma ordenação de classificação mais confiável de diferenças, o número de comparações necessárias escalas com o quarto poder do número de estímulos, tornando-o viável apenas para pequenos conjuntos de estímulos. Alternativas mais rápidas, como classificar em um número predefinido de ^clusters11 ou classificação gratuita têm suas próprias limitações. A classificação livre (em qualquer número de pilhas) é intuitiva, mas força o sujeito a categorizar os estímulos, mesmo que os estímulos não se prestam facilmente à categorização. O método multi-arranjo mais recente, O MDS inverso, contorna muitas dessas limitações e é muito ^eficiente12. No entanto, este método exige que os sujeitos projetem suas representações mentais em um plano euclidiano 2D e considerem semelhanças de forma geométrica específica, tornando a suposição de que a estrutura de similaridade pode ser recuperada a partir de distâncias euclidianas em um plano. Assim, resta a necessidade de um método eficiente para coletar grandes quantidades de julgamentos de similaridade, sem fazer suposições sobre a geometria subjacente aos julgamentos.

Descrito aqui é um método que é razoavelmente eficiente e também evita as armadilhas potenciais acima. Ao pedir aos sujeitos que classifiquem os estímulos por ordem de similaridade a uma referência central em cada ^ensaio13, a relativa semelhança pode ser sondada diretamente, sem assumir nada sobre a estrutura geométrica das respostas dos sujeitos. O paradigma repete um subconjunto de comparações com contextos idênticos e diferentes, permitindo a avaliação direta dos efeitos do contexto, bem como a aquisição de respostas classificadas em termos de probabilidades de escolha. O procedimento de análise decompõe esses julgamentos em múltiplas comparações em pares e os utiliza para construir e procurar modelos euclidianos de espaços perceptivos que expliquem os julgamentos. O método é adequado para descrever detalhadamente a representação de conjuntos de estímulo de tamanhos moderados (por exemplo, 19 a 49).

Para demonstrar a viabilidade da abordagem, foi realizado um experimento, utilizando um conjunto de 37 animais como estímulos. Os dados foram coletados ao longo de 10 sessões de uma hora e, em seguida, analisados separadamente para cada assunto. A análise revelou consistência entre os sujeitos e efeitos de contexto insignificantes. Também avaliou a consistência das diferenças percebidas entre estímulos com modelos euclidianos de seus espaços perceptivos. Os procedimentos paradigmáticos e de análise descritos neste artigo são flexíveis e devem ser de uso para pesquisadores interessados em caracterizar as propriedades geométricas de uma gama de espaços perceptivos.

Protocol

Antes do início dos experimentos, todos os sujeitos fornecem consentimento informado de acordo com as diretrizes institucionais e a Declaração de Helsinque. No caso deste estudo, o protocolo foi aprovado pelo conselho de revisão institucional da Weill Cornell Medical College.

1. Instalação e configuração

1. Baixe o código no repositório do GitHub, semelhanças (https://github.com/jvlab/similarities). Na linha de comando, corra: https://github.com/jvlab/similarities.git do clone git. - Se o git não estiver instalado, baixe o código como uma pasta com zíper do repositório.
   NOTA: No repositório estão dois subdiretórios: experimentos, que contém dois experimentos de amostra, e análise, que contém um conjunto de scripts python para analisar dados de similaridade coletados. No diretório de experimentos um (word_exp) faz uso de estímulos de palavras e o outro (image_exp) exibe estímulos de imagem. Alguma familiaridade com Python será útil, mas não necessária. A familiaridade com a linha de comando é assumida: várias etapas exigem scripts de execução da linha de comando.
2. Instale as seguintes ferramentas e configure um ambiente virtual.
   1. python 3: Consulte o link para obter instruções: https://realpython.com/installing-python/. Este projeto requer python versão 3.8.
   2. PsychoPy: A partir do link (https://www.psychopy.org/download.html), baixe a versão autônoma mais recente do PsychoPy para o sistema operacional relevante, usando o botão azul, em Instalação. Este projeto usa a versão Psicopy 2021.2; os experimentos de amostra fornecidos devem ser executados com a versão correta do PsychoPy conforme especificado abaixo.
   3. conda: A partir do link (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), baixe conda, através de Miniconda ou Anaconda, para o sistema operacional relevante.
   4. Na linha de comando, execute o seguinte para criar um ambiente virtual com os pacotes python necessários:
      cd ~/semelhanças
      conda env criar -f ambiente.yaml
   5. Verifique se o ambiente virtual foi criado e ative-o da seguinte forma:
      conda env list # venv_sim_3.8 deve ser listado
      conda ativar venv_sim_3.8 # para entrar no ambiente virtual
      conda desativar # para sair do ambiente virtual depois de executar scripts
      NOTA: Executar scripts em um ambiente às vezes pode ser lento. Por favor, permita até um minuto para ver qualquer saída impressa na linha de comando quando executar um script.
3. Para garantir que o código baixado funcione como esperado, execute os experimentos de amostra fornecidos usando as etapas abaixo.
   NOTA: O diretório de experimentos (semelhanças/experimentos) contém experimentos de amostra (word_exp e image_exp), fazendo uso de dois tipos de estímulos: palavras e imagens.
   1. Abra psychopy. Vá para Exibir e clique em Coder, porque o construtor padrão do PsychoPy não pode abrir .py arquivos. Vá para Arquivo e clique em Abrir e abra word_exp.py (semelhanças/experimentos/word_exp/word_exp.py).
   2. Para carregar o experimento, clique no botão verde Executar experimento . Digite iniciais ou nome e número da sessão e clique em OK.
   3. Siga as instruções e execute alguns ensaios para verificar os estímulos em cinza quando clicado. Pressione Escape quando estiver pronto para sair.
      NOTA: PsychoPy abrirá em tela cheia, primeiro exibindo instruções e, em seguida, alguns ensaios, com texto reservado em vez de palavras de estímulo. Quando clicado, palavras cinza para fora. Quando todas as palavras foram clicadas, o próximo julgamento começa. A qualquer momento, PsychoPy pode ser encerrado pressionando a tecla Escape . Se o programa terminar durante as etapas 1.3.2 ou 1.3.3, é possível que o sistema operacional do usuário exija acesso ao teclado e ao mouse. Nesse caso, uma mensagem de erro descritiva será impressa na janela PsychoPy Runner, que guiará o usuário.
   4. Em seguida, verifique se o experimento de imagem é executado com imagens de espaço reservado. Abra psychopy. Vá para o Arquivo. Clique em Abrir e escolha image_exp.psyexp (semelhanças/experimentos/image_exp/image_exp.psyexp).
   5. Para garantir que a versão correta seja usada, clique no ícone Engrenagem . A partir da opção Use a versão PsychoPy selecione 2021.2 no menu suspenso.
   6. Como antes, clique no botão verde Executar experimento . Digite iniciais ou nome e número da sessão e clique em OK.
      NOTA: Como na etapa 1.3.2, o PsychoPy primeiro exibirá instruções e, em seguida, renderá ensaios após o carregamento das imagens. Cada ensaio conterá oito imagens de espaço reservado em torno de uma imagem central. Clicar em uma imagem irá acinzentado. O programa pode ser parado pressionando Escape.
   7. Navegue até o diretório de dados em cada um dos diretórios de experimentos para ver a saída:
      semelhanças/experimentos/image_exp/dados
      semelhanças/experimentos/word_exp/dados
      NOTA: Os dados experimentais são escritos no diretório de dados. O arquivo .csv respostas contém respostas de cliques de teste por tentativa. O arquivo de registro contém todas as teclas e cliques do mouse. É útil para solução de problemas, se PsychoPy parar inesperadamente.
4. Opcionalmente, para verificar se os scripts de análise funcionam como esperado, reproduza algumas das figuras na seção Resultados Representativos da seguinte forma.
   1. Faça um diretório para dados pré-processados:
      cd ~/semelhanças
      mkdir amostra-materiais/dados de sujeito/pré-processados
   2. Combine os dados brutos de todas as respostas.csv arquivos a um arquivo json. Na linha de comando, execute o seguinte:
      semelhanças cd
      conda ativar venv_sim_3.8
      píton -m analysis.preprocess.py
   3. Quando solicitado, digite os seguintes valores para os parâmetros de entrada: 1) caminho para os dados sujeitos: ./sample-materials/subject-data, 2), nome do experimento: sample_word e 3) ID do assunto: S7. O arquivo json será em semelhanças/amostras-materiais/dados de sujeito/pré-processados.
   4. Uma vez que os dados são pré-processados, siga os passos do projeto README em números de reprodução. Esses scripts de análise serão executados posteriormente para analisar os dados coletados do próprio experimento do usuário.

2. Coleta de dados configurando um experimento personalizado

NOTA: Os procedimentos são delineados tanto para os experimentos de imagem quanto para a palavra até o passo 3.1. Após esta etapa, o processo é o mesmo para ambos os experimentos, de modo que o experimento de imagem não é explicitamente mencionado.

1. Selecione um experimento para executar. Navegue até o experimento da palavra (semelhanças/experimentos/word_exp) ou o experimento de imagem (semelhanças/experimentos/image_exp).
2. Decida sobre o número de estímulos. O tamanho padrão do conjunto de estímulos é 37. Para alterar isso, abra o arquivo de configuração (semelhanças/análise/config.yaml) em um editor de código-fonte. No num_stimuli parâmetro do arquivo de configuração de análise, defina o tamanho de estímulo igual a mk + 1 conforme exigido pelo design experimental para inteiros k e m.
   NOTA: No design padrão, k ≥ 3 e m = 6. Portanto, os valores válidos para num_stimuli incluem 19, 25, 31, 37, 43 e 49 (ver Tabela 1 para possíveis extensões do projeto).
3. Finalize os estímulos experimentais. Se a palavra experiência está sendo executada, prepare uma lista de palavras. Para o experimento de imagem, faça um novo diretório e coloque todas as imagens de estímulo nele. Os tipos de imagem suportados são png e jpeg. Não use períodos como separadores em nomes de arquivos (por exemplo, imagem.1.png é inválido, mas imagem1.png ou image_1.png são válidas).
4. Se executar a palavra experimento, prepare os estímulos da seguinte forma.
   1. Crie um novo arquivo em experimentos/word_exp estímulos chamados.txt. Este arquivo será lido na etapa 3.3.
   2. No arquivo, escreva as palavras no conjunto de estímulos como elas devem aparecer no visor, com cada palavra em uma linha separada. Evite linhas vazias extras ou espaços extras ao lado das palavras. Consulte materiais amostrais para referência (semelhanças/materiais de amostra/word-exp-materials/sample_word_stimuli.txt).
5. Se o experimento de imagem estiver sendo executado, defina o caminho para o conjunto de estímulos da seguinte forma.
   1. No diretório de experimentos, encontre o arquivo de configuração chamado config.yaml (semelhanças/experimentos/config.yaml).
   2. Abra o arquivo em um editor de código-fonte e atualize o valor da variável de arquivos para o caminho para o diretório contendo o conjunto de estímulos (passo 2.3). É aqui que o PsychoPy procurará os estímulos de imagem.

3. Criação de ensaios de classificação

1. Use um arquivo .txt estímulos. Se o experimento da palavra estiver sendo executado, o arquivo criado na etapa 2.4 pode ser usado. Caso contrário, use a lista de nomes de arquivos (para referência, veja semelhanças/materiais de amostra/image-exp-materials/sample_image_stimuli.txt). Coloque este arquivo no diretório de experimentos apropriado (word_exp ou image_exp).
2. Evite linhas extras vazias, bem como quaisquer espaços nos nomes. Use camelCase ou snake_case para nomes de estímulo.
3. Em seguida, crie configurações de teste. Abra o arquivo config.yaml no diretório de análise e defina o valor do parâmetro path_to_stimulus_list para o caminho para estímulos.txt (criado na etapa 3.1).
   1. A partir do diretório de semelhanças, execute o script executando os seguintes comandos um após o outro:
      cd ~/semelhanças
      conda ativar venv_sim_3.8
      píton -m analysis.trial_configuration
      conda desativar # sair do ambiente virtual
   2. Isso cria um arquivo chamado trial_conditions.csv em semelhanças em que cada linha contém os nomes dos estímulos que aparecem em um ensaio, juntamente com suas posições no display. Uma amostra trial_conditions.csv arquivo é fornecida (semelhanças/amostras-materiais). Para obter detalhes sobre parâmetros de entrada para os scripts de análise, consulte o projeto README em Uso.

Figura 1: Exemplos representativos de ensaios (etapa 3.3). (A) Cada linha contém os detalhes de um único teste. Os cabeçalhos indicam a posição do estímulo ao redor do círculo. O estímulo sob o ref aparece no centro e stim 1 a stim 8 aparecem em torno da referência. (B) O primeiro ensaio (linha) de A é renderizado pela PsychoPy para exibir os oito estímulos em torno do estímulo de referência, macaco. Clique aqui para ver uma versão maior desta figura.

NOTA: Neste momento, um conjunto completo de 222 ensaios para uma execução experimental completa, ou seja, para um conjunto completo de dados, foi gerado. A Figura 1A mostra parte de um arquivo de condições gerado pelo script acima, para a palavra experimento (ver Resultados Representativos).

4. Em seguida, quebre esses 222 ensaios em sessões e randomize a ordem de julgamento. No desenho típico, as sessões são compostas por 111 ensaios, cada um deles requer aproximadamente 1h para ser executado.
   1. Para fazer isso, na linha de comando execute o seguinte:
      conda ativar venv_sim_3.8
      cd ~/semelhanças
      píton -m analysis.randomize_session_trials
   2. Quando solicitado, digite os seguintes parâmetros de entrada: caminho para trial_conditions.csv criado na etapa 3.3.2; diretório de saída; número de ensaios por sessão: 111; número de repetições: 5.
      NOTA: O número de repetições também pode ser variado, mas afetará o número de sessões realizadas na etapa 4 (ver Discussão: Paradigma Experimental). Se alterar o valor padrão do número de repetições, certifique-se de editar o valor do parâmetro num_repeats no arquivo de config (semelhanças/análise/config.yaml). Se necessário, verifique as instruções passo a passo para fazer o acima manualmente no arquivo README na seção Criar ensaios.
5. Renomeie e salve cada um dos arquivos gerados como condições.csv, em seu próprio diretório. Veja a estrutura do diretório recomendado aqui: semelhanças/amostras-materiais/dados de sujeitos e no projeto README.
   NOTA: Conforme descrito na etapa 4, cada experimento é repetido cinco vezes no design padrão, ao longo de sessões longas de 10h, cada uma em um dia separado. Os sujeitos devem ser solicitados a vir para apenas uma sessão por dia para evitar a fadiga. Consulte a Tabela 1 para obter o número de ensaios e sessões necessários para conjuntos de estímulo de diferentes tamanhos.

4. Executar o experimento e coletar dados de similaridade

1. Explique a tarefa aos sujeitos e dê-lhes instruções. Em cada ensaio, os sujeitos visualizarão um estímulo de referência central cercado por oito estímulos e serão solicitados a clicar nos estímulos no surround, em ordem de semelhança com a referência central, ou seja, eles devem clicar no primeiro e menos semelhantes mais semelhantes por último.
2. Peça-lhes para tentar usar uma estratégia consistente. Diga-lhes que eles serão mostrados a mesma configuração de estímulos várias vezes ao longo das 10 sessões. Se o estudo sondar a representação de informações semânticas, certifique-se de que os sujeitos estejam familiarizados com os estímulos antes de começar.
3. Navegue até o diretório de experimentos relevante (ver passo 2.1). Se esta for a primeira vez que executar o experimento, crie um diretório chamado dados de assunto para armazenar respostas de sujeitos. Crie dois subdiretórios nele: cru e pré-processado. Para cada assunto, crie um subdiretório dentro de dados de assunto/raw.
4. Copie as condições.csv arquivo preparado na etapa 3 para a sessão específica e cole-a no diretório atual, ou seja, o diretório contendo o arquivo psyexp. Se já houver um arquivo lá, condições nomeadas.csv, certifique-se de substituí-lo por aquele para a sessão atual.
5. Abra o PsychoPy e, em seguida, abra o arquivo psyexp ou py no diretório do experimento relevante. Em PsychoPy, clique no botão verde Jogar para executar o experimento. No pop-up modal, digite o nome do assunto ou ID e número da sessão. Clique em OK para iniciar. As instruções serão exibidas no início de cada sessão.
6. Deixe o sujeito cerca de 1h completar a tarefa. Como a tarefa é auto-acelerada, incentive os sujeitos a fazer pausas, se necessário. Quando o assunto terminar a sessão, o PsychoPy terminará automaticamente e os arquivos serão gerados nas semelhanças/experimentos/_exp/dados.
7. Transfira-os para o diretório de dados de assunto/bruto/ (criado na etapa 4.3). Consulte README para a estrutura de diretório recomendada.
   NOTA: Como mencionado, o arquivo de registro é para solução de problemas. A causa mais comum para o PsychoPy fechar inesperadamente é que um sujeito acidentalmente pressiona Escape durante uma sessão. Se isso acontecer, as respostas para testes até o último teste concluído ainda serão escritas para as respostas.csv arquivo.
8. Se PsychoPy fechar inesperadamente, reabre-o e crie uma nova condição.csv arquivo, com apenas os ensaios que não haviam sido tentados. Substitua o arquivo de condições da sessão existente por este e reprise o experimento. Certifique-se de salvar os arquivos gerados no local apropriado. No final da sessão, os dois arquivos de respostas podem ser combinados manualmente em um, embora isso não seja necessário.
9. Para cada uma das sessões restantes, repita as etapas 4.4 a 4.8.
10. Depois que todas as sessões forem concluídas, combine os arquivos de dados brutos e reforme-os em um único arquivo json para processamento posterior. Para isso, execute preprocess.py no terminal (semelhanças/análise/pré-processo.py) da seguinte forma:
    cd ~/semelhanças
    conda ativar venv_sim_3.8
    python -m análise.pré-processo
11. Quando solicitado, insira os parâmetros de entrada solicitados: o caminho para o diretório de dados de assunto, os IDs de assunto para os quais pré-processador os dados e o nome do experimento (usado para nomear o arquivo de saída). Pressione Enter.
12. Saia do ambiente virtual:
    conda desativar
    NOTA: Isso criará um arquivo json no diretório de saída que combina respostas entre repetições para cada teste. Os dados de similaridade são lidos a partir de dados de sujeitos/brutos e escritos para dados de sujeitos/pré-processados.

5. Analisar julgamentos de similaridade

NOTA: Os sujeitos são solicitados a clicar em estímulos por ordem de semelhança com a referência, fornecendo assim um ranking em cada ensaio. Para experimentos padrão, repita cada ensaio cinco vezes, gerando cinco pedidos de classificação dos mesmos oito estímulos (ver Figura 2B). Esses julgamentos de classificação são interpretados como uma série de comparações em que um sujeito compara pares de distâncias perceptuais. Presume-se que o sujeito esteja fazendo a seguinte pergunta antes de cada clique: "A distância (perceptiva) entre a referência e o estímulo A menor do que a distância entre a referência e o estímulo B?" Como mostrado na Figura 2C, isso produz probabilidades de escolha para múltiplas comparações de similaridade em pares para cada ensaio. A análise abaixo usa essas probabilidades de escolha.

Figura 2: Obtenção de probabilidades de escolha a partir de julgamentos de classificação. (A) Uma ilustração de um teste da palavra experimento que realizamos. (B) Cinco pedidos de classificação foram obtidos para o mesmo julgamento, ao longo de várias sessões. (C) Probabilidades de escolha para as comparações de diferença parwise que os julgamentos de classificação representam. Clique aqui para ver uma versão maior desta figura.

1. Determine probabilidades de escolha em pares a partir de julgamentos de ordem de classificação.
   1. Em semelhanças/análises, execute describe_data.py na linha de comando.
      cd ~/semelhanças
      conda ativar venv_sim_3.8
      píton -m analysis.describe_data
   2. Quando solicitado, insira o caminho para os dados/pré-processados e a lista de sujeitos para os quais executar a análise.
      NOTA: Isso criará três tipos de parcelas: i) a distribuição de probabilidades de escolha para o conjunto completo de dados de um determinado sujeito, ii) mapas de calor para avaliar a consistência entre as probabilidades de escolha para pares de sujeitos, e iii) um mapa de calor de probabilidades de escolha para todas as comparações que ocorrem em dois contextos para avaliar efeitos de contexto. Operacionalmente, isso significa comparar probabilidades de escolha em pares de ensaios que contêm a mesma referência e um par comum de estímulos no anel, mas diferem em todos os outros estímulos no anel: o mapa de calor mostra como a probabilidade de escolha depende desse contexto.
2. Gerar modelos euclidianos de baixa dimensão dos espaços perceptivos, utilizando as probabilidades de escolha. Execute model_fitting.py na linha de comando da seguinte forma:
   cd ~/semelhanças
   conda ativar venv_sim_3.8
   píton -m analysis.model_fitting
   1. Fornecer os seguintes parâmetros de entrada quando solicitado: caminho para o diretório de dados de assunto/pré-processados; o número de estímulos (37 por padrão); o número de iterações (o número de vezes que a análise de modelagem deve ser executada); o diretório de saída; e a quantidade de ruído gaussiano (0,18 por padrão).
      NOTA: Este script leva algumas horas para ser executado. Quando concluídos, os arquivos npy contendo as coordenadas mais adequadas para modelos 1D, 2D, 3D, 4D e 5D descrevendo os dados de similaridade serão escritos para o diretório de saída. Um arquivo csv contendo valores de probabilidade de registro dos diferentes modelos será gerado.
3. Visualize a probabilidade de registro dos modelos obtidos e avalie seu ajuste. Para isso, execute semelhanças/análise/model_fitting_figure.py na linha de comando:
   cd ~/semelhanças
   píton -m analysis.model_fitting_figure
   1. Quando solicitado, insira o parâmetro necessário: o caminho para os arquivos csv contendo probabilidades de log (a partir da etapa 5.2).
   2. Analise a figura gerada, mostrando probabilidades de log no eixo y e dimensões do modelo no eixo x. Como verificação de sanidade, dois modelos além dos modelos euclidianos estão incluídos: um modelo de escolha aleatória e um modelo melhor possível.
      NOTA: O modelo de escolha aleatória pressupõe que os sujeitos cliquem aleatoriamente. Assim, ele fornece um limite absoluto mais baixo na probabilidade de log para qualquer modelo que seja melhor do que aleatório. Da mesma forma, como um limite superior para a probabilidade de log (rotulado melhor), há a probabilidade de registro de um modelo que usa as probabilidades de escolha empírica como suas probabilidades de modelo.
   3. Verifique se nenhum modelo euclidiano supera o melhor modelo, pois o melhor modelo é, por design, overfit e sem restrições por considerações geométricas. Verifique se as probabilidades traçadas são relativas à melhor probabilidade de log.
4. Visualize os espaços perceptivos para cada sujeito. Gerar estações de dispersão mostrando os pontos do modelo 5D projetados para os dois primeiros componentes principais. Para isso, execute semelhanças/análise/perceptual_space_visualizations.py na linha de comando:
   cd ~/semelhanças
   píton -m analysis.perceptual_space_visualizations
   1. Quando solicitado, insira os parâmetros: os IDs de assunto (separados por espaços) e o caminho para o arquivo npy contendo os pontos 5D obtidos a partir da etapa 5.2.
   2. Após o script ter terminado de executar, saia do ambiente virtual:
      conda desativar
      NOTA: Este script é para visualização dos julgamentos de similaridade. Ele criará um gráfico de dispersão 2D, projetando os pontos 5D nos dois primeiros componentes principais, normalizados para ter igual variância. Dois pontos serão mais distantes se o sujeito os considerar menos semelhantes e vice-versa.

Representative Results

A Figura 1A mostra parte de um arquivo de condições gerado pelo script na etapa 3.3, para o experimento da palavra. Cada linha corresponde a um julgamento. O estímulo na coluna do árbitro aparece no centro do display. Os nomes das colunas stim1 a stim8 correspondem a oito posições ao longo de um círculo, correndo no sentido anti-horário, começando da posição à direita da referência central. Um teste amostral do experimento da palavra é mostrado na Figura 1B.

Para demonstrar viabilidade e reprodutibilidade, foi realizado um experimento no qual o conjunto de estímulos compreendeu os nomes de 37 animais. Foram coletados conjuntos de dados completos de oito indivíduos saudáveis com visão normal como parte de um estudo. Para demonstrar o método, dados de três desses sujeitos são mostrados aqui, dois dos quais foram ingênuos ao propósito do estudo. O consentimento informado foi obtido de acordo com a Declaração de Helsinque e as diretrizes institucionais da Faculdade de Medicina Weill Cornell.

Após a coleta de dados, foi realizado o processamento inicial descrito acima (etapa 4.10-4.12). As respostas dos sujeitos em cada ensaio foram interpretadas como um conjunto de escolhas independentes e binárias da forma "A distância entre a referência e a _s1 é menor do que a entre a referência e a _s2?" para todos os pares de estímulos no anel circundante. Os julgamentos de classificação foram decompostos em escolhas tão pares, como mostrado na Figura 2C.

A Figura 3A mostra a distribuição dessas probabilidades de escolha, que foi altamente consistente entre os sujeitos (etapa 5.1 do protocolo). Como cada ensaio foi repetido cinco vezes, as probabilidades de escolha tiveram os seguintes valores: 0, 0,2, 0,4, 0,6, 0,8 e 1. As probabilidades de escolha mais frequentes são 0 e 1, totalizando 50%-70% de todas as decisões em cada um dos sujeitos; estes são os julgamentos para os quais uma opção é escolhida cada vez. Por exemplo, julgar a distância entre _s1 e _s2 como inferior à entre _s1 e _s3 0 de 5 vezes corresponderia a uma probabilidade de escolha de 0; fazer este julgamento 5 de 5 vezes corresponderia a uma probabilidade de escolha de 1. Notavelmente, há uma grande consistência nas probabilidades de escolha entre os sujeitos, mesmo para os julgamentos que não estão nos extremos, como visto pelo agrupamento dos dados próximos à diagonal em cada um dos painéis da Figura 3B.

Em seguida, foram avaliados os efeitos do contexto. Isso foi possível devido a uma característica importante do design experimental: muitos trigêmeos de um estímulo de referência e dois estímulos de comparação _s1 e _s2 são repetidos em dois contextos (ou seja, com conjuntos distintos de seis outros estímulos para completar o conjunto de estímulos). Em seguida, a probabilidade de escolha para cada comparação em pares foi tabulada em cada contexto separadamente. A diagonal dominante na Figura 4 indica que para cada sujeito as probabilidades de escolha nos dois contextos - incluindo as probabilidades de escolha que são intermediárias entre 0 e 1 - são próximas de idênticas. Se as probabilidades de escolha fossem fortemente dependentes do contexto, elas não estariam fortemente correlacionadas, e esta diagonal não seria proeminente.

Os efeitos do contexto também foram avaliados por medida estatística. A medida do efeito de contexto é construída da seguinte forma. O primeiro passo é calcular uma estatística de desequilíbrio para o conjunto de dados observado (detalhado abaixo), que quantifica até que ponto os julgamentos observados parecem depender do contexto. Em seguida, construímos 10000 conjuntos de dados simulados com as mesmas configurações de ensaio, contagens de ensaios e probabilidades gerais de escolha como os dados reais, mas gerados de uma maneira que não contém efeitos de contexto - atribuindo aleatoriamente os julgamentos observados aos dois contextos. Em seguida, calculamos a estatística de desequilíbrio desses conjuntos de dados simulados, assim como foi feito para as respostas observadas. Por fim, comparamos a estatística de desequilíbrio para as respostas observadas com a estatística de desequilíbrio para os conjuntos de dados simulados, para determinar a probabilidade de que o desequilíbrio observado poderia ter sido obtido a partir de um conjunto de dados sem efeito de contexto. Um p-valor empírico de < 0,05 sugere que um efeito de contexto está presente. Para os dados da Figura 4, os valores p foram de 0,98, 0,30 e 0,33, para S4, S7 e S9, respectivamente, ou seja, todos os valores foram > 0,05.

A estatística de desequilíbrio para um conjunto de dados é calculada como uma soma de contribuições sobre todas as tríades que ocorrem em dois contextos. A contribuição para cada tríade (comparando, por exemplo, d(ref, s1) com d(ref, s2)) é determinada da seguinte forma. Primeiro, os julgamentos desta tríade são contados em uma tabela 2 x 2. As colunas correspondem aos dois contextos, de modo que as somas das colunas são limitadas pelo número total de apresentações nesse contexto. As linhas correspondem às contagens dos acórdãos alternativos, d(ref, s1) < d(ref, s2) ou d(ref, s1) > d(ref, s2), de modo que as somas da linha são constrangidas pelas escolhas observadas, resumidas em contextos. Uma vez que o teste exato fisher de duas ^caudas14 produz a probabilidade de que uma tabela com a interação observada (ou maior) entre linhas e colunas (julgamentos e contextos) seria vista se nenhuma interação estiver realmente presente, usamos o logaritmo negativo dessa probabilidade como a contribuição desta tríade para a estatística de desequilíbrio geral. Resumindo os logaritmos negativos para criar uma estatística de desequilíbrio global captura assim a probabilidade conjunta do desequilíbrio observado entre as tríades, sob a hipótese nula de nenhum efeito de contexto.

Para modelar a representação mental dos nomes dos animais, foram derivados modelos euclidianos de espaços perceptivos de 1, 2, 3, 4 e 5 dimensões utilizando-se uma abordagem de máxima probabilidade. As respostas dos sujeitos foram modeladas como decisões que refletem a comparação de duas distâncias com ruído aditivo gaussiano representando erros na estimativa, ou seja, ruído na fase de decisão. A Figura 5 mostra probabilidades de registro (por decisão) de cinco modelos euclidianos. As probabilidades de log são mostradas em relação à probabilidade de log do melhor modelo, ou seja, um modelo que atribui a probabilidade de escolha observada a cada comparação, sem restringir essas probabilidades por qualquer consideração geométrica. Para colocar essas probabilidades de log em perspectiva, também é indicada a probabilidade de registro de um modelo de escolha aleatória; isso serve como um limite mais baixo para o desempenho do modelo. O ajuste do modelo melhora a cada dimensão adicionada. O maior salto é entre os modelos 1D e 2D, indicando que um simples modelo 1D não consegue explicar totalmente os dados. No entanto, o planalto em torno das dimensões 4 a 5 indica que mesmo o modelo 5D não captura completamente as distâncias que explicam os julgamentos de similaridade. Para validar a abordagem, o gasoduto também foi executado com dados simulados. Experimentos separados foram simulados para gerar julgamentos de similaridade entre os pontos extraídos dos espaços 1D, 2D, 3D, 4D e 5D, respectivamente. Em todos os casos, o método identificou corretamente a dimensionalidade. Além disso, um modelo com a dimensionalidade correta rendeu uma probabilidade de log que concordou com a probabilidade de registro de verdade terrestre obtida do modelo.

Finalmente, a organização dos pontos nos modelos espaciais perceptivos foi visualizada. A figura 6 mostra esses dados para um assunto, S7. A análise dos componentes principais (PCA) foi realizada nos pontos do modelo 5D do espaço perceptivo. Os pontos projetados para os dois primeiros e primeiros e terceiros componentes principais, respectivamente, são mostrados nas Figuras 6A e Figura 6B, com eixos normalizados para igual variância. Distâncias entre pontos alinhados com os julgamentos de similaridade obtidos experimentalmente: animais percebidos como semelhantes foram denotados por pontos próximos um do outro.

Figura 3: Consistência entre os sujeitos. a Distribuição de probabilidades de escolha em três assuntos para todas as comparações em pares. (B) Escolha probabilidades para as mesmas comparações em pares entre pares de sujeitos. A barra de cor mostra a razão da probabilidade articular observada com a probabilidade articular independente. Valores elevados ao longo da diagonal principal indicam consistência entre os sujeitos. Clique aqui para ver uma versão maior desta figura.

Figura 4: Efeitos de contexto. Probabilidades de escolha para todas as comparações pares que foram feitas em dois contextos, para cada um dos três sujeitos. A refere-se, arbitrariamente, a um contexto em que uma tríade foi apresentada, e B refere-se ao outro contexto. A barra de cor mostra a razão da probabilidade articular observada com a probabilidade articular independente. Valores elevados ao longo da diagonal principal indicam falta de efeitos de contexto. Clique aqui para ver uma versão maior desta figura.

Figura 5: Resultados da análise de ajuste de modelos. Probabilidades relativas de log para modelos de diferentes dimensões, bem como para o modelo de escolha aleatória (limite inferior), mostrado para três sujeitos. Uma probabilidade relativa de registro de zero corresponde à probabilidade de log do melhor modelo, em que as probabilidades de escolha correspondem às probabilidades de escolha empírica sem considerar a geometria. Clique aqui para ver uma versão maior desta figura.

Figura 6: O espaço perceptivo de um sujeito (S7) com mais detalhes. A projeção das coordenadas 5D obtidas a partir da modelagem projetada nos dois primeiros componentes principais em (A) e no primeiro e terceiro componentes principais em (B). Os eixos são dimensionados para que a variância ao longo de cada eixo seja igual. Clique aqui para ver uma versão maior desta figura.

Tabela 1: Conjuntos de parâmetros de exemplo. O paradigma experimental pode ser variado para ter menos ou mais estímulos, ensaios e comparações em pares. A linha em negrito indica os parâmetros que usamos. Clique aqui para baixar esta Tabela.

Tabela 2: Parâmetros em análise/config.yaml e experimentos/config.yaml. Clique aqui para baixar esta Tabela.

Discussion

O protocolo aqui delineado é eficaz para a obtenção e análise de julgamentos de similaridade para estímulos que podem ser apresentados visualmente. O paradigma experimental, a análise e possíveis extensões são discutidos primeiro e, posteriormente, as vantagens e desvantagens do método.

Paradigma experimental: O método proposto é demonstrado utilizando um domínio de 37 nomes de animais, e um conjunto de dados amostral de julgamentos perceptivos é fornecido para que se possa acompanhar a análise na etapa 5 e reproduzir partes das Figuras 3-6 (etapa 1.4 do protocolo). O desenho experimental agrupa esses 37 estímulos em 222 ensaios - cada um contendo um estímulo de referência no centro e oito estímulos de comparação no anel circundante - de tal forma que vários critérios possuem: a) cada um dos 37 estímulos aparece como referência um número igual (seis) de vezes (222 = 37×6), b) sobre os seis ensaios em que um estímulo é a referência, todos os 36 estímulos restantes são usados como estímulos de comparação pelo menos uma vez, c) 24 estímulos ocorrem exatamente em uma comparação com uma determinada referência, e d) seis pares de estímulos aparecem com a referência em dois ensaios separados. Esse aspecto do paradigma, de que seis pares de estímulos de comparação ocorrem em contextos separados para cada estímulo de referência, permite verificar os efeitos do contexto na etapa 5 (ver Figura 4). Este design padrão rende 6216 = 222×28 comparações da forma "É a semelhança da referência ao _s1 maior ou menor do que a similaridade da referência ao s2". Essa eficiência é possível porque cada um dos 222 ensaios produz um ranking de oito semelhanças, e as oito semelhanças classificadas geram 28 comparações em pares. Dessas 6.216 comparações, 222 se repetem, o que nos dá 5.994 comparações únicas.

Uma vez escolhido o domínio de estímulo, a próxima decisão de design mais importante é o número de amostras. Muitos projetos alternativos são possíveis (Tabela 1), com outras opções para a forma como os estímulos se repetem em diferentes contextos. Como mencionado na Figura 4, dentro de cada ensaio há um trigêmeo - compreendendo a referência e dois estímulos circundantes - que aparecem juntos em um outro ensaio. O número de estímulos circundantes sobrepostos a outro ensaio com referência comum - neste caso, igual a dois - é controlado pelo parâmetro de sobreposição no arquivo de configuração de análise. O aumento desse parâmetro resultaria em mais estímulos sendo compartilhados entre dois ensaios, permitindo comparações mais extensas do ranking de distância, por exemplo, "O _s1 é mais semelhante à referência do que o S2 e é s2 mais semelhante ao s3?" em dois contextos. Para exemplos de outros projetos experimentais possíveis com diferentes valores deste e de outros parâmetros, consulte a Tabela 1. Para obter detalhes sobre todos os parâmetros, o que eles controlam e onde alterá-los, consulte a Tabela 2. Notavelmente, também é possível alterar o número de estímulos que aparecem em torno de uma referência em cada ensaio alterando os parâmetros num_images_per_trial e num_words_per_trial para os experimentos de imagem e palavra, respectivamente. Aumentar o tamanho do surround aumentaria o número de comparações por ensaio e melhores efeitos do contexto do estudo; diminuindo-o reduziria a complexidade da tarefa. O número de estímulos de comparação em um ensaio (_Ncircle), o número de estímulos no experimento (_Nstim), o número de ensaios (_Ntrials), o número de comparações únicas (_Ncomparisons) e o número de comparações repetidas (_Nrepeated) são inter-relacionados e dependem do tamanho dos ensaios anteriormente mencionados (_Noverlap ) e o número de ensaios por estímulo de referência (k). O tamanho do conjunto de estímulos é determinado por m, que é um inteiro arbitrário. Essas relações estão listadas abaixo:

Há outros detalhes dos procedimentos de paradigma e coleta de dados que ajudam a minimizar os confusos. A randomização da colocação de estímulos e ordem de ensaio (etapa 3.4) é importante para que, mesmo quando as sessões são repetidas, o sujeito não comece a reconhecer padrões espaciais ou temporais na colocação de estímulos. Também é importante não dar aos sujeitos quaisquer pistas diretas sobre como medir a semelhança (passo 4), pois isso pode influenciar os resultados. Eles mesmos devem decidir o que a semelhança significa para eles no contexto do experimento específico. No entanto, é útil interrogar os sujeitos após a conclusão do experimento, pois isso pode ajudar a entender como os achados variam entre os sujeitos. Se, por algum motivo, uma sessão for corrompida ou abortada, então recomendamos a exclusão de toda a sessão, para que todos os ensaios sejam concluídos um número igual de vezes.

Análise dos dados de similaridade: O experimento produz, para cada ensaio, pedidos de similaridade entre os estímulos de comparação de _Ncircle e a referência. Quando decompostos em comparações de pares de estímulos, esses ensaios produzem probabilidades de escolha para cada uma das comparações únicas. As probabilidades de escolha são então analisadas para procurar modelos geométricos do espaço perceptivo (protocolo passo 5). A análise tenta explicar as probabilidades de escolha em termos de distâncias entre estímulos, d(_si, _sj), em um espaço euclidiano. Ou seja, o objetivo é atribuir coordenadas a cada estímulo para que a probabilidade de escolha para clicar em _s1 antes do S2 reflita a probabilidade de que o sujeito julgado d(ref, s1) < d(ref, s2). Este procedimento de montagem é descrito aqui tanto porque tem alguns elementos novos, quanto para permitir que o usuário o modifique (protocolo passo 5.2).

A análise é uma espécie de problema de dimensionamento multidimensional, mas com algumas características distintas. Em primeiro lugar, os dados fornecem classificação de julgamentos de diferença, em vez de estimativas das distâncias. Em segundo lugar, o conjunto de dados, embora extenso, contém apenas um subconjunto de todas as comparações possíveis de distâncias pareiras. Finalmente, o objetivo é explicar as probabilidades de escolha, não apenas uma decisão binária de qual distância é maior. Com essas considerações em mente, a função de custo é escolhida de tal forma que seu valor é minimizado quando as probabilidades de escolha previstas pelo modelo são mais propensas a produzir as probabilidades de escolha observadas experimentalmente. É, portanto, definida como a probabilidade negativa de log das probabilidades de escolha observadas sob o modelo, normalizada pelo número total de comparações em pares, e é adaptada de trabalhos ^anteriores15:

onde _N0 = _Ncomparisons. _Nrepeats, e _Nrepeats é o número de repetições do protocolo, (ou seja, o número de vezes que cada ensaio único é repetido), e

Aqui, _srdenote o estímulo de referência em um ensaio, _si e _sj e os estímulos no anel em torno de _sr. P (d(_sr, _si) < d(_sr, _sj)) representa a probabilidade do modelo de que a distância entre _sr e _si seja julgada como menor do que a distância entre _sr e _sj e C denota o número de vezes que o sujeito julgado d(_sr, _si ), < d(_sr, _sj). O objetivo da análise de modelagem é encontrar uma configuração de pontos em um espaço euclidiano, que seja responsável pelas probabilidades de escolha empírica. Iterativamente, a minimização ajusta as coordenadas atribuídas a cada estímulo e, ao fazê-lo, as probabilidades de escolha do modelo (P). A minimização termina quando a função de custo pára de diminuir abaixo da tolerância (um parâmetro ajustável chamado tolerância controla isso) ou se o número máximo de iterações é atingido (controlado por parâmetro max_iterations).

Para conectar as coordenadas de estímulo com as probabilidades de escolha do modelo, presume-se que um sujeito - ao escolher entre dois estímulos para clicar em um ensaio - fará uma comparação interna de suas distâncias relativas com a referência, ou seja, d(_sr, _si) e d(_sr, _sj). Essas distâncias são (por padrão) as distâncias euclidianas ordinárias entre os pontos atribuídos aos estímulos _sr, _si e _sj. Além disso, supõe-se que essa comparação mental tenha um ruído interno, que modelamos como uma fonte aditiva gaussiana de desvio padrão σ, um modelo introduzido para domínios unidimensionais por Maloney et ^al.16,17 e também usado para domínios multidimensionais15. As probabilidades de escolha do modelo estão relacionadas com as coordenadas por:

O ruído interno, σ, pode ser controlado por sigma variado no arquivo de análise. Para inicializar o algoritmo com um conjunto de coordenadas de estímulo, os julgamentos de ordem de classificação foram usados para obter um conjunto de distâncias aproximadas e, em seguida, o dimensionamento multidimensional ^padrão10 foi aplicado a essas distâncias para obter as coordenadas iniciais. Essas distâncias aproximadas foram determinadas por meio da contagem das vitórias e perdas para cada par de estímulos. Ou seja, olhando todas as comparações em pares nos dados, cada vez que uma distância, d(_sr, _sk) é julgada maior que outra, d(_sr, _sn), uma vitória é registrada para a maior distância d(_sr, _sk) e uma perda é registrada para d(_sr, _sn ). A ideia central é que quanto maior a distância entre dois estímulos, mais frequentemente seria julgada como maior do que outra distância (em termos de vitórias) e vice-versa. Após iterar através de todas as comparações e tabular as vitórias e perdas de cada par de estímulos, as estimativas de distância são calculadas da seguinte forma:

Uma vez feito isso, o conjunto inicial de coordenadas é determinado aplicando escala multidimensional métrica padrão ao _dinit (_si, _sj).

A rotina de minimização assim descrita é executada de forma independente para obter modelos de 1, 2, 3, 4 e 5 dimensões. Em cada caso, as coordenadas ideais dos pontos de estímulo inferidos, bem como o valor da função de custo, ou seja, a probabilidade negativa de log das probabilidades de escolha empírica são devolvidas. A probabilidade de registro é plotada na Figura 5 em relação à melhor probabilidade de log possível, que é calculada de forma semelhante à da Equação 1, com

,

para todas as comparações. Como verificação de sanidade, na Figura 5, a probabilidade de log do modelo aleatório, um limite inferior pelo qual julgar o desempenho dos modelos também é plotado. Ao calcular a probabilidade de registro de escolha aleatória, definimos

para todas as comparações.

Possíveis extensões: Em primeiro lugar, como mencionado anteriormente, o paradigma experimental pode ser modificado para acomodar conjuntos de estímulos de diferentes tamanhos, e o número de estímulos no anel pode ser alterado para produzir diferentes números de comparações pareiras por ensaio (ver Tabela 1).

Em segundo lugar, pode ser útil utilizar métricas de distância não euclidianas na análise. Por exemplo, um estudo descobriu que a métrica do bloco da cidade representava melhor um espaço perceptivo de leveza e iluminação da ^{superfície18}. O método proposto pode ser generalizado, de modo que modelos com outras métricas de distância, por exemplo, uma distância de blocos da cidade, uma distância de Minkowski ou uma distância ^{hiperbólica19}, são adequados a dados de similaridade. Para isso, seria preciso modificar o código fornecido e implementar uma métrica alternativa de distância. A principal mudança necessária está na linha 105 (nome da função: dist_model_ll_vectorized) nas semelhanças/análises/pairwise_likelihood_analysis.py do arquivo.

Pontos fortes e limitações: Uma força fundamental da abordagem proposta é que ela fornece uma estrutura flexível para projetar experimentos com vários tamanhos de conjunto de estímulos, vários números de comparações, repetições ou o número de estímulos por ensaio, bem como vários tamanhos de conjuntos sobrepostos para medir os efeitos do contexto. Ao alterar o tamanho da sobreposição entre os ensaios e o tamanho do surround em um julgamento, pode-se sondar o papel do contexto em julgamentos de similaridade, ao mesmo tempo em que obtém um alto número de julgamentos de similaridade por julgamento. O método aborda muitas limitações de paradigmas experimentais anteriores para a coleta de dados de similaridade. Por exemplo, ao contrário dos métodos baseados em ^{arranjos12,20} (que exigem estímulos a serem organizados em um plano euclidiano 2D com itens semelhantes colocados juntos e diferentes itens colocados separados) e os métodos de classificação (que requerem estímulos a serem categorizados em pilhas),¹¹ o método de classificação não leva os sujeitos a projetar sua representação interna em qualquer estrutura geométrica. Outra limitação de alguns métodos passados - por exemplo, matrizes de confusão em que dois estímulos são considerados semelhantes se forem confundidos entre si em tarefas de reconhecimento ^rápido21 - é que eles não produzem medidas classificadas. Este método produz medidas classificadas, ou seja, as probabilidades de escolha.

Como enfatizado acima, o método de coleta é flexível na medida em que não assume que a representação interna é um espaço euclidiano. Aqui, o método de análise testa apenas modelos euclidianos; no entanto, pode ser estendido para incluir modelos não euclidianos também, por modificações localizadas no código fonte. No entanto, o quadro de modelagem não foi projetado para levar em conta os efeitos do contexto. Se fossem significativos, colocaria uma ressalva sobre as conclusões que poderiam ser tiradas.

O método proposto é mais eficiente em termos de tempo do que a abordagem de comparação emparelhada. Cada ensaio do paradigma leva cerca de ~30 s (sujeitos realizam 111 ensaios em uma hora), rendendo 111×28 = 3108 comparações por hora. É improvável que os ensaios de comparação única levem menos de 3 s por ensaio, o que renderia 1200 comparações por hora. Além disso, há um segundo nível de eficiência: a abordagem atual não requer comparações de todas as distâncias em pares. Para o exemplo no manuscrito, o conjunto completo de distâncias em pares equivale a 221445 comparações, mas na abordagem atual, um subconjunto esparso de 5994 comparações únicas, cada uma repetida 5 ou 10 vezes, basta para modelar os dados de semelhança. No entanto, o método, embora eficiente, ainda é demorado, e requer um compromisso significativo dos sujeitos. Como resultado, não é uma abordagem viável para um conjunto de centenas de estímulos, a menos que os dados sejam agrupados entre os sujeitos. Finalmente, a abordagem não é diretamente aplicável a estímulos não visuais.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.