Un paradigma psicofísico para la recopilación y el análisis de juicios de similitud

Summary

El protocolo presenta un paradigma psicofísico experimental para obtener grandes cantidades de juicios de similitud, y un flujo de trabajo de análisis acompañante. El paradigma sondea los efectos del contexto y permite el modelado de datos de similitud en términos de espacios euclídeos de al menos cinco dimensiones.

Abstract

Los juicios de similitud se usan comúnmente para estudiar las representaciones mentales y sus correlatos neuronales. Este enfoque se ha utilizado para caracterizar espacios perceptivos en muchos dominios: colores, objetos, imágenes, palabras y sonidos. Idealmente, uno podría querer comparar las estimaciones de la similitud percibida entre todos los pares de estímulos, pero esto a menudo no es práctico. Por ejemplo, si se le pide a un sujeto que compare la similitud de dos elementos con la similitud de otros dos elementos, el número de comparaciones crece con el cuarto poder del tamaño del conjunto de estímulos. Una estrategia alternativa es preguntar a un sujeto a las similitudes de tasa de pares aislados, por ejemplo, en una escala Likert. Esto es mucho más eficiente (el número de calificaciones crece cuadráticamente con el tamaño establecido en lugar de cuartáticamente), pero estas calificaciones tienden a ser inestables y tienen una resolución limitada, y el enfoque también asume que no hay efectos de contexto.

Aquí, se presenta un nuevo paradigma de clasificación para la recopilación eficiente de juicios de similitud, junto con una tubería de análisis (software proporcionado) que prueba si los modelos de distancia euclidiana tienen en cuenta los datos. Los ensayos típicos consisten en ocho estímulos alrededor de un estímulo de referencia central: el sujeto clasifica los estímulos en orden de su similitud con la referencia. Mediante la selección juiciosa de las combinaciones de estímulos utilizados en cada ensayo, el enfoque tiene controles internos para la consistencia y los efectos de contexto. El enfoque fue validado para estímulos extraídos de espacios euclídeos de hasta cinco dimensiones.

El enfoque se ilustra con un experimento que mide similitudes entre 37 palabras. Cada ensayo arroja los resultados de 28 comparaciones por pares de la forma, "¿Fue A más similar a la referencia que B a la referencia?" Si bien la comparación directa de todos los pares de pares de estímulos habría requerido ensayos 221445, este diseño permite la reconstrucción del espacio perceptivo a partir de 5994 comparaciones obtenidas de 222 ensayos.

Introduction

Los seres humanos procesan mentalmente y representan la información sensorial entrante para realizar una amplia gama de tareas, como el reconocimiento de objetos, la navegación, la inferencia sobre el medio ambiente y muchas otras. Los juicios de similitud se usan comúnmente para sondear estas representaciones ^mentales1. Comprender la estructura de las representaciones mentales puede proporcionar una visión de la organización del conocimiento ^conceptual2. También es posible obtener información sobre los cálculos neuronales, relacionando los juicios de similitud con los patrones de activación ^cerebral3. Además, los juicios de similitud revelan características que son sobresalientes en la ^percepción4. Estudiar cómo cambian las representaciones mentales durante el desarrollo puede arrojar luz sobre cómo se ^aprenden5. Por lo tanto, los juicios de similitud proporcionan una valiosa visión del procesamiento de la información en el cerebro.

Un modelo común de representaciones mentales que utilizan similitudes es un modelo de espacio geométrico6,7,8. Aplicado a los dominios sensoriales, este tipo de modelo a menudo se conoce como un espacio ^perceptivo9. Los puntos en el espacio representan estímulos y las distancias entre puntos corresponden a la disimilitud percibida entre ellos. A partir de juicios de similitud, se pueden obtener estimaciones cuantitativas de disimilitudes. Estas disimilitudes por pares (o distancias perceptivas) se pueden utilizar para modelar el espacio perceptivo a través de escalas ^{multidimensionales10}.

Hay muchos métodos para recopilar juicios de similitud, cada uno con sus ventajas y desventajas. La forma más sencilla de obtener medidas cuantitativas de disimilitud es pedir a los sujetos que califiquen en una escala el grado de disimilitud entre cada par de estímulos. Si bien esto es relativamente rápido, las estimaciones tienden a ser inestables a lo largo de las sesiones largas, ya que los sujetos no pueden volver a los juicios anteriores, y los efectos del contexto, si están presentes, no se pueden detectar. (Aquí, un efecto de contexto se define como un cambio en la similitud juzgada entre dos estímulos, basado en la presencia de otros estímulos que no se están comparando). Alternativamente, se puede pedir a los sujetos que comparen todos los pares de estímulos con todos los demás pares de estímulos. Si bien esto produciría un orden de clasificación más confiable de disimilitudes, el número de comparaciones requeridas escala con la cuarta potencia del número de estímulos, lo que lo hace factible solo para conjuntos de estímulos pequeños. Las alternativas más rápidas, como la clasificación en un número predefinido de ^clústeres11 o la clasificación libre, tienen sus propias limitaciones. La clasificación libre (en cualquier número de pilas) es intuitiva, pero obliga al sujeto a categorizar los estímulos, incluso si los estímulos no se prestan fácilmente a la categorización. El método multidislamento más reciente, el MDS inverso, elude muchas de estas limitaciones y es muy ^eficiente12. Sin embargo, este método requiere que los sujetos proyecten sus representaciones mentales en un plano euclidiano 2D y consideren las similitudes de una manera geométrica específica, asumiendo que la estructura de similitud se puede recuperar de las distancias euclidianas en un plano. Por lo tanto, sigue siendo necesario un método eficiente para recopilar grandes cantidades de juicios de similitud, sin hacer suposiciones sobre la geometría subyacente a los juicios.

Aquí se describe un método que es razonablemente eficiente y también evita los posibles escollos anteriores. Al pedir a los sujetos que clasifiquen los estímulos en orden de similitud con una referencia central en cada ^ensayo13, la similitud relativa puede ser sondeada directamente, sin asumir nada sobre la estructura geométrica de las respuestas de los sujetos. El paradigma repite un subconjunto de comparaciones con contextos idénticos y diferentes, lo que permite la evaluación directa de los efectos del contexto, así como la adquisición de respuestas graduadas en términos de probabilidades de elección. El procedimiento de análisis descompone estos juicios de rango en múltiples comparaciones por pares y los utiliza para construir y buscar modelos euclidianos de espacios perceptivos que expliquen los juicios. El método es adecuado para describir en detalle la representación de conjuntos de estímulos de tamaños moderados (por ejemplo, 19 a 49).

Para demostrar la viabilidad del enfoque, se realizó un experimento, utilizando un conjunto de 37 animales como estímulos. Los datos se recopilaron en el transcurso de 10 sesiones de una hora y luego se analizaron por separado para cada tema. El análisis reveló consistencia entre los sujetos y efectos de contexto insignificantes. También evaluó la consistencia de las diferencias percibidas entre los estímulos con modelos euclidianos de sus espacios perceptivos. El paradigma y los procedimientos de análisis descritos en este documento son flexibles y se espera que sean de utilidad para los investigadores interesados en caracterizar las propiedades geométricas de una gama de espacios perceptivos.

Protocol

Antes de comenzar los experimentos, todos los sujetos dan su consentimiento informado de acuerdo con las directrices institucionales y la Declaración de Helsinki. En el caso de este estudio, el protocolo fue aprobado por la junta de revisión institucional de Weill Cornell Medical College.

1. Instalación y puesta a punto

1. Descargue el código del repositorio de GitHub, similitudes (https://github.com/jvlab/similarities). En la línea de comandos, ejecute: git clone https://github.com/jvlab/similarities.git. - Si git no está instalado, descargue el código como una carpeta comprimida del repositorio.
   NOTA: En el repositorio hay dos subdirectorios: experiments, que contiene dos experimentos de ejemplo, y analysis, que contiene un conjunto de scripts de Python para analizar los datos de similitud recopilados. En el directorio de experimentos, uno (word_exp) hace uso de estímulos de palabras y el otro (image_exp) muestra estímulos de imagen. Cierta familiaridad con Python será útil, pero no necesaria. Se supone que la familiaridad con la línea de comandos: varios pasos requieren ejecutar scripts desde la línea de comandos.
2. Instale las siguientes herramientas y configure un entorno virtual.
   1. python 3: Consulte el enlace para obtener instrucciones: https://realpython.com/installing-python/. Este proyecto requiere Python versión 3.8.
   2. PsychoPy: Desde el enlace (https://www.psychopy.org/download.html), descargue la última versión independiente de PsychoPy para el sistema operativo correspondiente, utilizando el botón azul, en Instalación. Este proyecto utiliza PsychoPy versión 2021.2; los experimentos de muestra proporcionados deben ejecutarse con la versión correcta de PsychoPy como se especifica a continuación.
   3. conda: Desde el enlace (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), descargue conda, a través de Miniconda o Anaconda, para el sistema operativo correspondiente.
   4. En la línea de comandos, ejecute lo siguiente para crear un entorno virtual con los paquetes de Python necesarios:
      cd ~/similitudes
      conda env create -f environment.yaml
   5. Compruebe si se ha creado el entorno virtual y actívelo de la siguiente manera:
      Conda env list # venv_sim_3.8 debe aparecer en la lista
      conda activar venv_sim_3.8 # para entrar en el entorno virtual
      Conda deactivate # para salir del entorno virtual después de ejecutar scripts
      NOTA: La ejecución de scripts en un entorno a veces puede ser lenta. Espere hasta un minuto para ver cualquier salida impresa en la línea de comandos cuando ejecute un script.
3. Para asegurarse de que el código descargado funciona como se esperaba, ejecute los experimentos de ejemplo proporcionados siguiendo los pasos que se indican a continuación.
   NOTA: El directorio de experimentos (similitudes/experimentos) contiene experimentos de muestra (word_exp y image_exp), haciendo uso de dos tipos de estímulos: palabras e imágenes.
   1. Abre PsychoPy. Vaya a Ver y, a continuación, haga clic en Codificador, ya que el generador predeterminado de PsychoPy no puede abrir .py archivos. Vaya a Archivo, luego haga clic en Abrir y abra word_exp.py (similitudes/experimentos/word_exp/word_exp.py).
   2. Para cargar el experimento, haga clic en el botón verde Ejecutar experimento . Introduzca las iniciales o el nombre y el número de sesión y haga clic en Aceptar.
   3. Siga las instrucciones y realice algunas pruebas para verificar que los estímulos se vuelvan grises cuando se hace clic. Presione Escape cuando esté listo para salir.
      NOTA: PsychoPy se abrirá en pantalla completa, primero mostrando instrucciones y luego algunas pruebas, con texto de marcador de posición en lugar de palabras de estímulo. Cuando se hace clic, las palabras aparecen en gris. Cuando se ha hecho clic en todas las palabras, comienza la siguiente prueba. En cualquier momento, PsychoPy se puede terminar presionando la tecla Escape . Si el programa termina durante los pasos 1.3.2 o 1.3.3, es posible que el sistema operativo del usuario requiera acceso al teclado y al ratón. Si es así, se imprimirá un mensaje de error descriptivo en la ventana de PsychoPy Runner, que guiará al usuario.
   4. A continuación, compruebe que el experimento de imagen se ejecuta con imágenes de marcador de posición. Abre PsychoPy. Vaya a Archivo. Haga clic en Abrir y elija image_exp.psyexp (similitudes/experimentos/image_exp/image_exp.psyexp).
   5. Para asegurarse de que se utiliza la versión correcta, haga clic en el icono de engranaje. Desde la opción Usar versión PsychoPy seleccione 2021.2 en el menú desplegable.
   6. Como antes, haga clic en el botón verde Ejecutar experimento . Introduzca las iniciales o el nombre y el número de sesión y haga clic en Aceptar.
      NOTA: Al igual que en el paso 1.3.2, PsychoPy primero mostrará instrucciones y luego renderizará las pruebas después de que se hayan cargado las imágenes. Cada prueba contendrá ocho imágenes de marcador de posición que rodean una imagen central. Al hacer clic en una imagen, aparecerá un color gris. El programa se puede cerrar presionando Escape.
   7. Desplácese hasta el directorio de datos de cada uno de los directorios del experimento para ver el resultado:
      similitudes/experimentos/image_exp/datos
      similitudes/experimentos/word_exp/datos
      NOTA: Los datos experimentales se escriben en el directorio de datos. El archivo de respuestas.csv contiene respuestas de clics prueba por prueba. El archivo de registro contiene todas las pulsaciones de teclas y los clics del ratón. Es útil para la solución de problemas, si PsychoPy se cierra inesperadamente.
4. Opcionalmente, para comprobar que los scripts de análisis funcionan como se esperaba, reproduzca algunas de las cifras de la sección Resultados representativos de la siguiente manera.
   1. Crear un directorio para los datos preprocesados:
      cd ~/similitudes
      mkdir sample-materials/subject-data/preprocesado
   2. Combine los datos sin procesar de todas las respuestas.csv archivos en un archivo json. En la línea de comandos, ejecute lo siguiente:
      Similitudes de cd
      conda activar venv_sim_3.8
      python -m analysis.preprocess.py
   3. Cuando se le solicite, introduzca los siguientes valores para los parámetros de entrada: 1) ruta a los datos del sujeto: ./sample-materials/subject-data, 2), nombre del experimento: sample_word y 3) ID del sujeto: S7. El archivo json estará en similitudes/sample-materials/subject-data/preprocessed.
   4. Una vez que los datos estén preprocesados, siga los pasos del readme del proyecto en reproducción de figuras. Estos scripts de análisis se ejecutarán más adelante para analizar los datos recopilados del propio experimento del usuario.

2. Recopilación de datos mediante la configuración de un experimento personalizado

NOTA: Los procedimientos se describen para los experimentos de imagen y palabra hasta el paso 3.1. Después de este paso, el proceso es el mismo para ambos experimentos, por lo que el experimento de imagen no se menciona explícitamente.

1. Seleccione un experimento para ejecutarlo. Vaya a la palabra experimento (similitudes/experimentos/word_exp) o al experimento de imagen (similitudes/experimentos/image_exp).
2. Decide el número de estímulos. El tamaño predeterminado del conjunto de estímulos es 37. Para cambiar esto, abra el archivo de configuración (similitudes/análisis/config.yaml) en un editor de código fuente. En el parámetro num_stimuli del archivo de configuración de análisis, establezca el tamaño del estímulo igual a mk + 1 según lo requiera el diseño experimental para enteros k y m.
   NOTA: En el diseño estándar, k ≥ 3 y m = 6. Por lo tanto, los valores válidos para num_stimuli incluyen 19, 25, 31, 37, 43 y 49 (consulte la Tabla 1 para posibles extensiones del diseño).
3. Finalizar los estímulos experimentales. Si se está ejecutando el experimento de palabras, prepare una lista de palabras. Para el experimento de imagen, haga un nuevo directorio y coloque todas las imágenes de estímulo en él. Los tipos de imagen admitidos son png y jpeg. No utilice puntos como separadores en los nombres de archivo (por ejemplo, image.1.png no es válido, pero image1.png o image_1.png son válidos).
4. Si ejecuta la palabra experimento, prepare los estímulos de la siguiente manera.
   1. Cree un nuevo archivo en experimentos/word_exp denominado stimuli.txt. Este archivo se leerá en el paso 3.3.
   2. En el archivo, escriba las palabras en el conjunto de estímulos tal como deben aparecer en la pantalla, con cada palabra en una línea separada. Evite las líneas vacías adicionales o los espacios adicionales junto a las palabras. Véanse los materiales de muestra como referencia (similitudes/materiales de muestra/materiales-exp-de-palabras/sample_word_stimuli.txt).
5. Si se está ejecutando el experimento de imagen, establezca la ruta al conjunto de estímulos de la siguiente manera.
   1. En el directorio de experimentos, busque el archivo de configuración denominado config.yaml (similitudes/experimentos/config.yaml).
   2. Abra el archivo en un editor de código fuente y actualice el valor de la variable files a la ruta al directorio que contiene el conjunto de estímulos (paso 2.3). Aquí es donde PsychoPy buscará los estímulos de imagen.

3. Creación de pruebas de clasificación

1. Use un archivo de estímulos.txt. Si se está ejecutando la palabra experimento, se puede utilizar el archivo creado en el paso 2.4. De lo contrario, utilice la lista de nombres de archivo (como referencia, consulte similitudes/sample-materials/image-exp-materials/sample_image_stimuli.txt). Coloque este archivo en el directorio del experimento apropiado (word_exp o image_exp).
2. Evite las líneas vacías adicionales, así como cualquier espacio en los nombres. Use camelCase o snake_case para los nombres de estímulos.
3. A continuación, cree configuraciones de prueba. Abra el archivo config.yaml en el directorio de análisis y establezca el valor del parámetro path_to_stimulus_list en la ruta de acceso a stimuli.txt (creada en el paso 3.1).
   1. Desde el directorio de similitudes, ejecute el script ejecutando los siguientes comandos uno tras otro:
      cd ~/similitudes
      conda activar venv_sim_3.8
      python -m analysis.trial_configuration
      conda desactivar # salir del entorno virtual
   2. Esto crea un archivo llamado trial_conditions.csv en similitudes en el que cada fila contiene los nombres de los estímulos que aparecen en una prueba, junto con sus posiciones en la pantalla. Se proporciona un archivo de trial_conditions.csv de muestra (similitudes/materiales de muestra). Para obtener más información sobre los parámetros de entrada para los scripts de análisis, consulte el archivo README del proyecto en Uso.

Figura 1: Ejemplos representativos de ensayos (paso 3.3). (A) Cada fila contiene los detalles de un solo ensayo. Los encabezados indican la posición del estímulo alrededor del círculo. El estímulo bajo ref aparece en el centro y stim 1 a stim 8 aparecen alrededor de la referencia. (B) El primer ensayo (fila) de A es renderizado por PsychoPy para mostrar los ocho estímulos alrededor del estímulo de referencia, mono. Haga clic aquí para ver una versión más grande de esta figura.

NOTA: En este punto, se ha generado un conjunto completo de 222 ensayos para una ejecución experimental completa, es decir, para un conjunto de datos completo. La Figura 1A muestra parte de un archivo de condiciones generado por el script anterior, para la palabra experimento (consulte Resultados representativos).

4. A continuación, divida estos 222 ensayos en sesiones y aleatorice el orden del ensayo. En el diseño típico, las sesiones comprenden 111 ensayos, cada uno de los cuales requiere aproximadamente 1 h para ejecutarse.
   1. Para ello, en la línea de comandos ejecute lo siguiente:
      conda activar venv_sim_3.8
      cd ~/similitudes
      python -m analysis.randomize_session_trials
   2. Cuando se le solicite, introduzca los siguientes parámetros de entrada: ruta de acceso a trial_conditions.csv creado en el paso 3.3.2; directorio de salida; número de juicios por período de sesiones: 111; número de repeticiones: 5.
      NOTA: El número de repeticiones también puede variar, pero afectará el número de sesiones realizadas en el paso 4 (ver Discusión: Paradigma experimental). Si cambia el valor predeterminado del número de repeticiones, asegúrese de editar el valor del parámetro num_repeats en el archivo de configuración (similitudes/análisis/config.yaml). Si es necesario, consulte las instrucciones paso a paso para hacer lo anterior manualmente en el archivo README en la sección Crear pruebas.
5. Cambie el nombre y guarde cada uno de los archivos generados como condiciones.csv, en su propio directorio. Consulte la estructura de directorios recomendada aquí: similitudes/materiales-muestra/datos-sujetos y en el readme del proyecto.
   NOTA: Como se describe en el paso 4, cada experimento se repite cinco veces en el diseño estándar, en el transcurso de sesiones de 10 horas de duración, cada una en un día separado. Se debe pedir a los sujetos que vengan solo una sesión por día para evitar la fatiga. Consulte la Tabla 1 para conocer el número de ensayos y sesiones necesarios para conjuntos de estímulos de diferentes tamaños.

4. Ejecución del experimento y recopilación de datos de similitud

1. Explique la tarea a los sujetos y déles instrucciones. En cada ensayo, los sujetos verán un estímulo de referencia central rodeado de ocho estímulos y se les pedirá que hagan clic en los estímulos en el entorno, en orden de similitud con la referencia central, es decir, deben hacer clic en el primero más similar y en el último menos similar.
2. Pídales que traten de usar una estrategia consistente. Dígales que se les mostrará la misma configuración de estímulos varias veces en el transcurso de las 10 sesiones. Si el estudio investiga la representación de la información semántica, asegúrese de que los sujetos estén familiarizados con los estímulos antes de comenzar.
3. Desplácese hasta el directorio del experimento correspondiente (consulte el paso 2.1). Si es la primera vez que se ejecuta el experimento, cree un directorio denominado subject-data para almacenar las respuestas del sujeto. Cree dos subdirectorios en él: sin procesar y preprocesado. Para cada sujeto, cree un subdirectorio dentro de subject-data/raw.
4. Copie el archivo de condiciones.csv preparado en el paso 3 para la sesión específica y péguelo en el directorio actual, es decir, el directorio que contiene el archivo psyexp. Si ya hay un archivo allí, con nombre condiciones.csv, asegúrese de reemplazarlo por el de la sesión actual.
5. Abra PsychoPy y luego abra el archivo psyexp o py en el directorio del experimento correspondiente. En PsychoPy, haga clic en el botón verde Reproducir para ejecutar el experimento. En la ventana emergente modal, introduzca el nombre o ID del asunto y el número de sesión. Haga clic en Aceptar para comenzar. Las instrucciones se mostrarán al comienzo de cada sesión.
6. Permita que el sujeto aproximadamente 1 h complete la tarea. Como la tarea es a su propio ritmo, anime a los sujetos a tomar descansos si es necesario. Cuando el sujeto termine la sesión, PsychoPy terminará automáticamente, y se generarán archivos en el directorio de similitudes/experimentos/_exp/datos.
7. Transfiéralos al directorio subject-data/raw/ (creado en el paso 4.3). Consulte README para ver la estructura de directorios recomendada.
   NOTA: Como se mencionó, el archivo de registro es para la solución de problemas. La causa más común para que PsychoPy se cierre inesperadamente es que un sujeto presiona accidentalmente Escape durante una sesión. Si esto sucede, las respuestas para los juicios hasta el último ensayo completado aún se escribirán en el archivo .csv respuestas.
8. Si PsychoPy se cierra inesperadamente, vuelva a abrirlo y cree un nuevo archivo de condiciones.csv, con solo los ensayos que no se habían intentado. Reemplace el archivo de condiciones de la sesión existente por este y vuelva a ejecutar el experimento. Asegúrese de guardar los archivos generados en el lugar apropiado. Al final de la sesión, los dos archivos de respuestas se pueden combinar manualmente en uno, aunque esto no es necesario.
9. Para cada una de las sesiones restantes, repita los pasos 4.4 a 4.8.
10. Una vez completadas todas las sesiones, combine los archivos de datos sin procesar y vuelva a formatearlos en un solo archivo json para su posterior procesamiento. Para ello, ejecute preprocess.py en el terminal (similitudes/análisis/preproceso.py) de la siguiente manera:
    cd ~/similitudes
    conda activar venv_sim_3.8
    python -m analysis.preprocess
11. Cuando se le solicite, introduzca los parámetros de entrada solicitados: la ruta de acceso al directorio subject-data, los ID de sujeto para los que se van a preprocesar los datos y el nombre del experimento (utilizado para nombrar el archivo de salida). Pulse Intro.
12. Salga del entorno virtual:
    conda desactivar
    Nota : esto creará un archivo json en el directorio de salida que combina respuestas a través de repeticiones para cada prueba. Los datos de similitud se leen a partir de subject-data/raw y se escriben en subject-data/preprocessed.

5. Analizar los juicios de similitud

NOTA: Se pide a los sujetos que hagan clic en los estímulos en orden de similitud con la referencia, proporcionando así una clasificación en cada ensayo. Para los experimentos estándar, repita cada ensayo cinco veces, generando cinco órdenes de rango de los mismos ocho estímulos (ver Figura 2B). Estos juicios de rango se interpretan como una serie de comparaciones en las que un sujeto compara pares de distancias perceptivas. Se supone que el sujeto está haciendo la siguiente pregunta antes de cada clic: "¿Es la distancia (perceptiva) entre la referencia y el estímulo A menor que la distancia entre la referencia y el estímulo B?" Como se muestra en la Figura 2C, esto produce probabilidades de elección para múltiples comparaciones de similitud por pares para cada ensayo. El siguiente análisis utiliza estas probabilidades de elección.

Figura 2: Obtención de probabilidades de elección a partir de juicios de clasificación. (A) Una ilustración de un ensayo a partir del experimento de palabras que realizamos. B) Se obtuvieron cinco órdenes de rango para el mismo juicio, en el transcurso de varias sesiones. (C) Probabilidades de elección para las comparaciones de disimilitud por pares que representan los juicios de clasificación. Haga clic aquí para ver una versión más grande de esta figura.

1. Determine las probabilidades de elección por pares a partir de juicios de orden de rango.
   1. En similitudes/análisis, ejecute describe_data.py en la línea de comandos.
      cd ~/similitudes
      conda activar venv_sim_3.8
      python -m analysis.describe_data
   2. Cuando se le solicite, introduzca la ruta de acceso a subject-data/preprocessed y la lista de sujetos para los que se ejecutará el análisis.
      NOTA: Esto creará tres tipos de gráficos: i) la distribución de probabilidades de elección para el conjunto completo de datos de un sujeto dado, ii) mapas de calor para evaluar la consistencia entre las probabilidades de elección para pares de sujetos, y iii) un mapa de calor de probabilidades de elección para todas las comparaciones que ocurren en dos contextos para evaluar los efectos del contexto. Operativamente, esto significa comparar las probabilidades de elección en pares de ensayos que contienen la misma referencia y un par común de estímulos en el anillo, pero difieren en todos los demás estímulos en el anillo: el mapa de calor muestra cómo la probabilidad de elección depende de este contexto.
2. Generar modelos euclídeos de baja dimensión de los espacios perceptivos, utilizando las probabilidades de elección. Ejecute model_fitting.py en la línea de comandos de la siguiente manera:
   cd ~/similitudes
   conda activar venv_sim_3.8
   python -m analysis.model_fitting
   1. Proporcione los siguientes parámetros de entrada cuando se le solicite: ruta de acceso al directorio subject-data/preprocesado; el número de estímulos (37 por defecto); el número de iteraciones (el número de veces que se debe ejecutar el análisis de modelado); el directorio de salida; y la cantidad de ruido gaussiano (0,18 por defecto).
      Nota : este script tarda unas horas en ejecutarse. Cuando termine, los archivos npy que contienen las coordenadas más adecuadas para los modelos 1D, 2D, 3D, 4D y 5D que describen los datos de similitud se escribirán en el directorio de salida. Se generará un archivo csv que contiene los valores de probabilidad de registro de los diferentes modelos.
3. Visualizar la probabilidad logarítmica de los modelos obtenidos y evaluar su ajuste. Para ello, ejecute similitudes/análisis/model_fitting_figure.py en la línea de comandos:
   cd ~/similitudes
   python -m analysis.model_fitting_figure
   1. Cuando se le solicite, introduzca el parámetro necesario: la ruta de acceso a los archivos csv que contienen probabilidades de registro (del paso 5.2).
   2. Analice la figura generada, mostrando las probabilidades logarítmicas en el eje y y las dimensiones del modelo en el eje x. Como control de cordura, se incluyen dos modelos además de los modelos euclidianos: un modelo de elección aleatoria y un mejor modelo posible.
      NOTA: El modelo de elección aleatoria asume que los sujetos hacen clic al azar. Por lo tanto, proporciona un límite inferior absoluto en la probabilidad logarítmica para cualquier modelo que sea mejor que el aleatorio. Del mismo modo, como límite superior para la probabilidad logarítmica (etiquetada como la mejor), existe la probabilidad logarítmica de un modelo que utiliza las probabilidades de elección empírica como sus probabilidades de modelo.
   3. Verifique que ningún modelo euclidiano supere al mejor modelo, ya que el mejor modelo es, por diseño, sobreajustado y no limitado por consideraciones geométricas. Compruebe que las probabilidades trazadas son relativas a la mejor probabilidad logarítmica.
4. Visualiza los espacios perceptivos para cada sujeto. Genere diagramas de dispersión que muestren los puntos del modelo 5D proyectados en los dos primeros componentes principales. Para ello, ejecute similitudes/análisis/perceptual_space_visualizations.py en la línea de comandos:
   cd ~/similitudes
   python -m analysis.perceptual_space_visualizations
   1. Cuando se le solicite, introduzca los parámetros: los identificadores de sujeto (separados por espacios) y la ruta al archivo npy que contiene los puntos 5D obtenidos del paso 5.2.
   2. Una vez que el script haya terminado de ejecutarse, salga del entorno virtual:
      conda desactivar
      NOTA: Este script es para la visualización de los juicios de similitud. Creará un diagrama de dispersión 2D, proyectando los puntos 5D sobre los dos primeros componentes principales, normalizados para tener igual varianza. Dos puntos estarán más separados si el sujeto los considera menos similares y viceversa.

Representative Results

La figura 1A muestra parte de un archivo de condiciones generado por el script en el paso 3.3, para la palabra experimento. Cada fila corresponde a una prueba. El estímulo en la columna ref aparece en el centro de la pantalla. Los nombres de columna stim1 a stim8 corresponden a ocho posiciones a lo largo de un círculo, corriendo en sentido contrario a las agujas del reloj, comenzando desde la posición a la derecha de la referencia central. En la Figura 1B se muestra un ensayo de muestra de la palabra experimento.

Para demostrar la viabilidad y reproducibilidad, se llevó a cabo un experimento en el que el conjunto de estímulos comprendía los nombres de 37 animales. Se recopilaron conjuntos de datos completos de ocho sujetos sanos con visión normal como parte de un estudio. Para demostrar el método, aquí se muestran los datos de tres de esos sujetos, dos de los cuales fueron ingenuos con el propósito del estudio. El consentimiento informado se obtuvo de conformidad con la Declaración de Helsinki y las directrices institucionales del Weill Cornell Medical College.

Después de la recolección de datos, se realizó el procesamiento inicial descrito anteriormente (paso de protocolo 4.10-4.12). Las respuestas de los sujetos en cada ensayo se interpretaron como un conjunto de elecciones binarias independientes de la forma "¿Es la distancia entre la referencia y _s1 menor que la que existe entre la referencia y _s2?" para todos los pares de estímulos en el anillo circundante. Los juicios de rango se descompusieron en tales opciones por pares, como se muestra en la Figura 2C.

La Figura 3A muestra la distribución de estas probabilidades de elección, que fue altamente consistente entre los sujetos (paso de protocolo 5.1). Dado que cada ensayo se repitió cinco veces, las probabilidades de elección tomaron los siguientes valores: 0, 0,2, 0,4, 0,6, 0,8 y 1. Las probabilidades de elección más frecuentes son 0 y 1, lo que equivale al 50%-70% de todas las decisiones en cada uno de los sujetos; estos son los juicios para los que se elige una opción cada vez. Por ejemplo, juzgar la distancia entre _s1 y _s2 como menor que la que existe entre _s1 y _s3 0 de 5 veces correspondería a una probabilidad de elección de 0; hacer este juicio 5 de cada 5 veces correspondería a una probabilidad de elección de 1. En particular, hay una gran consistencia en las probabilidades de elección entre los sujetos, incluso para los juicios que no están en los extremos, como se ve en la agrupación de los datos cerca de la diagonal en cada uno de los paneles de la Figura 3B.

A continuación, se evaluaron los efectos contextuales. Esto fue posible debido a una característica importante del diseño experimental: muchos trillizos de un estímulo de referencia y dos estímulos de comparación _s1 y _s2 se repiten en dos contextos (es decir, con conjuntos distintos de otros seis estímulos para completar la matriz de estímulos). Luego, la probabilidad de elección para cada comparación por pares se tabuló en cada contexto por separado. La diagonal dominante en la Figura 4 indica que para cada sujeto las probabilidades de elección en los dos contextos, incluidas las probabilidades de elección que son intermedias entre 0 y 1, son casi idénticas. Si las probabilidades de elección dependieran en gran medida del contexto, no estarían fuertemente correlacionadas, y esta diagonal no sería prominente.

Los efectos contextuales también se evaluaron mediante una medida estadística. La medida del efecto contexto se construye de la siguiente manera. El primer paso es calcular una estadística de desequilibrio para el conjunto de datos observado (que se detalla a continuación), que cuantifica la medida en que los juicios observados parecen depender del contexto. Luego construimos 10000 conjuntos de datos simulados con las mismas configuraciones de ensayos, recuentos de ensayos y probabilidades de elección general que los datos reales, pero generados de una manera que no contiene efectos de contexto, asignando aleatoriamente los juicios observados a los dos contextos. A continuación, calculamos la estadística de desequilibrio para estos conjuntos de datos simulados tal como se hizo para las respuestas observadas. Finalmente, comparamos la estadística de desequilibrio para las respuestas observadas con la estadística de desequilibrio para los conjuntos de datos simulados, para determinar la probabilidad de que el desequilibrio observado podría haberse obtenido de un conjunto de datos sin efecto de contexto. Un valor p empírico de < 0,05 sugiere que hay un efecto de contexto presente. Para los datos de la Figura 4, los valores de p fueron 0,98, 0,30 y 0,33, para S4, S7 y S9 respectivamente, es decir, todos los valores fueron > 0,05.

La estadística de desequilibrio para un conjunto de datos se calcula como una suma de contribuciones sobre todas las tríadas que ocurren en dos contextos. La contribución para cada tríada (comparando, digamos, d(ref, s1) con d(ref, _s2)) se determina de la siguiente manera. Primero, los juicios para esta tríada se cuentan en una tabla de 2 x 2. Las columnas corresponden a los dos contextos, por lo que las sumas de columnas están limitadas por el número total de presentaciones en ese contexto. Las filas corresponden a los recuentos de los juicios alternativos, d(ref, s1) < d(ref, s2) o d(ref, s1) > d(ref, _s2), por lo que las sumas de filas están limitadas por las opciones observadas, sumadas en todos los contextos. Dado que la prueba exacta de Fisher de dos ^colas14 arroja la probabilidad de que se vea una tabla con la interacción observada (o mayor) entre filas y columnas (juicios y contextos) si no hay interacción realmente presente, utilizamos el logaritmo negativo de esta probabilidad como la contribución de esta tríada a la estadística de desequilibrio general. Sumando los logaritmos negativos para crear una estadística de desequilibrio general, se captura así la probabilidad conjunta del desequilibrio observado entre tríadas, bajo la hipótesis nula de ningún efecto de contexto.

Para modelar la representación mental de los nombres de los animales, se derivaron modelos euclidianos de espacios perceptivos de 1, 2, 3, 4 y 5 dimensiones utilizando un enfoque de máxima verosimilitud. Las respuestas de los sujetos se modelaron como decisiones que reflejan la comparación de dos distancias con el ruido gaussiano aditivo que representa errores en la estimación, es decir, el ruido en la etapa de decisión. La Figura 5 muestra las probabilidades logarítmicas (por decisión) de cinco modelos euclidianos. Las probabilidades logarítmicas se muestran en relación con la probabilidad logarítmica del mejor modelo, es decir, un modelo que asigna la probabilidad de elección observada a cada comparación, sin restringir estas probabilidades por ninguna consideración geométrica. Para poner estas probabilidades logarítmicas en perspectiva, también se indica la probabilidad logarítmica de un modelo de elección aleatoria; esto sirve como límite inferior para el rendimiento del modelo. El ajuste del modelo mejora con cada dimensión añadida. El mayor salto es entre los modelos 1D y 2D, lo que indica que un modelo 1D simple no explica completamente los datos. Sin embargo, la meseta alrededor de las dimensiones 4 a 5 indica que incluso el modelo 5D no captura completamente las distancias que explican los juicios de similitud. Para validar el enfoque, la canalización también se ejecutó en datos simulados. Se simularon experimentos separados para generar juicios de similitud entre puntos extraídos de espacios 1D, 2D, 3D, 4D y 5D respectivamente. En todos los casos, el método identificó correctamente la dimensionalidad. Además, un modelo con la dimensionalidad correcta produjo una probabilidad logarítmica que coincidía con la probabilidad logarítmica de verdad básica obtenida del modelo.

Finalmente, se visualizó la organización de puntos en los modelos del espacio perceptivo. La Figura 6 muestra estos datos para un sujeto, S7. El análisis de componentes principales (PCA) se realizó en los puntos del modelo 5D del espacio perceptivo. Los puntos proyectados sobre los dos primeros y el primer y tercer componente principal respectivamente se muestran en las Figuras 6A y Figura 6B, con ejes normalizados para una varianza igual. Las distancias entre puntos alineadas con los juicios de similitud obtenidos experimentalmente: los animales percibidos como similares fueron denotados por puntos que estaban cerca unos de otros.

Figura 3: Consistencia entre los sujetos. (A) Distribución de las probabilidades de elección entre tres sujetos para todas las comparaciones por pares. (B) Probabilidades de elección para las mismas comparaciones por pares entre pares de sujetos. La barra de color muestra la relación entre la probabilidad conjunta observada y la probabilidad conjunta independiente. Los valores altos a lo largo de la diagonal principal indican consistencia entre los sujetos. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Efectos de contexto. Probabilidades de elección para todas las comparaciones por pares que se realizaron en dos contextos, para cada uno de los tres sujetos. A se refiere, arbitrariamente, a un contexto en el que se presentó una tríada, y B se refiere al otro contexto. La barra de color muestra la relación entre la probabilidad conjunta observada y la probabilidad conjunta independiente. Los valores altos a lo largo de la diagonal principal indican una falta de efectos de contexto. Haga clic aquí para ver una versión más grande de esta figura.

Figura 5: Resultados del análisis de ajuste del modelo. Probabilidades logarítmicas relativas para modelos de diferentes dimensiones, así como para el modelo de elección aleatoria (límite inferior), mostrado para tres sujetos. Una probabilidad logarítmica relativa de cero corresponde a la probabilidad logarítmica del mejor modelo, en el que las probabilidades de elección coinciden con las probabilidades de elección empíricas sin tener en cuenta la geometría. Haga clic aquí para ver una versión más grande de esta figura.

Figura 6: El espacio perceptivo de un sujeto (S7) con más detalle. La proyección de coordenadas 5D obtenidas del modelado proyectado sobre los dos primeros componentes principales en (A) y sobre el primer y tercer componente principal en (B). Los ejes se escalan de modo que la varianza a lo largo de cada eje sea igual. Haga clic aquí para ver una versión más grande de esta figura.

Tabla 1: Conjuntos de parámetros de ejemplo. El paradigma experimental puede variar para tener menos o más estímulos, ensayos y comparaciones por pares. La fila en negrita indica los parámetros que utilizamos. Haga clic aquí para descargar esta tabla.

Tabla 2: Parámetros en analysis/config.yaml y experiments/config.yaml. Haga clic aquí para descargar esta tabla.

Discussion

El protocolo aquí esbozado es efectivo para obtener y analizar juicios de similitud para estímulos que pueden ser presentados visualmente. El paradigma experimental, el análisis y las posibles extensiones se discuten primero, y luego las ventajas y desventajas del método.

Paradigma experimental: El método propuesto se demuestra utilizando un dominio de 37 nombres de animales, y se proporciona un conjunto de datos de muestra de juicios perceptivos para que uno pueda seguir el análisis en el paso 5 y reproducir partes de las Figuras 3-6 (paso de protocolo 1.4). El diseño experimental agrupa estos 37 estímulos en 222 ensayos, cada uno de los cuales contiene un estímulo de referencia en el centro y ocho estímulos de comparación en el anillo circundante, de modo que se mantienen varios criterios: a) cada uno de los 37 estímulos aparece como referencia un número igual (seis) de veces (222 = 37×6), b) durante los seis ensayos en los que un estímulo es la referencia, todos los 36 estímulos restantes se utilizan como estímulos de comparación al menos una vez, c) 24 estímulos ocurren exactamente en una comparación con una referencia dada, y d) seis pares de estímulos aparecen con la referencia en dos ensayos separados. Este aspecto del paradigma, según el cual seis pares de estímulos de comparación ocurren en contextos separados para cada estímulo de referencia, permite verificar los efectos del contexto en el paso 5 (ver Figura 4). Este diseño estándar arroja comparaciones 6216 = 222×28 de la forma "¿Es la similitud de la referencia a _s1 mayor o menor que la similitud de la referencia a s2?" Esta eficiencia es posible porque cada uno de los 222 ensayos produce una clasificación de ocho similitudes, y las ocho similitudes clasificadas generan 28 comparaciones por pares. De estas 6216 comparaciones, 222 se repiten, lo que nos da 5994 comparaciones únicas.

Una vez que se elige el dominio de estímulo, la siguiente decisión de diseño más importante es el número de muestras. Muchos diseños alternativos son posibles (Tabla 1), con otras opciones para la forma en que los estímulos se repiten en diferentes contextos. Como se menciona en la Figura 4, dentro de cada ensayo hay un triplete, que comprende la referencia y dos estímulos circundantes, que aparecen juntos en otro ensayo. El número de estímulos circundantes que se superponen con otro ensayo con una referencia común, en este caso, igual a dos, está controlado por el parámetro de superposición en el archivo de configuración del análisis. El aumento de este parámetro daría lugar a que se compartan más estímulos entre dos ensayos, lo que permitiría comparaciones más extensas de la clasificación de distancias, por ejemplo, "¿Es _s1 más similar a la referencia que s2 y es s2 más similar que s3?" en dos contextos. Para ejemplos de otros diseños experimentales posibles con diferentes valores de este y otros parámetros, véase la Tabla 1. Para obtener detalles sobre todos los parámetros, qué controlan y dónde cambiarlos, consulte la Tabla 2. En particular, también es posible cambiar el número de estímulos que aparecen alrededor de una referencia en cada ensayo cambiando los parámetros num_images_per_trial y num_words_per_trial para los experimentos de imagen y palabra respectivamente. Aumentar el tamaño del entorno aumentaría el número de comparaciones por ensayo y mejores efectos en el contexto del estudio; disminuirlo reduciría la complejidad de la tarea. El número de estímulos de comparación en un ensayo (_Ncircle), el número de estímulos en el experimento (_Nstim), el número de ensayos (_Ntrials), el número de comparaciones únicas (_Ncomparisons) y el número de comparaciones repetidas (_{Nrepeated) están interrelacionados} y dependen del tamaño de la superposición mencionada anteriormente entre los ensayos (_Noverlap ) y el número de ensayos por estímulo de referencia (k). El tamaño del conjunto de estímulos está determinado por m, que es un entero arbitrario. Estas relaciones se enumeran a continuación:

Hay otros detalles del paradigma y los procedimientos de recopilación de datos que ayudan a minimizar los errores. Aleatorizar la colocación de estímulos y el orden del ensayo (paso 3.4) es importante para que incluso cuando se repiten las sesiones, el sujeto no comience a reconocer patrones espaciales o temporales en la colocación de estímulos. También es importante no dar a los sujetos ninguna señal directa sobre cómo medir la similitud (paso 4), ya que esto puede sesgar los resultados. Ellos mismos deben decidir qué significa la similitud para ellos en el contexto del experimento específico. Sin embargo, es útil informar a los sujetos después de que completen el experimento, ya que esto puede ayudar a comprender cómo varían los hallazgos entre los sujetos. Si por alguna razón, una sesión está dañada o abortada, recomendamos eliminar toda la sesión, de modo que todas las pruebas se completen un número igual de veces.

Análisis de datos de similitud: El experimento arroja, para cada ensayo, ordenamientos de rango de similitud entre los estímulos de comparación de _Ncircle y la referencia. Cuando se descomponen en comparaciones de pares de estímulos, estos ensayos arrojan probabilidades de elección para cada una de las comparaciones únicas. Las probabilidades de elección se analizan para buscar modelos geométricos del espacio perceptivo (paso de protocolo 5). El análisis intenta explicar las probabilidades de elección en términos de distancias entre estímulos, d(_si, _sj), en un espacio euclídeo. Es decir, el objetivo es asignar coordenadas a cada estímulo para que la probabilidad de elección para hacer clic en s1 antes de s2 refleje la probabilidad de que el sujeto juzgue d(ref, s1) < d(ref, s2). Este procedimiento de ajuste se describe aquí tanto porque tiene algunos elementos novedosos como para permitir que un usuario lo modifique (paso de protocolo 5.2).

El análisis es una especie de problema de escalado multidimensional, pero con algunas características distintivas. En primer lugar, los datos proporcionan un orden de rango de juicios de disimilitud, en lugar de estimaciones de las distancias. En segundo lugar, el conjunto de datos, aunque extenso, solo contiene un subconjunto de todas las comparaciones posibles de distancias por pares. Finalmente, el objetivo es tener en cuenta las probabilidades de elección, no solo una decisión binaria de qué distancia es mayor. Con estas consideraciones en mente, la función de costo se elige de tal manera que su valor se minimiza cuando las probabilidades de elección predichas por el modelo tienen más probabilidades de producir las probabilidades de elección observadas experimentalmente. Por lo tanto, se define como la probabilidad logarítmica negativa de las probabilidades de elección observadas bajo el modelo, normalizada por el número total de comparaciones por pares, y se adapta de trabajos ^anteriores15:

donde N0 = _{Ncomparaciones}. _Nrepeats, y _Nrepeats es el número de repeticiones del protocolo, (es decir, el número de veces que se repite cada ensayo único), y

Aquí, _srdenota el estímulo de referencia en un ensayo, _si y _sj y los estímulos en el anillo alrededor de _sr. P (d(_sr, _si) < d(_sr, _sj)) representa la probabilidad del modelo de que la distancia entre _sr y _si se juzgue como menor que la distancia entre _sr y _sj y C denota el número de veces que el sujeto juzgó d(_sr, _si ) < d(_sr, _sj). El objetivo del análisis de modelado es encontrar una configuración de puntos en un espacio euclídeo, que tenga en cuenta las probabilidades de elección empírica. Iterativamente, la minimización ajusta las coordenadas asignadas a cada estímulo y, al hacerlo, las probabilidades de elección del modelo (P). La minimización termina cuando la función de costo deja de disminuir por debajo de la tolerancia (un parámetro ajustable llamado tolerancia controla esto) o si se alcanza el número máximo de iteraciones (controlado por el parámetro max_iterations).

Para conectar las coordenadas del estímulo con las probabilidades de elección del modelo, se supone que un sujeto, al elegir entre dos estímulos para hacer clic en un ensayo, hará una comparación interna de sus distancias relativas a la referencia, a saber, d(_sr, _si) y d(_sr, _sj). Estas distancias son (por defecto) las distancias euclidianas ordinarias entre puntos asignados a estímulos _sr, _si y _sj. Además, se supone que esta comparación mental tiene un ruido interno, que modelamos como una fuente gaussiana aditiva de desviación estándar σ, un modelo introducido para dominios unidimensionales por Maloney et ^al.16,17 y también utilizado para dominios ^{multidimensionales15}. Las probabilidades de elección del modelo están relacionadas con las coordenadas por:

El ruido interno, σ, se puede controlar variando sigma en el archivo de configuración de análisis. Para inicializar el algoritmo con un conjunto de coordenadas de estímulo, se utilizaron los juicios de orden de rango para obtener un conjunto de distancias aproximadas y luego se aplicó una escala multidimensional ^estándar10 a estas distancias para obtener las coordenadas iniciales. Estas distancias aproximadas se determinaron contando las victorias y pérdidas para cada par de estímulos. Es decir, revisando todas las comparaciones por pares en los datos, cada vez que una distancia, d(_sr, _sk) se juzga más grande que otra, d(_sr, _sn), se registra una victoria para la distancia mayor d(_sr, _sk) y se registra una pérdida para d(_sr, _sn ). La idea central es que cuanto mayor sea la distancia entre dos estímulos, más a menudo se juzgará como mayor que otra distancia (en términos de victorias) y viceversa. Después de iterar a través de todas las comparaciones y tabular las ganancias y pérdidas de cada par de estímulos, las estimaciones de distancia se calculan de la siguiente manera:

Una vez hecho esto, el conjunto inicial de coordenadas se determina aplicando escala multidimensional métrica estándar a _dinit (_si, _sj).

La rutina de minimización así descrita se ejecuta de forma independiente para obtener modelos de 1, 2, 3, 4 y 5 dimensiones. En cada caso, se devuelven las coordenadas óptimas de los puntos de estímulo inferidos, así como el valor de la función de costo, es decir, la probabilidad logarítmica negativa de las probabilidades de elección empírica. La probabilidad logarítmica se traza en la Figura 5 en relación con la mejor probabilidad logarítmica posible, que se calcula de manera similar a la ecuación 1, con

,

para todas las comparaciones. Como comprobación de cordura, en la Figura 5, también se traza la probabilidad logarítmica aleatoria del modelo, un límite inferior por el que juzgar el rendimiento de los modelos. Al calcular la probabilidad de registro de elección aleatoria, establecemos

para todas las comparaciones.

Posibles extensiones: En primer lugar, como se mencionó anteriormente, el paradigma experimental puede modificarse para acomodar conjuntos de estímulos de diferentes tamaños, y el número de estímulos en el anillo puede modificarse para producir diferentes números de comparaciones por pares por ensayo (ver Tabla 1).

En segundo lugar, puede ser útil utilizar métricas de distancia no euclidianas en el análisis. Por ejemplo, un estudio encontró que la métrica de manzana representaba mejor un espacio perceptivo de ligereza e iluminación ^{superficial18}. El método propuesto puede generalizarse, por lo que los modelos con otras métricas de distancia, por ejemplo, una distancia de manzana de la ciudad, una distancia de Minkowski o una distancia hiperbólica19, se ajustan a los datos de similitud. Para hacerlo, uno tendría que modificar el código proporcionado e implementar una métrica de distancia alternativa. El principal cambio necesario es en la línea 105 (nombre de la función: dist_model_ll_vectorized) en el archivo similitudes/análisis/pairwise_likelihood_analysis.py.

Fortalezas y limitaciones: Una fortaleza clave del enfoque propuesto es que proporciona un marco flexible para diseñar experimentos con varios tamaños de conjuntos de estímulos, varios números de comparaciones, repeticiones o el número de estímulos por ensayo, así como varios tamaños de conjuntos superpuestos para medir los efectos del contexto. Al cambiar el tamaño de la superposición entre los juicios y el tamaño del entorno en un juicio, se puede sondear el papel del contexto en los juicios de similitud, al tiempo que se obtiene un alto número de juicios de similitud por pares por juicio. El método aborda muchas limitaciones de paradigmas experimentales anteriores para recopilar datos de similitud. Por ejemplo, a diferencia de los métodos basados en la ^{disposición12,20} (que requieren que los estímulos se organicen en un plano euclídeo 2D con elementos similares colocados juntos y diferentes elementos separados) y los métodos de clasificación (que requieren que los estímulos se clasifiquen en pilas),¹¹ el método de clasificación no incita a los sujetos a proyectar su representación interna sobre ninguna estructura geométrica. Otra limitación de algunos métodos pasados -por ejemplo, las matrices de confusión en las que dos estímulos se consideran similares si se confunden entre sí en tareas de reconocimiento ^rápido21- es que no producen medidas graduadas. Este método produce medidas graduadas, es decir, las probabilidades de elección.

Como se enfatizó anteriormente, el método de recolección es flexible en el sentido de que no asume que la representación interna es un espacio euclídeo. Aquí, el método de análisis prueba solo modelos euclidianos; sin embargo, se puede ampliar para incluir también modelos no euclidianos, mediante modificaciones localizadas en el código fuente. Sin embargo, el marco de modelado no está diseñado para tener en cuenta los efectos de contexto. Si fueran significativas, pondría una advertencia sobre las conclusiones que podrían extraerse.

El método propuesto es más eficiente en el tiempo que el enfoque de comparación por pares. Cada ensayo del paradigma toma alrededor de ~ 30 s (los sujetos realizan 111 ensayos en una hora), produciendo 111×28 = 3108 comparaciones por hora. Es poco probable que los ensayos de comparación única tomen menos de 3 s por ensayo, lo que produciría 1200 comparaciones por hora. Además, hay un segundo nivel de eficiencia: el enfoque actual no requiere comparaciones de todas las distancias por pares. Para el ejemplo en el manuscrito, el conjunto completo de distancias por pares equivale a 221445 comparaciones, pero en el enfoque actual, un subconjunto escaso de 5994 comparaciones únicas, cada una repetida 5 o 10 veces, es suficiente para modelar los datos de similitud. Sin embargo, el método, aunque eficiente, todavía consume mucho tiempo y requiere un compromiso significativo por parte de los sujetos. Como resultado, no es un enfoque factible para un conjunto de cientos de estímulos, a menos que los datos se agrupen entre los sujetos. Por último, el enfoque no es directamente aplicable a los estímulos no visuales.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.