Un paradigme psychophysique pour la collecte et l’analyse des jugements de similitude

Summary

Le protocole présente un paradigme psychophysique expérimental pour obtenir de grandes quantités de jugements de similitude, et un flux de travail d’analyse qui l’accompagne. Le paradigme sonde les effets de contexte et permet de modéliser les données de similarité en termes d’espaces euclidiens d’au moins cinq dimensions.

Abstract

Les jugements de similitude sont couramment utilisés pour étudier les représentations mentales et leurs corrélats neuronaux. Cette approche a été utilisée pour caractériser les espaces perceptifs dans de nombreux domaines : couleurs, objets, images, mots et sons. Idéalement, on pourrait vouloir comparer les estimations de la similitude perçue entre toutes les paires de stimuli, mais cela est souvent peu pratique. Par exemple, si l’on demande à un sujet de comparer la similitude de deux éléments avec la similitude de deux autres éléments, le nombre de comparaisons augmente avec la quatrième puissance de la taille de l’ensemble de stimulus. Une autre stratégie consiste à demander à un sujet d’évaluer les similitudes de paires isolées, par exemple sur une échelle de Likert. Ceci est beaucoup plus efficace (le nombre d’évaluations augmente quadratiquement avec la taille définie plutôt que quartiquement), mais ces évaluations ont tendance à être instables et ont une résolution limitée, et l’approche suppose également qu’il n’y a pas d’effets de contexte.

Ici, un nouveau paradigme de classement pour une collecte efficace des jugements de similitude est présenté, ainsi qu’un pipeline d’analyse (logiciel fourni) qui teste si les modèles de distance euclidiens rendent compte des données. Les essais typiques consistent en huit stimuli autour d’un stimulus de référence central : le sujet classe les stimuli par ordre de similitude avec la référence. Par une sélection judicieuse des combinaisons de stimuli utilisées dans chaque essai, l’approche comporte des contrôles internes pour la cohérence et les effets contextuels. L’approche a été validée pour des stimuli tirés d’espaces euclidiens allant jusqu’à cinq dimensions.

L’approche est illustrée par une expérience mesurant les similitudes entre 37 mots. Chaque essai donne les résultats de 28 comparaisons par paires de la forme , « A était-il plus similaire à la référence que B ne l’était à la référence ? » Bien que la comparaison directe de toutes les paires de paires de stimuli aurait nécessité des essais 221445, cette conception permet de reconstruire l’espace perceptuel à partir de 5994 comparaisons obtenues à partir de 222 essais.

Introduction

Les humains traitent mentalement et représentent les informations sensorielles entrantes pour effectuer un large éventail de tâches, telles que la reconnaissance d’objets, la navigation, les inférences sur l’environnement et bien d’autres. Les jugements de similitude sont couramment utilisés pour sonder ces représentations ^mentales1. Comprendre la structure des représentations mentales peut donner un aperçu de l’organisation des connaissances ^{conceptuelles2}. Il est également possible de mieux comprendre les calculs neuronaux, en reliant les jugements de similitude aux modèles d’activation ^cérébrale3. De plus, les jugements de similitude révèlent des caractéristiques qui sont saillantes dans la ^perception4. L’étude de l’évolution des représentations mentales au cours du développement peut éclairer la façon dont elles sont ^apprises5. Ainsi, les jugements de similitude fournissent des informations précieuses sur le traitement de l’information dans le cerveau.

Un modèle commun de représentations mentales utilisant des similitudes est un modèle d’espace ^{géométrique6,7,8}. Appliqué aux domaines sensoriels, ce type de modèle est souvent appelé espace perceptif9. Les points dans l’espace représentent des stimuli et les distances entre les points correspondent à la dissimilarité perçue entre eux. À partir de jugements de similitude, on peut obtenir des estimations quantitatives des dissemblances. Ces dissemblances par paires (ou distances perceptuelles) peuvent ensuite être utilisées pour modéliser l’espace perceptuel via une mise à l’échelle ^{multidimensionnelle10}.

Il existe de nombreuses méthodes pour recueillir des jugements de similitude, chacune avec ses avantages et ses inconvénients. Le moyen le plus simple d’obtenir des mesures quantitatives de dissimilarité est de demander aux sujets d’évaluer sur une échelle le degré de dissimilarité entre chaque paire de stimuli. Bien que cela soit relativement rapide, les estimations ont tendance à être instables sur de longues sessions, car les sujets ne peuvent pas revenir aux jugements précédents et les effets contextuels, s’ils sont présents, ne peuvent pas être détectés. (Ici, un effet de contexte est défini comme un changement dans la similitude jugée entre deux stimuli, basé sur la présence d’autres stimuli qui ne sont pas comparés.) Alternativement, les sujets peuvent être invités à comparer toutes les paires de stimuli à toutes les autres paires de stimuli. Bien que cela donnerait un ordre de classement plus fiable des dissimilarités, le nombre de comparaisons nécessitait des échelles avec la quatrième puissance du nombre de stimuli, ce qui ne le rendait possible que pour de petits ensembles de stimuli. Les alternatives plus rapides, comme le tri en un nombre prédéfini de ^clusters11 ou le tri libre, ont leurs propres limites. Le tri libre (en n’importe quel nombre de piles) est intuitif, mais il oblige le sujet à catégoriser les stimuli, même si les stimuli ne se prêtent pas facilement à la catégorisation. La méthode multi-arrangement plus récente, le MDS inverse, contourne bon nombre de ces limitations et est très ^efficace12. Cependant, cette méthode exige que les sujets projettent leurs représentations mentales sur un plan euclidien 2D et considèrent les similitudes d’une manière géométrique spécifique, en supposant que la structure de similitude peut être récupérée à partir de distances euclidiennes sur un plan. Ainsi, il reste nécessaire de disposer d’une méthode efficace pour recueillir de grandes quantités de jugements de similitude, sans faire d’hypothèses sur la géométrie sous-jacente aux jugements.

Décrite ici est une méthode qui est à la fois raisonnablement efficace et évite également les pièges potentiels ci-dessus. En demandant aux sujets de classer les stimuli par ordre de similitude avec une référence centrale dans chaque ^essai13, la similitude relative peut être sondée directement, sans rien supposer sur la structure géométrique des réponses des sujets. Le paradigme répète un sous-ensemble de comparaisons avec des contextes identiques et différents, permettant une évaluation directe des effets contextuels ainsi que l’acquisition de réponses graduées en termes de probabilités de choix. La procédure d’analyse décompose ces jugements de rang en plusieurs comparaisons par paires et les utilise pour construire et rechercher des modèles euclidiens d’espaces perceptifs qui expliquent les jugements. La méthode convient pour décrire en détail la représentation d’ensembles de stimulus de tailles modérées (p. ex., 19 à 49).

Pour démontrer la faisabilité de l’approche, une expérience a été menée, en utilisant un ensemble de 37 animaux comme stimuli. Les données ont été recueillies au cours de 10 séances d’une heure, puis analysées séparément pour chaque sujet. L’analyse a révélé une cohérence entre les sujets et des effets de contexte négligeables. Il a également évalué la cohérence des dissemblances perçues entre les stimuli avec les modèles euclidiens de leurs espaces perceptifs. Le paradigme et les procédures d’analyse décrits dans cet article sont flexibles et devraient être utiles aux chercheurs intéressés à caractériser les propriétés géométriques d’une gamme d’espaces perceptifs.

Protocol

Avant de commencer les expériences, tous les sujets fournissent un consentement éclairé conformément aux directives institutionnelles et à la Déclaration d’Helsinki. Dans le cas de cette étude, le protocole a été approuvé par le comité d’examen institutionnel du Weill Cornell Medical College.

1. Installation et configuration

1. Téléchargez le code à partir du référentiel GitHub, similitudes (https://github.com/jvlab/similarities). Dans la ligne de commande, exécutez : git clone https://github.com/jvlab/similarities.git. - Si git n’est pas installé, téléchargez le code sous forme de dossier compressé à partir du référentiel.
   REMARQUE : Dans le référentiel se trouvent deux sous-répertoires : les expériences, qui contiennent deux exemples d’expériences, et l’analyse, qui contient un ensemble de scripts python pour analyser les données de similarité collectées. Dans le répertoire des expériences, l’un (word_exp) utilise des stimuli de mots et l’autre (image_exp) affiche des stimuli d’image. Une certaine familiarité avec Python sera utile, mais pas nécessaire. La connaissance de la ligne de commande est supposée : plusieurs étapes nécessitent l’exécution de scripts à partir de la ligne de commande.
2. Installez les outils suivants et configurez un environnement virtuel.
   1. python 3: Voir le lien pour les instructions: https://realpython.com/installing-python/. Ce projet nécessite Python version 3.8.
   2. PsychoPy: À partir du lien (https://www.psychopy.org/download.html), téléchargez la dernière version autonome de PsychoPy pour le système d’exploitation concerné, en utilisant le bouton bleu, sous Installation. Ce projet utilise PsychoPy version 2021.2 ; les exemples d’expériences fournis doivent être exécutés avec la version correcte de PsychoPy comme spécifié ci-dessous.
   3. conda: À partir du lien (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation), téléchargez conda, via Miniconda ou Anaconda, pour le système d’exploitation approprié.
   4. Dans la ligne de commande, exécutez ce qui suit pour créer un environnement virtuel avec les packages python requis :
      cd ~/similitudes
      conda env create -f environment.yaml
   5. Vérifiez si l’environnement virtuel a été créé et activez-le comme suit :
      conda env list # venv_sim_3.8 doit être listé
      conda active venv_sim_3.8 # pour entrer dans l’environnement virtuel
      conda deactivate # pour quitter l’environnement virtuel après l’exécution des scripts
      REMARQUE : L’exécution de scripts dans un environnement peut parfois être lente. Veuillez prévoir jusqu’à une minute pour voir toute sortie imprimée dans la ligne de commande lorsque vous exécutez un script.
3. Pour vous assurer que le code téléchargé fonctionne comme prévu, exécutez les exemples d’expériences fournis en suivant les étapes ci-dessous.
   REMARQUE: Le répertoire des expériences (similitudes / expériences) contient des exemples d’expériences (word_exp et image_exp), en utilisant deux types de stimuli: les mots et les images.
   1. Ouvrez PsychoPy. Accédez à Affichage, puis cliquez sur Codeur, car le générateur par défaut de PsychoPy ne peut pas ouvrir .py fichiers. Accédez à Fichier, puis cliquez sur Ouvrir et ouvrez word_exp.py (similitudes/expériences/word_exp/word_exp.py).
   2. Pour charger l’expérience, cliquez sur le bouton vert Exécuter l’expérience . Entrez les initiales ou le nom et le numéro de session, puis cliquez sur OK.
   3. Suivez les instructions et parcourez quelques essais pour vérifier que les stimuli grisent lorsqu’on clique dessus. Appuyez sur Echap lorsque vous êtes prêt à quitter.
      REMARQUE: PsychoPy s’ouvrira en plein écran, affichant d’abord des instructions, puis quelques essais, avec du texte d’espace réservé au lieu de mots de stimulation. Lorsque vous cliquez dessus, les mots grisent. Lorsque tous les mots ont été cliqués, le procès suivant commence. À tout moment, PsychoPy peut être terminé en appuyant sur la touche Échap . Si le programme se termine pendant les étapes 1.3.2 ou 1.3.3, il est possible que le système d’exploitation de l’utilisateur nécessite un accès au clavier et à la souris. Si c’est le cas, un message d’erreur descriptif sera imprimé dans la fenêtre PsychoPy Runner, qui guidera l’utilisateur.
   4. Ensuite, vérifiez que l’expérience d’image s’exécute avec des images d’espace réservé. Ouvrez PsychoPy. Accédez à Fichier. Cliquez sur Ouvrir et choisissez image_exp.psyexp (similarities/experiments/image_exp/image_exp.psyexp).
   5. Pour vous assurer que la version correcte est utilisée, cliquez sur l’icône Engrenage . Dans l’option Utiliser la version de PsychoPy , sélectionnez 2021.2 dans le menu déroulant.
   6. Comme précédemment, cliquez sur le bouton vert Exécuter l’expérience . Entrez les initiales ou le nom et le numéro de session, puis cliquez sur OK.
      REMARQUE: Comme à l’étape 1.3.2, PsychoPy affichera d’abord les instructions, puis rendra les essais après le chargement des images. Chaque version d’évaluation contiendra huit images d’espace réservé entourant une image centrale. Cliquer sur une image la grisera. Le programme peut être arrêté en appuyant sur Echap.
   7. Accédez au répertoire de données dans chacun des répertoires d’expérience pour voir la sortie :
      similitudes/expériences/image_exp/données
      similitudes/expériences/word_exp/données
      REMARQUE : Les données expérimentales sont écrites dans le répertoire de données. Le fichier .csv réponses contient des réponses par clic essai par essai. Le fichier journal contient toutes les pressions sur les touches et les clics de souris. Il est utile pour le dépannage, si PsychoPy se ferme de manière inattendue.
4. Si vous le souhaitez, pour vérifier que les scripts d’analyse fonctionnent comme prévu, reproduisez certains des chiffres de la section Résultats représentatifs comme suit.
   1. Créez un répertoire pour les données prétraitées :
      cd ~/similitudes
      mkdir échantillon-matériaux/données-sujet/prétraité
   2. Combinez les données brutes de tous les fichiers .csv réponses en un seul fichier json. Dans la ligne de commande, exécutez ce qui suit :
      similitudes cd
      conda activer venv_sim_3.8
      python -m analysis.preprocess.py
   3. Lorsque vous y êtes invité, entrez les valeurs suivantes pour les paramètres d’entrée : 1) chemin d’accès aux données du sujet : ./sample-materials/subject-data, 2), nom de l’expérience : sample_word et 3) ID du sujet : S7. Le fichier json sera en similitudes/échantillons-matériaux/données-sujets/prétraités.
   4. Une fois les données prétraitées, suivez les étapes du fichier README du projet sous La rubrique Reproduction des figures. Ces scripts d’analyse seront exécutés ultérieurement pour analyser les données collectées à partir de la propre expérience de l’utilisateur.

2. Collecte de données par la mise en place d’une expérience personnalisée

REMARQUE: Les procédures sont décrites pour les expériences d’image et de mot jusqu’à l’étape 3.1. Après cette étape, le processus est le même pour les deux expériences, de sorte que l’expérience d’image n’est pas explicitement mentionnée.

1. Sélectionnez une expérience à exécuter. Accédez au mot expérience (similitudes/expériences/word_exp) ou à l’expérience d’image (similitudes/expériences/image_exp).
2. Décidez du nombre de stimuli. La taille par défaut du jeu de stimuli est 37. Pour modifier cela, ouvrez le fichier de configuration (similarities/analysis/config.yaml) dans un éditeur de code source. Dans le paramètre num_stimuli du fichier de configuration d’analyse, définissez la taille du stimulus égale à mk + 1 comme l’exige la conception expérimentale pour les entiers k et m.
   REMARQUE: Dans la conception standard, k ≥ 3 et m = 6. Par conséquent, les valeurs valides pour num_stimuli comprennent 19, 25, 31, 37, 43 et 49 (voir le tableau 1 pour les extensions possibles de la conception).
3. Finaliser les stimuli expérimentaux. Si le mot expérience est en cours d’exécution, préparez une liste de mots. Pour l’expérience d’image, créez un nouveau répertoire et placez-y toutes les images de stimulus. Les types d’images pris en charge sont png et jpeg. N’utilisez pas de points comme séparateurs dans les noms de fichiers (par exemple, image.1.png n’est pas valide mais image1.png ou image_1.png sont valides).
4. Si vous exécutez le mot expérience, préparez les stimuli comme suit.
   1. Créez un nouveau fichier dans les expériences/word_exp nommé stimuli.txt. Ce fichier sera lu à l’étape 3.3.
   2. Dans le fichier, écrivez les mots du jeu de stimuli tels qu’ils sont censés apparaître dans l’affichage, chaque mot se trouvant sur une ligne distincte. Évitez les lignes vides supplémentaires ou les espaces supplémentaires à côté des mots. Voir les exemples de matériaux pour référence (similitudes/échantillons-matériaux/word-exp-materials/sample_word_stimuli.txt).
5. Si l’expérience d’image est en cours d’exécution, définissez le chemin d’accès au jeu de stimuli comme suit.
   1. Dans le répertoire experiments, recherchez le fichier de configuration appelé config.yaml (similarities/experiments/config.yaml).
   2. Ouvrez le fichier dans un éditeur de code source et mettez à jour la valeur de la variable files dans le chemin d’accès au répertoire contenant le jeu de stimuli (étape 2.3). C’est là que PsychoPy cherchera les stimuli d’image.

3. Création d’essais de classement

1. Utilisez un fichier stimuli.txt. Si le mot experiment est en cours d’exécution, le fichier créé à l’étape 2.4 peut être utilisé. Sinon, utilisez la liste des noms de fichiers (pour référence, voir similarities/sample-materials/image-exp-materials/sample_image_stimuli.txt). Placez ce fichier dans le répertoire d’expérience approprié (word_exp ou image_exp).
2. Évitez les lignes vides supplémentaires, ainsi que les espaces dans les noms. Utilisez camelCase ou snake_case pour les noms de stimulus.
3. Ensuite, créez des configurations d’évaluation. Ouvrez le fichier config.yaml dans le répertoire d’analyse et définissez la valeur du paramètre path_to_stimulus_list sur le chemin d’accès aux stimuli.txt (créé à l’étape 3.1).
   1. À partir du répertoire similarities, exécutez le script en exécutant les commandes suivantes l’une après l’autre :
      cd ~/similitudes
      conda activer venv_sim_3.8
      python -m analysis.trial_configuration
      conda désactiver # quitter l’environnement virtuel
   2. Cela crée un fichier appelé trial_conditions.csv dans les similitudes dans lequel chaque ligne contient les noms des stimuli apparaissant dans un essai, ainsi que leurs positions dans l’affichage. Un exemple trial_conditions.csv fichier est fourni (similitudes/échantillons-matériaux). Pour plus d’informations sur les paramètres d’entrée des scripts d’analyse, reportez-vous au fichier README du projet sous Utilisation.

Figure 1 : Exemples représentatifs d’essais (étape 3.3). (A) Chaque ligne contient les détails d’un seul essai. Les en-têtes indiquent la position du stimulus autour du cercle. Le stimulus sous ref apparaît au centre et stim 1 à stim 8 apparaissent autour de la référence. (B) Le premier essai (ligne) de A est rendu par PsychoPy pour afficher les huit stimuli autour du stimulus de référence, le singe. Veuillez cliquer ici pour voir une version agrandie de cette figure.

REMARQUE : À ce stade, un ensemble complet de 222 essais pour une série expérimentale complète, c’est-à-dire pour un ensemble complet de données, a été généré. La figure 1A montre une partie d’un fichier de conditions généré par le script ci-dessus, pour le mot expérience (voir Résultats représentatifs).

4. Ensuite, divisez ces 222 essais en sessions et randomisez l’ordre des essais. Dans la conception typique, les sessions comprennent 111 essais, dont chacun nécessite environ 1 h pour fonctionner.
   1. Pour ce faire, dans la ligne de commande, exécutez ce qui suit :
      conda activer venv_sim_3.8
      cd ~/similitudes
      python -m analysis.randomize_session_trials
   2. Lorsque vous y êtes invité, entrez les paramètres d’entrée suivants : chemin d’accès à trial_conditions.csv créé à l’étape 3.3.2 ; répertoire de sortie; nombre d’essais par session : 111 ; nombre de répétitions: 5.
      REMARQUE : Le nombre de répétitions peut également être modifié, mais cela aura une incidence sur le nombre de séances effectuées à l’étape 4 (voir Discussion : Paradigme expérimental). Si vous modifiez la valeur par défaut du nombre de répétitions, veillez à modifier la valeur du paramètre num_repeats dans le fichier de configuration (similarities/analysis/config.yaml). Si nécessaire, consultez les instructions pas à pas pour effectuer manuellement ce qui précède dans le fichier README sous la section Créer des évaluations.
5. Renommez et enregistrez chacun des fichiers générés en tant que conditions.csv, dans son propre répertoire. Voir la structure de répertoire recommandée ici: similarities/sample-materials/subject-data et dans le projet README.
   REMARQUE: Comme indiqué à l’étape 4, chaque expérience est répétée cinq fois dans la conception standard, au cours de sessions de 10 heures, chacune sur une journée distincte. Les sujets doivent être invités à venir pour une seule séance par jour afin d’éviter la fatigue. Voir le tableau 1 pour le nombre d’essais et de séances nécessaires pour des ensembles de stimulus de différentes tailles.

4. Exécution de l’expérience et collecte de données de similarité

1. Expliquez la tâche aux sujets et donnez-leur des instructions. Dans chaque essai, les sujets verront un stimulus de référence central entouré de huit stimuli et seront invités à cliquer sur les stimuli dans l’environnement, par ordre de similitude avec la référence centrale, c’est-à-dire qu’ils devraient cliquer sur le premier plus similaire et le moins similaire en dernier.
2. Demandez-leur d’essayer d’utiliser une stratégie cohérente. Dites-leur qu’on leur montrera la même configuration de stimuli plusieurs fois au cours des 10 séances. Si l’étude sonde la représentation de l’information sémantique, assurez-vous que les sujets sont familiers avec les stimuli avant de commencer.
3. Accédez au répertoire d’expériences approprié (voir l’étape 2.1). Si c’est la première fois que l’expérience est exécutée, créez un répertoire appelé subject-data pour stocker les réponses des sujets. Créez-y deux sous-répertoires : brut et prétraité. Pour chaque sujet, créez un sous-répertoire dans subject-data/raw.
4. Copiez les conditions.csv fichier préparé à l’étape 3 pour la session spécifique et collez-le dans le répertoire actif, c’est-à-dire le répertoire contenant le fichier psyexp. S’il existe déjà un fichier nommé conditions.csv, assurez-vous de le remplacer par celui de la session en cours.
5. Ouvrez PsychoPy, puis ouvrez le fichier psyexp ou py dans le répertoire de l’expérience concernée. Dans PsychoPy, cliquez sur le bouton vert Play pour exécuter l’expérience. Dans la fenêtre contextuelle modale, entrez le nom du sujet ou l’ID et le numéro de session. Cliquez sur OK pour commencer. Les instructions seront affichées au début de chaque session.
6. Laissez le sujet environ 1 h pour terminer la tâche. Comme la tâche est auto-rythmée, encouragez les sujets à prendre des pauses si nécessaire. Lorsque le sujet aura terminé la session, PsychoPy se terminera automatiquement et les fichiers seront générés dans le répertoire similarities/experiments/_exp/data.
7. Transférez-les dans le répertoire subject-data/raw/ (créé à l’étape 4.3). Voir README pour la structure de répertoires recommandée.
   REMARQUE: Comme mentionné, le fichier journal est destiné au dépannage. La cause la plus fréquente de fermeture inattendue de PsychoPy est qu’un sujet appuie accidentellement sur Escape pendant une session. Si cela se produit, les réponses pour les essais jusqu’au dernier essai terminé seront toujours écrites dans le fichier .csv réponses.
8. Si PsychoPy se ferme de manière inattendue, rouvrez-le et créez une nouvelle condition.csv fichier, avec seulement les essais qui n’avaient pas été tentés. Remplacez le fichier de conditions de la session existante par celui-ci et réexécutez l’expérience. Assurez-vous d’enregistrer les fichiers générés à l’endroit approprié. À la fin de la session, les deux fichiers de réponses peuvent être combinés manuellement en un seul, bien que cela ne soit pas nécessaire.
9. Pour chacune des sessions restantes, répétez les étapes 4.4 à 4.8.
10. Une fois toutes les sessions terminées, combinez les fichiers de données brutes et reformatez-les en un seul fichier json pour un traitement ultérieur. Pour ce faire, exécutez preprocess.py dans le terminal (similitudes/analyse/prétraitement.py) comme suit :
    cd ~/similitudes
    conda activer venv_sim_3.8
    python -m analysis.preprocess
11. Lorsque vous y êtes invité, entrez les paramètres d’entrée demandés : le chemin d’accès au répertoire des données de l’objet, les ID d’objet pour lesquels prétraiter les données et le nom de l’expérience (utilisé pour nommer le fichier de sortie). Appuyez sur Entrée.
12. Quittez l’environnement virtuel :
    conda désactiver
    REMARQUE : Cela créera un fichier json dans le répertoire de sortie qui combine les réponses entre les répétitions pour chaque essai. Les données de similarité sont lues à partir des données sujet/brutes et écrites dans les données sujet/prétraitées.

5. Analyse des jugements de similitude

REMARQUE: Les sujets sont invités à cliquer sur les stimuli par ordre de similitude avec la référence, fournissant ainsi un classement dans chaque essai. Pour les expériences standard, répétez chaque essai cinq fois, en générant cinq ordres de classement des huit mêmes stimuli (voir la figure 2B). Ces jugements de rang sont interprétés comme une série de comparaisons dans lesquelles un sujet compare des paires de distances perceptuelles. On suppose que le sujet pose la question suivante avant chaque clic : « La distance (perceptuelle) entre la référence et le stimulus A est-elle plus petite que la distance entre la référence et le stimulus B ? » Comme le montre la figure 2C, cela donne des probabilités de choix pour plusieurs comparaisons de similitudes par paires pour chaque essai. L’analyse ci-dessous utilise ces probabilités de choix.

Figure 2 : Obtention de probabilités de choix à partir de jugements de classement. (A) Une illustration d’un essai tiré du mot expérience que nous avons menée. (B) Cinq ordres de classement ont été obtenus pour le même essai, au cours de plusieurs sessions. (C) Probabilités de choix pour les comparaisons de dissimilarité par paires que représentent les jugements de classement. Veuillez cliquer ici pour voir une version agrandie de cette figure.

1. Déterminez les probabilités de choix par paires à partir des jugements d’ordre de rang.
   1. Dans similarities/analysis, exécutez describe_data.py dans la ligne de commande.
      cd ~/similitudes
      conda activer venv_sim_3.8
      python -m analysis.describe_data
   2. Lorsque vous y êtes invité, entrez le chemin d’accès aux données d’objet/prétraitées et la liste des sujets pour lesquels exécuter l’analyse.
      REMARQUE : Cela créera trois types de graphiques : i) la distribution des probabilités de choix pour l’ensemble complet de données d’un sujet donné, ii) des cartes thermiques pour évaluer la cohérence entre les probabilités de choix pour les paires de sujets, et iii) une carte thermique des probabilités de choix pour toutes les comparaisons qui se produisent dans deux contextes afin d’évaluer les effets de contexte. Sur le plan opérationnel, cela signifie comparer les probabilités de choix dans des paires d’essais qui contiennent la même référence et une paire commune de stimuli dans l’anneau mais diffèrent dans tous les autres stimuli de l’anneau : la carte thermique montre comment la probabilité de choix dépend de ce contexte.
2. Générer des modèles euclidiens de faible dimension des espaces perceptifs, en utilisant les probabilités de choix. Exécutez model_fitting.py dans la ligne de commande comme suit :
   cd ~/similitudes
   conda activer venv_sim_3.8
   python -m analysis.model_fitting
   1. Indiquez les paramètres d’entrée suivants lorsque vous y êtes invité : chemin d’accès au répertoire subject-data/prétraité ; le nombre de stimuli (37 par défaut); le nombre d’itérations (le nombre de fois que l’analyse de modélisation doit être exécutée); le répertoire de sortie; et la quantité de bruit gaussien (0,18 par défaut).
      REMARQUE : l’exécution de ce script prend quelques heures. Une fois terminé, les fichiers npy contenant les coordonnées les mieux adaptées aux modèles 1D, 2D, 3D, 4D et 5D décrivant les données de similitude seront écrits dans le répertoire de sortie. Un fichier csv contenant les valeurs log-probabilité des différents modèles sera généré.
3. Visualisez la probabilité logarithmique des modèles obtenus et évaluez leur ajustement. Pour ce faire, exécutez similarities/analysis/model_fitting_figure.py dans la ligne de commande :
   cd ~/similitudes
   python -m analysis.model_fitting_figure
   1. Lorsque vous y êtes invité, entrez le paramètre nécessaire : le chemin d’accès aux fichiers csv contenant les probabilités de journal (à partir de l’étape 5.2).
   2. Analysez la figure générée, montrant les probabilités logarithmiques sur l’axe des y et les dimensions du modèle sur l’axe des x. Comme contrôle de santé mentale, deux modèles en plus des modèles euclidiens sont inclus: un modèle à choix aléatoire et un meilleur modèle possible.
      REMARQUE : Le modèle de choix aléatoire suppose que les sujets cliquent au hasard. Ainsi, il fournit une limite inférieure absolue sur la probabilité logarithmique pour tout modèle qui est meilleur que aléatoire. De même, en tant que limite supérieure de la probabilité logarithmique (étiquetée la meilleure), il y a la probabilité logarithmique d’un modèle qui utilise les probabilités de choix empiriques comme probabilités de son modèle.
   3. Vérifiez qu’aucun modèle euclidien ne surpasse le meilleur modèle, car le meilleur modèle est, de par sa conception, surajusté et non contraint par des considérations géométriques. Vérifiez que les probabilités tracées sont relatives à la meilleure probabilité logarithmique.
4. Visualisez les espaces perceptifs pour chaque sujet. Générez des nuages de points montrant les points du modèle 5D projetés sur les deux premiers composants principaux. Pour ce faire, exécutez similarities/analysis/perceptual_space_visualizations.py dans la ligne de commande :
   cd ~/similitudes
   python -m analysis.perceptual_space_visualizations
   1. Lorsque vous y êtes invité, entrez les paramètres: les ID d’objet (séparés par des espaces) et le chemin d’accès au fichier npy contenant les points 5D obtenus à partir de l’étape 5.2.
   2. Une fois l’exécution du script terminée, quittez l’environnement virtuel :
      conda désactiver
      REMARQUE: Ce script est destiné à la visualisation des jugements de similitude. Il créera un nuage de points 2D, en projetant les points 5D sur les deux premières composantes principales, normalisées pour avoir une variance égale. Deux points seront plus éloignés si le sujet les considérait comme moins similaires et vice versa.

Representative Results

La figure 1A montre une partie d’un fichier de conditions généré par le script à l’étape 3.3, pour le mot experiment. Chaque ligne correspond à un essai. Le stimulus dans la colonne ref apparaît au centre de l’écran. Les noms de colonne stim1 à stim8 correspondent à huit positions le long d’un cercle, dans le sens inverse des aiguilles d’une montre, à partir de la position à droite de la référence centrale. Un exemple d’essai tiré du mot expérience est illustré à la figure 1B.

Pour démontrer la faisabilité et la reproductibilité, une expérience a été menée dans laquelle l’ensemble de stimulus comprenait les noms de 37 animaux. Des ensembles de données complets ont été recueillis auprès de huit sujets sains ayant une vision normale dans le cadre d’une étude. Pour démontrer la méthode, les données de trois de ces sujets sont présentées ici, dont deux étaient naïfs quant à l’objectif de l’étude. Le consentement éclairé a été obtenu conformément à la Déclaration d’Helsinki et aux directives institutionnelles du Weill Cornell Medical College.

Après la collecte des données, le traitement initial décrit ci-dessus (étape de protocole 4.10-4.12) a été effectué. Les réponses des sujets dans chaque essai ont été interprétées comme un ensemble de choix binaires indépendants de la forme « La distance entre la référence et _s1 est-elle inférieure à celle entre la référence et _s2 ? » pour toutes les paires de stimuli dans l’anneau environnant. Les jugements de rang ont été décomposés en de tels choix par paires, comme le montre la figure 2C.

La figure 3A montre la distribution de ces probabilités de choix, qui était très cohérente entre les sujets (étape 5.1 du protocole). Étant donné que chaque essai a été répété cinq fois, les probabilités de choix ont pris les valeurs suivantes: 0, 0,2, 0,4, 0,6, 0,8 et 1. Les probabilités de choix les plus fréquentes sont 0 et 1, ce qui représente 50% à 70% de toutes les décisions chez chacun des sujets; ce sont les jugements pour lesquels une option est choisie à chaque fois. Par exemple, juger la distance entre _s1 et _s2 comme inférieure à celle entre _s1 et _s3 0 sur 5 fois correspondrait à une probabilité de choix de 0 ; faire ce jugement 5 fois sur 5 correspondrait à une probabilité de choix de 1. Notamment, il y a une grande cohérence dans les probabilités de choix entre les sujets, même pour les jugements qui ne sont pas aux extrêmes, comme le montre le regroupement des données près de la diagonale dans chacun des panneaux de la figure 3B.

Ensuite, les effets contextuels ont été évalués. Cela a été possible en raison d’une caractéristique importante de la conception expérimentale : de nombreux triplets d’un stimulus de référence et deux stimuli de comparaison _s1 et _s2 sont répétés dans deux contextes (c’est-à-dire avec des ensembles distincts de six autres stimuli pour compléter le tableau de stimulus). Ensuite, la probabilité de choix pour chaque comparaison par paires a été tabulée dans chaque contexte séparément. La diagonale dominante de la figure 4 indique que pour chaque sujet, les probabilités de choix dans les deux contextes - y compris les probabilités de choix intermédiaires entre 0 et 1 - sont presque identiques. Si les probabilités de choix dépendaient fortement du contexte, elles ne seraient pas fortement corrélées et cette diagonale ne serait pas proéminente.

Les effets contextuels ont également été évalués au moyen d’une mesure statistique. La mesure de l’effet de contexte est construite comme suit. La première étape consiste à calculer une statistique de déséquilibre pour l’ensemble de données observé (détaillé ci-dessous), qui quantifie la mesure dans laquelle les jugements observés semblent dépendre du contexte. Nous construisons ensuite 10000 ensembles de données simulés avec les mêmes configurations d’essais, le même nombre d’essais et les mêmes probabilités de choix globales que les données réelles, mais générés d’une manière qui ne contient aucun effet de contexte - en attribuant aléatoirement les jugements observés aux deux contextes. Nous calculons ensuite la statistique de déséquilibre pour ces ensembles de données simulés, tout comme cela a été fait pour les réponses observées. Enfin, nous comparons la statistique de déséquilibre pour les réponses observées avec la statistique de déséquilibre pour les ensembles de données simulés, afin de déterminer la probabilité que le déséquilibre observé ait pu être obtenu à partir d’un ensemble de données sans effet de contexte. Une valeur p empirique de < 0,05 suggère qu’un effet de contexte est présent. Pour les données de la figure 4, les valeurs de p étaient de 0,98, 0,30 et 0,33, pour S4, S7 et S9 respectivement, c’est-à-dire que toutes les valeurs étaient > 0,05.

La statistique de déséquilibre d’un ensemble de données est calculée comme une somme des contributions sur toutes les triades qui se produisent dans deux contextes. La contribution pour chaque triade (comparant, disons, d(ref, s1) avec d(ref, s2)) est déterminée comme suit. Tout d’abord, les jugements pour cette triade sont comptés dans un tableau 2 x 2. Les colonnes correspondent aux deux contextes, de sorte que les sommes des colonnes sont limitées par le nombre total de présentations dans ce contexte. Les lignes correspondent aux nombres des jugements alternatifs, d(ref, s1) < d(ref, _s2) ou d(ref, s1) > d(ref, _s2), de sorte que les sommes des lignes sont limitées par les choix observés, additionnés dans tous les contextes. Étant donné que le test exact de Fisher ^{à deux queues14} donne la probabilité qu’une table avec l’interaction observée (ou supérieure) entre les lignes et les colonnes (jugements et contextes) soit vue si aucune interaction n’est réellement présente, nous utilisons le logarithme négatif de cette probabilité comme contribution de cette triade à la statistique du déséquilibre global. La somme des logarithmes négatifs pour créer une statistique de déséquilibre global capture ainsi la probabilité conjointe du déséquilibre observé entre les triades, sous l’hypothèse nulle de l’absence d’effet de contexte.

Pour modéliser la représentation mentale des noms d’animaux, des modèles euclidiens d’espaces perceptuels de dimensions 1, 2, 3, 4 et 5 ont été dérivés en utilisant une approche de probabilité maximale. Les réponses des sujets ont été modélisées comme des décisions reflétant la comparaison de deux distances avec le bruit gaussien additif représentant des erreurs d’estimation, c’est-à-dire le bruit au stade de la décision. La figure 5 montre les probabilités logarithmiques (par décision) de cinq modèles euclidiens. Les log-probabilités sont indiquées par rapport à la log-vraisemblance du meilleur modèle, c’est-à-dire un modèle qui attribue la probabilité de choix observée à chaque comparaison, sans contraindre ces probabilités par aucune considération géométrique. Pour mettre ces probabilités logarithmiques en perspective, la probabilité logarithmique d’un modèle à choix aléatoire est également indiquée; cela sert de limite inférieure pour les performances du modèle. L’ajustement du modèle s’améliore avec chaque dimension ajoutée. Le plus grand saut se situe entre les modèles 1D et 2D, ce qui indique qu’un modèle 1D simple ne parvient pas à expliquer pleinement les données. Cependant, le plateau autour des dimensions 4 à 5 indique que même le modèle 5D ne capture pas complètement les distances qui expliquent les jugements de similitude. Pour valider l’approche, le pipeline a également été exécuté sur des données simulées. Des expériences distinctes ont été simulées pour générer des jugements de similitude entre des points tirés d’espaces 1D, 2D, 3D, 4D et 5D respectivement. Dans tous les cas, la méthode a correctement identifié la dimensionnalité. De plus, un modèle avec la dimensionnalité correcte produisait une probabilité logarithmique qui correspondait à la probabilité logarithmique de vérité au sol obtenue à partir du modèle.

Enfin, l’organisation des points dans les modèles d’espace perceptuel a été visualisée. La figure 6 montre ces données pour un sujet, S7. L’analyse en composantes principales (APC) a été réalisée sur les points du modèle 5D de l’espace perceptuel. Les points projetés sur les deux première et première et troisième composantes principales respectivement sont représentés dans les figures 6A et 6B, avec des axes normalisés pour une variance égale. Distances entre les points alignées avec les jugements de similitude obtenus expérimentalement : les animaux perçus comme similaires étaient désignés par des points proches les uns des autres.

Figure 3 : Cohérence entre les sujets. (A) Distribution des probabilités de choix entre trois sujets pour toutes les comparaisons par paires. (B) Probabilités de choix pour les mêmes comparaisons par paires entre paires de sujets. La barre de couleur montre le rapport entre la probabilité conjointe observée et la probabilité conjointe indépendante. Des valeurs élevées le long de la diagonale principale indiquent une cohérence entre les sujets. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Effets de contexte. Probabilités de choix pour toutes les comparaisons par paires qui ont été faites dans deux contextes, pour chacun des trois sujets. A se réfère, arbitrairement, à un contexte dans lequel une triade a été présentée, et B se réfère à l’autre contexte. La barre de couleur montre le rapport entre la probabilité conjointe observée et la probabilité conjointe indépendante. Des valeurs élevées le long de la diagonale principale indiquent un manque d’effets de contexte. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 5 : Résultats de l’analyse d’ajustement du modèle. Probabilités logarithmiques relatives pour les modèles de différentes dimensions ainsi que pour le modèle de choix aléatoire (limite inférieure), montré pour trois sujets. Une probabilité logarithmique relative de zéro correspond à la probabilité logarithmique du meilleur modèle, dans lequel les probabilités de choix correspondent aux probabilités de choix empiriques sans tenir compte de la géométrie. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 6 : L’espace perceptuel d’un sujet (S7) plus en détail. Projection des coordonnées 5D obtenues à partir de la modélisation projetée sur les deux premières composantes principales en (A) et sur les première et troisième composantes principales en (B). Les axes sont mis à l’échelle de manière à ce que la variance le long de chaque axe soit égale. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Tableau 1 : Exemples de jeux de paramètres. Le paradigme expérimental peut être varié pour avoir moins ou plus de stimuli, d’essais et de comparaisons par paires. La ligne en caractères gras indique les paramètres que nous avons utilisés. Veuillez cliquer ici pour télécharger ce tableau.

Tableau 2 : Paramètres dans analysis/config.yaml et experiments/config.yaml. Veuillez cliquer ici pour télécharger ce tableau.

Discussion

Le protocole décrit ici est efficace pour obtenir et analyser des jugements de similitude pour les stimuli qui peuvent être présentés visuellement. Le paradigme expérimental, l’analyse et les extensions possibles sont discutés en premier, puis les avantages et les inconvénients de la méthode.

Paradigme expérimental : La méthode proposée est démontrée à l’aide d’un domaine de 37 noms d’animaux, et un échantillon d’ensemble de données de jugements perceptuels est fourni afin que l’on puisse suivre l’analyse de l’étape 5 et reproduire des parties des figures 3 à 6 (étape 1.4 du protocole). Le plan expérimental regroupe ces 37 stimuli en 222 essais - chacun contenant un stimulus de référence au centre et huit stimuli de comparaison dans l’anneau environnant - de sorte que plusieurs critères tiennent : a) chacun des 37 stimuli apparaît comme référence un nombre égal (six) de fois (222 = 37×6), b) sur les six essais dans lesquels un stimulus est la référence, tous les 36 stimuli restants sont utilisés comme stimuli de comparaison au moins une fois, c) 24 stimuli se produisent dans exactement une comparaison avec une référence donnée, et d) six paires de stimuli apparaissent avec la référence dans deux essais distincts. Cet aspect du paradigme, selon lequel six paires de stimuli de comparaison se produisent dans des contextes distincts pour chaque stimulus de référence, permet de vérifier les effets de contexte à l’étape 5 (voir la figure 4). Cette conception standard donne 6216 = 222×28 comparaisons de la forme « La similitude de la référence à _s1 est-elle supérieure ou inférieure à la similitude de la référence à s2. » Cette efficacité est possible parce que chacun des 222 essais donne un classement de huit similitudes, et les huit similitudes classées génèrent 28 comparaisons par paires. Sur ces 6216 comparaisons, 222 sont répétées, ce qui nous donne 5994 comparaisons uniques.

Une fois le domaine de stimulation choisi, la prochaine décision de conception la plus importante est le nombre d’échantillons. De nombreuses conceptions alternatives sont possibles (tableau 1), avec d’autres choix pour la façon dont les stimuli sont répétés dans différents contextes. Comme mentionné dans la figure 4, dans chaque essai, il y a un triplet - comprenant la référence et deux stimuli environnants - qui apparaissent ensemble dans un autre essai. Le nombre de stimuli environnants se chevauchant avec un autre essai avec une référence commune - dans ce cas, égale à deux - est contrôlé par le paramètre de chevauchement dans le fichier de configuration de l’analyse. L’augmentation de ce paramètre entraînerait le partage d’un plus grand nombre de stimuli entre deux essais, ce qui permettrait des comparaisons plus approfondies du classement à distance, par exemple, « _s1 est-il plus similaire à la référence que s2 et s2 est-il plus similaire que s3? » dans deux contextes. Pour des exemples d’autres plans expérimentaux possibles avec des valeurs différentes de ce paramètre et d’autres, voir le tableau 1. Pour plus d’informations sur tous les paramètres, ce qu’ils contrôlent et où les modifier, reportez-vous au tableau 2. Notamment, il est également possible de modifier le nombre de stimuli qui apparaissent autour d’une référence dans chaque essai en modifiant les paramètres num_images_per_trial et num_words_per_trial pour les expériences d’image et de mot respectivement. L’augmentation de la taille de l’environnement augmenterait le nombre de comparaisons par essai et améliorerait les effets du contexte de l’étude; le réduire réduirait la complexité des tâches. Le nombre de stimuli de comparaison dans un essai (_Ncircle), le nombre de stimuli dans l’expérience (_Nstim), le nombre d’essais (_Ntrials), le nombre de comparaisons uniques (_Ncomparisons) et le nombre de comparaisons répétées (_Nrepeated) sont interdépendants et dépendent de la taille du chevauchement mentionné précédemment entre les essais (_Noverlap ) et le nombre d’essais par stimulus de référence (k). La taille du jeu de stimuli est déterminée par m, qui est un entier arbitraire. Ces relations sont énumérées ci-dessous :

Il existe d’autres détails sur le paradigme et les procédures de collecte de données qui aident à minimiser les confusions. Il est important de randomiser le placement des stimuli et l’ordre des essais (étape 3.4) afin que, même lorsque les séances sont répétées, le sujet ne commence pas à reconnaître les modèles spatiaux ou temporels dans le placement des stimuli. Il est également important de ne pas donner aux sujets d’indices directs sur la façon d’évaluer la similitude (étape 4), car cela peut biaiser les résultats. Ils devraient décider eux-mêmes de ce que la similitude signifie pour eux dans le contexte de l’expérience spécifique. Cependant, il est utile de débriefer les sujets après avoir terminé l’expérience, car cela peut aider à comprendre comment les résultats varient d’un sujet à l’autre. Si, pour une raison quelconque, une session est endommagée ou abandonnée, nous vous recommandons de supprimer la session entière, afin que tous les essais soient terminés un nombre égal de fois.

Analyse des données de similarité : L’expérience produit, pour chaque essai, des classements de similitude entre les stimuli de comparaison _Ncircle et la référence. Lorsqu’ils sont décomposés en comparaisons de paires de stimuli, ces essais donnent des probabilités de choix pour chacune des comparaisons uniques. Les probabilités de choix sont ensuite analysées pour rechercher des modèles géométriques de l’espace perceptuel (étape 5 du protocole). L’analyse tente de rendre compte des probabilités de choix en termes de distances entre les stimuli, d(_si, _sj), dans un espace euclidien. Autrement dit, l’objectif est d’attribuer des coordonnées à chaque stimulus afin que la probabilité de choix pour cliquer sur s1 avant s2 reflète la probabilité que le sujet juge d(ref, s1) < d(ref, s2). Cette procédure d’ajustement est décrite ici à la fois parce qu’elle comporte des éléments nouveaux et pour permettre à un utilisateur de la modifier (étape de protocole 5.2).

L’analyse est une sorte de problème de mise à l’échelle multidimensionnelle, mais avec quelques caractéristiques distinctives. Premièrement, les données fournissent un ordre de classement des jugements de dissemblance, plutôt que des estimations des distances. Deuxièmement, l’ensemble de données, bien que vaste, ne contient qu’un sous-ensemble de toutes les comparaisons possibles de distances par paires. Enfin, l’objectif est de tenir compte des probabilités de choix, et pas seulement d’une décision binaire de quelle distance est la plus grande. Compte tenu de ces considérations, la fonction de coût est choisie de manière à ce que sa valeur soit minimisée lorsque les probabilités de choix prédites par le modèle sont les plus susceptibles de produire les probabilités de choix observées expérimentalement. Elle est donc définie comme la probabilité logarithmique négative des probabilités de choix observées dans le cadre du modèle, normalisée par le nombre total de comparaisons par paires, et est adaptée des travaux ^{précédents15} :

où N0 = _Ncomparisons. _Nrepeats, et _Nrepeats est le nombre de répétitions du protocole,(c’est-à-dire le nombre de fois que chaque essai unique est répété), et

Ici, _srdénote le stimulus de référence dans un essai, _si et _sj et les stimuli dans l’anneau autour de _sr. P (d(_sr, _si) < d(_sr, _sj)) représente la probabilité du modèle que la distance entre _sr et _si soit jugée plus petite que la distance entre _sr et _sj et C indique le nombre de fois que le sujet a jugé d(_sr, _si ) < d(_sr, _sj). L’objectif de l’analyse de modélisation est de trouver une configuration de points dans un espace euclidien, qui tient compte des probabilités de choix empiriques. De manière itérative, la minimisation ajuste les coordonnées attribuées à chaque stimulus et, ce faisant, les probabilités de choix du modèle (P). La minimisation se termine lorsque la fonction de coût cesse de diminuer en dessous de la tolérance (un paramètre réglable nommé tolérance contrôle cela) ou si le nombre maximal d’itérations est atteint (contrôlé par le paramètre max_iterations).

Pour relier les coordonnées du stimulus aux probabilités de choix du modèle, on suppose qu’un sujet - lorsqu’il choisit entre deux stimuli à cliquer dans un essai - fera une comparaison interne de ses distances relatives à la référence, à savoir d(_sr, _si) et d(_sr, _sj). Ces distances sont (par défaut) les distances euclidiennes ordinaires entre les points assignés aux stimuli _sr, _si et _sj. En outre, il est supposé que cette comparaison mentale a un bruit interne, que nous modélisons comme une source gaussienne additive d’écart-type σ, un modèle introduit pour les domaines unidimensionnels par Maloney et ^al.16,17 et également utilisé pour les domaines multidimensionnels15. Les probabilités de choix du modèle sont liées aux coordonnées par :

Le bruit interne, σ, peut être contrôlé en variant sigma dans le fichier de configuration d’analyse. Pour initialiser l’algorithme avec un ensemble de coordonnées de stimulus, les jugements d’ordre de rang ont été utilisés pour obtenir un ensemble de distances approximatives, puis une échelle multidimensionnelle ^standard10 a été appliquée à ces distances pour obtenir les coordonnées initiales. Ces distances approximatives ont été déterminées en comptant les victoires et les défaites pour chaque paire de stimuli. Autrement dit, en regardant toutes les comparaisons par paires dans les données, chaque fois qu’une distance, d(_sr, _sk) est jugée plus grande qu’une autre, d(_sr, _sn), une victoire est enregistrée pour la plus grande distance d(_sr, _sk) et une perte est enregistrée pour d(_sr, _sn ). L’idée de base est que plus la distance entre deux stimuli est grande, plus elle serait souvent jugée plus grande qu’une autre distance (en termes de victoires) et vice versa. Après avoir parcouru toutes les comparaisons et compilé les gains et les pertes de chaque paire de stimuli, les estimations de distance sont calculées comme suit:

Une fois cela fait, l’ensemble initial de coordonnées est déterminé en appliquant une mise à l’échelle multidimensionnelle métrique standard à _dinit (_si, _sj).

La routine de minimisation ainsi décrite est exécutée indépendamment pour obtenir des modèles de dimensions 1, 2, 3, 4 et 5. Dans chaque cas, les coordonnées optimales des points de stimulus déduits, ainsi que la valeur de la fonction de coût, c’est-à-dire la probabilité logarithmique négative des probabilités de choix empiriques, sont renvoyées. La probabilité logarithmique est tracée à la figure 5 par rapport à la meilleure probabilité logarithmique possible, qui est calculée de la même manière que dans l’équation 1, avec

,

pour toutes les comparaisons. À titre de vérification de la santé mentale, dans la figure 5, la probabilité logarithmique aléatoire du modèle, une limite inférieure permettant de juger de la performance des modèles, est également tracée. Lors du calcul de la probabilité logarithmique de choix aléatoire, nous définissons

pour toutes les comparaisons.

Extensions possibles : Tout d’abord, comme mentionné précédemment, le paradigme expérimental peut être modifié pour s’adapter à des ensembles de stimulus de différentes tailles, et le nombre de stimuli dans l’anneau peut être modifié pour donner différents nombres de comparaisons par paires par essai (voir le tableau 1).

Deuxièmement, il peut être utile d’utiliser des mesures de distance non euclidiennes dans l’analyse. Par exemple, une étude a révélé que la métrique de l’îlot urbain représentait mieux un espace perceptuel de légèreté et d’éclairage de ^surface18. La méthode proposée peut être généralisée, de sorte que les modèles avec d’autres mesures de distance, par exemple une distance de pâté de maisons, une distance de Minkowski ou une distance ^{hyperbolique19}, sont adaptés aux données de similitude. Pour ce faire, il faudrait modifier le code fourni et implémenter une autre métrique de distance. La principale modification nécessaire est à la ligne 105 (nom de la fonction: dist_model_ll_vectorized) dans le fichier similarities/analysis/pairwise_likelihood_analysis.py.

Points forts et limites : L’une des principales forces de l’approche proposée est qu’elle fournit un cadre flexible pour la conception d’expériences avec différentes tailles d’ensembles de stimuli, divers nombres de comparaisons, de répétitions ou le nombre de stimuli par essai, ainsi que diverses tailles d’ensembles qui se chevauchent pour mesurer les effets de contexte. En modifiant la taille du chevauchement entre les procès et la taille de l’environnement dans un procès, on peut sonder le rôle du contexte dans les jugements de similitude, tout en obtenant un nombre élevé de jugements de similitude par paires par procès. La méthode aborde de nombreuses limites des paradigmes expérimentaux précédents pour la collecte de données de similitude. Par exemple, contrairement aux méthodes basées sur ^{l’arrangement12,20} (qui exigent que les stimuli soient disposés sur un plan euclidien 2D avec des éléments similaires placés ensemble et différents éléments placés séparément) et aux méthodes de tri (qui nécessitent que les stimuli soient classés en piles),¹¹ la méthode de classement n’incite pas les sujets à projeter leur représentation interne sur une structure géométrique. Une autre limite de certaines méthodes passées - par exemple, les matrices de confusion dans lesquelles deux stimuli sont considérés comme similaires s’ils sont confondus l’un avec l’autre dans les tâches de reconnaissance ^rapide21 - est qu’elles ne donnent pas de mesures graduées. Cette méthode donne des mesures graduées, c’est-à-dire les probabilités de choix.

Comme souligné ci-dessus, la méthode de collecte est flexible en ce sens qu’elle ne suppose pas que la représentation interne est un espace euclidien. Ici, la méthode d’analyse ne teste que les modèles euclidiens ; cependant, il peut être étendu pour inclure également des modèles non euclidiens, par des modifications localisées dans le code source. Toutefois, le cadre de modélisation n’est pas conçu pour prendre en compte les effets de contexte. Si elles étaient importantes, cela mettrait en garde les conclusions qui pourraient être tirées.

La méthode proposée est plus rapide que l’approche de comparaison par paires. Chaque essai du paradigme prend environ ~ 30 s (les sujets effectuent 111 essais en une heure), ce qui donne 111×28 = 3108 comparaisons par heure. Il est peu probable que les essais à comparaison unique prennent moins de 3 s par essai, ce qui donnerait 1200 comparaisons par heure. En outre, il existe un deuxième niveau d’efficacité: l’approche actuelle ne nécessite pas de comparaisons de toutes les distances par paires. Pour l’exemple du manuscrit, l’ensemble complet des distances par paires équivaut à 221445 comparaisons, mais dans l’approche actuelle, un sous-ensemble clairsemé de 5994 comparaisons uniques, chacune répétée 5 ou 10 fois, suffit à modéliser les données de similitude. Cependant, la méthode, bien qu’efficace, prend encore beaucoup de temps et nécessite un engagement important de la part des sujets. Par conséquent, ce n’est pas une approche réalisable pour un ensemble de centaines de stimuli, à moins que les données ne soient regroupées entre les sujets. Enfin, l’approche n’est pas directement applicable aux stimuli non visuels.

Materials

Name	Company	Catalog Number	Comments
Computer Workstation	N/A	N/A	OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files
conda		Version 4.11	OS: Windows/ MacOS 10 or higher/ Linux
Microsoft Excel	Microsoft	Any	To open and shuffle rows and columns in trial conditions files.
PsychoPy	N/A	Version 2021.2	Framework for running psychophysical studies
Python 3	Python Software Foundation	Python Version 3.8	Python3 and associated built-in libraries
Required Python Libraries	N/A	numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher	numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files.