Une configuration naturaliste pour présenter des personnes réelles et des actions réelles dans les études de psychologie expérimentale et de neurosciences cognitives

Summary

Cette étude présente une configuration expérimentale naturaliste qui permet aux chercheurs de présenter des stimuli d’action en temps réel, d’obtenir des données de temps de réponse et de suivi de la souris pendant que les participants répondent après chaque affichage de stimulus, et de changer les acteurs entre les conditions expérimentales avec un système unique comprenant un écran spécial à diodes électroluminescentes organiques transparentes (OLED) et une manipulation de la lumière.

Abstract

La perception des actions des autres est cruciale pour la survie, l’interaction et la communication. Malgré des décennies de recherche en neurosciences cognitives consacrées à la compréhension de la perception des actions, nous sommes encore loin de développer un système de vision par ordinateur inspiré par les neurones qui se rapproche de la perception de l’action humaine. Un défi majeur est que les actions dans le monde réel consistent en des événements temporels qui se déroulent dans l’espace et qui se produisent « ici et maintenant » et sont réalisables. En revanche, la perception visuelle et la recherche en neurosciences cognitives à ce jour ont largement étudié la perception de l’action à travers des affichages 2D (par exemple, des images ou des vidéos) qui manquent de la présence d’acteurs dans l’espace et le temps, d’où ces affichages sont limités dans l’actabilité. Malgré l’ensemble croissant des connaissances dans le domaine, ces défis doivent être surmontés pour une meilleure compréhension des mécanismes fondamentaux de la perception des actions des autres dans le monde réel. Le but de cette étude est d’introduire une nouvelle configuration pour mener des expériences de laboratoire naturalistes avec des acteurs vivants dans des scénarios qui se rapprochent des paramètres du monde réel. L’élément central de la configuration utilisée dans cette étude est un écran transparent à diodes électroluminescentes organiques (OLED) à travers lequel les participants peuvent regarder les actions en direct d’un acteur physiquement présent tout en contrôlant avec précision le moment de leur présentation. Dans ce travail, cette configuration a été testée dans une expérience comportementale. Nous pensons que la configuration aidera les chercheurs à révéler les mécanismes cognitifs et neuronaux fondamentaux et auparavant inaccessibles de la perception de l’action et constituera une base pour de futures études sur la perception sociale et la cognition dans des contextes naturalistes.

Introduction

Une compétence fondamentale pour la survie et l’interaction sociale est la capacité de percevoir et de donner un sens aux actions des autres et d’interagir avec eux dans l’environnement environnant. Des recherches antérieures au cours des dernières décennies ont apporté des contributions significatives à la compréhension des principes fondamentaux de la façon dont les individus perçoivent et comprennent les actions des autres 1,2,3,4,5,6,7,8,9,10,11 . Néanmoins, compte tenu de la complexité des interactions et des circonstances dans lesquelles elles se produisent, il est évident qu’il est nécessaire de développer davantage l’ensemble des connaissances dans les milieux naturalistes afin de parvenir à une compréhension plus complète de cette compétence complexe dans les contextes de la vie quotidienne.

Dans les environnements naturels tels que notre vie quotidienne, la perception et la cognition présentent des caractéristiques incarnées, intégrées, étendues et énactives¹². Contrairement aux récits internalistes des fonctions cérébrales qui tendent à sous-estimer les rôles du corps et de l’environnement, les approches contemporaines de la cognition incarnée se concentrent sur le couplage dynamique du cerveau, du corps et de l’environnement. D’autre part, la plupart des recherches en psychologie sociale, en psychologie cognitive et en neurosciences sur la perception de l’action ont tendance à supposer que l’utilisation de plans d’expériences bien contrôlés et simplifiés dans des conditions de laboratoire (par exemple, des images ou des vidéos dans des tâches informatisées) donne des résultats qui peuvent être généralisés à des scénarios plus complexes tels que les interactions du monde réel 1,2,3,4,5,6,7 ,8,9,10,11. Cette hypothèse garantit que des données robustes et fiables peuvent être obtenues dans de nombreuses circonstances. Néanmoins, un défi bien connu est que la validité des modèles dérivés d’expériences soigneusement contrôlées est limitée lorsqu’ils sont testés dans un contexte réel¹³. Par conséquent, d’autres recherches 13,14,15,16,17,18,19,20,21,22 ont été menées pour examiner la validité écologique et externe des stimuli et des plans expérimentaux dans divers domaines de recherche.

Dans cette étude, une nouvelle méthode est suggérée pour étudier comment les individus perçoivent et évaluent les actions des autres en utilisant des actions réelles effectuées par un acteur réel et physiquement présent. Des scénarios similaires à des contextes réels sont utilisés, tandis que les expérimentateurs ont le contrôle sur les facteurs de confusion possibles. Cette étude est une forme de « recherche naturaliste en laboratoire », dans le cadre de Matusz et al.14 qui peut être conçue comme une étape intermédiaire entre la « recherche de laboratoire classique », qui utilise un contrôle maximal sur les stimuli et l’environnement, souvent au détriment du naturel, et la « recherche entièrement naturaliste du monde réel », qui vise à maximiser la naturalité au détriment du contrôle de la stimulation et de l’environnement ¹⁴. L’étude vise à répondre au besoin d’enquêtes empiriques à ce niveau dans la recherche sur la perception en action afin de combler l’écart entre les résultats obtenus dans les expériences de laboratoire traditionnelles avec un degré élevé de contrôle expérimental et les résultats obtenus dans des études menées dans des environnements naturels entièrement non contraints.

Expériences contrôlées versus expériences non contraintes
Le contrôle expérimental est une stratégie efficace pour concevoir des expériences visant à tester une hypothèse spécifique, car il permet aux chercheurs d’isoler les variables cibles des facteurs de confusion probables. Il permet également de revoir la même hypothèse avec certains niveaux d’amendements, tels que l’utilisation de stimuli légèrement ou totalement différents dans la même conception ou le test des mêmes stimuli dans des configurations expérimentales alternatives. L’investigation systématique par des expériences contrôlées est une forme traditionnelle de méthodologie dans la recherche en sciences cognitives et dans les domaines pertinents. Les expériences contrôlées aident encore à établir l’ensemble des connaissances sur les principes fondamentaux des processus cognitifs dans divers domaines de recherche, tels que l’attention, la mémoire et la perception. Cependant, des recherches récentes ont également reconnu les limites des expériences de laboratoire traditionnelles en termes de généralisation des résultats à des contextes réels, et les chercheurs ont été encouragés à mener des études dans des milieux écologiques améliorés 13,14,15,16,17,18,19,20,21 . Ce changement vise à résoudre deux problèmes importants concernant l’écart entre les expériences de laboratoire traditionnelles et les environnements réels. Premièrement, le monde extérieur au laboratoire est moins déterministe que dans les expériences, ce qui limite le pouvoir représentatif des manipulations expérimentales systématiques. Deuxièmement, le cerveau humain est très adaptatif, ce qui est souvent sous-estimé en raison des limites pratiques de la conception et de la conduite d’études expérimentales²². Le concept de « validité écologique »^23,24 a été utilisé pour trouver des méthodes permettant de résoudre ce problème. Le terme est généralement utilisé pour désigner une condition préalable à la généralisation des résultats expérimentaux au monde réel en dehors du contexte du laboratoire. La validité écologique a également été interprétée comme faisant référence à la validation de configurations expérimentales pratiquement naturalistes avec des stimuli sans contrainte pour s’assurer que le plan d’étude est analogue aux scénarios réels²⁵. En raison du degré élevé de variance dans l’interprétation de ce terme, il est nécessaire de comprendre les avantages et les limites des méthodologies alternatives et de la sélection des stimulits.

Niveaux de naturalisme dans les stimuli et la conception d’expériences
Des travaux antérieurs en psychologie expérimentale et en neurosciences cognitives ont utilisé un large éventail de stimuli avec différents niveaux de naturalisme²⁶. La plupart des chercheurs préfèrent utiliser des images statiques ou de courtes vidéos dynamiques parce que ces stimuli sont plus faciles à préparer que ceux qui pourraient simuler une action réelle ou un événement. Malgré leurs avantages, ces stimuli ne permettent pas aux chercheurs de mesurer les comportements contingents des agents sociaux. En d’autres termes, ils ne sont pas réalisables et n’ont pas d’affordance sociale²⁷. Ces dernières années, une alternative à ces stimuli non interactifs a été développée : des animations en temps réel d’avatars virtuels. Ces avatars permettent d’enquêter sur les interactions entre les avatars et leurs utilisateurs. Cependant, l’utilisation d’avatars virtuels est sujette à une appréhension réduite des utilisateurs, en particulier lorsqu’ils ne semblent pas particulièrement engageants en termes de comportements réalistes et^{contingents26}. Par conséquent, il y a maintenant plus d’intérêt à utiliser des stimuli sociaux réels dans les études expérimentales. Bien que leur conception, leur enregistrement de données et leur analyse puissent nécessiter un équipement de pointe et une analyse de données complexe, ils sont les meilleurs candidats pour comprendre le comportement humain naturaliste et la cognition.

La présente étude propose une méthodologie pour utiliser des stimuli sociaux réels dans un environnement de laboratoire. Cette étude vise à étudier comment les gens perçoivent et évaluent les actions des autres dans un contexte avec une validité écologique améliorée par rapport aux expériences de laboratoire traditionnelles. Nous avons développé et décrit une nouvelle configuration dans laquelle les participants sont exposés à des acteurs réels qui sont physiquement présents et partagent le même environnement avec eux. Dans ce protocole, les temps de réponse et les trajectoires des souris des participants sont mesurés, ce qui nécessite un timing précis de la présentation des stimuli et un contrôle strict des conditions expérimentales dans ce cadre écologique amélioré. Par conséquent, le paradigme expérimental se démarque parmi les cadres présents dans la littérature puisque le caractère naturel des stimuli est maximisé sans sacrifier le contrôle sur l’environnement. Ci-dessous, le protocole présente les étapes pour établir un tel système, puis continue avec les résultats représentatifs pour les données de l’échantillon. Enfin, une discussion sur l’importance du paradigme, ses limites et ses plans de modifications est présentée.

Conception expérimentale
Avant de passer à la section du protocole, nous décrivons les paramètres utilisés dans la présente étude et présentons les détails des stimuli ainsi que la conception expérimentale.

Paramètres de l’étude
Cette étude vise à mesurer comment le type d’acteur et la classe d’actions qu’ils effectuent affectent les processus de perception de l’esprit des participants. Dans le protocole, le processus de perception de l’esprit est mesuré dans deux dimensions principales, à savoir l’agence et l’expérience, comme proposé par des recherches antérieures²⁸. Les extrémités haute et basse de ces deux dimensions sont également incluses, comme l’ont récemment introduit Li et ^al.29.

La structure de l’étude a été inspirée par la version³⁰ à catégorie unique de la tâche d’association implicite (SIA)³¹ couramment utilisée. Dans cette tâche, les temps de réponse des participants lorsqu’ils font correspondre un concept d’attribut avec le concept cible sont utilisés comme une indication de la force de leurs associations implicites pour ces deux concepts. Dans l’adaptation de cette tâche implicite, les participants sont présentés des actions en direct effectuées par des acteurs réels et doivent les faire correspondre à des concepts cibles. Les concepts cibles sont les extrémités hautes et basses des dimensions de l’agence ou de l’expérience, en fonction du bloc de l’expérience.

Pour résumer, les variables indépendantes sont le type d’acteur et la classe d’action. Le type d’acteur comporte deux niveaux (c.-à-d. deux acteurs différents, Actor1 et Actor2, jouant dans l’étude). La classe Action comporte deux niveaux : Action Class1 et Action Class2, et chaque classe contient quatre actions. Les participants évaluent les deux acteurs séparément en quatre blocs (un acteur dans chaque bloc), et dans chaque bloc, les acteurs effectuent toutes les actions dans un ordre contrebalancé. Les participants effectuent des évaluations par rapport à deux dimensions prédéfinies et forcées: l’agence et l’expérience. Les quatre blocs de l’expérience sont (1) Actor1 dans Agency Block, (2) Actor2 dans Agency Block, (3) Actor1 dans Experience Block et (4) Actor2 dans Experience Block. L’ordre des blocs est également contrebalancé entre les participants afin que les blocs avec le même agent ne se suivent jamais.

Outre les réponses des participants, les temps de réponse et les coordonnées x-y de la souris sans fil qu’ils utilisent lorsqu’ils se déplacent vers l’une des deux alternatives de réponse sont enregistrés. Ainsi, les variables dépendantes sont la réponse et le temps de réponse (RT) des participants, ainsi que les mesures de l’écart maximal (DM) et de l’aire sous la courbe (AUC), dérivées du suivi de la souris par ordinateur. La réponse de la variable est catégorique; il peut être élevé ou faible, et puisque les évaluations sont effectuées dans l’un des blocs donnés, les réponses peuvent également être étiquetées comme haute agence, faible agence, haute expérience ou faible expérience. Le temps de réponse est une variable continue; Son unité est en secondes, et elle fait référence au temps écoulé entre le début de la présentation d’une action et l’occurrence d’un clic de souris sur l’une des alternatives de réponse. Le DM d’une trajectoire est une variable continue, et il se réfère à la plus grande déviation perpendiculaire entre la trajectoire du ou des participants et la trajectoire idéalisée (ligne droite). L’ASC d’une trajectoire est également une variable continue, et elle fait référence à la zone géométrique entre la trajectoire du ou des participants et la trajectoire idéalisée³².

Stimuli et conception de l’expérience
Une expérience en trois étapes est utilisée dans la présente étude. Les mesures de la troisième partie sont utilisées pour les analyses; Les deux premières parties servent de préparation pour la partie finale. Ci-dessous, nous décrivons chaque partie de l’expérience avec les stimuli et hypothèses expérimentaux.

Dans la partie 1 de l’expérience (partie formation lexicale), les participants suivent une session de formation pour comprendre les concepts d’agence et d’expérience et les niveaux de capacité représentés par les mots High et Low. Pour sélectionner les concepts (n = 12) à utiliser dans cette session de formation, certains des auteurs des travaux en cours ont mené une étude normative³³. Étant donné que la présente étude devait être menée dans les langues maternelles des participants, les concepts ont également été traduits en turc avant d’être normalisés. Les concepts ont été choisis parmi ceux qui étaient fortement associés aux extrémités haute (n = 3) et faible (n = 3) des deux dimensions (six concepts pour chacune). Cette partie est cruciale puisque la compréhension des concepts par les participants devrait guider leurs processus d’évaluation.

Dans la partie 2 de l’expérience (partie identification de l’action), les participants regardent les huit mêmes actions effectuées par Actor1 et Actor2 l’une après l’autre et rapportent quelle est l’action à l’expérimentateur. Cette section sert de vérification de la manipulation ; En présentant toutes les actions lorsque les deux acteurs les exécutent, il est possible de s’assurer que les participants comprennent les actions et sont familiers avec les acteurs avant de commencer le test implicite, où ils doivent faire des évaluations rapides. Les actions sélectionnées pour la classe d’action1 et la classe d’action2 sont celles qui ont obtenu les scores H et les niveaux de confiance les plus élevés (quatre exemples d’action différents dans chaque classe d’action) selon les résultats des deux études normatives (N = 219) pour chaque condition d’acteur menées par certains des auteurs (manuscrit en préparation). Toutes les actions sont effectuées dans un délai égal de 6 s.

Il s’agit d’une étude en cours, qui comporte d’autres volets; Cependant, les hypothèses pour les sections décrites ci-dessus sont les suivantes: (i) le type d’acteur affectera les variables dépendantes; Actor2 produira des TR plus longs, des DM plus élevés et des ASC plus importantes par rapport à Actor1 ; ii) le type d’action aura une incidence sur les mesures dépendantes; La classe d’action 1 produira des RT plus longs, des DM plus élevées et des ASC plus importantes par rapport à la classe d’action 2; (iii) les mesures dépendantes des réponses High et Low pour le même acteur et la même classe d’action différeront selon les dimensions du bloc : Agence et Expérience.

Protocol

Les protocoles expérimentaux de cette étude ont été approuvés par le Comité d’éthique pour la recherche avec des participants humains de l’Université Bilkent. Tous les participants inclus dans l’étude avaient plus de 18 ans, et ils ont lu et signé le formulaire de consentement éclairé avant de commencer l’étude.

1. Étapes générales de conception

NOTA : La figure 1A (vue du haut) et la figure 1B et la figure 1C (vues avant et arrière) illustrent la disposition du laboratoire; Ces chiffres ont été créés par rapport à la configuration originale du laboratoire et à la configuration conçue pour cette étude particulière. La figure 1A montre la disposition de la vue de dessus du laboratoire. Dans cette figure, il est possible de voir des lumières LED sur le plafond et le cabinet d’acteur. Le système de rideau occultant divise la pièce en deux et facilite la manipulation de la lumière en empêchant la lumière de s’infiltrer dans la partie avant de la pièce (zone participante). La figure 1B présente la vue du laboratoire du point de vue de l’expérimentateur. Le participant est assis juste devant l’écran OLED et, à l’aide de l’écran transparent, il peut regarder les actions en direct effectuées par les acteurs. Ils donnent leurs réponses en utilisant le dispositif de réponse (une souris sans fil) devant eux. L’expérimentateur peut regarder simultanément l’acteur à travers l’écran du participant (écran OLED) et les images provenant de la caméra de sécurité. La figure 1C montre les coulisses de l’étude (zone des acteurs) avec la caméra de sécurité et l’ordinateur personnel (PC) de l’acteur, qui ne sont pas visibles par le participant. Les images de la caméra de sécurité vont au PC de la caméra pour établir la communication entre les acteurs et l’expérimentateur. Le PC Actor affiche l’ordre des blocs et les informations d’action suivante à l’acteur afin que l’expérience se déroule sans interruption. Les acteurs peuvent vérifier rapidement l’action suivante tandis que les participants répondent à l’action de l’essai précédent.

Figure 1 : Installation du laboratoire naturaliste. (A) Vue de haut en bas de la configuration du laboratoire naturaliste. (B) Les faces arrière et avant de la configuration expérimentale naturaliste du point de vue du participant. (C) Les faces arrière et avant de la configuration expérimentale naturaliste du point de vue de l’acteur. Veuillez cliquer ici pour voir une version agrandie de cette figure.

1. Concevoir une configuration qui comprend trois ordinateurs, y compris (1) un bureau de contrôle principal (Experimenter PC), (2) un ordinateur portable acteur (Actor PC) et (3) un PC caméra, un dispositif de réponse sans fil (souris participante), deux écrans, un circuit d’éclairage et une caméra de sécurité (voir la figure 2A pour le schéma système de la configuration de cette étude).
   REMARQUE: Le PC de l’expérimentateur sera utilisé par l’expérimentateur pour exécuter les scripts d’expérience, le PC de l’acteur sera utilisé par l’acteur pour suivre les blocs de l’expérience et l’ordre des actions dans les blocs, et le troisième appareil, le PC caméra, sera connecté à la caméra de sécurité située dans la zone de l’acteur et utilisé par l’expérimentateur pour surveiller les coulisses.
2. Connectez les écrans séparés (un pour la présentation des stimuli [Participant Display], qui est l’écran OLED) et un écran pour la surveillance de l’expérience, le dispositif de réponse et le circuit d’éclairage (via des fils ou des connexions sans fil) au PC de l’expérimentateur (voir Figure 2A).
3. Connectez le PC de l’expérimentateur et le PC de l’acteur sur un réseau sans fil pour transmettre aux acteurs des informations relatives à l’état de l’expérience (par exemple, « l’ID de l’action suivante est 'salutation'' ») aux acteurs.
4. Concevez et construisez un circuit d’éclairage qui (voir Figure 2B pour la carte de circuit imprimé) peut être contrôlé par un microcontrôleur pour allumer et éteindre les LED.
   REMARQUE: La figure 3A montre l’utilisation opaque de l’écran OLED utilisé dans l’étude du point de vue de l’expérimentateur. Pour assurer l’opacité, l’arrière-plan de l’écran est réglé en blanc (RVB: 255, 255, 255) et toutes les lumières de la salle (à la fois dans la zone des participants et dans la zone des acteurs) sont éteintes. Le participant voit la fixation avant les stimuli. La figure 3B montre l’utilisation transparente de l’écran numérique dans l’étude du point de vue de l’expérimentateur. Pour permettre la transparence, l’arrière-plan de l’écran est réglé en noir (RVB : 0, 0, 0) et les voyants LED au plafond sont allumés. Le participant regarde l’acteur. La figure 3C montre l’utilisation opaque de l’écran numérique dans l’étude. Pour assurer l’opacité, l’arrière-plan de l’écran est réglé en blanc (RVB: 255, 255, 255) et toutes les lumières de la pièce sont éteintes. Le participant est présenté avec l’écran d’évaluation pour donner une réponse. Ils doivent faire glisser le curseur en haut à gauche ou en haut à droite de l’écran (l’un des deux choix de réponse, Haut ou Bas) à l’aide d’une souris sans fil. Leur trajectoire de souris et leur temps de réponse sont enregistrés.
5. Connectez le microcontrôleur au PC expérimentateur.
6. Stockez les scripts qui exécutent l’expérience dans le PC de l’expérimentateur.
   REMARQUE: La figure 4A montre les coulisses (zone des acteurs) pendant l’expérience. Les lumières avant de la salle (zone participante) sont éteintes et le PC de l’acteur affiche le nom de l’action qui sera effectuée par l’acteur. La figure 4B montre le cabinet d’acteurs dans lequel les acteurs peuvent attendre leur tour et changer de tenue. L’armoire à acteurs n’est pas visible du point de vue du participant, et comme un système de rideau est utilisé, les acteurs peuvent utiliser n’importe quelle entrée qu’ils veulent. Pendant l’expérience, les lumières fluorescentes affichées dans la figure sont éteintes.

Figure 2 : Schéma du système et du câblage. (A) Le schéma du système de la configuration expérimentale naturaliste. (B) Le schéma de câblage du circuit lumineux qui supporte l’écran OLED pendant l’expérience. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Écran OLED du point de vue de l’expérimentateur. (A) Utilisation opaque de l’écran numérique OLED du point de vue de l’expérimentateur. (B) Utilisation transparente de l’écran numérique OLED du point de vue de l’expérimentateur. (C) Utilisation opaque de l’écran numérique OLED du point de vue de l’expérimentateur pendant une période de réponse. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Coulisses de l’expérience. (A) Coulisses pendant un essai expérimental. (B) La borne d’acteurs se trouve à l’arrière de l’écran OLED, dans lequel les acteurs peuvent attendre que leur tour soit visible pendant l’expérience. Veuillez cliquer ici pour voir une version agrandie de cette figure.

2. Conception et mise en œuvre du circuit d’éclairage

1. Étapes à suivre avant d’alimenter les dispositifs/composants du circuit
   1. Pour modifier les états des voyants installés en coulisses (Actor Area), fournissez au PC expérimentateur la possibilité de basculer les voyants sur ON ou OFF.
   2. Pour transmettre les commandes numériques qui seront envoyées par le PC expérimentateur via un câble USB, sélectionnez un microcontrôleur capable de prendre des entrées numériques et de générer une sortie numérique (voir le tableau des matériaux pour le microcontrôleur utilisé dans cette étude).
   3. Sélectionnez un port USB spécifique du PC expérimentateur pour vous connecter à l’entrée USB du microcontrôleur via un câble USB. N’allumez pas le PC avant de vous être assuré que toutes les connexions ont été établies avec succès.
   4. Inclure un module de commutation pour augmenter l’amplitude du signal de sortie (environ 3,3 V) généré par le microcontrôleur.
   5. Connectez la broche de sortie numérique désignée (pour cette expérience, la broche désignée est D9) et les broches de masse du microcontrôleur au module de commutation.
   6. Pour exécuter la charge (les LED), incluez un module MOSFET (ou module MOSFET) à transistor à effet de champ métal-oxyde-semi-conducteur de haute puissance qui est entraîné par le signal généré par le module de commutation, et connectez les broches de signal du module MOSFET à la paire signal-masse correspondante sur le module de commutation.
   7. Connectez les broches du module MOSFET à la charge.
   8. Pour fournir une tension constante régulée aux modules (et indirectement, aux LED), incluez une alimentation LED qui prend l’entrée secteur en courant alternatif (AC) et génère une tension CC constante dans le circuit.
   9. Connectez les sorties de l’alimentation LED aux entrées d’alimentation du module MOSFET et du module de commutation.
2. Étapes à suivre après le câblage des composants du circuit
   1. Connectez le câble USB au port USB sélectionné du PC expérimentateur.
   2. Créez une liaison de communication série entre le microcontrôleur et l’environnement logiciel exécuté sur le PC expérimentateur (voir la sous-section Connexion du microcontrôleur au PC expérimentateur).
   3. Branchez l’alimentation LED à l’entrée secteur CA.

3. Programmation de l’expérience

Remarque : Créez trois scripts expérimentaux principaux (ExperimentScript1.m [Fichier de codage supplémentaire 1], ExperimentScript2.m [Fichier de codage supplémentaire 2] et ExperimentScript3.m [Fichier de codage supplémentaire 3]), ainsi que plusieurs fonctions (RecordMouse.m [Fichier de codage supplémentaire 4], InsideROI.m [Fichier de codage supplémentaire 5], RandomizeTrials.m [Fichier de codage supplémentaire 6], RandomizeBlocks.m [Fichier de codage supplémentaire 7], GenerateResponsePage.m [Fichier de codage supplémentaire 8], GenerateTextures.m [Fichier de codage supplémentaire 9], ActorMachine.m [Fichier de codage supplémentaire 10], MatchIDtoClass.m [Fichier de codage supplémentaire 11] et RandomizeWordOrder.m [Fichier de codage supplémentaire 12]) pour effectuer l’expérience.

REMARQUE: Veuillez vous référer aux scripts associés pour des explications détaillées.

1. Randomisation de l’essai et des ordonnances globales
   1. Définissez et créez deux fonctions pour randomiser les ordres d’essai (RandomizeTrials.m) et les ordres de blocs (RandomizeBlocks.m) qui prennent les paramètres de randomisation (tels que l’ID du participant) comme entrées et renvoient un tableau de séquences pseudorandomisées.
   2. Voir les scripts RandomizeBlocks.m (lignes 2-24) et RandomizeTrials.m (lignes 3-26) pour plus de détails sur la façon dont les séquences randomisées sont générées.
2. Suivi de la réponse (RecordMouse, InsideRoi)
   1. Créez une fonction qui suit et enregistre la trajectoire de la souris des participants et le temps écoulé pendant l’expérience (voir RecordMouse.m).
   2. Créez une fonction d’assistance pour vérifier si les coordonnées cliquées se trouvent à l’intérieur des régions acceptables ou non (voir script InsideRoi.m).
3. Génération de textures pour les instructions et les commentaires (GenerateTextures.m, GenerateResponsePage.m)
   1. Préparez les instructions relatives à l’expérience et les commentaires relatifs aux essais sous forme d’images.
   2. Enregistrez le contenu de ces images dans un fichier .mat (voir le fichier ExperimentImages.mat [Fichier de codage supplémentaire 13]).
   3. Chargez le fichier .mat dans l’espace de travail (voir GenerateTextures.m ligne 25) après avoir créé une fenêtre à l’écran.
   4. Créez une texture distincte et son identifiant pour chaque image (voir GenerateTextures.m lignes 27-165).
   5. Définissez une fonction pour dessiner les textures de page de réponses associées pour chaque script d’expérience (voir GenerateResponsePage.m).
4. Connexion de l’Actor PC à Experimenter PC via TCP/IP
   1. Créez un socket de serveur TCP dans le script (voir ExperimentScript2.m ligne 174) exécuté sur le PC expérimentateur.
   2. Créez un socket client TCP correspondant dans le script (voir ActorMachine.m ligne 16) exécuté sur l’Actor PC.
   3. Envoyez des informations sur le bloc/essai à venir aux acteurs à partir du script (voir les lignes 207, 229 et 278 dans ExperimentScript2.m ou voir les lignes 136, 141, 153, 159 et 297 dans ExperimentScript3.m) exécuté sur le PC Experimenter.
   4. Affichez les informations reçues du PC Experimenter sur la fenêtre à l’écran de l’Actor PC (voir lignes 31-47 dans ActorMachine.m).
5. Connexion du microcontrôleur au PC expérimentateur
   1. Connectez le microcontrôleur à un port USB spécifique (par exemple, PORT 9) pour contrôler l’état (ON ou OFF) des voyants installés en coulisses.
   2. Établissez une communication série entre le microcontrôleur et le PC expérimentateur (voir ligne 185 dans le script ExperimentScript2.m).
   3. Envoyez un signal logique élevé (1) au microcontrôleur à partir du script exécuté sur le PC expérimentateur (voir ligne 290 dans ExperimentScript2.m ou ligne 311 dans les scripts ExperimentScript3.m) pour allumer les voyants lorsque les actions sont affichées via le câble USB.
   4. Envoyez un signal logique bas (0) au microcontrôleur à partir du script exécuté sur le PC expérimentateur (voir ligne 292 dans ExperimentScript2.m ou voir ligne 314 dans les scripts ExperimentScript3.m) pour éteindre les voyants lorsque le participant est censé donner une réponse.

4. Le déroulement d’un échantillon d’expérience

1. Étapes préalables à l’expérimentation
   1. Assurez-vous que tous les appareils du laboratoire (PC expérimentateur, PC appareil photo, PC acteur et écran participant) sont alimentés par un onduleur.
   2. Reliez le microcontrôleur Lightning au PC de l’expérimentateur via un câble USB, de sorte qu’il s’allume automatiquement lorsque le PC de l’expérimentateur s’allume.)
   3. Allumez le PC expérimentateur et vérifiez s’il est connecté au Wi-Fi 5 GHz.
   4. Choisissez le périphérique audio (les haut-parleurs dans le tableau des matériaux) comme périphérique de sortie sonore du PC expérimentateur.
   5. Allumez l’écran des participants et réglez les paramètres de volume sur 80 %.
   6. Définissez les paramètres d’écran du PC expérimentateur pour plusieurs moniteurs. Étendez l’affichage du PC d’expérience à l’affichage du participant. L’affichage du PC de l’expérimentateur sera 1 et l’affichage du participant sera de 2.
   7. Allumez l’Actor PC et vérifiez s’il est connecté au Wi-Fi 5 GHz.
   8. Connectez la caméra de sécurité à l’Actor PC via un câble USB, afin qu’elle soit automatiquement allumée lorsque l’Actor PC est allumé.
   9. Allumez le PC appareil photo et ouvrez l’application appareil photo sur le bureau. Assurez-vous que chaque acteur, ses mouvements, son entrée et sa sortie dans l’armoire sont visibles depuis la caméra.
   10. Assurez-vous que tous les ordinateurs, écrans et périphériques (le dispositif de réponse [souris sans fil du participant], les haut-parleurs, le clavier et la souris du PC expérimentateur et du PC Actor et le microcontrôleur Lightning) fonctionnent correctement.
   11. Accueillir le participant dans une autre salle; Après avoir donné de brèves informations sur l’étude, fournissez le formulaire de consentement et laissez le participant le signer.
   12. Demandez au participant de tirer un numéro d’un sac et dites-lui que le numéro sera son identifiant de participant tout au long de l’étude.
   13. Laissez le participant remplir le formulaire démographique en ligne avec son identifiant de participant anonyme.
       NOTE: Il est crucial que les participants ne voient pas les acteurs avant l’expérience. Ainsi, cette paperasse est remplie dans une autre pièce plutôt que dans la salle d’expérience principale afin que les acteurs puissent prendre des pauses entre les participants.
2. Les étapes de l’expérience
   1. Ouvrez le logiciel d’expérience sur le PC Experimenter, ouvrez le script ExperimentScript1.m et exécutez-le.
   2. Remplissez l’ID du participant et son âge; ensuite, le script commencera la première partie de l’expérience (le premier stimulus visible sera une croix au centre de l’affichage du participant.)
   3. Ouvrez le logiciel d’expérience sur l’Actor PC et ouvrez le script ActorMachine.m.
   4. Placez le PC de la caméra près du PC de l’expérimentateur et assurez-vous que les images provenant de la caméra de sécurité ne sont pas visibles par le participant.
   5. Accueillez le participant dans la salle d’expérience principale et laissez-le s’asseoir devant l’écran du participant.
   6. Dites au participant de s’arranger de manière à ce que la croix soit au milieu et droit devant.
   7. Donnez brièvement des instructions sur les parties de l’expérience en vous référant aux explications et aux durées écrites sur le tableau blanc.
   8. Éteignez toutes les lumières de la salle d’expérience.
3. Expérience partie 1 :
   1. Dites au participant qu’il suivra une formation lexicale/conceptuelle dans la première partie de l’expérience. Avertissez-les de faire attention à suivre les instructions afin qu’ils puissent réussir la formation.
   2. Dites au participant que l’expérience peut être commencée lorsqu’il est prêt.
   3. Appuyez sur le bouton ESC lorsque le participant dit qu’il est prêt pour la première partie.
      REMARQUE: À partir de maintenant, le participant progressera dans l’expérience en lisant les instructions sur l’écran du participant et en sélectionnant l’un des choix. Ils recevront des commentaires sur leurs bonnes et mauvaises réponses afin qu’ils puissent bien progresser dans la formation. L’appariement se poursuivra jusqu’à ce que les participants atteignent le seuil minimum (80%) dans les 10 répétitions de blocs.
   4. Lorsque le participant a terminé la partie formation, appuyez sur le bouton ESC et indiquez au participant que l’expérimentateur prend le contrôle de la souris pour démarrer la deuxième partie de l’expérience.
4. Expérience partie 2 :
   1. Ouvrez le script ExperimentScript2.m et attendez l’invite En attendant le PC de l’acteur.
   2. Sonnez la cloche lorsque l’invite s’affiche afin que l’un des acteurs puisse exécuter le script sur le PC de l’acteur pour activer la connexion avec le PC expérimentateur.
   3. Attendez que l’invite Experiment Part 2 soit prête.
   4. Dites au participant que maintenant que l’écran sera transparent pendant qu’il regarde quelques courtes actions à travers lui.
   5. Avertissez-les de surveiller attentivement chaque action et informez-les qu’ils doivent dire ce qu’est l’action à haute voix.
   6. Dites au participant que l’expérience peut être commencée lorsqu’il est prêt.
   7. Appuyez sur le bouton ESC lorsque le participant dit qu’il est prêt pour la première partie.
      REMARQUE: Le participant progresse dans les instructions et regarde la première action. Actor1 effectue les actions lorsque les voyants LED sont allumés, et ils vérifient l’action suivante à partir de l’invite sur l’Actor PC lorsque les lumières sont éteintes. À la fin de chaque action, une boîte de dialogue apparaît sur l’écran du PC expérimentateur.
   8. Tapez ce que le participant dit à propos de l’action dans la boîte de dialogue et tapez 1 ou 0 dans la deuxième boîte de dialogue en fonction de la bonne ou de la mauvaise identification de l’action, respectivement.
      NOTE: Ces étapes seront répétées huit fois pour le premier acteur, et la musique de fond commencera à jouer quand il sera temps pour les acteurs de changer de place.
   9. Regardez les coulisses à partir des images de la caméra de sécurité sur le PC de la caméra.
   10. Appuyez sur le bouton ESC pour démarrer l’identification d’Actor2 lorsque l’acteur agite ses mains vers la caméra de sécurité avec le geste Je suis prêt .
   11. Répétez l’étape 4.4.7 et l’étape 4.4.8 avec le participant jusqu’à ce que les huit mêmes actions soient également identifiées pendant qu’elles sont effectuées par Actor2.
   12. Lorsque le participant voit l’avertissement L’identification est terminée et quitte la pièce en cliquant sur la flèche, appuyez sur le bouton ESC et indiquez au participant que l’expérimentateur prend le contrôle de la souris pour commencer la troisième partie de l’expérience.
5. Expérience partie 3 :
   1. Ouvrez le script ExperimentScript3.m.
   2. Dites au participant qu’il regardera les actions des deux acteurs, puis il cliquera sur l’option qu’il pense appropriée.
      NOTE: Les participants évalueront les actions des acteurs en quatre blocs. Dans deux des blocs, Actor1 effectuera les actions, et dans les deux autres, Actor2 effectuera les mêmes actions. Dans deux des blocs, les participants évalueront les actions en attribuant des capacités élevées ou faibles de l’Agence, et dans les deux autres, ils attribueront des capacités d’expérience élevée ou faible.
   3. Appuyez sur le bouton ESC lorsque le participant dit qu’il est prêt pour la troisième partie.
      REMARQUE: Le participant progresse dans les instructions et commence par le premier bloc. Les acteurs exécutent les actions dans la lumière, et pendant que les participants donnent leurs réponses, l’écran devient opaque, et les lumières sont éteintes afin que les acteurs puissent voir quelle action est à venir. À la fin de chaque bloc, les acteurs changent de place en suivant les instructions sur le PC de l’acteur.
   4. Vérifiez si tout se passe bien dans les coulisses et si le bon acteur mène la bonne action pendant les blocs.
   5. Appuyez sur le bouton ESC pour démarrer le bloc suivant lorsque le bon acteur agite ses mains avec le geste Je suis prêt après le remplacement des acteurs.
   6. Répétez les étapes 4.5.4 et 4.5.5 en coopération avec le participant et l’acteur jusqu’à ce que les quatre blocs soient terminés.
   7. Lorsque le participant voit le message L’expérience est terminée, merci d’appuyer sur le bouton ESC .
   8. Remerciez le participant et, après avoir fait un compte rendu et recueilli les signatures, envoyez-le à l’extérieur.

La figure 5 montre un exemple d’essai du point de vue du participant. La figure 5A montre le participant regardant le curseur au centre de l’écran dans son utilisation opaque. La figure 5B montre le participant regardant les stimuli d’action réelle à travers l’écran. La figure 5C montre l’écran d’évaluation présenté au participant après les stimuli, dans lequel il doit faire glisser la souris vers l’une des deux alternatives dans chaque coin supérieur de l’écran.

Figure 5 : Écran OLED du point de vue du participant. (A) Utilisation opaque de l’écran numérique OLED du point de vue du participant lors d’un écran de fixation. (B) Utilisation transparente de l’écran numérique OLED du point de vue du participant lors de la présentation d’une action en direct. (C) Utilisation opaque de l’écran numérique OLED du point de vue du participant pendant la période de réponse. Veuillez cliquer ici pour voir une version agrandie de cette figure.

5. Prétraitement et analyse des données

1. Segmentation des données en conditions
   1. Lisez tous les fichiers de données des participants dans l’espace de travail de l’environnement logiciel.
   2. Définissez les conditions pour regrouper les données (deux classes d’action [Classe d’action1 et Classe d’action2] x deux acteurs [Acteur1 et Acteur2] x deux dimensions [Agence et Expérience] x deux niveaux [Haut et Faible]).
   3. Segmentez les données en quatre groupes principaux : Agence élevée, Agence faible, Expérience élevée et Expérience faible.
   4. Divisez ces groupes principaux en quatre sous-groupes (deux acteurs x deux classes d’action).
   5. Parcourez chaque fichier de données en boucle pour regrouper les essais qui appartiennent à l’un des quatre sous-groupes définis précédemment.
   6. Stockez les informations d’essai pertinentes (temps de réponse, mouvement du curseur et points temporels auxquels la position du curseur est échantillonnée) dans des structures de données distinctes pour chaque sous-groupe.
   7. Quittez la boucle lorsque toutes les versions d’essai sont regroupées.
2. Visualisation des trajectoires
   1. Après avoir segmenté les données, procédez comme suit pour visualiser les trajectoires de la souris.
   2. Pour appliquer l’interpolation temporelle aux trajectoires de réponse, pour chaque essai, sélectionnez 101 paires (x,y) dans le tableau de trajectoires afin que chaque sous-groupe de données ait des essais avec un nombre égal de pas de temps.
      REMARQUE: Lors de l’ancrage du nombre de paires à 101, assurez-vous de suivre la convention³²pour effectuer une normalisation correcte de l’heure. Par conséquent, réalisez la normalisation temporelle en utilisant l’équation suivante, où n est le nombre d’échantillons dans un tableau de trajectoires:
      
   3. Calculez la somme des paires (x,y) à chacun des 101 points temporels, puis divisez le résultat obtenu par le nombre total d’essais de ce sous-groupe pour obtenir les moyennes pour chaque sous-groupe (par exemple, Expérience faible Acteur1 ou Expérience Faible Acteur2).
   4. Appliquez une opération de mise à l’échelle aux valeurs de ligne pour visualiser les trajectoires moyennes.
      Remarque : Le plan de coordonnées 2D suppose que les deux axes augmentent à partir du point zéro situé dans le coin inférieur gauche de la fenêtre (en supposant que les coordonnées sont des entiers positifs), tandis que le format de pixel prend le coin supérieur gauche de la fenêtre comme référence (par exemple, point zéro). Ainsi, appliquez une opération de mise à l’échelle pour les coordonnées y (correspondant aux valeurs de ligne au format pixel) des emplacements échantillonnés en extrayant la coordonnée y échantillonnée de chaque essai de la valeur du nombre total de lignes.
   5. Tracez les sous-groupes connexes dans la même figure à des fins de comparaison.
      Remarque : Chaque trajectoire commence au centre du rectangle situé en bas au centre, étiqueté START, et se termine à l’intérieur des rectangles situés dans les coins supérieur gauche ou supérieur droit.

6. Conditions pouvant entraîner une défaillance du système et précautions

REMARQUE: En cas de défaillance du système, il est crucial d’avoir un signe physique (sonnant une cloche) pour informer l’acteur de la défaillance et l’avertir de rester dans un endroit invisible pour le participant.

1. Défaillances dues à une connexion réseau
   1. Si l’un des ordinateurs est connecté à un autre réseau, la demande de connexion TCP/IP échoue et le système affiche une erreur. Pour éviter cela, assurez-vous que le PC expérimentateur et le PC Actor sont sur la même bande du même réseau sans fil.
   2. Pour vous assurer que les deux PC restent sur le même réseau, effacez les réseaux sans fil précédemment connectés des deux PC.
   3. Définissez des adresses IP statiques pour les périphériques du réseau sélectionné, car les adresses IP d’un réseau peuvent changer sans préavis.
   4. Toute déconnexion momentanée (par exemple, en raison d’une panne de courant, d’Internet, etc.) au réseau peut entraîner l’échec du script. Dans ces circonstances, le système doit être redémarré depuis le début pour rétablir la connexion TCP/IP.
      REMARQUE: L’exigence d’adresses IP statiques pour les appareils peut être satisfaite par le fournisseur de services Internet. Certains ports peuvent être désactivés par le système d’exploitation ou le matériel d’un périphérique donné ; Par conséquent, les ports qui doivent être utilisés dans l’expérience doivent être ouverts et ne doivent pas avoir de connexion active tant que le script d’expérience n’est pas lancé.
2. Défaillances dues à des pannes logicielles
   1. L’environnement logiciel peut se bloquer en raison de connexions défaillantes (par exemple, connexion au port série, connexion TCP/IP, connexion d’affichage, etc.), ce qui peut entraîner une perte de données. Pour surmonter ce problème, divisez le script d’expérience principal en plusieurs scripts. Par exemple, s’il y a un bloc qui doit être terminé avant que les acteurs commencent à effectuer des actions, il n’est pas nécessaire de créer un serveur sur le PC de l’expérimentateur pendant ce bloc. Le serveur peut être créé lorsque le bloc qui implique des actions et, par conséquent, nécessite une communication entre le PC expérimentateur et Actor PC, est sur le point de démarrer.

Representative Results

Comparaisons des temps de réponse (RT)
La présente étude est un projet en cours, de sorte que, à titre de résultats représentatifs, les données de la partie principale de l’expérience (partie 3 de l’expérience) sont présentées. Ces données proviennent de 40 participants, dont 23 femmes et 17 hommes, âgés de 18 à 28 ans (M = 22,75, ET = 3,12).

Il a fallu étudier l’étendue de la normalité de la distribution des variables dépendantes afin de choisir la méthode statistique appropriée pour les analyses. Ainsi, le test de Shapiro-Wilk a été effectué pour comprendre si les trois variables dépendantes, à savoir le temps de réponse (RT), l’écart maximal (DM) et l’aire sous la courbe (ASC), étaient distribuées normalement. Les scores ont montré que les données pour le temps de réponse, W = 0,56, p < 0,001, l’écart maximal, W = 0,56, p < 0,001 et l’aire sous la courbe, W = 0,71, p < 0,001, étaient toutes significativement non normales.

L’homogénéité des variances des variables dépendantes a également été vérifiée en appliquant le test de Levene pour les niveaux des variables indépendantes, à savoir le type d’acteur (Actor1 et Actor2) et la classe d’action (classe d’action 1 et classe d’action2). Pour les scores sur le temps de réponse, les variances étaient similaires pour Actor1 et Actor2, F(1, 1260) = 0,32, p = 0,571, mais les variances pour la classe d’action 1 et la classe d’action 2 étaient significativement différentes, F(1, 1260) = 8,82, p = 0,003. Pour les scores sur l’écart maximal, les variances étaient similaires pour Actor1 et Actor2, F(1, 1260) = 3,71, p = 0,542, mais les variances pour la classe d’action1 et la classe d’action2 étaient significativement différentes, F(1, 1260) = 7,51, p = 0,006. Pour les scores sur l’aire sous la courbe, les variances étaient similaires pour la classe d’action1 et la classe d’action 2, F(1, 1260) = 3,40, p = 0,065, mais les variances pour Actor1 et Actor2 étaient significativement différentes, F(1, 1260) = 4,32, p = 0,037.

Étant donné que les données de cette étude ne répondaient pas aux hypothèses normales de distribution et d’homogénéité de la variance de l’ANOVA régulière (analyse de la variance) et que nous avions quatre groupes indépendants sur un résultat continu, l’équivalent non paramétrique d’une ANOVA, le test de Kruskal-Wallis, a été appliqué. Les quatre groupes indépendants ont été dérivés des deux variables de réponse catégorielles (élevée ou faible) dans les deux dimensions de bloc pré-forcé (Agence et Expérience). Comme nous nous sommes intéressés à la façon dont les variables dépendantes différaient entre les réponses des participants dans toutes les dimensions, les données ont été divisées en quatre sous-groupes en fonction des réponses dans la dimension de l’Agence, y compris l’Agence élevée et l’Agence faible, et dans la dimension Expérience, y compris Expérience élevée et Expérience faible. Ci-dessous, les résultats des tests de Kruskal-Wallis pour les trois variables indépendantes sont présentés. Dans tous les cas, le seuil de signification a été fixé à p < 0,05.

Résultats du temps de réponse
La figure 6 présente les temps de réponse des participants en fonction de leurs réponses de haut ou bas dans les quatre dimensions du bloc. Les temps de réponse des participants sont présentés pour chaque niveau des deux variables indépendantes : Type d’acteur et Classe d’action. A1 et A2 représentent respectivement l’acteur 1 et l’acteur 2, tandis que AC1 et AC2 représentent respectivement la classe d’action 1 et la classe d’action 2.

Figure 6 : Temps de réponse des participants à la tâche pour le type d’acteur et la classe d’action. Chaque panneau montre le temps que les participants ont passé à répondre à l’un des niveaux (élevé ou faible) de la dimension particulière (Agence et expérience). Les astérisques montrent des différences significatives entre les niveaux de type d’acteur ou de classe d’action (p < 0,05). Veuillez cliquer ici pour voir une version agrandie de cette figure.

Les temps de réponse n’ont pas été significativement affectés par le type d’acteur pour les réponses Agency-High, H(1 ) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091, et Experience-High, H(1) = 0,001, p = 0,968, mais ils ont été significativement affectés par le type d’acteur pour les réponses Expérience-Faible, H(1) = 8,54, p = 0,003. Un test de rang signé de Wilcoxon a été calculé pour étudier l’effet du type d’acteur sur les réponses Expérience-Faible. Le temps de réponse médian pour Actor1 (Mdn = 1,14) était significativement plus court que le temps de réponse médian pour Actor2 (Mdn = 1,31), W = 8727, p = 0,001.

Les temps de réponse n’ont pas été affectés de façon significative par la classe d’action pour les réponses Agent-Faible, H(1) = 1,99, p = 0,158, et Expérience-Élevée, H(1) = 0,17, p = 0,675, mais ils ont été significativement affectés par la classe d’action pour l’Agence – Élevée, H(1) = 10,56, p = 0,001, et Expérience-Faible, H(1) = 5,13, p = 0,023, réponses. Les résultats du test de rang signé de Wilcoxon ont démontré que pour les réponses Agency-High, le temps de réponse médian pour la classe d’action 1 (Mdn = 1,30 ) était significativement plus long que le temps de réponse médian pour la classe d’action 2 (Mdn = 1,17 ), W = 17433, p = 0,0005; De plus, pour les réponses Expérience faible, le temps de réponse médian pour la classe d’action 1 (Mdn = 1,44) était significativement plus long que le temps de réponse médian pour la classe d’action2 (Mdn = 1,21), W = 10002, p = 0,011.

Résultats du suivi de la souris
Les mouvements de souris des participants pendant qu’ils décidaient de leur réponse finale ont également été enregistrés. Les informations sur l’heure et le lieu ont été recueillies pour calculer les trajectoires motrices moyennes des participants. L’enregistrement a commencé lorsque les participants ont vu les stimuli verbaux à l’écran et s’est terminé lorsqu’ils ont donné une réponse en cliquant sur l’une des options (Haut ou Bas) dans les coins supérieur droit ou supérieur gauche de l’écran.

La figure 7 présente les écarts maximaux des mouvements de souris des participants en fonction de leurs réponses High ou Low en quatre dimensions de bloc. Les écarts maximaux des participants par rapport à la ligne droite idéalisée de la réponse sélectionnée vers la réponse alternative non sélectionnée sont présentés pour chaque niveau des deux variables indépendantes, Type d’acteur et Classe d’action. A1 et A2 représentent respectivement l’acteur 1 et l’acteur 2, tandis que AC1 et AC2 représentent la classe d’action 1 et la classe d’action 2, respectivement.

Figure 7: La déviation maximale des trajectoires de souris des participants selon le type d’acteur et la classe d’action. Chaque panneau montre l’écart maximal des participants par rapport à la ligne droite idéalisée de la réponse sélectionnée vers la réponse alternative non sélectionnée tout en répondant vers l’un des niveaux (élevé ou faible) pour la dimension particulière (Agence et expérience). Les astérisques montrent des différences significatives entre les niveaux de type d’acteur ou de classe d’action (p < 0,05). Veuillez cliquer ici pour voir une version agrandie de cette figure.

Les écarts maximaux n’ont pas été significativement affectés par le type d’acteur pour Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655, et Experience-High, H(1) = 0,12, p = 0,720, réponses, mais ils ont été significativement affectés par le type d’acteur pour les réponses Experience-Low, H(1) = 7,07, p = 0,007. Un test de classement signé de Wilcoxon a été effectué pour étudier l’effet du type d’acteur sur les réponses Experience-Low. L’écart maximal médian pour Actor1 (Mdn = 0,03) était significativement plus court que l’écart maximal médian pour Actor2 (Mdn = 0,05), W = 8922, p = 0,003.

Les écarts maximaux n’ont pas été affectés de manière significative par la classe d’action pour les réponses Agence-Élevé, H(1) = 0,37, p = 0,539, et Expérience-Élevé, H(1) = 1,84, p = 0,174, mais ils ont été significativement affectés par la classe d’action pour l’Agence faible, H(1) = 8,34, p = 0,003, et Expérience-Faible, H(1) = 11,53, p = 0,0006, réponses. Les résultats du test de rang signé de Wilcoxon ont démontré que pour les réponses Agency-Low, l’écart maximal médian pour la classe d’action 1 (Mdn = 0,06) était significativement plus long que l’écart maximal médian pour la classe d’action 2 (Mdn = 0,02), W = 12516, p = 0,0019. De plus, pour les réponses Expérience-Faible, l’écart maximal médian pour la Classe d’action 1 (Mdn = 0,09) était significativement plus long que l’écart maximal médian pour la Classe d’action 2 (Mdn = 0,03), W = 10733, p = 0,0003.

La figure 8 présente les aires sous la courbe des trajectoires de souris des participants en fonction de leurs réponses High ou Low en quatre dimensions de bloc. Les aires sous la courbe des réponses des participants en référence à la ligne droite idéalisée de la réponse sélectionnée sont présentées pour chaque niveau des deux variables indépendantes, Type d’acteur et Classe d’action. A1 et A2 représentent respectivement l’acteur 1 et l’acteur 2, tandis que AC1 et AC2 représentent la classe d’action 1 et la classe d’action 2, respectivement.

Figure 8 : Les aires sous la courbe par rapport à la trajectoire idéalisée des mouvements de souris des participants. Chaque panneau montre la zone sous la courbe pendant que les participants répondent vers l’un des niveaux (élevé ou faible) dans la dimension particulière (Agence ou Expérience). Les astérisques montrent des différences significatives entre les niveaux de type d’acteur ou de classe d’action (p < 0,05). Veuillez cliquer ici pour voir une version agrandie de cette figure.

Les aires sous les courbes n’ont pas été significativement affectées par le type d’acteur pour Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827, et Experience-High, H(1) = 0,96, p = 0,324, réponses, mais elles ont été significativement affectées par le type d’acteur pour les réponses Experience-Low, H(1) = 8,51, p = 0,003. Un test de rang signé de Wilcoxon a été calculé pour étudier l’effet du type d’acteur sur les réponses Expérience-Faible. L’aire médiane sous la courbe pour Actor1 (Mdn = −0,03) était significativement plus snauque que l’aire médiane sous la courbe pour Actor2 (Mdn = 0,02), W = 8731, p = 0,0017.

Les zones sous les courbes n’ont pas été significativement affectées par la classe d’action pour les réponses Agence-Élevé, H(1) = 0,01, p = 0,913, mais elles ont été significativement affectées par la classe d’action pour l’Agence - Faible, H(1) = 7,54, p = 0,006, Expérience élevée, H(1) = 5,87, p = 0,015 et Expérience - Faible, H(1) = 15,05, p = 0,0001, réponses. Les résultats du test de rang signé de Wilcoxon ont démontré que pour les réponses Agency-Low, l’aire médiane sous la courbe pour la classe d’action 1 (Mdn = 0,03) était significativement supérieure à l’aire médiane sous la courbe pour la classe d’action2 (Mdn = −0,03), W = 12419, p = 0,003, et pour les réponses Expérience-Élevé, l’aire médiane sous la courbe pour la classe d’action 1 (Mdn = −0,06) était significativement inférieur à l’écart maximal médian pour la classe d’action 2 (Mdn = −0,02), W = 9827, p = 0,007. Pour les réponses Expérience-Faible, l’aire médiane sous la courbe pour la classe d’action1 (Mdn = 0,05) était significativement supérieure à l’aire médiane sous la courbe pour la classe d’action2 (Mdn = −0,03), W = 11049, p < 0,0001.

Résumé et évaluation des résultats représentatifs
Comme il s’agit d’une étude en cours, une partie représentative des données dont nous disposerons à la fin de la collecte de données à grande échelle a été présentée. Cependant, même ces données d’échantillon appuient l’efficacité de la méthode proposée dans la présente étude. Nous avons pu obtenir les temps de réponse et les trajectoires de souris des participants pendant qu’ils donnaient leurs réponses après avoir regardé des actions en temps réel. Nous pouvions compléter toutes ces étapes sur le même écran afin que les participants ne changent pas de modalité entre regarder les acteurs réels et donner les réponses de la souris, ce qui nous permet d’étendre les procédures dans les expériences à des scénarios réels.

Le tableau 1 résume les résultats de la façon dont les mesures dépendantes, y compris les temps de réponse, la DM et l’ASC des trajectoires de souris, ont été affectées par le type d’acteur et la classe d’action, qui étaient les principales variables indépendantes de l’étude.

	Temps de réponse (RT)		Déviation maximale (DM)		Aire sous la courbe (ASC)
	Type d’acteur	Classe Action	Type d’acteur	Classe Action	Type d’acteur	Classe Action
Agence élevée	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agence faible	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Expérience élevée	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Expérience faible	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tableau 1 : Résumé des résultats. Le tableau montre comment les mesures dépendantes (les temps de réponse, DM et ASC des trajectoires des souris) ont été affectées par les principales variables indépendantes (type d’acteur et classe d’action) de l’étude. *, **, et *** représentent les niveaux de signification p ≤ 0,05, p ≤ 0,01 et p ≤ 0,001, respectivement.

Le type d’acteur a eu un effet significatif sur les temps de réponse des participants; alors qu’ils affectaient une faible capacité dans la dimension Expérience, ils ont passé plus de temps à le faire pour Actor2 que pour Actor1 dans la même condition (voir Figure 6D). Nous avons également observé ce temps de réponse plus long dans les mesures des mouvements de souris basées sur la DM et l’ASC (voir Figure 9 pour les trajectoires). Les DM des trajectoires des souris vers des réponses faibles (voir Figure 7D) étaient significativement plus élevées, et les ASC des trajectoires de souris (voir Figure 8D) étaient significativement plus grandes lorsque les participants évaluaient Actor2 par rapport à Actor 1 (en comparant les lignes bleues de la Figure 9A,B).

Figure 9 : Les trajectoires moyennes des souris des participants lors de l’évaluation des actions effectuées par Actor1 et Actor2 dans la dimension Expérience. Les lignes orange montrent les trajectoires moyennes des souris vers des réponses élevées; les lignes bleues montrent les trajectoires moyennes des souris vers les réponses faibles. Les lignes droites pointillées noires représentent les trajectoires de réponse idéalisées, tandis que les zones grisées représentent les écarts-types moyens au carré de la racine. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Les temps de réponse des participants, alors qu’ils répondaient Élevé aux actions appartenant à la classe d’action 1 dans la dimension Agence (voir figure 6A), étaient significativement plus élevés que pour les actions appartenant à la classe d’action 2; toutefois, ces temps de réponse plus longs n’ont pas été observés dans les mesures DM (voir la figure 7A) et de l’ASC (voir la figure 8A). Tout en répondant à la classe d’action faible à la classe d’action1 dans la dimension Expérience, les participants ont consacré beaucoup plus de temps qu’ils n’en ont passé pour la classe d’action 2 (voir la figure 6D), et cela était également évident dans les scores DM (voir Figure 7D) et ASC (voir Figure 8D). La figure 10 montre que les DM des trajectoires des souris vers les réponses faibles (voir la figure 7D) étaient significativement plus élevées, et que les ASC des trajectoires des souris (voir la figure 8D) étaient significativement plus grandes pendant que les participants évaluaient les actions appartenant à la classe d’action 1 par rapport à la classe d’action 2 (en comparant les lignes bleues de la figure 10A, B).

Figure 10 : Les trajectoires moyennes des souris des participants lors de l’évaluation des acteurs effectuant les actions appartenant à la classe d’action 1 et à la classe d’action 2 dans la dimension Expérience. Les lignes orange montrent les trajectoires moyennes des souris vers des réponses élevées; les lignes bleues montrent les trajectoires moyennes des souris vers les réponses faibles. Les lignes droites pointillées noires représentent les trajectoires de réponse idéalisées, tandis que les zones grisées représentent les écarts-types moyens au carré de la racine. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Bien qu’aucun effet significatif de la classe d’action sur les mesures du temps de réponse pour les autres combinaisons bloc-réponse n’ait été observé, un effet significatif de la classe d’action a été observé dans les scores DM (voir la figure 7B) et ASC (voir la figure 8B) des réponses faibles dans la dimension Agence. La figure 11 montre que les participants ont hésité vers l’option Élevée et se sont davantage orientés vers la réponse faible lorsqu’ils évaluaient les actions de la classe d’action 1 par rapport à celles de la classe d’action 2 (en comparant les lignes bleues des figures 11A et B). Enfin, bien qu’il n’y ait pas eu d’effet significatif de la classe d’action sur les scores RT et DM pour les réponses élevées sur la dimension Expérience, un effet significatif a été observé pour les ASC (voir la figure 8C) des trajectoires (voir la figure 10); plus précisément, les participants ont hésité davantage lors de l’évaluation de la classe d’action 2 par rapport à la classe d’action 1 (en comparant les lignes orange de la figure 10A, B).

Figure 11 : Les trajectoires moyennes des souris des participants lors de l’évaluation des acteurs réalisant les actions appartenant à la classe d’action 1 et à la classe d’action 2 dans la dimension de l’Agence. Les lignes orange montrent les trajectoires moyennes des souris vers des réponses élevées; les lignes bleues montrent les trajectoires moyennes des souris vers les réponses faibles. Les lignes droites pointillées noires représentent les trajectoires de réponse idéalisées, tandis que les zones grisées représentent les écarts-types moyens au carré de la racine. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Les résultats obtenus jusqu’à présent soutiennent nos hypothèses, qui suggéraient qu’il y aurait un effet du type d’acteur et de la classe d’action et que les mesures dépendantes des réponses élevées et faibles pour le même acteur et la même classe d’action différeraient selon les dimensions de bloc de l’agence et de l’expérience. Comme il s’agit d’une étude en cours, il n’entre pas dans le cadre du présent document de discuter des raisons possibles des résultats. Cependant, à titre de remarque préliminaire, nous pourrions souligner que même si certains résultats pour le temps de réponse et les mesures provenant du suivi de la souris de l’ordinateur se complétaient, dans certaines conditions de réponse en bloc, nous avons observé que les participants hésitaient vers l’autre alternative même lorsqu’ils étaient rapides dans leurs évaluations.

Si un écran OLED spécial n’était pas inclus dans la configuration, les temps de réponse des participants pourraient toujours être collectés avec d’autres outils tels que des boutons à appuyer. Cependant, les mouvements de la souris des participants ne pouvaient pas être suivis sans fournir un écran supplémentaire et que les participants regardent cet écran et les vrais acteurs d’avant en arrière, ce qui, à son tour, retarderait leurs réponses. Ainsi, bien que les temps de réponse soient des indicateurs utiles de la difficulté du processus de prise de décision, les trajectoires de souris des participants en révèlent davantage sur la dynamique en temps réel de leurs processus de décision avant leurs réponses finales^32,34.

Fichier de codage supplémentaire 1 : ExperimentScript1.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 2 : ExperimentScript2.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 3 : ExperimentScript3.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 4: RecordMouse.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 5: InsideROI.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 6 : RandomizeTrials.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 7: RandomizeBlocks.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 8 : GenerateResponsePage.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 9: GenerateTextures.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 10: ActorMachine.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 11: MatchIDtoClass.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 12: RandomizeWordOrder.m Veuillez cliquer ici pour télécharger ce fichier.

Fichier de codage supplémentaire 13 : fichier ExperimentImages.mat Veuillez cliquer ici pour télécharger ce fichier.

Discussion

L’objectif global de la présente étude est de contribuer à notre compréhension du fonctionnement de la perception visuelle et de la cognition humaines de haut niveau dans des situations réelles. Cette étude s’est concentrée sur la perception de l’action et a suggéré un paradigme expérimental naturaliste mais contrôlable qui permet aux chercheurs de tester la façon dont les individus perçoivent et évaluent les actions des autres en présentant des acteurs réels dans un cadre de laboratoire.

L’importance de cette méthodologie proposée par rapport aux méthodologies existantes est triple. (1) Le caractère naturel des stimuli est maximisé en présentant des actions réelles aux participants. (2) Les stimuli du monde réel (c.-à-d. les acteurs), les autres stimuli verbaux (par exemple, les mots ou les instructions) et l’écran de réponse des acteurs et des actions sont présentés en utilisant la même modalité (c’est-à-dire l’écran OLED numérique) afin que les participants ne perdent pas leur concentration pendant qu’ils changent la modalité, comme dans les cas de l’utilisation du verre de l’obturateur, par exemple³⁵. (3) Les données sensibles au temps, telles que les données sur la durée de réponse et les trajectoires de la souris, qui nécessitent un contrôle strict du temps sont enregistrées en utilisant une tâche naturelle du monde d’aujourd’hui, l’utilisation de la souris.

Certaines étapes critiques du protocole sont importantes pour que ce paradigme fonctionne de manière transparente et permette aux chercheurs d’atteindre leurs objectifs tout en offrant une expérience décente aux participants. Ces étapes sont tout aussi importantes pour la création d’un tel système, c’est pourquoi nous les présentons individuellement sans les ordonner en fonction de leurs niveaux de criticité.

La première étape critique concerne la manipulation de l’éclairage de la salle et le changement de couleur du fond utilisé pour l’écran d’affichage du participant. Cette étape permet une transition en douceur entre les performances d’action en temps réel et l’écran de réponse après chaque essai d’action. Lorsque toutes les lumières de la pièce sont éteintes et que l’arrière-plan de l’écran est ajusté en blanc, une opacité de 100% est obtenue afin que les instructions d’étude et les stimuli verbaux puissent être affichés sans aucune distraction pouvant provenir des mouvements en arrière-plan. Pour rendre l’affichage transparent et présenter les stimuli verbaux immédiatement après les stimuli d’action, les lumières LED au plafond sont allumées tout en gardant les lumières avant éteintes pour avoir un affichage transparent. Le circuit d’éclairage est essentiel pour une manipulation appropriée de la lumière dans la pièce. Lorsque les lumières fluorescentes à l’avant (zone des participants) et à l’arrière (zone des acteurs) du laboratoire sont allumées, les images de l’acteur semblent un peu inclinées et le participant voit le reflet de lui-même et de la pièce. Lorsque les lumières avant de la zone des participants sont éteintes et que les lumières LED de la zone des acteurs sont allumées, le participant peut clairement regarder les acteurs sans aucune distraction. Les figures 1 et 3 montrent comment fonctionnent les manipulations de la lumière dans l’expérience.

La deuxième étape critique du protocole est le contrôle du temps. Les actions durent 6 s et l’éclairage à l’arrière de l’écran est automatisé en fonction de la durée des actions afin que nous n’ayons aucun retard ou accélération entre les essais. Cependant, la durée entre les blocs est contrôlée manuellement (c’est-à-dire lorsque nous avons besoin d’un changement d’acteur), de sorte que nous pouvons commencer le bloc suivant après avoir vérifié si tout se passe comme prévu en coulisses. Cette période convient également aux demandes des participants ou des acteurs, telles que le besoin d’eau ou un changement de température dans la salle.

La troisième étape critique concerne l’utilisation de la caméra de sécurité et de la cloche. La caméra de sécurité permet la communication entre le conducteur de l’expérience et les acteurs. L’expérimentateur vérifie en permanence ce qui se passe dans les coulisses, par exemple si l’acteur est prêt ou si le bon acteur est sur scène. Les acteurs agitent leurs mains lorsqu’ils sont prêts à effectuer les actions et font un signe en croix lorsqu’il y a un problème. L’expérimentateur peut même remarquer s’il y a un problème avec l’apparence d’un acteur, comme oublier une boucle d’oreille sur une oreille. La cloche permet à l’expérimentateur d’avertir les acteurs d’un problème probable. Quand ils entendent la cloche, les acteurs vérifient d’abord si quelque chose ne va pas chez eux, et si c’est le cas, ils corrigent le problème et disent à l’expérimentateur qu’ils sont prêts. S’il y a un problème du côté de l’expérimentateur, les acteurs écoutent l’expérimentateur expliquer le problème au participant. Ils attendent silencieusement que l’expérimentateur arrive dans les coulisses pour résoudre le problème, par exemple en se reconnectant après avoir perdu la connexion Internet.

La quatrième étape concerne l’utilisation d’un rideau lourd et occultant pour fendre la pièce, car un tel matériau empêche la lumière de fuir dans la partie avant de la pièce. Ce rideau empêche également le son dans une certaine mesure afin que les participants n’entendent pas les petits mouvements des acteurs et les conversations silencieuses entre l’expérimentateur et les acteurs en cas de problème.

La cinquième étape consiste à inclure l’Actor PC et à établir le TCP/IP comme protocole réseau, car cela garantit que les messages sont livrés à l’autre extrémité, contrairement à UDP. De cette façon, les acteurs peuvent être informés de la prochaine action qu’ils effectueront, et les participants ne s’en rendent pas compte de leur point de vue. De plus, comme tous les périphériques sont sur le même réseau, toute latence supplémentaire éventuelle causée par le TCP/IP devient négligeable.

La sixième étape essentielle du protocole est l’inclusion d’une musique de fond entre les blocs. Nous avons arrangé la musique et les blocs de manière à ce que lorsque le participant répond au dernier essai d’un bloc, la musique commence à jouer fort (à 80% du volume maximum) afin que les acteurs sachent qu’il est temps de changer, et les participants sachent qu’ils peuvent boire de l’eau ou reposer leurs yeux. Jouer de la musique permet une transition en douceur entre les acteurs sans entendre leurs mouvements ou d’autres sons, ce qui donne un sentiment similaire à celui de regarder une pièce de théâtre au théâtre.

Nous pensons que la configuration naturaliste présentée dans cet article est un excellent outil pour déterminer si les mécanismes qui sous-tendent la perception visuelle des actions des autres qui ont été révélés par les expériences de laboratoire traditionnelles se rapprochent du comportement naturel dans le monde réel. L’observation d’acteurs réels et de leurs actions réelles fournira évidemment une riche source d’informations visuelles et multisensorielles 3D et permettra une actabilité due à la présence physique et sociale de l’acteur. Par conséquent, nous émettons l’hypothèse que la perception des actions en direct peut susciter des réponses comportementales et neuronales plus rapides et améliorées dans le réseau de perception d’action bien connu précédemment révélé par des expériences de laboratoire traditionnelles utilisant des images et des vidéos statiques. De plus, la perception des actions en direct peut conduire à des circuits neuronaux supplémentaires qui traitent des indices de profondeur^{3D 36} et des informations vestibulaires pour coordonner le corps dans l’espace tout en se préparant à agir dans le monde³⁷. L’une des limites de la présente étude est que les réponses des acteurs réels de la configuration naturaliste n’ont pas été comparées aux réponses que l’on obtiendrait pour des stimuli simplistes tels que des images statiques ou des vidéos. Dans les études futures, nous travaillerons dans ce but en comparant systématiquement les réponses comportementales et neuronales pendant la perception de l’action dans les laboratoires traditionnels avec celles de la configuration naturaliste.

Nous notons également certaines limites du paradigme proposé dans la présente étude sur plusieurs fronts. La première est que, comme la plupart des études naturalistes, cette méthode nécessite des ressources financières et temporelles. Une telle étude sera plus élevée en termes de budget que les études utilisant des stimuli dynamiques préenregistrés présentés sur un affichage régulier, puisque la présente étude comprend un équipement spécial pour afficher les actions réelles, et des acteurs réels participent à l’étude pour chaque session de collecte de données. En outre, le processus de collecte de données pour la présente étude pourrait prendre plus de temps puisque les acteurs réels effectuent les actions à plusieurs reprises; Il y a une limite physique pour eux, contrairement aux études utilisant des images ou des vidéos présentées sur des écrans d’ordinateur. Une autre limitation connexe pourrait être la difficulté de s’assurer que les acteurs exécutent chaque action de la même manière à travers les blocs et les participants; Cependant, avec une formation suffisante, les acteurs peuvent devenir confiants dans chaque action, puisqu’ils sont longs de 6 s. Les travaux futurs pourraient enregistrer des actions en direct, puis utiliser la vision par ordinateur pour quantifier la variabilité entre les différents essais des expériences.

Deuxièmement, le niveau de luminosité de l’écran, lorsqu’il est utilisé de manière opaque, et les changements rapides de l’éclairage entre les écrans opaques et transparents peuvent causer un problème aux participants ayant des problèmes visuels ou des troubles tels que l’épilepsie. Cette limite potentielle a été abordée en demandant aux participants s’ils avaient un tel trouble ou une telle préoccupation au sujet d’un tel scénario et en recrutant ceux qui ont déclaré qu’ils ne seraient pas dérangés par un tel scénario. De plus, aucun des participants ne s’est plaint de la musique que nous avons jouée en arrière-plan pendant les changements d’acteur et de bloc, mais certains participants pourraient être dérangés par un tel bruit. Un remède à cela pourrait être l’utilisation d’écouteurs antibruit. Cependant, ils peuvent également empêcher toute intervention de l’expérimentateur pendant l’étude ou affecter le caractère naturel de la configuration expérimentale.

D’autres modifications possibles pourraient être appliquées au paradigme actuel; Par exemple, si la conception de l’expérience exige que les participants interagissent oralement avec les acteurs, les deux parties peuvent utiliser des microphones à revers. Toutes les connexions réseau peuvent être câblées ou sans fil tant que des connexions TCP/IP peuvent être établies. Les façons de présenter les actions dans un certain contexte pourraient être étudiées et appliquées pour voir si cela contribuerait à accroître la naturalité du paradigme.

La configuration actuelle pourrait être une plate-forme idéale pour les études de neurosciences cognitives et de psychologie cognitive qui nécessitent un timing précis et des stimuli strictement contrôlés dans des conditions prédéfinies. Cela inclut les études qui utilisent des techniques telles que le suivi oculaire, l’EEG du cuir chevelu ou intracrânien, le fNIRS et même la MEG, soit avec des configurations traditionnelles, soit dans des configurations plus mobiles, ce qui est plus réalisable aujourd’hui³⁸. Les chercheurs de ces domaines peuvent personnaliser les propriétés externes de l’installation, telles que l’éclairage de la salle ou le nombre d’acteurs, ainsi que les objets à présenter. Une autre possibilité est que les chercheurs pourraient manipuler les propriétés d’affichage de l’écran numérique pour fournir un affichage plus opaque ou transparent selon les besoins de leur étude. D’autres domaines de recherche possibles dans lesquels la méthodologie proposée peut être utilisée pourraient être la recherche sur l’interaction homme-robot, où les interactions en temps réel entre les humains et les robots sont nécessaires dans des scénarios réalistes.

En conclusion, étant donné la nécessité de passer à des études plus naturalistes qui ressemblent davantage à des situations réelles en neurosciences cognitives 13,14,15,16,17,18,19,20,21,38 , les développements technologiques importants dans l’imagerie naturaliste cerveau-corps (par exemple, l’utilisation simultanée de l’EEG, de la capture de mouvement, de l’EMG et du suivi oculaire) et l’utilisation de l’apprentissage profond comme cadre fondamental pour le traitement de l’information humaine^39,40, nous croyons que c’est le bon moment pour commencer à étudier la perception des actions réelles^, ainsi que ses fondements neuronaux.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)