Ein naturalistischer Aufbau zur Darstellung realer Menschen und Live-Aktionen in experimenteller Psychologie und kognitiven neurowissenschaftlichen Studien

Summary

Diese Studie stellt einen naturalistischen Versuchsaufbau vor, der es den Forschern ermöglicht, Aktionsreize in Echtzeit zu präsentieren, Reaktionszeit- und Maus-Tracking-Daten zu erhalten, während die Teilnehmer nach jeder Reizanzeige reagieren, und die Akteure zwischen den Versuchsbedingungen mit einem einzigartigen System zu wechseln, das einen speziellen transparenten OLED-Bildschirm (Organic Light Emitting Diode) und Lichtmanipulation umfasst.

Abstract

Die Wahrnehmung der Handlungen anderer ist entscheidend für das Überleben, die Interaktion und die Kommunikation. Trotz jahrzehntelanger Forschung in den kognitiven Neurowissenschaften, die sich dem Verständnis der Wahrnehmung von Handlungen widmet, sind wir noch weit davon entfernt, ein neuronal inspiriertes Computer-Vision-System zu entwickeln, das sich der menschlichen Handlungswahrnehmung annähert. Eine große Herausforderung besteht darin, dass Handlungen in der realen Welt aus zeitlich sich entfaltenden Ereignissen im Raum bestehen, die "hier und jetzt" stattfinden und handlungsfähig sind. Im Gegensatz dazu haben die visuelle Wahrnehmung und die bisherige Forschung in den kognitiven Neurowissenschaften die Handlungswahrnehmung durch 2D-Displays (z. B. Bilder oder Videos) weitgehend untersucht, bei denen die Präsenz von Akteuren in Raum und Zeit fehlt, so dass diese Displays nur begrenzt handlungsfähig sind. Trotz des wachsenden Wissens auf diesem Gebiet müssen diese Herausforderungen überwunden werden, um die grundlegenden Mechanismen der Wahrnehmung des Handelns anderer in der realen Welt besser zu verstehen. Das Ziel dieser Studie ist es, einen neuartigen Aufbau vorzustellen, um naturalistische Laborexperimente mit Live-Schauspielern in Szenarien durchzuführen, die sich realen Umgebungen annähern. Das Kernelement des in dieser Studie verwendeten Aufbaus ist ein transparenter OLED-Bildschirm (Organic Light Emitting Diode), durch den die Teilnehmer die Live-Aktionen eines physisch anwesenden Schauspielers verfolgen können, während das Timing ihrer Präsentation präzise gesteuert wird. In dieser Arbeit wurde dieser Aufbau in einem Verhaltensexperiment getestet. Wir glauben, dass der Aufbau den Forschern helfen wird, grundlegende und bisher unzugängliche kognitive und neuronale Mechanismen der Handlungswahrnehmung aufzudecken, und eine Grundlage für zukünftige Studien sein wird, die soziale Wahrnehmung und Kognition in naturalistischen Umgebungen untersuchen.

Introduction

Eine grundlegende Fähigkeit für das Überleben und die soziale Interaktion ist die Fähigkeit, die Handlungen anderer wahrzunehmen und zu verstehen und mit ihnen in der Umgebung zu interagieren. Die bisherige Forschung der letzten Jahrzehnte hat wesentlich zum Verständnis der Grundprinzipien beigetragen, wie Individuen die Handlungen anderer wahrnehmen und verstehen 1,2,3,4,5,6,7,8,9,10,11 . Angesichts der Komplexität von Interaktionen und der Umstände, unter denen sie auftreten, besteht jedoch ein offensichtlicher Bedarf, den Wissensbestand in naturalistischen Umgebungen weiterzuentwickeln, um ein vollständigeres Verständnis dieser komplexen Fähigkeit im täglichen Leben zu erreichen.

In natürlichen Umgebungen, wie z. B. in unserem täglichen Leben, weisen Wahrnehmung und Kognition verkörperte, eingebettete, erweiterte und aktive Merkmale^{auf 12}. Im Gegensatz zu internalistischen Darstellungen von Gehirnfunktionen, die dazu neigen, die Rolle des Körpers und der Umwelt zu unterschätzen, konzentrieren sich zeitgenössische Ansätze zur verkörperten Kognition auf die dynamische Kopplung von Gehirn, Körper und Umwelt. Auf der anderen Seite neigen die meisten sozialpsychologischen, kognitiven und neurowissenschaftlichen Forschungen zur Handlungswahrnehmung dazu, davon auszugehen, dass die Verwendung gut kontrollierter und vereinfachter Versuchsdesigns unter Laborbedingungen (z. B. Bilder oder Videos in computergestützten Aufgaben) zu Ergebnissen führt, die auf komplexere Szenarien wie Interaktionen in der realen Welt verallgemeinert werden können 1,2,3,4,5,6,7 ,8,9,10,11. Diese Annahme garantiert, dass unter vielen Umständen robuste und zuverlässige Daten gewonnen werden können. Eine bekannte Herausforderung besteht jedoch darin, dass die Aussagekraft der Modelle, die aus sorgfältig kontrollierten Experimenten abgeleitet wurden, begrenzt ist, wenn sie in einem realen Kontext getestet werden¹³. Folglich wurden weitere Untersuchungen 13,14,15,16,17,18,19,20,21,22 durchgeführt^, um die ökologische und externe Validität von Stimuli und Versuchsdesigns in verschiedenen Forschungsfeldern zu untersuchen.

In dieser Studie wird eine neuartige Methode vorgeschlagen, um zu untersuchen, wie Individuen die Handlungen anderer wahrnehmen und bewerten, indem Live-Aktionen verwendet werden, die von einem realen, physisch anwesenden Akteur ausgeführt werden. Es werden Szenarien verwendet, die realen Kontexten ähneln, während die Experimentatoren die Kontrolle über mögliche Störfaktoren haben. Diese Studie ist eine Form der "naturalistischen Laborforschung" im Rahmen von Matusz et al.14, die als Zwischenstufe zwischen der "klassischen Laborforschung", die sich der maximalen Kontrolle über die Reize und der Umgebung bedient, oft auf Kosten der Natürlichkeit, und der "vollständig naturalistischen Realforschung", die darauf abzielt, die Natürlichkeit auf Kosten der Kontrolle über die Stimulation und die Umgebung zu maximieren, aufgefasst werden^{kann 14}. Die Studie zielt darauf ab, den Bedarf an empirischen Untersuchungen auf dieser Ebene in der Aktionswahrnehmungsforschung zu adressieren, um die Lücke zwischen den Erkenntnissen zu schließen, die in traditionellen Laborexperimenten mit einem hohen Maß an experimenteller Kontrolle gewonnen wurden, und den Erkenntnissen, die in Studien gewonnen wurden, die in völlig uneingeschränkten, natürlichen Umgebungen durchgeführt wurden.

Kontrollierte versus uneingeschränkte Experimente
Die experimentelle Kontrolle ist eine effiziente Strategie für die Planung von Experimenten, um eine bestimmte Hypothese zu testen, da sie es Forschern ermöglicht, Zielvariablen von wahrscheinlichen Störfaktoren zu isolieren. Es ermöglicht auch, dieselbe Hypothese mit bestimmten Ergänzungen zu überprüfen, z. B. die Verwendung leicht oder völlig unterschiedlicher Stimuli im selben Design oder das Testen derselben Stimuli in alternativen Versuchsaufbauten. Die systematische Untersuchung durch kontrollierte Experimente ist eine traditionelle Form der Methodik in der Forschung in der Kognitionswissenschaft und relevanten Bereichen. Kontrollierte Experimente tragen nach wie vor dazu bei, das Wissen über die Grundprinzipien kognitiver Prozesse in verschiedenen Forschungsbereichen wie Aufmerksamkeit, Gedächtnis und Wahrnehmung zu etablieren. Neuere Forschungen haben jedoch auch die Grenzen traditioneller Laborexperimente in Bezug auf die Verallgemeinerung der Ergebnisse auf reale Umgebungen anerkannt, und die Forscher wurden ermutigt, Studien in verbesserten ökologischen Umgebungen durchzuführen 13,14,15,16,17,18,19,20,21 . Diese Verschiebung zielt darauf ab, zwei wichtige Probleme in Bezug auf die Diskrepanz zwischen traditionellen Laborexperimenten und realen Umgebungen anzugehen. Erstens ist die Welt außerhalb des Labors weniger deterministisch als in Experimenten, was die Repräsentationskraft systematischer experimenteller Manipulationen einschränkt. Zweitens ist das menschliche Gehirn sehr anpassungsfähig, was aufgrund der praktischen Einschränkungen bei der Konzeption und Durchführung experimenteller Studien oft unterschätzt wird²². Das Konzept der "ökologischen Validität"^23,24 wurde verwendet^, um Methoden zur Lösung dieses Problems zu adressieren. Der Begriff wird in der Regel verwendet, um eine Voraussetzung für die Verallgemeinerung experimenteller Befunde auf die reale Welt außerhalb des Laborkontextes zu bezeichnen. Ökologische Validität wurde auch dahingehend interpretiert, dass sie sich auf die Validierung virtuell naturalistischer Versuchsaufbauten mit uneingeschränkten Stimuli bezieht, um sicherzustellen, dass das Studiendesign analog zu realen Szenarien ist²⁵. Aufgrund der hohen Varianz in der Interpretation dieses Begriffs ist ein Verständnis der Vor- und Nachteile alternativer Methoden und der Stimulusauswahl erforderlich.

Ebenen des Naturalismus in Stimuli und Versuchsplanung
Frühere Arbeiten in der experimentellen Psychologie und den kognitiven Neurowissenschaften haben eine breite Palette von Reizen mit unterschiedlichen Naturalismusstufen verwendet²⁶. Die meisten Forscher bevorzugen statische Bilder oder kurze dynamische Videos, da diese Reize leichter vorzubereiten sind als solche, die eine reale Aktion oder ein Ereignis simulieren könnten. Obwohl diese Stimuli Vorteile haben, erlauben sie es den Forschern nicht, kontingente Verhaltensweisen unter sozialen Akteuren zu messen. Mit anderen Worten, sie sind nicht handlungsfähig und haben keine soziale Affordanz²⁷. In den letzten Jahren wurde eine Alternative zu diesen nicht-interaktiven Reizen entwickelt: Echtzeit-Animationen virtueller Avatare. Diese Avatare ermöglichen es, die Interaktionen zwischen Avataren und ihren Nutzern zu untersuchen. Die Verwendung virtueller Avatare ist jedoch mit einer geringeren Besorgnis der Nutzer verbunden, insbesondere wenn sie in Bezug auf ihr realistisches und kontingentes Verhalten nicht besonders ansprechend erscheinen²⁶. Daher besteht nun ein größeres Interesse daran, reale soziale Reize in experimentellen Studien zu verwenden. Obwohl ihr Design, ihre Datenaufzeichnung und -analyse fortschrittliche Geräte und komplexe Datenanalysen erfordern können, sind sie die besten Kandidaten, um naturalistisches menschliches Verhalten und Kognition zu verstehen.

Die vorliegende Studie schlägt eine Methodik vor, um reale soziale Stimuli in einer Laborumgebung zu nutzen. Ziel dieser Studie ist es, zu untersuchen, wie Menschen das Handeln anderer in einem Setting mit erhöhter ökologischer Validität im Vergleich zu traditionellen Laborexperimenten wahrnehmen und bewerten. Wir haben ein neuartiges Setup entwickelt und beschrieben, in dem die Teilnehmer realen Akteuren ausgesetzt sind, die physisch anwesend sind und die gleiche Umgebung mit ihnen teilen. In diesem Protokoll werden die Reaktionszeiten der Teilnehmer und die Trajektorien der Maus gemessen, was ein präzises Timing der Reizpräsentation und eine strenge Kontrolle der experimentellen Bedingungen in diesem verbesserten ökologischen Umfeld erfordert. Daher hebt sich das experimentelle Paradigma von den in der Literatur vorhandenen Rahmenbedingungen ab, da die Natürlichkeit der Reize maximiert wird, ohne die Kontrolle über die Umgebung zu opfern. Im Folgenden stellt das Protokoll die Schritte zur Einrichtung eines solchen Systems vor und fährt dann mit den repräsentativen Ergebnissen für die Probendaten fort. Abschließend wird eine Diskussion der Bedeutung, der Grenzen und der Pläne für Modifikationen des Paradigmas vorgestellt.

Versuchsplanung
Bevor wir zum Protokollteil übergehen, beschreiben wir die in der vorliegenden Studie verwendeten Parameter und stellen die Details der Stimuli zusammen mit dem experimentellen Design vor.

Parameter in der Studie
Diese Studie zielt darauf ab, zu messen, wie sich die Art des Schauspielers und die Art der von ihm ausgeführten Handlungen auf die Wahrnehmungsprozesse der Teilnehmer auswirken. In dem Protokoll wird der Prozess der geistigen Wahrnehmung in zwei Hauptdimensionen gemessen, nämlich Handlungsfähigkeit und Erfahrung, wie in früheren Forschungen vorgeschlagen²⁸. Die Höhen und Tiefen dieser beiden Dimensionen sind ebenfalls enthalten, wie kürzlich von Li et ^al.29 vorgestellt.

Die Struktur der Studie wurde von der Einzelkategorie-Version³⁰ der häufig verwendeten impliziten Assoziationsaufgabe (IAT)³¹ inspiriert. In dieser Aufgabe werden die Antwortzeiten der Teilnehmer, während sie ein Attributkonzept mit dem Zielkonzept abgleichen, als Hinweis auf die Stärke ihrer impliziten Assoziationen für diese beiden Konzepte verwendet. Bei der Adaption dieser impliziten Aufgabe werden den Teilnehmern Live-Aktionen von realen Akteuren präsentiert und aufgefordert, diese mit Zielkonzepten abzugleichen. Die Zielkonzepte sind die oberen und unteren Enden der Agentur- oder Erlebnisdimensionen, je nach Block des Experiments.

Zusammenfassend lässt sich sagen, dass die unabhängigen Variablen "Actor Type" und "Action Class" sind. Der Akteurstyp hat zwei Ebenen (d. h. zwei verschiedene Akteure, Akteur1 und Akteur2, die in der Studie auftreten). Die Aktionsklasse hat zwei Ebenen: Aktionsklasse1 und Aktionsklasse2, und jede Klasse enthält vier Aktionen. Die Teilnehmer bewerten die beiden Akteure separat in vier Blöcken (ein Akteur in jedem Block), und in jedem Block führen die Akteure alle Aktionen in einer ausbalancierten Reihenfolge aus. Die Teilnehmer führen Evaluationen in Bezug auf zwei vordefinierte und forcierte Dimensionen durch: Agency und Experience. Die vier Blöcke im Experiment sind (1) Actor1 im Agency-Block, (2) Actor2 im Agency-Block, (3) Actor1 im Experience-Block und (4) Actor2 im Experience-Block. Auch die Reihenfolge der Blöcke wird unter den Teilnehmern ausgeglichen, so dass die Blöcke mit dem gleichen Agenten nie aufeinander folgen.

Neben den Antworten der Teilnehmer werden auch die Antwortzeiten und die x-y-Koordinaten der drahtlosen Maus aufgezeichnet, die sie verwenden, während sie sich auf eine der beiden Antwortalternativen zubewegen. Die abhängigen Variablen sind also die Antwortvariable und die Antwortzeit (RT) der Teilnehmer sowie die Messungen der maximalen Abweichung (MD) und der Fläche unter der Kurve (AUC), die aus dem Computer-Mouse-Tracking abgeleitet werden. Die variable Antwortvariable ist kategorisch; Es kann "Hoch" oder "Niedrig" sein, und da die Bewertungen in einem der angegebenen Blöcke durchgeführt werden, können die Antworten auch als "High-Agency", "Low-Agency", "High-Experience" oder "Low-Experience" gekennzeichnet werden. Die Antwortzeit ist eine kontinuierliche Variable. Die Einheit ist Sekunden und bezieht sich auf die verstrichene Zeit zwischen dem Beginn der Präsentation einer Aktion und dem Auftreten eines Mausklicks auf eine der Antwortalternativen. Der MD einer Trajektorie ist eine kontinuierliche Variable und bezieht sich auf die größte senkrechte Abweichung zwischen der Trajektorie des/der Teilnehmer(s) und der idealisierten Trajektorie (Gerade). Die AUC einer Trajektorie ist ebenfalls eine kontinuierliche Variable und bezieht sich auf die geometrische Fläche zwischen der Trajektorie des/der Teilnehmer(s) und der idealisierten Trajektorie³².

Stimuli und Versuchsaufbau
In der vorliegenden Studie wird ein dreistufiges Experiment verwendet. Für die Analysen werden die Messungen aus dem dritten Teil verwendet; Die ersten beiden Teile dienen als Vorbereitung für den letzten Teil. Im Folgenden beschreiben wir jeden Teil des Experiments zusammen mit den experimentellen Stimuli und Hypothesen.

In Experiment Teil 1 (lexikalischer Trainingsteil) absolvieren die Teilnehmer eine Trainingseinheit, um die Konzepte von Agency und Experience sowie die Kapazitätsstufen zu verstehen, die mit den Wörtern High und Low dargestellt werden. Um die Konzepte (n = 12) auszuwählen, die in dieser Trainingseinheit verwendet werden sollen, führten einige der Autoren der aktuellen Arbeit eine normative Studie³³ durch. Da die vorliegende Studie in den Muttersprachen der Teilnehmer durchgeführt werden sollte, wurden die Konzepte auch ins Türkische übersetzt, bevor sie normalisiert wurden. Es wurden Konzepte ausgewählt, die stark mit dem hohen (n = 3) und niedrigen (n = 3) Ende der beiden Dimensionen (jeweils sechs Konzepte) assoziiert waren. Dieser Teil ist von entscheidender Bedeutung, da von den Teilnehmern erwartet wird, dass das Verständnis der Konzepte ihre Bewertungsprozesse leitet.

In Experiment Teil 2 (Aktionsidentifikationsteil) sehen die Teilnehmer nacheinander die gleichen acht Aktionen, die von Akteur1 und Akteur2 ausgeführt werden, und berichten dem Experimentator, was die Aktion ist. Dieser Abschnitt dient als Manipulationsprüfung. Durch die Darstellung aller Aktionen, wenn beide Akteure sie ausführen, kann sichergestellt werden, dass die Teilnehmer die Aktionen verstehen und mit den Akteuren vertraut sind, bevor sie mit dem impliziten Test beginnen, bei dem sie schnelle Bewertungen vornehmen müssen. Die für die Aktionsklasse 1 und die Aktionsklasse 2 ausgewählten Maßnahmen sind diejenigen, die die höchsten H-Werte und Konfidenzniveaus (vier verschiedene Aktionsbeispiele in jeder Aktionsklasse) gemäß den Ergebnissen der beiden normativen Studien (N = 219) für jede Akteursbedingung aufwiesen, die von einigen der Autoren durchgeführt wurden (Manuskript in Vorbereitung). Alle Aktionen werden innerhalb einer gleichen Zeitdauer von 6 s ausgeführt.

Dies ist eine fortlaufende Studie, die einige andere Komponenten enthält. Die Hypothesen für die oben beschriebenen Abschnitte lauten jedoch wie folgt: (i) Die Art des Akteurs wirkt sich auf die abhängigen Variablen aus; Akteur2 führt im Vergleich zu Akteur1 zu längeren RTs, höheren MDs und größeren AUCs. (ii) die Art der Maßnahme wirkt sich auf die abhängigen Messungen aus; Die Aktionsklasse 1 führt im Vergleich zur Aktionsklasse 2 zu längeren RTs, höheren MDs und größeren AUCs. (iii) Die abhängigen Messungen für hohe und niedrige Antworten für denselben Akteur und dieselbe Aktionsklasse unterscheiden sich in den Blockdimensionen: Agency und Experience.

Protocol

Die experimentellen Protokolle in dieser Studie wurden von der Ethikkommission für Forschung mit menschlichen Teilnehmern der Bilkent University genehmigt. Alle Studienteilnehmer waren über 18 Jahre alt und lasen und unterschrieben die Einwilligungserklärung vor Beginn der Studie.

1. Allgemeine Designschritte

HINWEIS: Abbildung 1A (Draufsicht) und Abbildung 1B und Abbildung 1C (Vorder- und Rückansicht) zeigen das Laborlayout; Diese Abbildungen wurden unter Berücksichtigung des ursprünglichen Laboraufbaus und der Konfiguration erstellt, die für diese spezielle Studie entworfen wurden. Abbildung 1A zeigt das Draufsicht-Layout des Labors. In dieser Abbildung sind LED-Leuchten an der Decke und am Schauspielerschrank zu sehen. Das Verdunkelungsvorhangsystem teilt den Raum in zwei Hälften und hilft bei der Lichtmanipulation, indem es verhindert, dass Licht in den vorderen Teil des Raumes (Teilnehmerbereich) eindringt. Abbildung 1B zeigt die Sicht des Labors aus der Perspektive des Experimentators. Der Teilnehmer sitzt direkt vor dem OLED-Bildschirm und kann über das durchsichtige Display die Live-Aktionen der Schauspieler verfolgen. Sie geben ihre Antworten, indem sie das Antwortgerät (eine drahtlose Maus) vor sich verwenden. Der Experimentator kann den Schauspieler gleichzeitig über das Teilnehmerdisplay (OLED-Bildschirm) und das Filmmaterial der Überwachungskamera beobachten. Abbildung 1C zeigt die Kulissen der Studie (Actor Area) mit der Überwachungskamera und dem Actor Personal Computer (PC), die für den Teilnehmer nicht sichtbar sind. Die Aufnahmen der Überwachungskamera gehen an den Kamera-PC, um die Kommunikation zwischen den Schauspielern und dem Experimentator herzustellen. Der Actor PC zeigt dem Actor die Blockreihenfolge und die Informationen zur nächsten Aktion an, so dass das Experiment ohne Unterbrechung abläuft. Die Schauspieler können die nächste Aktion schnell überprüfen, während die Teilnehmer auf die Aktion im vorherigen Versuch reagieren.

Abbildung 1: Naturalistischer Laboraufbau. (A) Draufsicht auf den naturalistischen Laboraufbau. (B) Die Vorder- und Rückseite des naturalistischen Versuchsaufbaus aus der Sicht des Teilnehmers. (C) Die Vorder- und Rückseite des naturalistischen Versuchsaufbaus aus der Sicht des Schauspielers. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

1. Entwerfen Sie ein Setup, das drei Computer umfasst, darunter (1) einen Hauptsteuerungs-Desktop (Experimenter-PC), (2) einen Actor-Laptop (Actor-PC) und (3) einen Kamera-PC, ein drahtloses Reaktionsgerät (Participant Mouse), zwei Displays, einen Beleuchtungskreis und eine Überwachungskamera (siehe Abbildung 2A für das Systemdiagramm des Aufbaus dieser Studie).
   HINWEIS: Der Experimentator-PC wird vom Experimentator verwendet, um die Experimentskripte auszuführen, der Actor-PC wird vom Actor verwendet, um die Blöcke des Experiments und die Reihenfolge der Aktionen in den Blöcken zu verfolgen, und das dritte Gerät, der Kamera-PC, wird mit der Überwachungskamera im Actor-Bereich verbunden und vom Experimentator zur Überwachung des Backstage-Bereichs verwendet.
2. Verbinden Sie die separaten Displays (eines für die Darstellung von Stimuli [Participant Display], d. h. den OLED-Bildschirm) und einen Bildschirm für die Überwachung des Experiments, des Antwortgeräts und des Beleuchtungskreises (über Kabel oder drahtlose Verbindungen) mit dem Experimentator-PC (siehe Abbildung 2A).
3. Verbinden Sie den Experimenter-PC und den Actor-PC über ein drahtloses Netzwerk, um Informationen zum Experimentstatus (z. B. "Die nächste Aktions-ID ist 'Begrüßung'") an die Actors zu übermitteln.
4. Entwerfen und bauen Sie eine Beleuchtungsschaltung, die (siehe Abbildung 2B für die Leiterplatte) von einem Mikrocontroller gesteuert werden kann, um die LEDs ein- und auszuschalten.
   HINWEIS: Abbildung 3A zeigt die undurchsichtige Verwendung des in der Studie verwendeten OLED-Bildschirms aus der Sicht des Experimentators. Um die Deckkraft zu gewährleisten, wird der Hintergrund des Bildschirms auf Weiß (RGB: 255, 255, 255) eingestellt und alle Lichter im Raum (sowohl im Teilnehmerbereich als auch im Akteurbereich) ausgeschaltet. Der Teilnehmer sieht die Fixierung vor den Reizen. Abbildung 3B zeigt die transparente Nutzung des digitalen Bildschirms in der Studie aus Sicht des Experimentators. Um Transparenz zu ermöglichen, wird der Hintergrund des Bildschirms auf Schwarz eingestellt (RGB: 0, 0, 0) und die LED-Leuchten an der Decke sind eingeschaltet. Der Teilnehmer beobachtet den Schauspieler. Abbildung 3C zeigt die undurchsichtige Nutzung des digitalen Bildschirms in der Studie. Um die Deckkraft zu gewährleisten, wird der Hintergrund des Bildschirms auf Weiß eingestellt (RGB: 255, 255, 255) und alle Lichter im Raum ausgeschaltet. Dem Teilnehmer wird der Bewertungsbildschirm angezeigt, um eine Antwort zu geben. Sie müssen den Cursor mit einer drahtlosen Maus nach oben links oder oben rechts auf dem Bildschirm ziehen (eine der beiden Antwortoptionen, entweder Hoch oder Niedrig). Die Flugbahn und die Reaktionszeit der Maus werden aufgezeichnet.
5. Schließen Sie den Mikrocontroller an den Experimenter-PC an.
6. Speichern Sie die Skripte, die das Experiment ausführen, auf dem Experimenter-PC.
   HINWEIS: Abbildung 4A zeigt den Backstage-Bereich (Actor Area) während des Experiments. Die Frontlichter des Raums (Teilnehmerbereich) sind ausgeschaltet und der Akteur-PC zeigt den Namen der Aktion an, die vom Akteur ausgeführt wird. Abbildung 4B zeigt das Schauspielerkabinett, in dem die Schauspieler warten können, bis sie an der Reihe sind, und ihre Outfits wechseln können. Das Schauspielerkabinett ist aus der Sicht des Teilnehmers nicht sichtbar, und da ein Vorhangsystem verwendet wird, können die Schauspieler jeden beliebigen Eingang benutzen. Während des Experiments sind die in der Abbildung gezeigten Leuchtstoffröhren ausgeschaltet.

Abbildung 2: System- und Schaltplan . (A) Das Systemdiagramm des naturalistischen Versuchsaufbaus. (B) Der Schaltplan des Lichtkreises, der den OLED-Bildschirm während des Experiments unterstützt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Abbildung 3: OLED-Bildschirm aus der Sicht des Experimentators. (A) Undurchsichtige Verwendung des digitalen OLED-Bildschirms aus der Sicht des Experimentators. (B) Transparente Nutzung des digitalen OLED-Bildschirms aus Sicht des Experimentators. (C) Undurchsichtige Verwendung des digitalen OLED-Bildschirms aus Sicht des Experimentators während einer Reaktionszeit. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Abbildung 4: Hinter den Kulissen des Experiments. (A) Hinter den Kulissen während eines Versuchs. (B) Der Schauspielerschrank befindet sich auf der Rückseite des OLED-Bildschirms, in dem die Schauspieler warten können, bis sie während des Experiments an der Reihe sind. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

2. Entwurf und Implementierung des Beleuchtungskreises

1. Schritte, die Sie befolgen müssen, bevor Sie die Geräte/Komponenten des Stromkreises mit Strom versorgen
   1. Um die Zustände der LEDs zu ändern, die hinter der Bühne (Actor Area) installiert sind, geben Sie dem Experimenter-PC die Möglichkeit, die LEDs entweder ein- oder auszuschalten.
   2. Um die digitalen Befehle, die vom Experimenter-PC über ein USB-Kabel gesendet werden, zu übertragen, wählen Sie ein Mikrocontroller-Gerät aus, das digitale Eingänge aufnehmen und einen digitalen Ausgang erzeugen kann (siehe Materialtabelle für den in dieser Studie verwendeten Mikrocontroller).
   3. Wählen Sie einen bestimmten USB-Anschluss des Experimenter-PCs aus, um ihn über ein USB-Kabel an den USB-Eingang des Mikrocontrollers anzuschließen. Schalten Sie den PC erst ein, wenn Sie sich vergewissert haben, dass alle Verbindungen erfolgreich hergestellt wurden.
   4. Fügen Sie ein Schaltmodul hinzu, um die Amplitude des vom Mikrocontroller erzeugten Ausgangssignals (ca. 3,3 V) zu erhöhen.
   5. Verbinden Sie den dafür vorgesehenen digitalen Ausgangspin (für dieses Experiment ist der vorgesehene Pin D9) und die Massepins des Mikrocontrollers mit dem Schaltmodul.
   6. Um die Last (die LEDs) zu betreiben, schließen Sie ein Hochleistungs-Metalloxid-Halbleiter-Feldeffekttransistor-Modul (MOSFET) (oder MOSFET-Modul) ein, das durch das vom Schaltmodul erzeugte Signal angesteuert wird, und verbinden Sie die Signalpins des MOSFET-Moduls mit dem entsprechenden Signal-Masse-Paar auf dem Schaltmodul.
   7. Verbinden Sie die Hotbed-Pins des MOSFET-Moduls mit der Last.
   8. Um die Module (und indirekt die LEDs) mit einer geregelten Konstantspannung zu versorgen, ist ein LED-Netzteil erforderlich, das den Wechselstromeingang (AC) übernimmt und eine konstante Gleichspannung im Stromkreis erzeugt.
   9. Verbinden Sie die Ausgänge des LED-Netzteils mit den Stromeingängen des MOSFET-Moduls und des Schaltmoduls.
2. Schritte, die nach der Verdrahtung der Schaltungskomponenten zu befolgen sind
   1. Schließen Sie das USB-Kabel an den ausgewählten USB-Anschluss des Experimenter-PCs an.
   2. Stellen Sie eine serielle Kommunikationsverbindung zwischen dem Mikrocontroller und der Softwareumgebung her, die auf dem Experimenter-PC ausgeführt wird (siehe Unterabschnitt Anschließen des Mikrocontrollers an den Experimenter-PC).
   3. Schließen Sie das LED-Netzteil an den AC-Netzeingang an.

3. Programmierung des Experiments

HINWEIS: Erstellen Sie drei experimentelle Hauptskripte (ExperimentScript1.m [Ergänzende Codierungsdatei 1], ExperimentScript2.m [Ergänzende Codierungsdatei 2] und ExperimentScript3.m [Ergänzende Codierungsdatei 3]) sowie mehrere Funktionen (RecordMouse.m [Ergänzende Codierungsdatei 4], InsideROI.m [Ergänzende Codierungsdatei 5], RandomizeTrials.m [Ergänzende Codierungsdatei 6], RandomizeBlocks.m [Ergänzende Codierungsdatei 7], GenerateResponsePage.m [Ergänzende Codierungsdatei 8], GenerateTextures.m [Ergänzende Codierungsdatei 9], ActorMachine.m [Ergänzende Codierungsdatei 10], MatchIDtoClass.m [Ergänzende Codierungsdatei 11] und RandomizeWordOrder.m [Ergänzende Codierungsdatei 12]), um das Experiment durchzuführen.

HINWEIS: Detaillierte Erläuterungen finden Sie in den entsprechenden Skripten.

1. Randomisierung der Versuchs- und Blockreihenfolgen
   1. Definieren und erstellen Sie zwei Funktionen zum Randomisieren der Versuchsreihenfolgen (RandomizeTrials.m) und Blockreihenfolgen (RandomizeBlocks.m), die die Randomisierungsparameter (z. B. die Teilnehmer-ID) als Eingaben verwenden und ein Array pseudorandomisierter Sequenzen zurückgeben.
   2. Weitere Informationen zur Generierung der randomisierten Sequenzen finden Sie in den Skripts RandomizeBlocks.m (Zeilen 2-24) und RandomizeTrials.m (Zeilen 3-26).
2. Nachverfolgung der Antwort (RecordMouse, InsideRoi)
   1. Erstellen Sie eine Funktion, die die Mausflugbahn der Teilnehmer und die verstrichene Zeit während des Experiments verfolgt und aufzeichnet (siehe RecordMouse.m).
   2. Erstellen Sie eine Hilfsfunktion, um zu überprüfen, ob die angeklickten Koordinaten innerhalb der akzeptablen Bereiche liegen oder nicht (siehe Skript InsideRoi.m).
3. Generierung von Texturen für Instruktionen und Feedbacks (GenerateTextures.m, GenerateResponsePage.m)
   1. Bereiten Sie die Anweisungen zum Experiment und das Feedback zu den Versuchen als Bilder vor.
   2. Speichern Sie den Inhalt dieser Bilder in einer .mat-Datei (siehe Datei ExperimentImages.mat [Ergänzende Codierungsdatei 13]).
   3. Laden Sie die .mat-Datei in den Arbeitsbereich (siehe GenerateTextures.m Zeile 25), nachdem Sie ein Bildschirmfenster erstellt haben.
   4. Erstellen Sie für jedes Bild eine separate Textur und ihren Bezeichner (siehe GenerateTextures.m Zeilen 27-165).
   5. Definieren Sie eine Funktion, um die zugehörigen Antwortseitentexturen für jedes Experimentskript zu zeichnen (siehe GenerateResponsePage.m).
4. Verbinden des Actor-PCs mit dem Experimenter-PC über TCP/IP
   1. Erstellen Sie einen TCP-Server-Socket in dem Skript (siehe ExperimentScript2.m Zeile 174), das auf dem Experimenter-PC ausgeführt wird.
   2. Erstellen Sie einen entsprechenden TCP-Client-Socket in dem Skript (siehe ActorMachine.m Zeile 16), das auf dem Actor-PC ausgeführt wird.
   3. Senden Sie Informationen über den bevorstehenden Block/Versuch an die Akteure aus dem Skript (siehe Zeilen 207, 229 und 278 in ExperimentScript2.m oder siehe Zeilen 136, 141, 153, 159 und 297 in ExperimentScript3.m), das auf dem Experimenter-PC ausgeführt wird.
   4. Zeigen Sie die vom Experimenter-PC empfangenen Informationen im Bildschirmfenster des Actor-PCs an (siehe Zeilen 31-47 in ActorMachine.m).
5. Anschließen des Mikrocontrollers an den Experimenter-PC
   1. Schließen Sie den Mikrocontroller an einen bestimmten USB-Anschluss (z. B. PORT 9) an, um den Zustand (entweder EIN oder AUS) der installierten LEDs hinter der Bühne zu steuern.
   2. Stellen Sie eine serielle Kommunikation zwischen dem Mikrocontroller-Gerät und dem Experimenter-PC her (siehe Zeile 185 im Skript ExperimentScript2.m).
   3. Senden Sie ein logisches High-Signal (1) von dem Skript, das auf dem Experimenter-PC ausgeführt wird (siehe Zeile 290 in ExperimentScript2.m oder Zeile 311 in ExperimentScript3.m-Skripten), an den Mikrocontroller, um die LEDs einzuschalten, wenn die Aktionen über das USB-Kabel angezeigt werden.
   4. Senden Sie ein logisches Low-Signal (0) von dem Skript, das auf dem Experimenter-PC ausgeführt wird (siehe Zeile 292 in ExperimentScript2.m oder Zeile 314 in ExperimentScript3.m-Skripten), an den Mikrocontroller, um die LEDs auszuschalten, wenn vom Teilnehmer eine Antwort erwartet wird.

4. Der Ablauf eines Stichprobenexperiments

1. Schritte vor dem Experiment
   1. Stellen Sie sicher, dass alle Geräte im Labor (Experimenter-PC, Kamera-PC, Actor-PC und Teilnehmer-Display) von einer USV mit Strom versorgt werden.
   2. Verbinden Sie den Lightning-Mikrocontroller über ein USB-Kabel mit dem Experimenter-PC, damit er sich automatisch einschaltet, wenn der Experimentator-PC eingeschaltet wird.)
   3. Schalten Sie den Experimenter-PC ein und prüfen Sie, ob er mit einem 5-GHz-WLAN verbunden ist.
   4. Wählen Sie das Soundgerät (die Lautsprecher in der Materialtabelle) als Tonausgabegerät des Experimentator-PCs aus.
   5. Schalten Sie das Teilnehmerdisplay ein und stellen Sie die Lautstärkeeinstellungen auf 80 % ein.
   6. Legen Sie die Bildschirmeinstellungen des Experimenter-PCs für mehrere Monitore fest. Erweitern Sie das Display des Experiment-PCs auf das Teilnehmer-Display. Die Anzeige des Experimenter-PCs ist 1 und die Teilnehmeranzeige ist 2.
   7. Schalten Sie den Actor-PC ein und prüfen Sie, ob er mit einem 5-GHz-WLAN verbunden ist.
   8. Schließen Sie die Überwachungskamera über ein USB-Kabel an den Actor-PC an, damit sie beim Einschalten des Actor-PCs automatisch eingeschaltet wird.
   9. Schalten Sie den Kamera-PC ein und öffnen Sie die Kameraanwendung auf dem Desktop. Stellen Sie sicher, dass jeder Schauspieler, seine Bewegungen und sein Ein- und Ausstieg in den Schrank von der Kamera aus sichtbar sind.
   10. Stellen Sie sicher, dass alle Computer, Displays und Geräte (das Antwortgerät [drahtlose Maus des Teilnehmers], die Lautsprecher, die Tastatur und die Maus des Experimenter-PCs und des Actor-PCs sowie der Lightning-Mikrocontroller) ordnungsgemäß funktionieren.
   11. Begrüßen Sie den Teilnehmer in einem anderen Raum; Nachdem Sie kurz über die Studie informiert haben, legen Sie die Einverständniserklärung vor und lassen Sie sie vom Teilnehmer unterschreiben.
   12. Bitten Sie den Teilnehmer, eine Nummer aus einer Tasche zu ziehen, und sagen Sie ihm, dass die Nummer während der gesamten Studie seine Teilnehmer-ID sein wird.
   13. Lassen Sie den Teilnehmer das Online-Formular für demografische Daten mit seiner anonymen Teilnehmer-ID ausfüllen.
       HINWEIS: Es ist wichtig, dass die Teilnehmer die Schauspieler vor dem Experiment nicht sehen. Dieser Papierkram wird also in einem anderen Raum als im Hauptexperimentierraum erledigt, damit die Schauspieler zwischen den Teilnehmern Pausen einlegen können.
2. Die Schritte des Experiments
   1. Öffnen Sie die Experimentiersoftware auf dem Experimenter-PC, öffnen Sie das Skript ExperimentScript1.m und führen Sie es aus.
   2. Geben Sie die Teilnehmer-ID und das Alter ein. Dann startet das Skript den ersten Teil des Experiments (der erste sichtbare Reiz ist ein Kreuz in der Mitte des Teilnehmerdisplays).
   3. Öffnen Sie die Experimentiersoftware auf dem Actor-PC, und öffnen Sie das Skript ActorMachine.m.
   4. Platzieren Sie den Kamera-PC in der Nähe des Experimenter-PCs und stellen Sie sicher, dass das von der Überwachungskamera stammende Filmmaterial für den Teilnehmer nicht sichtbar ist.
   5. Begrüßen Sie den Teilnehmer im Hauptexperimentierraum und lassen Sie ihn vor dem Teilnehmerdisplay Platz nehmen.
   6. Sagen Sie den Teilnehmern, dass sie sich so aufstellen sollen, dass das Kreuz in der Mitte und geradeaus ist.
   7. Geben Sie kurz Anweisungen zu den Teilen des Experiments, indem Sie sich auf die Erklärungen und Dauern beziehen, die auf dem Whiteboard stehen.
   8. Schalten Sie alle Lichter im Experimentierraum aus.
3. Experiment Teil 1:
   1. Sagen Sie dem Teilnehmer, dass er im ersten Teil des Experiments ein lexikalisches/konzeptionelles Training absolvieren wird. Warnen Sie sie davor, die Anweisungen zu befolgen, damit sie die Schulung bestehen können.
   2. Sagen Sie dem Teilnehmer, dass das Experiment gestartet werden kann, wenn er bereit ist.
   3. Drücken Sie die ESC-Taste , wenn der Teilnehmer sagt, dass er für den ersten Teil bereit ist.
      HINWEIS: Von nun an durchläuft der Teilnehmer das Experiment, indem er die Anweisungen auf dem Teilnehmerdisplay liest und eine der Optionen auswählt. Sie erhalten Feedback zu ihren richtigen und falschen Antworten, damit sie im Training gut vorankommen können. Das Matching wird so lange fortgesetzt, bis die Teilnehmer innerhalb von 10 Blockwiederholungen die Mindestschwelle (80%) erreichen.
   4. Wenn der Teilnehmer den Trainingsteil abgeschlossen hat, drücken Sie die ESC-Taste und teilen Sie dem Teilnehmer mit, dass der Experimentator die Kontrolle über die Maus übernimmt, um den zweiten Teil des Experiments zu starten.
4. Experiment Teil 2:
   1. Öffnen Sie das Skript ExperimentScript2.m, und warten Sie auf die Eingabeaufforderung Warten auf den Actor-PC.
   2. Läuten Sie die Glocke, wenn die Eingabeaufforderung angezeigt wird, damit einer der Akteure das Skript auf dem Actor-PC ausführen kann, um die Verbindung mit dem Experimenter-PC zu aktivieren.
   3. Warten Sie auf die Eingabeaufforderung Experiment Teil 2 ist fertig.
   4. Sagen Sie dem Teilnehmer, dass der Bildschirm jetzt transparent ist, während er einige kurze Aktionen durch ihn beobachtet.
   5. Warnen Sie sie, jede Aktion genau zu beobachten, und weisen Sie sie darauf hin, dass sie laut sagen sollen, worum es sich handelt.
   6. Sagen Sie dem Teilnehmer, dass das Experiment gestartet werden kann, wenn er bereit ist.
   7. Drücken Sie die ESC-Taste , wenn der Teilnehmer sagt, dass er für den ersten Teil bereit ist.
      HINWEIS: Der Teilnehmer geht durch die Anweisungen und beobachtet die erste Aktion. Actor1 führt die Aktionen aus, wenn die LED-Leuchten eingeschaltet sind, und überprüft die nächste Aktion über die Eingabeaufforderung auf dem Actor-PC, wenn die Leuchten ausgeschaltet sind. Wenn jede Aktion beendet ist, erscheint ein Dialogfeld auf dem Experimenter-PC-Bildschirm.
   8. Geben Sie im Dialogfeld ein, was der Teilnehmer über die Aktion sagt, und geben Sie im zweiten Dialogfeld 1 oder 0 ein, je nachdem, ob die Aktion richtig oder falsch identifiziert wurde.
      HINWEIS: Diese Schritte werden für den ersten Schauspieler achtmal wiederholt, und die Hintergrundmusik beginnt zu spielen, wenn es für die Schauspieler an der Zeit ist, die Plätze zu wechseln.
   9. Sehen Sie sich den Backstage-Bereich von den Aufnahmen der Überwachungskamera auf dem Kamera-PC an.
   10. Drücken Sie die ESC-Taste , um die Identifizierung für Actor2 zu starten, wenn der Actor mit der Geste " Ich bin bereit" mit den Händen in Richtung der Überwachungskamera winkt.
   11. Wiederholen Sie die Schritte 4.4.7 und 4.4.8 gemeinsam mit dem Teilnehmer, bis die gleichen acht Aktionen auch identifiziert werden, während sie von Actor2 ausgeführt werden.
   12. Wenn der Teilnehmer die Warnung "Identifizierung ist abgeschlossen " sieht und den Teil durch Klicken auf den Pfeil verlässt, drücken Sie die ESC-Taste und teilen Sie dem Teilnehmer mit, dass der Experimentator die Kontrolle über die Maus übernimmt, um den dritten Teil des Experiments zu starten.
5. Experiment Teil 3:
   1. Öffnen Sie das Skript ExperimentScript3.m.
   2. Sagen Sie dem Teilnehmer, dass er sich die Aktionen beider Schauspieler ansehen wird, und klicken Sie dann auf die Option, die er für geeignet hält.
      HINWEIS: Die Teilnehmer bewerten in vier Blöcken die Aktionen der Akteure. In zwei der Blöcke führt Akteur1 die Aktionen aus, und in den anderen beiden führt Akteur2 die gleichen Aktionen aus. In zwei der Blöcke bewerten die Teilnehmer die Aktionen, indem sie hohe oder niedrige Agency-Kapazitäten zuweisen, und in den anderen beiden werden sie hohe oder niedrige Erfahrungskapazitäten zuweisen.
   3. Drücken Sie die ESC-Taste , wenn der Teilnehmer sagt, dass er für den dritten Teil bereit ist.
      HINWEIS: Der Teilnehmer geht die Anweisungen durch und beginnt mit dem ersten Block. Die Schauspieler führen die Aktionen im Licht aus, und während die Teilnehmer ihre Antworten geben, wird der Bildschirm undurchsichtig und die Lichter werden ausgeschaltet, damit die Schauspieler sehen können, welche Aktion als nächstes kommt. Wenn jeder Block endet, tauschen die Schauspieler die Plätze, indem sie den Eingabeaufforderungen auf dem Akteur-PC folgen.
   4. Prüfen Sie, ob hinter der Bühne alles gut läuft und ob der richtige Schauspieler während der Blöcke die richtige Aktion durchführt.
   5. Drücken Sie die ESC-Taste , um den nächsten Block zu starten, wenn der rechte Schauspieler nach dem Austausch der Schauspieler mit der Geste " Ich bin bereit" winkt.
   6. Wiederholen Sie Schritt 4.5.4 und Schritt 4.5.5 in Zusammenarbeit mit dem Teilnehmer und dem Darsteller, bis die vier Blöcke vollständig sind.
   7. Wenn der Teilnehmer die Aufforderung Das Experiment ist beendet sieht, drücken Sie die ESC-Taste .
   8. Bedanken Sie sich bei dem Teilnehmer und schicken Sie ihn nach der Nachbesprechung und dem Einholen von Unterschriften los.

Abbildung 5 zeigt eine Beispielstudie aus der Sicht des Teilnehmers. Abbildung 5A zeigt den Teilnehmer, der auf den Cursor in der Mitte des Bildschirms in seiner undurchsichtigen Verwendung blickt. Abbildung 5B zeigt den Teilnehmer, der die Live-Action-Stimuli über den Bildschirm beobachtet. Abbildung 5C zeigt den Auswertungsbildschirm, der dem Teilnehmer nach den Stimuli präsentiert wird, in dem er die Maus zu einer der beiden Alternativen in jeder oberen Ecke des Bildschirms ziehen muss.

Abbildung 5: OLED-Bildschirm aus der Sicht des Teilnehmers. (A) Undurchsichtige Verwendung des digitalen OLED-Bildschirms aus der Sicht des Teilnehmers während eines Fixationsbildschirms. (B) Transparente Nutzung des digitalen OLED-Bildschirms aus der Sicht des Teilnehmers während der Präsentation einer Live-Aktion. (C) Undurchsichtige Nutzung des digitalen OLED-Bildschirms aus der Sicht des Teilnehmers während des Antwortzeitraums. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

5. Datenvorverarbeitung und -analyse

1. Segmentieren von Daten in Bedingungen
   1. Lesen Sie alle Teilnehmerdatendateien in den Arbeitsbereich der Softwareumgebung ein.
   2. Definieren Sie die Bedingungen für die Gruppierung der Daten (zwei Aktionsklassen [Aktionsklasse 1 und Aktionsklasse 2] x zwei Akteure [Akteure 1 und Akteure 2] x zwei Dimensionen [Agentur und Erfahrung] x zwei Ebenen [Hoch und Niedrig]).
   3. Unterteilen Sie die Daten in vier Hauptgruppen: "Agentur hoch", "Agentur niedrig", "Erfahrung hoch" und "Erfahrung niedrig".
   4. Unterteilen Sie diese Hauptgruppen in vier Untergruppen (zwei Akteure x zwei Aktionsklassen).
   5. Durchlaufen Sie jede Datendatei, um die Studien zu gruppieren, die zu einer der vier zuvor definierten Untergruppen gehören.
   6. Speichern Sie die relevanten Studieninformationen (Reaktionszeit, Cursorbewegung und Zeitpunkte, zu denen die Cursorposition abgetastet wird) in separaten Datenstrukturen für jede Untergruppe.
   7. Beenden Sie die Schleife, wenn alle Versuche gruppiert sind.
2. Visualisierung der Trajektorien
   1. Nachdem Sie die Daten segmentiert haben, führen Sie die folgenden Schritte aus, um die Maustrajektorien zu visualisieren.
   2. Um die Zeitinterpolation auf die Trajektorien der Antwortvariablen anzuwenden, wählen Sie für jeden Versuch 101 (x,y)-Paare aus dem Trajektorienarray aus, sodass jede Teilgruppe von Daten Versuche mit einer gleichen Anzahl von Zeitschritten enthält.
      HINWEIS: Wenn Sie die Anzahl der Paare auf 101 verankern, stellen Sie sicher, dass Sie die Konvention³²befolgen, um eine korrekte Zeitnormalisierung durchzuführen. Erreichen Sie daher die Zeitnormalisierung mit der folgenden Gleichung, wobei n die Anzahl der Abtastungen in einem Trajektorienarray ist:
      
   3. Berechnen Sie die Summe der (x,y)-Paare zu jedem der 101 Zeitpunkte und dividieren Sie dann das erhaltene Ergebnis durch die Gesamtzahl der Versuche dieser Untergruppe, um die Mittelwerte für jede Untergruppe zu erhalten (z. B. Erfahrung mit niedrigem Akteur1 oder Erfahrung mit niedrigem Akteur2).
   4. Wenden Sie einen Skalierungsvorgang auf die Zeilenwerte an, um die mittleren Trajektorien zu visualisieren.
      HINWEIS: Die 2D-Koordinatenebene geht davon aus, dass beide Achsen vom Nullpunkt in der unteren linken Ecke des Fensters aus zunehmen (vorausgesetzt, die Koordinaten sind positive ganze Zahlen), während das Pixelformat die obere linke Ecke des Fensters als Referenz verwendet (z. B. Nullpunkt). Wenden Sie daher einen Skalierungsvorgang für die y-Koordinaten (entsprechend den Zeilenwerten im Pixelformat) der abgetasteten Positionen an, indem Sie die abgetastete y-Koordinate jedes Versuchs aus dem Wert der Gesamtzahl der Zeilen extrahieren.
   5. Stellen Sie die zugehörigen Teilgruppen zum Vergleich in derselben Abbildung dar.
      HINWEIS: Jede Flugbahn beginnt in der Mitte des Rechtecks unten in der Mitte, mit START, und endet in den Rechtecken in der oberen linken oder oberen rechten Ecke.

6. Bedingungen, die zu einem Systemausfall führen können, und Vorsichtsmaßnahmen

HINWEIS: Im Falle eines Systemausfalls ist es wichtig, ein physisches Zeichen (Klingeln) zu haben, um den Schauspieler über den Fehler zu informieren und ihn zu warnen, sich an einem Ort aufzuhalten, der für den Teilnehmer unsichtbar ist.

1. Ausfälle aufgrund der Netzwerkverbindung
   1. Wenn einer der Computer mit einem anderen Netzwerk verbunden ist, schlägt die TCP/IP-Verbindungsanforderung fehl und das System zeigt einen Fehler an. Um dies zu verhindern, stellen Sie sicher, dass sich der Experimenter-PC und der Actor-PC auf demselben Band desselben drahtlosen Netzwerks befinden.
   2. Um sicherzustellen, dass sich beide PCs im selben Netzwerk befinden, löschen Sie zuvor verbundene drahtlose Netzwerke von beiden PCs.
   3. Legen Sie statische IP-Adressen für die Geräte im ausgewählten Netzwerk fest, da sich die IP-Adressen in einem Netzwerk ohne vorherige Ankündigung ändern können.
   4. Jede kurzzeitige Unterbrechung der Verbindung (z. B. aufgrund eines Stromausfalls, eines Internetausfalls usw.) zum Netzwerk kann dazu führen, dass das Skript fehlschlägt. Unter diesen Umständen muss das System von Anfang an neu gestartet werden, um die TCP/IP-Verbindung wiederherzustellen.
      HINWEIS: Die Anforderung an statische IPs für Geräte kann vom Internetdienstanbieter erfüllt werden. Bestimmte Ports können durch das Betriebssystem oder die Hardware eines bestimmten Geräts deaktiviert werden. Daher müssen die Ports, die im Experiment verwendet werden sollen, geöffnet sein und dürfen keine aktive Verbindung haben, bis das Experimentskript gestartet wird.
2. Ausfälle aufgrund von Softwareabstürzen
   1. Die Softwareumgebung kann aufgrund fehlgeschlagener Verbindungen (z. B. serielle Schnittstelle, TCP/IP-Verbindung, Bildschirmverbindung usw.) abstürzen, was zu einem Datenverlust führen kann. Um dies zu umgehen, teilen Sie das Hauptexperimentskript in mehrere Skripte auf. Wenn es beispielsweise einen Block gibt, der abgeschlossen werden muss, bevor die Akteure mit der Ausführung von Aktionen beginnen, ist es nicht erforderlich, während dieses Blocks einen Server auf dem Experimenter-PC zu erstellen. Der Server kann erstellt werden, wenn der Block, der Aktionen beinhaltet und daher eine Kommunikation zwischen dem Experimenter-PC und dem Actor-PC erfordert, kurz vor dem Start steht.

Representative Results

Vergleiche der Reaktionszeit (RT)
Da es sich bei der aktuellen Studie um ein fortlaufendes Projekt handelt, werden als repräsentative Ergebnisse Daten aus dem Hauptteil des Experiments (Experiment Teil 3) präsentiert. Diese Daten stammen von 40 Teilnehmern, darunter 23 Frauen und 17 Männer, im Alter von 18 bis 28 Jahren (M = 22,75, SD = 3,12).

Um die geeignete statistische Methode für die Analysen auswählen zu können, war es notwendig, das Ausmaß der Normalverteilung der abhängigen Variablen zu untersuchen. Daher wurde der Shapiro-Wilk-Test durchgeführt, um zu verstehen, ob die drei abhängigen Variablen, nämlich die Antwortzeit (RT), die maximale Abweichung (MD) und die Fläche unter der Kurve (AUC), normal verteilt waren. Die Ergebnisse zeigten, dass die Daten für die Antwortzeit, W = 0,56, p < 0,001, maximale Abweichung, W = 0,56, p < 0,001 und die Fläche unter der Kurve, W = 0,71, p < 0,001, alle signifikant nicht normal waren.

Die Homogenität der Varianzen der abhängigen Variablen wurde auch durch Anwendung des Levene-Tests für die Stufen der unabhängigen Variablen, nämlich Akteurtyp (Akteur1 und Akteur2) und Aktionsklasse (Aktionsklasse1 und Aktionsklasse2), überprüft. Bei den Werten zur Antwortzeit waren die Varianzen für Actor1 und Actor2 ähnlich, F(1, 1260) = 0,32, p = 0,571, aber die Varianzen für die Aktionsklasse1 und die Aktionsklasse 2 waren signifikant unterschiedlich, F(1, 1260) = 8,82, p = 0,003. Für die Werte zur maximalen Abweichung waren die Varianzen für Akteur1 und Akteur2 ähnlich, F(1, 1260) = 3,71, p = 0,542, aber die Varianzen für Aktionsklasse1 und Aktionsklasse2 waren signifikant unterschiedlich, F(1, 1260) = 7,51, p = 0,006. Für die Werte auf der Fläche unter der Kurve waren die Varianzen für Aktionsklasse1 und Aktionsklasse2 ähnlich, F(1, 1260) = 3,40, p = 0,065, aber die Varianzen für Akteur1 und Akteur2 waren signifikant unterschiedlich, F(1, 1260) = 4,32, p = 0,037.

Da die Daten in dieser Studie nicht der Normalverteilung und Homogenität der Varianzannahmen der regulären ANOVA (Varianzanalyse) entsprachen und wir vier unabhängige Gruppen mit einem kontinuierlichen Ergebnis hatten, wurde das nicht-parametrische Äquivalent einer ANOVA, der Kruskal-Wallis-Test, angewendet. Die vier unabhängigen Gruppen wurden aus den beiden kategorialen Antwortvariablen (Hoch oder Niedrig) innerhalb der beiden vorerzwungenen Blockdimensionen (Agency und Experience) abgeleitet. Da wir daran interessiert waren, wie sich die abhängigen Variablen zwischen den Teilnehmerantworten in den Dimensionen unterschieden, wurden die Daten in vier Untergruppen unterteilt, je nach den Antworten in der Agency-Dimension, einschließlich Agency-High und Agency-Low, und in der Experience-Dimension, einschließlich Experience-High und Experience-Low. Im Folgenden werden die Ergebnisse der Kruskal-Wallis-Tests für die drei unabhängigen Variablen dargestellt. In allen Fällen wurde die Signifikanzschwelle auf p < 0,05 festgelegt.

Ergebnisse der Reaktionszeit
Abbildung 6 zeigt die Antwortzeiten der Teilnehmer entsprechend ihrer Antworten von Hoch oder Niedrig in den vier Blockdimensionen. Die Antwortzeiten der Teilnehmer werden für jede Stufe der beiden unabhängigen Variablen dargestellt: Akteurstyp und Aktionsklasse. A1 und A2 stehen für Akteur 1 bzw. Akteur 2, während AC1 und AC2 für Aktionsklasse 1 bzw. Aktionsklasse 2 stehen.

Abbildung 6: Antwortzeiten der Teilnehmer in der Aufgabe für den Akteurtyp und die Aktionsklasse. Jedes Panel zeigt die Zeit, die die Teilnehmer damit verbracht haben, auf eine der Ebenen (Hoch oder Niedrig) der jeweiligen Dimension (Agency und Experience) zu antworten. Die Sternchen zeigen signifikante Unterschiede zwischen den Stufen des Akteurtyps oder der Aktionsklasse (p < .05). Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die Antwortzeiten wurden nicht signifikant durch den Akteurstyp für die Antworten Agency-High, H(1) = 1,03, p = 0,308, Agency-Low, H(1) = 2,84, p = 0,091 und Experience-High, H(1) = 0,001, p = 0,968 Antworten, beeinflusst, aber sie wurden signifikant durch den Akteurstyp für die Experience-Low-Antworten, H(1) = 8,54, p = 0,003. Ein Wilcoxon-Vorzeichen-Rang-Test wurde berechnet, um den Einfluss des Akteurstyps auf die Experience-Low-Antworten zu untersuchen. Die mediane Reaktionszeit für Akteur1 (Mdn = 1,14) war signifikant kürzer als die mediane Reaktionszeit für Akteur2 (Mdn = 1,31), W = 8727, p = 0,001.

Die Antwortzeiten wurden nicht signifikant durch die Aktionsklasse für Agency-Low, H(1) = 1,99, p = 0,158, und Experience-High, H(1) = 0,17, p = 0,675 Antworten, aber sie wurden signifikant durch die Aktionsklasse für Agency-High, H(1) = 10,56, p = 0,001, und Experience-Low, H(1) = 5,13, p = 0,023, Antworten. Die Ergebnisse des Wilcoxon-Vorzeichenrangtests zeigten, dass für die Agency-High-Antworten die mediane Reaktionszeit für die Aktionsklasse 1 (Mdn = 1,30 ) signifikant länger war als die mediane Reaktionszeit für die Aktionsklasse 2 (Mdn = 1,17), W = 17433, p = 0,0005; Darüber hinaus war die mediane Reaktionszeit für die Experience-Low-Antworten für die Aktionsklasse 1 (Mdn = 1,44) signifikant länger als die mediane Reaktionszeit für die Aktionsklasse 2 (Mdn = 1,21), W = 10002, p = 0,011.

Ergebnisse der Mausverfolgung
Die Mausbewegungen der Probanden, während sie über ihre endgültige Antwort entschieden, wurden ebenfalls aufgezeichnet. Die Zeit- und Ortsinformationen wurden gesammelt, um die durchschnittlichen motorischen Flugbahnen der Teilnehmer zu berechnen. Die Aufzeichnung begann, wenn die Teilnehmer die verbalen Reize auf dem Bildschirm sahen, und endete, wenn sie eine Antwort gaben, indem sie auf eine der Optionen (Hoch oder Niedrig) in der oberen rechten oder oberen linken Ecke des Bildschirms klickten.

Abbildung 7 zeigt die maximalen Abweichungen der Mausbewegungen der Teilnehmer entsprechend ihrer Antworten von Hoch oder Niedrig in vier Blockdimensionen. Die maximalen Abweichungen der Teilnehmer von der idealisierten Geraden der ausgewählten Antwortvariablen zur nicht ausgewählten alternativen Antwortvariablen werden für jede Stufe der beiden unabhängigen Variablen Akteurtyp und Aktionsklasse dargestellt. A1 und A2 stehen für Akteur 1 bzw. Akteur 2, während AC1 und AC2 für Aktionsklasse 1 und Aktionsklasse 2 stehen. beziehungsweise.

Abbildung 7: Die maximale Abweichung der Maustrajektorien der Teilnehmer über den Akteurstyp und die Aktionsklasse hinweg. Jedes Panel zeigt die maximale Abweichung der Teilnehmer von der idealisierten geraden Linie der ausgewählten Antwort zur nicht ausgewählten alternativen Antwort, während sie auf eine der Ebenen (Hoch oder Niedrig) für die jeweilige Dimension (Agency und Erfahrung) reagieren. Die Sternchen zeigen signifikante Unterschiede zwischen den Stufen des Akteurtyps oder der Aktionsklasse (p < .05). Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die maximalen Abweichungen wurden nicht signifikant durch den Akteurstyp für Agency-High, H(1) = 1,42, p = 0,232, Agency-Low, H(1) = 0,19, p = 0,655, und Experience-High, H(1) = 0,12, p = 0,720, beeinflusst, aber sie wurden signifikant durch den Akteurstyp für die Experience-Low-Antworten, H(1) = 7,07, p beeinflusst = 0,007. Ein Wilcoxon-Vorzeichen-Rang-Test wurde durchgeführt, um den Einfluss des Akteurstyps auf die Experience-Low-Antworten zu untersuchen. Die mediane maximale Abweichung für Aktor1 (Mdn = 0,03) war signifikant kürzer als die mediane maximale Abweichung für Aktor2 (Mdn = 0,05), W = 8922, p = 0,003.

Die maximalen Abweichungen wurden nicht signifikant durch die Aktionsklasse für Agency-High, H(1) = 0,37, p = 0,539, und Experience-High, H(1) = 1,84, p = 0,174, Antworten, beeinflusst, aber sie wurden signifikant durch die Aktionsklasse für Agency-Low, H(1) = 8,34, p = 0,003, und Experience-Low, H(1) = 11,53, p = 0,0006, Antworten. Die Ergebnisse des Wilcoxon-Vorzeichenrangtests zeigten, dass für die Agency-Low-Antworten die mediane maximale Abweichung für die Aktionsklasse 1 (Mdn = 0,06) signifikant länger war als die mediane maximale Abweichung für die Aktionsklasse 2 (Mdn = 0,02), W = 12516, p = 0,0019. Darüber hinaus war die mediane maximale Abweichung für die Erfahrungs-Niedrig-Antworten für die Aktionsklasse1 (Mdn = 0,09) signifikant länger als die mediane maximale Abweichung für die Aktionsklasse 2 (Mdn = 0,03), W = 10733, p = 0,0003.

Abbildung 8 zeigt die Bereiche unter der Kurve der Mausflugbahnen der Teilnehmer entsprechend ihrer Antworten von Hoch oder Niedrig in vier Blockdimensionen. Die Flächen unter der Kurve der Teilnehmerantworten in Bezug auf die idealisierte Gerade der ausgewählten Antwortvariablen werden für jede Stufe der beiden unabhängigen Variablen Akteurtyp und Aktionsklasse dargestellt. A1 und A2 stehen für Akteur 1 bzw. Akteur 2, während AC1 und AC2 für Aktionsklasse 1 und Aktionsklasse 2 stehen. beziehungsweise.

Abbildung 8: Die Bereiche unter der Kurve in Bezug auf die idealisierte Trajektorie der Mausbewegungen der Teilnehmer. Jedes Panel zeigt den Bereich unter der Kurve, während die Teilnehmer auf eine der Ebenen (Hoch oder Niedrig) in der jeweiligen Dimension (Agentur oder Erfahrung) reagieren. Die Sternchen zeigen signifikante Unterschiede zwischen den Stufen des Akteurtyps oder der Aktionsklasse (p < .05). Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die Bereiche unter den Kurven wurden nicht signifikant durch den Akteurstyp für Agency-High, H(1) = 0,001, p = 0,968, Agency-Low, H(1) = 0,047, p = 0,827 , und Experience-High, H(1) = 0,96, p = 0,324, Antworten, beeinflusst, aber sie wurden signifikant durch den Akteurstyp für die Experience-Low-Antworten, H(1) = 8,51, p beeinflusst = 0,003. Ein Wilcoxon-Vorzeichen-Rang-Test wurde berechnet, um den Einfluss des Akteurstyps auf die Experience-Low-Antworten zu untersuchen. Die mediane Fläche unter der Kurve für Akteur1 (Mdn = −0,03) war signifikant kleiner als die mediane Fläche unter der Kurve für Akteur2 (Mdn = 0,02), W = 8731, p = 0,0017.

Die Bereiche unter den Kurven wurden nicht signifikant von der Aktionsklasse für Agency-High-Antworten, H(1) = 0,01, p = 0,913, beeinflusst, aber sie wurden signifikant von der Aktionsklasse für Agency-Low, H(1) = 7,54, p = 0,006, Experience-High, H(1)= 5,87, p = 0,015, und Experience-Low, H(1) = 15,05, p = 0,0001, Antworten. Die Ergebnisse des Wilcoxon-Vorzeichenrangtests zeigten, dass für die Agency-Low-Antworten die mediane Fläche unter der Kurve für die Aktionsklasse1 (Mdn = 0,03) signifikant größer war als die mediane Fläche unter der Kurve für die Aktionsklasse 2 (Mdn = −0,03), W = 12419, p = 0,003, und für die erfahrungshohen Antworten die mediane Fläche unter der Kurve für die Aktionsklasse 1 (Mdn = −0,06) war signifikant kleiner als die mediane maximale Abweichung für die Auslöseklasse 2 (Mdn = −0,02), W = 9827, p = 0,007. Bei den erfahrungsmäßig niedrigen Antworten war die mediane Fläche unter der Kurve für die Aktionsklasse 1 (Mdn = 0,05) signifikant größer als die mediane Fläche unter der Kurve für die Aktionsklasse 2 (Mdn = −0,03), W = 11049, p < 0,0001.

Zusammenfassung und Auswertung der repräsentativen Ergebnisse
Da es sich um eine fortlaufende Studie handelt, wurde ein repräsentativer Teil der Daten präsentiert, die wir am Ende der groß angelegten Datenerhebung haben werden. Aber auch diese Stichprobendaten unterstützen die Wirksamkeit der in der vorliegenden Studie vorgeschlagenen Methode. Wir konnten die Antwortzeiten und Mausflugbahnen der Teilnehmer ermitteln, während sie ihre Antworten gaben, nachdem sie Echtzeitaktionen beobachtet hatten. Wir konnten all diese Schritte über denselben Bildschirm ausführen, so dass die Teilnehmer die Modalität zwischen dem Beobachten der realen Schauspieler und dem Reagieren der Maus nicht änderten, so dass wir die Verfahren in den Experimenten auf reale Szenarien ausdehnen konnten.

Tabelle 1 fasst die Ergebnisse zusammen, wie die abhängigen Messgrößen, einschließlich der Reaktionszeiten, MD und AUC der Maustrajektorien, durch den Akteurstyp und die Aktionsklasse, die die wichtigsten unabhängigen Variablen der Studie waren, beeinflusst wurden.

	Reaktionszeit (RT)		Maximale Abweichung (MD)		Fläche unter der Kurve (AUC)
	Akteur-Typ	Aktions-Klasse	Akteur-Typ	Aktions-Klasse	Akteur-Typ	Aktions-Klasse
Agentur Hoch	Ns	AC1 > AC2***	Ns	Ns	Ns	Ns
Agentur Niedrig	Ns	Ns	Ns	AC1 > AC2**	Ns	AC1 > AC2**
Erfahrung Hoch	Ns	Ns	Ns	Ns	Ns	AC1 > AC2**
Erfahrung Niedrig	A2 > A1***	AC1 > AC2*	A2 > A1**	AC1 > AC2***	A2 > A1**	AC1 > AC2****

Tabelle 1: Zusammenfassung der Ergebnisse. Die Tabelle zeigt, wie die abhängigen Maße (die Antwortzeiten, MD und AUC der Maustrajektorien) von den wichtigsten unabhängigen Variablen (Akteurstyp und Aktionsklasse) der Studie beeinflusst wurden. *, ** und *** stellen die Signifikanzniveaus p ≤ 0,05, p ≤ 0,01 bzw. p ≤ 0,001 dar.

Der Akteurstyp hatte einen signifikanten Einfluss auf die Antwortzeiten der Teilnehmer; Während sie in der Dimension "Erfahrung" "Geringe Kapazität" zuordneten, verbrachten sie mehr Zeit damit, dies für Actor2 im Vergleich zu Actor1 in der gleichen Bedingung zu tun (siehe Abbildung 6D). Diese längere Reaktionszeit beobachteten wir auch bei den Messungen der Mausbewegungen auf Basis der MD und AUC (siehe Abbildung 9 für die Trajektorien). Die MDs der Maus-Trajektorien in Richtung Low-Antworten (siehe Abbildung 7D) waren signifikant höher, und die AUCs der Maus-Trajektorien (siehe Abbildung 8D) waren signifikant größer, wenn die Teilnehmer Actor2 im Vergleich zu Actor 1 bewerteten (Vergleich der blauen Linien in Abbildung 9A,B).

Abbildung 9: Die durchschnittlichen Maustrajektorien der Teilnehmer bei der Auswertung der von Akteur1 und Akteur2 in der Dimension "Erfahrung" ausgeführten Aktionen. Die orangefarbenen Linien zeigen die durchschnittlichen Flugbahnen der Maus in Richtung "Hohe Reaktionen"; Die blauen Linien zeigen die durchschnittlichen Flugbahnen der Maus in Richtung niedriger Reaktionen. Die schwarz gestrichelten geraden Linien stellen die idealisierten Antworttrajektorien dar, während die grau schattierten Bereiche den mittleren quadratischen Standardabweichungen darstellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die Reaktionszeiten der Teilnehmer waren signifikant höher als bei den Maßnahmen der Aktionsklasse 2 (siehe Abbildung 6A), während sie auf die Maßnahmen der Aktionsklasse 1 in der Dimension "Agentur" reagierten (siehe Abbildung 6A). Diese längeren Ansprechzeiten wurden jedoch bei den MD- (siehe Abbildung 7A) und AUC-Messungen (siehe Abbildung 8A) nicht beobachtet. Während die Teilnehmer in der Dimension "Erfahrung" auf "Niedrig" auf "Aktionsklasse1" reagierten, verbrachten sie signifikant mehr Zeit als für "Aktionsklasse2" (siehe Abbildung 6D), was sich auch in den MD- (siehe Abbildung 7D) und AUC-Werten (siehe Abbildung 8D) zeigte. Abbildung 10 zeigt, dass die MDs der Maus-Trajektorien in Richtung Low-Reaktionen (siehe Abbildung 7D) signifikant höher waren und die AUCs der Maus-Trajektorien (siehe Abbildung 8D) signifikant größer waren, während die Teilnehmer Aktionen bewerteten, die zur Aktionsklasse 1 im Vergleich zur Aktionsklasse 2 gehörten (Vergleich der blauen Linien in Abbildung 10A,B).

Abbildung 10: Die durchschnittlichen Maustrajektorien der Teilnehmer bei der Bewertung der Akteure, die die Aktionen der Aktionsklasse 1 und der Aktionsklasse 2 in der Dimension "Erfahrung" ausführen. Die orangefarbenen Linien zeigen die durchschnittlichen Flugbahnen der Maus in Richtung "Hohe Reaktionen"; Die blauen Linien zeigen die durchschnittlichen Flugbahnen der Maus in Richtung niedriger Reaktionen. Die schwarz gestrichelten geraden Linien stellen die idealisierten Antworttrajektorien dar, während die grau schattierten Bereiche den mittleren quadratischen Standardabweichungen darstellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Obwohl keine signifikanten Effekte der Aktionsklasse auf die Antwortzeitmessungen für die anderen Blockantwortkombinationen beobachtet wurden, wurde ein signifikanter Effekt der Aktionsklasse in den MD- (siehe Abbildung 7B) und AUC- (siehe Abbildung 8B) Scores der niedrigen Antworten in der Agency-Dimension beobachtet. Abbildung 11 zeigt, dass die Teilnehmer bei der Bewertung von Maßnahmen aus Aktionsklasse 1 im Vergleich zu denen aus Aktionsklasse 2 eher zögerten als gegenüber der Alternative "Niedrig" und sich stärker in Richtung der "Niedrig"-Antwort bewegten (Vergleich der blauen Linien in den Abbildungen 11A,B). Obwohl es keinen signifikanten Effekt der Aktionsklasse auf die RT- und MD-Werte für die Dimension "Hohe Antworten auf die Erfahrung" gab, wurde ein signifikanter Effekt für die AUCs (siehe Abbildung 8C) der Trajektorien beobachtet (siehe Abbildung 10). Insbesondere zögerten die Teilnehmer bei der Bewertung der Aktionsklasse 2 im Vergleich zur Aktionsklasse 1 mehr (Vergleich der orangefarbenen Linien in Abbildung 10A,B).

Abbildung 11: Die durchschnittlichen Mausverläufe der Teilnehmer bei der Bewertung der Akteure, die die Aktionen der Aktionsklasse 1 und der Aktionsklasse 2 in der Dimension "Agentur" ausführen. Die orangefarbenen Linien zeigen die durchschnittlichen Flugbahnen der Maus in Richtung "Hohe Reaktionen"; Die blauen Linien zeigen die durchschnittlichen Flugbahnen der Maus in Richtung niedriger Reaktionen. Die schwarz gestrichelten geraden Linien stellen die idealisierten Antworttrajektorien dar, während die grau schattierten Bereiche den mittleren quadratischen Standardabweichungen darstellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

Die bisherigen Ergebnisse stützen unsere Hypothesen, die darauf hindeuten, dass es einen Effekt des Akteurstyps und der Aktionsklasse geben würde und dass sich die abhängigen Messungen für hohe und niedrige Antworten für denselben Akteur und dieselbe Aktionsklasse über die Blockdimensionen von Agency und Erfahrung unterscheiden würden. Da es sich um eine laufende Studie handelt, würde es den Rahmen dieses Artikels sprengen, die möglichen Gründe für die Ergebnisse zu diskutieren. Als frühe Bemerkung konnten wir jedoch betonen, dass, obwohl sich einige Ergebnisse für die Antwortzeit und die Messungen aus dem Computer-Maus-Tracking gegenseitig ergänzten, wir beobachteten, dass die Teilnehmer unter einigen Blockantwortbedingungen gegenüber der anderen Alternative zögerten, selbst wenn sie in ihren Bewertungen schnell waren.

Wäre ein spezieller OLED-Bildschirm nicht im Setup enthalten, könnten die Reaktionszeiten der Teilnehmer noch mit einigen anderen Hilfsmitteln wie Tasten zum Drücken erfasst werden. Die Mausbewegungen der Teilnehmer konnten jedoch nicht verfolgt werden, ohne einen zusätzlichen Bildschirm bereitzustellen und die Teilnehmer diesen Bildschirm und die realen Schauspieler hin und her beobachten zu lassen, was wiederum ihre Antworten verzögern würde. Obwohl Antwortzeiten also nützliche Indikatoren für die Schwierigkeit des Entscheidungsprozesses sind, verraten die Mausverläufe der Teilnehmer mehr über die Echtzeitdynamik ihrer Entscheidungsprozesse vor ihren endgültigen Antworten^32,34.

Ergänzende Codierungsdatei 1: ExperimentScript1.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 2: ExperimentScript2.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 3: ExperimentScript3.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 4: RecordMouse.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 5: InsideROI.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Kodierungsdatei 6: RandomizeTrials.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 7: RandomizeBlocks.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 8: GenerateResponsePage.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 9: GenerateTextures.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 10: ActorMachine.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 11: MatchIDtoClass.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 12: RandomizeWordOrder.m Bitte klicken Sie hier, um diese Datei herunterzuladen.

Ergänzende Codierungsdatei 13: Datei ExperimentImages.mat Bitte klicken Sie hier, um diese Datei herunterzuladen.

Discussion

Das übergeordnete Ziel der vorliegenden Studie ist es, zu unserem Verständnis beizutragen, wie die visuelle Wahrnehmung und Kognition des Menschen auf hoher Ebene in realen Situationen funktioniert. Diese Studie konzentrierte sich auf die Wahrnehmung von Handlungen und schlug ein naturalistisches, aber kontrollierbares experimentelles Paradigma vor, das es Forschern ermöglicht, zu testen, wie Individuen die Handlungen anderer wahrnehmen und bewerten, indem sie reale Akteure in einer Laborumgebung präsentieren.

Die Bedeutung dieser vorgeschlagenen Methodik im Vergleich zu bestehenden Methoden ist dreifach. (1) Die Natürlichkeit der Reize wird maximiert, indem den Teilnehmern Live-Aktionen präsentiert werden. (2) Die realen Stimuli (d. h. die Schauspieler), andere verbale Stimuli (z. B. Wörter oder Anweisungen) und der Reaktionsbildschirm der Akteure und Aktionen werden unter Verwendung derselben Modalität (d. h. des digitalen OLED-Bildschirms) präsentiert, so dass die Teilnehmer nicht ihren Fokus verlieren, während sie die Modalität wechseln, wie z. B. im Fall der Verwendung von Shutterglas, z. B.³⁵. (3) Zeitkritische Daten, wie z.B. Daten zur Antwortdauer und zu Maustrajektorien, die eine strenge Zeitkontrolle erfordern, werden mit einer natürlichen Aufgabe der heutigen Welt, der Mausnutzung, aufgezeichnet.

Bestimmte kritische Schritte im Protokoll sind wichtig, damit dieses Paradigma nahtlos funktioniert und es den Forschern ermöglicht, ihre Ziele zu erreichen und gleichzeitig den Teilnehmern eine anständige Erfahrung zu bieten. Diese Schritte sind für die Erstellung eines solchen Systems ebenso wichtig, daher stellen wir sie einzeln vor, ohne sie nach ihren Kritikalitätsstufen zu ordnen.

Der erste kritische Schritt betrifft die Manipulation der Beleuchtung des Raums und die Änderung der Farbe des Hintergrunds, der für den Bildschirm der Teilnehmer verwendet wird. Dieser Schritt ermöglicht einen reibungslosen Übergang zwischen der Echtzeit-Aktionsleistung und dem Reaktionsbildschirm nach jedem Aktionsversuch. Wenn alle Lichter im Raum ausgeschaltet sind und der Bildschirmhintergrund weiß eingestellt ist, wird eine Deckkraft von 100 % erreicht, sodass die Lernanweisungen und verbalen Reize ohne Ablenkungen durch Bewegungen im Hintergrund angezeigt werden können. Um das Display transparent zu machen und die verbalen Reize unmittelbar nach den Aktionsreizen zu präsentieren, werden die LED-Leuchten an den Decken eingeschaltet, während die Frontlichter ausgeschaltet bleiben, um ein durchsichtiges Display zu erhalten. Der Beleuchtungskreis ist für eine angemessene Lichtmanipulation im Raum unerlässlich. Wenn die Leuchtstoffröhren an der Vorder- (Participant Area) und Rückseite (Actor Area) des Labors eingeschaltet sind, wirkt das Filmmaterial des Schauspielers etwas geneigt, und der Teilnehmer sieht die Reflexion von sich selbst und dem Raum. Wenn die Frontlichter im Teilnehmerbereich ausgeschaltet sind und die LED-Leuchten im Schauspielerbereich eingeschaltet sind, kann der Teilnehmer die Schauspieler ohne Ablenkung deutlich beobachten. Abbildung 1 und Abbildung 3 zeigen, wie Lichtmanipulationen im Experiment funktionieren.

Der zweite kritische Schritt im Protokoll ist die Kontrolle der Zeit. Die Aktionen dauern 6 s, und die Beleuchtung auf der Rückseite des Bildschirms ist in Bezug auf die Dauer der Aktionen automatisiert, so dass wir keine Verzögerung oder Beschleunigung über die Versuche hinweg haben. Die Dauer zwischen den Blöcken wird jedoch manuell gesteuert (d.h. wenn wir einen Darstellerwechsel benötigen), so dass wir den nächsten Block starten können, nachdem wir überprüft haben, ob hinter der Bühne alles wie geplant läuft. Dieser Zeitraum eignet sich auch für Anfragen von Teilnehmern oder Schauspielern, wie z. B. den Bedarf an Wasser oder eine Änderung der Temperatur im Raum.

Der dritte kritische Schritt betrifft die Verwendung der Überwachungskamera und der Klingel. Die Überwachungskamera ermöglicht die Kommunikation zwischen dem Experimentleiter und den Schauspielern. Der Experimentator prüft ständig, was hinter der Bühne passiert, z. B. ob der Schauspieler bereit ist oder ob der richtige Schauspieler auf der Bühne steht. Die Schauspieler winken mit den Händen, wenn sie bereit sind, die Aktionen auszuführen, und machen ein Kreuzzeichen, wenn es ein Problem gibt. Der Experimentator kann sogar feststellen, wenn es ein Problem mit dem Aussehen eines Schauspielers gibt, z. B. wenn er einen Ohrring an einem Ohr vergisst. Die Glocke ermöglicht es dem Experimentator, die Schauspieler vor einem wahrscheinlichen Problem zu warnen. Wenn sie die Glocke hören, prüfen die Schauspieler zunächst, ob etwas an ihnen nicht stimmt, und wenn dies der Fall ist, korrigieren sie das Problem und sagen dem Experimentator, dass sie bereit sind. Wenn es ein Problem auf der Seite des Experimentators gibt, hören die Schauspieler zu, wie der Experimentator dem Teilnehmer das Problem erklärt. Sie warten lautlos, bis der Experimentator hinter der Bühne eintrifft, um das Problem zu lösen, z. B. die Verbindung nach dem Verlust der Internetverbindung wiederherzustellen.

Der vierte Schritt betrifft die Verwendung eines schweren Verdunkelungsvorhangs, um den Raum zu teilen, da ein solches Material verhindert, dass das Licht in den vorderen Teil des Raumes eindringt. Dieser Vorhang verhindert auch bis zu einem gewissen Grad Geräusche, so dass die Teilnehmer die kleinen Bewegungen der Schauspieler und die leisen Gespräche zwischen dem Experimentator und den Schauspielern im Falle eines Problems nicht hören.

Der fünfte Schritt ist die Einbindung des Actor-PCs und die Etablierung von TCP/IP als Netzwerkprotokoll, da dies garantiert, dass die Nachrichten im Gegensatz zu UDP an das andere Ende zugestellt werden. Auf diese Weise können die Schauspieler über die nächste Aktion, die sie ausführen werden, informiert werden, und die Teilnehmer merken dies aus ihrer Sicht nicht. Da sich alle Geräte im selben Netzwerk befinden, wird jede mögliche zusätzliche Latenz, die durch TCP/IP verursacht wird, vernachlässigbar.

Der sechste wesentliche Schritt im Protokoll ist die Einblendung von Hintergrundmusik zwischen den Blöcken. Wir haben die Musik und die Blöcke so arrangiert, dass, wenn der Teilnehmer auf den letzten Versuch in einem Block antwortet, die Musik laut zu spielen beginnt (mit 80% maximaler Lautstärke), damit die Schauspieler wissen, dass es Zeit für eine Veränderung ist, und die Teilnehmer wissen, dass sie Wasser trinken oder ihre Augen ausruhen können. Das Abspielen von Musik ermöglicht einen fließenden Übergang zwischen den Schauspielern, ohne ihre Bewegungen oder andere Geräusche zu hören, und vermittelt ein Gefühl, das dem Anschauen eines Theaterstücks ähnelt.

Wir glauben, dass der in dieser Arbeit vorgestellte naturalistische Aufbau ein großartiges Werkzeug ist, um zu untersuchen, ob die Mechanismen, die der visuellen Wahrnehmung der Handlungen anderer zugrunde liegen, die durch traditionelle Laborexperimente aufgedeckt wurden, dem natürlichen Verhalten in der realen Welt entsprechen. Die Beobachtung realer Schauspieler und ihrer Live-Aktionen stellt offensichtlich eine reichhaltige Quelle visueller und multisensorischer 3D-Informationen dar und bietet aufgrund der physischen und sozialen Präsenz des Schauspielers Handlungsfähigkeit. Daher stellen wir die Hypothese auf, dass die Wahrnehmung von Live-Aktionen schnellere und verstärkte Verhaltens- und neuronale Reaktionen in dem bekannten Handlungswahrnehmungsnetzwerk hervorrufen kann, das zuvor durch traditionelle Laborexperimente mit statischen Bildern und Videos aufgedeckt wurde. Darüber hinaus kann die Wahrnehmung von Live-Aktionen zusätzliche neuronale Schaltkreise ansteuern, die 3D-Tiefenhinweise³⁶ und vestibuläre Informationen verarbeiten, um den Körper im Raum zu koordinieren, während er sich darauf vorbereitet, in der Welt³⁷ zu handeln. Eine Einschränkung der vorliegenden Studie besteht darin, dass die Antworten der realen Akteure im naturalistischen Aufbau nicht mit den Antworten verglichen wurden, die man für vereinfachte Reize wie statische Bilder oder Videos erhalten würde. In zukünftigen Studien werden wir auf dieses Ziel hinarbeiten, indem wir systematisch Verhaltens- und neuronale Reaktionen während der Handlungswahrnehmung in traditionellen Laborumgebungen mit denen in naturalistischen Umgebungen vergleichen.

Wir stellen auch einige Einschränkungen des in der vorliegenden Studie vorgeschlagenen Paradigmas an mehreren Fronten fest. Der erste ist, dass diese Methode, wie die meisten naturalistischen Studien, finanzielle und zeitliche Ressourcen erfordert. Eine solche Studie wird in Bezug auf das Budget höher sein als Studien mit vorab aufgezeichneten dynamischen Stimuli, die auf einem regulären Display präsentiert werden, da die vorliegende Studie spezielle Geräte zur Darstellung der realen Aktionen enthält und reale Akteure für jede Datenerhebungssitzung an der Studie teilnehmen. Darüber hinaus könnte der Datenerhebungsprozess für die vorliegende Studie länger dauern, da die realen Akteure die Aktionen wiederholt ausführen; Für sie gibt es eine physikalische Grenze, im Gegensatz zu Studien, bei denen Bilder oder Videos auf Computerbildschirmen gezeigt werden. Eine weitere damit verbundene Einschränkung könnte die Schwierigkeit sein, sicherzustellen, dass die Akteure jede Aktion über die Blöcke und Teilnehmer hinweg auf die gleiche Weise ausführen. Mit ausreichendem Training können die Schauspieler jedoch in jeder Aktion selbstbewusst werden, da sie 6 s lang sind. Zukünftige Arbeiten könnten Live-Aktionen aufzeichnen und dann Computer Vision verwenden, um die Variabilität über verschiedene Versuche der Experimente hinweg zu quantifizieren.

Zweitens können die Helligkeit des Bildschirms bei undurchsichtiger Verwendung und die schnellen Wechsel der Beleuchtung zwischen den undurchsichtigen und transparenten Displays ein Problem für Teilnehmer mit Sehproblemen oder Störungen wie Epilepsie darstellen. Diese potenzielle Einschränkung wurde behoben, indem die Teilnehmer gefragt wurden, ob sie eine solche Störung oder Bedenken hinsichtlich eines solchen Szenarios haben, und diejenigen rekrutiert wurden, die angaben, dass sie von einem solchen Szenario nicht gestört würden. Außerdem beschwerte sich keiner der Teilnehmer über die Musik, die wir während des Schauspieler- und Blockwechsels im Hintergrund spielten, aber einige Teilnehmer könnten durch solche Geräusche gestört werden. Abhilfe könnte die Verwendung von Noise-Cancelling-Kopfhörern sein. Sie können aber auch ein Eingreifen des Experimentators während der Studie verhindern oder die Natürlichkeit des Versuchsaufbaus beeinträchtigen.

Andere mögliche Modifikationen könnten auf das aktuelle Paradigma angewendet werden; Wenn das Versuchsdesign beispielsweise vorsieht, dass die Teilnehmer mündlich mit den Schauspielern interagieren, können beide Seiten Ansteckmikrofone verwenden. Alle Netzwerkverbindungen können kabelgebunden oder drahtlos sein, solange TCP/IP-Verbindungen hergestellt werden können. Möglichkeiten, die Handlungen in einem bestimmten Kontext darzustellen, könnten untersucht und angewendet werden, um zu sehen, ob dies dazu beitragen würde, die Natürlichkeit des Paradigmas zu erhöhen.

Der vorliegende Aufbau könnte eine ideale Plattform für Studien der kognitiven Neurowissenschaften und der kognitiven Psychologie sein, die ein präzises Timing und streng kontrollierte Stimuli unter vordefinierten Bedingungen erfordern. Dazu gehören Studien, in denen Techniken wie Eye-Tracking, Kopfhaut- oder intrakranielles EEG, fNIRS und sogar MEG eingesetzt werden, entweder mit herkömmlichen Setups oder in mobileren Setups, die heute besser durchführbar sind³⁸. Forschende aus diesen Bereichen können die äußeren Eigenschaften des Aufbaus, wie die Beleuchtung des Raumes oder die Anzahl der Akteure, sowie die zu präsentierenden Objekte individuell anpassen. Eine andere Möglichkeit besteht darin, dass die Forscher die Anzeigeeigenschaften des digitalen Bildschirms manipulieren könnten, um je nach den Anforderungen ihrer Studie eine undurchsichtigere oder transparentere Anzeige bereitzustellen. Weitere mögliche Forschungsbereiche, in denen die vorgeschlagene Methodik eingesetzt werden kann, könnten die Mensch-Roboter-Interaktionsforschung sein, bei der Echtzeitinteraktionen zwischen Mensch und Roboter in realistischen Szenarien benötigt werden.

Zusammenfassend lässt sich sagen, dass angesichts der Notwendigkeit, zu naturalistischeren Studien überzugehen, die eher realen Situationen in den kognitiven Neurowissenschaften ähneln 13,14,15,16,17,18,19,20,21,38 , bedeutende technologische Entwicklungen in der naturalistischen Bildgebung von Gehirn und Körper (z. B. gleichzeitige Verwendung von EEG, Bewegungserfassung, EMG und Eye-Tracking) und die Verwendung von Deep Learning als grundlegendes Framework für die menschliche Informationsverarbeitung^39,40 glauben wir, dass es der richtige Zeitpunkt ist^, um mit der Untersuchung der Wahrnehmung von Live-Handlungen sowie ihrer neuronalen Grundlagen zu beginnen.

Materials

Name	Company	Catalog Number	Comments
Adjustable Height Table	Custom-made	N/A	Width: 60 cm, Height: 62 cm, Depth: 40 cm
Ardunio UNO	Smart Projects	A000066	Microcontroller used for switching the state of the LEDs from the script running on the operator PC
Black Pants	No brand	N/A	Relaxed-fit pants of actors with no apparent brand name or logo.
Case	Xigmatek	EN43224	XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING CASE
CPU	AMD	YD1600BBAFBOX	AMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Processor
Curtains	Custom-made	N/A	Width: Part 1: 110 cm width from the wall (left) side, Part 2: 123 cm width above OLED display, Part 3: 170 cm from OLED display to right side, Cabin depth: 100 cm, Inside cabin depth: 100 cm, all heights 230 cm except for Part 2 (75 cm height)
Experimenter Adjustable/Swivel Chair	No brand	N/A	Any brand
Experimenter Table	Custom	N/A	Width: 160 cm, Height: 75 cm, Depth: 80 cm
GPU	MSI	GT 1030 2GHD4 LP OC	MSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grey-color blackout curtain	Custom-made	N/A	Width: 330 cm, Height: 230 cm, used for covering the background
Hard Disk	Kioxia	LTC10Z240GG8	Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Read/540 MB Write)
Hard Disk	Toshiba	HDWK105UZSVA	Toshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 Rpm 7 mm Harddisk
High-Power MOSFET Module	N/A	N/A	Heating Controller MKS MOSFET Module
Laptop	Apple	S/N: C02P916ZG3QT	MacBook Pro 11.1 Intel Core i7 (Used as the actor PC)
Laptop	Asus	UX410U	Used for monitoring the security camera in real-time.
LED lights	No brand	N/A
LED Strip Power Supply	No brand	N/A	AC to DC voltage converter used for supplying DC voltage to the lighting circuit
MATLAB	The MathWorks Inc., Natick, MA, USA	Version: R2022a	Used for programming the experiment. Required Toolboxes: MATLAB Support Package for Arduino Hardware (version 22.1.2) Instrument Control Toolbox (version 4.6) Psychtoolbox (version 3)
Monitor	Philips	UHB2051005145	Model ID: 242V8A/00, PHILIPS 23.8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming Monitor
Motherboard	MSI	B450M-A PRO MAX	MSI B450M-A PRO MAX Amd B450 Socket AM4 DDR4 3466(OC) M.2 Motherboard
Mouse Pad for participant	Monster	78185721101502042 / 8699266781857	Pusat Gaming Mouse Pad XL
Night lamp	Aukes	ES620-0.5W 6500K-IP 20	Used for helping the actors see around when the lights are off in the backstage.
Participant Adjustable/Swivel Chair	No brand	N/A
Participant Table	IKEA	Sandsberg 294.203.93	Width: 110 cm, Height: 75 cm, Depth: 67 cm
Power Extension Cable	Viko	9011760Y	250 V (6 inlets) Black
Power Extension Cable	Viko	9011730Y	250 V (3 inlets) Black
Power Extension Cable	Viko	9011330Y	250 V (3 inlets) White
Power Extension Cable	s-link	Model No: SPG3-J-10	AC - 250 V 3 meter (5 inlets)
Power Supply	THERMALTAKE	PS-LTP-0550NHSANE-1	THERMALTAKE LITEPOWER RGB 550W APFC 12 cm FAN PSU
Professional Gaming Mouse	Rampage	8680096	Model No: SMX-R50
RAM	GSKILL	F4-3000C16S-8GVRB	GSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single Ram
Reception bell	No brand	N/A	Used for helping the communication between the experimenter and the actors.
Security Camera	Brion Vega	2-20204210	Model:BV6000
Speakers	Logitech	P/N: 880-000-405 PID: WD528XM	Used for playing the background music.
Survey Software	Qualtrics	N/A
Switching Module	No brand	N/A	F5305S PMOS Switch Module
Table under the OLED display	Custom-made	N/A	Width: 123 cm, Height: 75 cm, Depth: 50 cm
Transparent OLED Display	Planar	PN: 998-1483-01 S/N:195210075	A 55-inch transparent display that showcases dynamic information, enabled the opaque and transparent usage during the experiment.
UPS	EAG	K200610100087	EAG 110
UPS	EAG	210312030507	EAG 103
USB 2.0 Cable Type A/B for Arduino UNO (Blue)	Smart Projects	M000006	Used to connect the microcontroller to the experimenter PC.
USB to RS232 Converter	s-link	8680096082559	Model: SW-U610
White Long-Sleeved Blouse (2)	H&M (cotton)	N/A	Relaxed-fit blouses with a round neckline and without ant apparent brand name or logo.
Wireless Keyboard	Logitech	P/N: 820-003488 S/N: 1719CE0856D8	Model: K360
Wireless Mouse	Logitech	S/N: 2147LZ96BGQ9	Model: M190 (Used as the response device)