Methodenartikel

Ein naturalistischer Aufbau zur Darstellung realer Menschen und Live-Aktionen in experimenteller Psychologie und kognitiven neurowissenschaftlichen Studien

3K Ansichten

⸱

DOI:

10.3791/65436

⸱

4. August 2023

 ,  ,  ,  , 
1Department of Cognitive Science, Middle East Technical University, 2Interdisciplinary Neuroscience Graduate Program, Bilkent University, 3Department of Computer Engineering, Middle East Technical University, 4Department of Cognitive Science, Jagiellonian University, 5Department of Psychology, Interdisciplinary Neuroscience Graduate Program, National Magnetic Resonance Research Center (UMRAM), Aysel Sabuncu Brain Research Center, Bilkent University

In diesem Artikel

Zusammenfassung

Diese Studie stellt einen naturalistischen Versuchsaufbau vor, der es den Forschern ermöglicht, Aktionsreize in Echtzeit zu präsentieren, Reaktionszeit- und Maus-Tracking-Daten zu erhalten, während die Teilnehmer nach jeder Reizanzeige reagieren, und die Akteure zwischen den Versuchsbedingungen mit einem einzigartigen System zu wechseln, das einen speziellen transparenten OLED-Bildschirm (Organic Light Emitting Diode) und Lichtmanipulation umfasst.

Zusammenfassung

Die Wahrnehmung der Handlungen anderer ist entscheidend für das Überleben, die Interaktion und die Kommunikation. Trotz jahrzehntelanger Forschung in den kognitiven Neurowissenschaften, die sich dem Verständnis der Wahrnehmung von Handlungen widmet, sind wir noch weit davon entfernt, ein neuronal inspiriertes Computer-Vision-System zu entwickeln, das sich der menschlichen Handlungswahrnehmung annähert. Eine große Herausforderung besteht darin, dass Handlungen in der realen Welt aus zeitlich sich entfaltenden Ereignissen im Raum bestehen, die "hier und jetzt" stattfinden und handlungsfähig sind. Im Gegensatz dazu haben die visuelle Wahrnehmung und die bisherige Forschung in den kognitiven Neurowissenschaften die Handlungswahrnehmung durch 2D-Displays (z. B. Bilder oder Videos) weitgehend untersucht, bei denen die Präsenz von Akteuren in Raum und Zeit fehlt, so dass diese Displays nur begrenzt handlungsfähig sind. Trotz des wachsenden Wissens auf diesem Gebiet müssen diese Herausforderungen überwunden werden, um die grundlegenden Mechanismen der Wahrnehmung des Handelns anderer in der realen Welt besser zu verstehen. Das Ziel dieser Studie ist es, einen neuartigen Aufbau vorzustellen, um naturalistische Laborexperimente mit Live-Schauspielern in Szenarien durchzuführen, die sich realen Umgebungen annähern. Das Kernelement des in dieser Studie verwendeten Aufbaus ist ein transparenter OLED-Bildschirm (Organic Light Emitting Diode), durch den die Teilnehmer die Live-Aktionen eines physisch anwesenden Schauspielers verfolgen können, während das Timing ihrer Präsentation präzise gesteuert wird. In dieser Arbeit wurde dieser Aufbau in einem Verhaltensexperiment getestet. Wir glauben, dass der Aufbau den Forschern helfen wird, grundlegende und bisher unzugängliche kognitive und neuronale Mechanismen der Handlungswahrnehmung aufzudecken, und eine Grundlage für zukünftige Studien sein wird, die soziale Wahrnehmung und Kognition in naturalistischen Umgebungen untersuchen.

Einleitung

Eine grundlegende Fähigkeit für das Überleben und die soziale Interaktion ist die Fähigkeit, die Handlungen anderer wahrzunehmen und zu verstehen und mit ihnen in der Umgebung zu interagieren. Die bisherige Forschung der letzten Jahrzehnte hat wesentlich zum Verständnis der Grundprinzipien beigetragen, wie Individuen die Handlungen anderer wahrnehmen und verstehen 1,2,3,4,5,6,7,8,9,10,11 . Angesichts der Komplexität von Interaktionen und der Umstände, unter denen sie auftreten, besteht jedoch ein offensichtlicher Bedarf, den Wissensbestand in naturalistischen Umgebungen weiterzuentwickeln, um ein vollständigeres Verständnis dieser komplexen Fähigkeit im täglichen Leben zu erreichen.

In natürlichen Umgebungen, wie z. B. in unserem täglichen Leben, weisen Wahrnehmung und Kognition verkörperte, eingebettete, erweiterte und aktive Merkmaleauf 12. Im Gegensatz zu internalistischen Darstellungen von Gehirnfunktionen, die dazu neigen, die Rolle des Körpers und der Umwelt zu unterschätzen, konzentrieren sich zeitgenössische Ansätze zur verkörperten Kognition auf die dynamische Kopplung von Gehirn, Körper und Umwelt. Auf der anderen Seite neigen die meisten sozialpsychologischen, kognitiven und neurowissenschaftlichen Forschungen zur Handlungswahrnehmung dazu, davon auszugehen, dass die Verwendung gut kontrollierter und vereinfachter Versuchsdesigns unter Laborbedingungen (z. B. Bilder oder Videos in computergestützten Aufgaben) zu Ergebnissen führt, die auf komplexere Szenarien wie Interaktionen in der realen Welt verallgemeinert werden können 1,2,3,4,5,6,7 ,8,9,10,11. Diese Annahme garantiert, dass unter vielen Umständen robuste und zuverlässige Daten gewonnen werden können. Eine bekannte Herausforderung besteht jedoch darin, dass die Aussagekraft der Modelle, die aus sorgfältig kontrollierten Experimenten abgeleitet wurden, begrenzt ist, wenn sie in einem realen Kontext getestet werden13. Folglich wurden weitere Untersuchungen 13,14,15,16,17,18,19,20,21,22 durchgeführt, um die ökologische und externe Validität von Stimuli und Versuchsdesigns in verschiedenen Forschungsfeldern zu untersuchen.

In dieser Studie wird eine neuartige Methode vorgeschlagen, um zu untersuchen, wie Individuen die Handlungen anderer wahrnehmen und bewerten, indem Live-Aktionen verwendet werden, die von einem realen, physisch anwesenden Akteur ausgeführt werden. Es werden Szenarien verwendet, die realen Kontexten ähneln, während die Experimentatoren die Kontrolle über mögliche Störfaktoren haben. Diese Studie ist eine Form der "naturalistischen Laborforschung" im Rahmen von Matusz et al.14, die als Zwischenstufe zwischen der "klassischen Laborforschung", die sich der maximalen Kontrolle über die Reize und der Umgebung bedient, oft auf Kosten der Natürlichkeit, und der "vollständig naturalistischen Realforschung", die darauf abzielt, die Natürlichkeit auf Kosten der Kontrolle über die Stimulation und die Umgebung zu maximieren, aufgefasst werdenkann 14. Die Studie zielt darauf ab, den Bedarf an empirischen Untersuchungen auf dieser Ebene in der Aktionswahrnehmungsforschung zu adressieren, um die Lücke zwischen den Erkenntnissen zu schließen, die in traditionellen Laborexperimenten mit einem hohen Maß an experimenteller Kontrolle gewonnen wurden, und den Erkenntnissen, die in Studien gewonnen wurden, die in völlig uneingeschränkten, natürlichen Umgebungen durchgeführt wurden.

Kontrollierte versus uneingeschränkte Experimente
Die experimentelle Kontrolle ist eine effiziente Strategie für die Planung von Experimenten, um eine bestimmte Hypothese zu testen, da sie es Forschern ermöglicht, Zielvariablen von wahrscheinlichen Störfaktoren zu isolieren. Es ermöglicht auch, dieselbe Hypothese mit bestimmten Ergänzungen zu überprüfen, z. B. die Verwendung leicht oder völlig unterschiedlicher Stimuli im selben Design oder das Testen derselben Stimuli in alternativen Versuchsaufbauten. Die systematische Untersuchung durch kontrollierte Experimente ist eine traditionelle Form der Methodik in der Forschung in der Kognitionswissenschaft und relevanten Bereichen. Kontrollierte Experimente tragen nach wie vor dazu bei, das Wissen über die Grundprinzipien kognitiver Prozesse in verschiedenen Forschungsbereichen wie Aufmerksamkeit, Gedächtnis und Wahrnehmung zu etablieren. Neuere Forschungen haben jedoch auch die Grenzen traditioneller Laborexperimente in Bezug auf die Verallgemeinerung der Ergebnisse auf reale Umgebungen anerkannt, und die Forscher wurden ermutigt, Studien in verbesserten ökologischen Umgebungen durchzuführen 13,14,15,16,17,18,19,20,21 . Diese Verschiebung zielt darauf ab, zwei wichtige Probleme in Bezug auf die Diskrepanz zwischen traditionellen Laborexperimenten und realen Umgebungen anzugehen. Erstens ist die Welt außerhalb des Labors weniger deterministisch als in Experimenten, was die Repräsentationskraft systematischer experimenteller Manipulationen einschränkt. Zweitens ist das menschliche Gehirn sehr anpassungsfähig, was aufgrund der praktischen Einschränkungen bei der Konzeption und Durchführung experimenteller Studien oft unterschätzt wird22. Das Konzept der "ökologischen Validität"23,24 wurde verwendet, um Methoden zur Lösung dieses Problems zu adressieren. Der Begriff wird in der Regel verwendet, um eine Voraussetzung für die Verallgemeinerung experimenteller Befunde auf die reale Welt außerhalb des Laborkontextes zu bezeichnen. Ökologische Validität wurde auch dahingehend interpretiert, dass sie sich auf die Validierung virtuell naturalistischer Versuchsaufbauten mit uneingeschränkten Stimuli bezieht, um sicherzustellen, dass das Studiendesign analog zu realen Szenarien ist25. Aufgrund der hohen Varianz in der Interpretation dieses Begriffs ist ein Verständnis der Vor- und Nachteile alternativer Methoden und der Stimulusauswahl erforderlich.

Ebenen des Naturalismus in Stimuli und Versuchsplanung
Frühere Arbeiten in der experimentellen Psychologie und den kognitiven Neurowissenschaften haben eine breite Palette von Reizen mit unterschiedlichen Naturalismusstufen verwendet26. Die meisten Forscher bevorzugen statische Bilder oder kurze dynamische Videos, da diese Reize leichter vorzubereiten sind als solche, die eine reale Aktion oder ein Ereignis simulieren könnten. Obwohl diese Stimuli Vorteile haben, erlauben sie es den Forschern nicht, kontingente Verhaltensweisen unter sozialen Akteuren zu messen. Mit anderen Worten, sie sind nicht handlungsfähig und haben keine soziale Affordanz27. In den letzten Jahren wurde eine Alternative zu diesen nicht-interaktiven Reizen entwickelt: Echtzeit-Animationen virtueller Avatare. Diese Avatare ermöglichen es, die Interaktionen zwischen Avataren und ihren Nutzern zu untersuchen. Die Verwendung virtueller Avatare ist jedoch mit einer geringeren Besorgnis der Nutzer verbunden, insbesondere wenn sie in Bezug auf ihr realistisches und kontingentes Verhalten nicht besonders ansprechend erscheinen26. Daher besteht nun ein größeres Interesse daran, reale soziale Reize in experimentellen Studien zu verwenden. Obwohl ihr Design, ihre Datenaufzeichnung und -analyse fortschrittliche Geräte und komplexe Datenanalysen erfordern können, sind sie die besten Kandidaten, um naturalistisches menschliches Verhalten und Kognition zu verstehen.

Die vorliegende Studie schlägt eine Methodik vor, um reale soziale Stimuli in einer Laborumgebung zu nutzen. Ziel dieser Studie ist es, zu untersuchen, wie Menschen das Handeln anderer in einem Setting mit erhöhter ökologischer Validität im Vergleich zu traditionellen Laborexperimenten wahrnehmen und bewerten. Wir haben ein neuartiges Setup entwickelt und beschrieben, in dem die Teilnehmer realen Akteuren ausgesetzt sind, die physisch anwesend sind und die gleiche Umgebung mit ihnen teilen. In diesem Protokoll werden die Reaktionszeiten der Teilnehmer und die Trajektorien der Maus gemessen, was ein präzises Timing der Reizpräsentation und eine strenge Kontrolle der experimentellen Bedingungen in diesem verbesserten ökologischen Umfeld erfordert. Daher hebt sich das experimentelle Paradigma von den in der Literatur vorhandenen Rahmenbedingungen ab, da die Natürlichkeit der Reize maximiert wird, ohne die Kontrolle über die Umgebung zu opfern. Im Folgenden stellt das Protokoll die Schritte zur Einrichtung eines solchen Systems vor und fährt dann mit den repräsentativen Ergebnissen für die Probendaten fort. Abschließend wird eine Diskussion der Bedeutung, der Grenzen und der Pläne für Modifikationen des Paradigmas vorgestellt.

Versuchsplanung
Bevor wir zum Protokollteil übergehen, beschreiben wir die in der vorliegenden Studie verwendeten Parameter und stellen die Details der Stimuli zusammen mit dem experimentellen Design vor.

Parameter in der Studie
Diese Studie zielt darauf ab, zu messen, wie sich die Art des Schauspielers und die Art der von ihm ausgeführten Handlungen auf die Wahrnehmungsprozesse der Teilnehmer auswirken. In dem Protokoll wird der Prozess der geistigen Wahrnehmung in zwei Hauptdimensionen gemessen, nämlich Handlungsfähigkeit und Erfahrung, wie in früheren Forschungen vorgeschlagen28. Die Höhen und Tiefen dieser beiden Dimensionen sind ebenfalls enthalten, wie kürzlich von Li et al.29 vorgestellt.

Die Struktur der Studie wurde von der Einzelkategorie-Version30 der häufig verwendeten impliziten Assoziationsaufgabe (IAT)31 inspiriert. In dieser Aufgabe werden die Antwortzeiten der Teilnehmer, während sie ein Attributkonzept mit dem Zielkonzept abgleichen, als Hinweis auf die Stärke ihrer impliziten Assoziationen für diese beiden Konzepte verwendet. Bei der Adaption dieser impliziten Aufgabe werden den Teilnehmern Live-Aktionen von realen Akteuren präsentiert und aufgefordert, diese mit Zielkonzepten abzugleichen. Die Zielkonzepte sind die oberen und unteren Enden der Agentur- oder Erlebnisdimensionen, je nach Block des Experiments.

Zusammenfassend lässt sich sagen, dass die unabhängigen Variablen "Actor Type" und "Action Class" sind. Der Akteurstyp hat zwei Ebenen (d. h. zwei verschiedene Akteure, Akteur1 und Akteur2, die in der Studie auftreten). Die Aktionsklasse hat zwei Ebenen: Aktionsklasse1 und Aktionsklasse2, und jede Klasse enthält vier Aktionen. Die Teilnehmer bewerten die beiden Akteure separat in vier Blöcken (ein Akteur in jedem Block), und in jedem Block führen die Akteure alle Aktionen in einer ausbalancierten Reihenfolge aus. Die Teilnehmer führen Evaluationen in Bezug auf zwei vordefinierte und forcierte Dimensionen durch: Agency und Experience. Die vier Blöcke im Experiment sind (1) Actor1 im Agency-Block, (2) Actor2 im Agency-Block, (3) Actor1 im Experience-Block und (4) Actor2 im Experience-Block. Auch die Reihenfolge der Blöcke wird unter den Teilnehmern ausgeglichen, so dass die Blöcke mit dem gleichen Agenten nie aufeinander folgen.

Neben den Antworten der Teilnehmer werden auch die Antwortzeiten und die x-y-Koordinaten der drahtlosen Maus aufgezeichnet, die sie verwenden, während sie sich auf eine der beiden Antwortalternativen zubewegen. Die abhängigen Variablen sind also die Antwortvariable und die Antwortzeit (RT) der Teilnehmer sowie die Messungen der maximalen Abweichung (MD) und der Fläche unter der Kurve (AUC), die aus dem Computer-Mouse-Tracking abgeleitet werden. Die variable Antwortvariable ist kategorisch; Es kann "Hoch" oder "Niedrig" sein, und da die Bewertungen in einem der angegebenen Blöcke durchgeführt werden, können die Antworten auch als "High-Agency", "Low-Agency", "High-Experience" oder "Low-Experience" gekennzeichnet werden. Die Antwortzeit ist eine kontinuierliche Variable. Die Einheit ist Sekunden und bezieht sich auf die verstrichene Zeit zwischen dem Beginn der Präsentation einer Aktion und dem Auftreten eines Mausklicks auf eine der Antwortalternativen. Der MD einer Trajektorie ist eine kontinuierliche Variable und bezieht sich auf die größte senkrechte Abweichung zwischen der Trajektorie des/der Teilnehmer(s) und der idealisierten Trajektorie (Gerade). Die AUC einer Trajektorie ist ebenfalls eine kontinuierliche Variable und bezieht sich auf die geometrische Fläche zwischen der Trajektorie des/der Teilnehmer(s) und der idealisierten Trajektorie32.

Stimuli und Versuchsaufbau
In der vorliegenden Studie wird ein dreistufiges Experiment verwendet. Für die Analysen werden die Messungen aus dem dritten Teil verwendet; Die ersten beiden Teile dienen als Vorbereitung für den letzten Teil. Im Folgenden beschreiben wir jeden Teil des Experiments zusammen mit den experimentellen Stimuli und Hypothesen.

In Experiment Teil 1 (lexikalischer Trainingsteil) absolvieren die Teilnehmer eine Trainingseinheit, um die Konzepte von Agency und Experience sowie die Kapazitätsstufen zu verstehen, die mit den Wörtern High und Low dargestellt werden. Um die Konzepte (n = 12) auszuwählen, die in dieser Trainingseinheit verwendet werden sollen, führten einige der Autoren der aktuellen Arbeit eine normative Studie33 durch. Da die vorliegende Studie in den Muttersprachen der Teilnehmer durchgeführt werden sollte, wurden die Konzepte auch ins Türkische übersetzt, bevor sie normalisiert wurden. Es wurden Konzepte ausgewählt, die stark mit dem hohen (n = 3) und niedrigen (n = 3) Ende der beiden Dimensionen (jeweils sechs Konzepte) assoziiert waren. Dieser Teil ist von entscheidender Bedeutung, da von den Teilnehmern erwartet wird, dass das Verständnis der Konzepte ihre Bewertungsprozesse leitet.

In Experiment Teil 2 (Aktionsidentifikationsteil) sehen die Teilnehmer nacheinander die gleichen acht Aktionen, die von Akteur1 und Akteur2 ausgeführt werden, und berichten dem Experimentator, was die Aktion ist. Dieser Abschnitt dient als Manipulationsprüfung. Durch die Darstellung aller Aktionen, wenn beide Akteure sie ausführen, kann sichergestellt werden, dass die Teilnehmer die Aktionen verstehen und mit den Akteuren vertraut sind, bevor sie mit dem impliziten Test beginnen, bei dem sie schnelle Bewertungen vornehmen müssen. Die für die Aktionsklasse 1 und die Aktionsklasse 2 ausgewählten Maßnahmen sind diejenigen, die die höchsten H-Werte und Konfidenzniveaus (vier verschiedene Aktionsbeispiele in jeder Aktionsklasse) gemäß den Ergebnissen der beiden normativen Studien (N = 219) für jede Akteursbedingung aufwiesen, die von einigen der Autoren durchgeführt wurden (Manuskript in Vorbereitung). Alle Aktionen werden innerhalb einer gleichen Zeitdauer von 6 s ausgeführt.

Dies ist eine fortlaufende Studie, die einige andere Komponenten enthält. Die Hypothesen für die oben beschriebenen Abschnitte lauten jedoch wie folgt: (i) Die Art des Akteurs wirkt sich auf die abhängigen Variablen aus; Akteur2 führt im Vergleich zu Akteur1 zu längeren RTs, höheren MDs und größeren AUCs. (ii) die Art der Maßnahme wirkt sich auf die abhängigen Messungen aus; Die Aktionsklasse 1 führt im Vergleich zur Aktionsklasse 2 zu längeren RTs, höheren MDs und größeren AUCs. (iii) Die abhängigen Messungen für hohe und niedrige Antworten für denselben Akteur und dieselbe Aktionsklasse unterscheiden sich in den Blockdimensionen: Agency und Experience.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Die experimentellen Protokolle in dieser Studie wurden von der Ethikkommission für Forschung mit menschlichen Teilnehmern der Bilkent University genehmigt. Alle Studienteilnehmer waren über 18 Jahre alt und lasen und unterschrieben die Einwilligungserklärung vor Beginn der Studie.

1. Allgemeine Designschritte

HINWEIS: Abbildung 1A (Draufsicht) und Abbildung 1B und Abbildung 1C (Vorder- und Rückansicht) zeigen das Laborlayout; Diese Abbildungen wurden unter Berücksichtigung des ursprünglichen Laboraufbaus und der Konfiguration erstellt, die für diese spezielle Studie entworfen wurden. Abbildung 1A zeigt das Draufsicht-Layout des Labors. In dieser Abbildung sind LED-Leuchten an der Decke und am Schauspielerschrank zu sehen. Das Verdunkelungsvorhangsystem teilt den Raum in zwei Hälften und hilft bei der Lichtmanipulation, indem es verhindert, dass Licht in den vorderen Teil des Raumes (Teilnehmerbereich) eindringt. Abbildung 1B zeigt die Sicht des Labors aus der Perspektive des Experimentators. Der Teilnehmer sitzt direkt vor dem OLED-Bildschirm und kann über das durchsichtige Display die Live-Aktionen der Schauspieler verfolgen. Sie geben ihre Antworten, indem sie das Antwortgerät (eine drahtlose Maus) vor sich verwenden. Der Experimentator kann den Schauspieler gleichzeitig über das Teilnehmerdisplay (OLED-Bildschirm) und das Filmmaterial der Überwachungskamera beobachten. Abbildung 1C zeigt die Kulissen der Studie (Actor Area) mit der Überwachungskamera und dem Actor Personal Computer (PC), die für den Teilnehmer nicht sichtbar sind. Die Aufnahmen der Überwachungskamera gehen an den Kamera-PC, um die Kommunikation zwischen den Schauspielern und dem Experimentator herzustellen. Der Actor PC zeigt dem Actor die Blockreihenfolge und die Informationen zur nächsten Aktion an, so dass das Experiment ohne Unterbrechung abläuft. Die Schauspieler können die nächste Aktion schnell überprüfen, während die Teilnehmer auf die Aktion im vorherigen Versuch reagieren.

figure-protocol-1
Abbildung 1: Naturalistischer Laboraufbau. (A) Draufsicht auf den naturalistischen Laboraufbau. (B) Die Vorder- und Rückseite des naturalistischen Versuchsaufbaus aus der Sicht des Teilnehmers. (C) Die Vorder- und Rückseite des naturalistischen Versuchsaufbaus aus der Sicht des Schauspielers. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

  1. Entwerfen Sie ein Setup, das drei Computer umfasst, darunter (1) einen Hauptsteuerungs-Desktop (Experimenter-PC), (2) einen Actor-Laptop (Actor-PC) und (3) einen Kamera-PC, ein drahtloses Reaktionsgerät (Participant Mouse), zwei Displays, einen Beleuchtungskreis und eine Überwachungskamera (siehe Abbildung 2A für das Systemdiagramm des Aufbaus dieser Studie).
    HINWEIS: Der Experimentator-PC wird vom Experimentator verwendet, um die Experimentskripte auszuführen, der Actor-PC wird vom Actor verwendet, um die Blöcke des Experiments und die Reihenfolge der Aktionen in den Blöcken zu verfolgen, und das dritte Gerät, der Kamera-PC, wird mit der Überwachungskamera im Actor-Bereich verbunden und vom Experimentator zur Überwachung des Backstage-Bereichs verwendet.
  2. Verbinden Sie die separaten Displays (eines für die Darstellung von Stimuli [Participant Display], d. h. den OLED-Bildschirm) und einen Bildschirm für die Überwachung des Experiments, des Antwortgeräts und des Beleuchtungskreises (über Kabel oder drahtlose Verbindungen) mit dem Experimentator-PC (siehe Abbildung 2A).
  3. Verbinden Sie den Experimenter-PC und den Actor-PC über ein drahtloses Netzwerk, um Informationen zum Experimentstatus (z. B. "Die nächste Aktions-ID ist 'Begrüßung'") an die Actors zu übermitteln.
  4. Entwerfen und bauen Sie eine Beleuchtungsschaltung, die (siehe Abbildung 2B für die Leiterplatte) von einem Mikrocontroller gesteuert werden kann, um die LEDs ein- und auszuschalten.
    HINWEIS: Abbildung 3A zeigt die undurchsichtige Verwendung des in der Studie verwendeten OLED-Bildschirms aus der Sicht des Experimentators. Um die Deckkraft zu gewährleisten, wird der Hintergrund des Bildschirms auf Weiß (RGB: 255, 255, 255) eingestellt und alle Lichter im Raum (sowohl im Teilnehmerbereich als auch im Akteurbereich) ausgeschaltet. Der Teilnehmer sieht die Fixierung vor den Reizen. Abbildung 3B zeigt die transparente Nutzung des digitalen Bildschirms in der Studie aus Sicht des Experimentators. Um Transparenz zu ermöglichen, wird der Hintergrund des Bildschirms auf Schwarz eingestellt (RGB: 0, 0, 0) und die LED-Leuchten an der Decke sind eingeschaltet. Der Teilnehmer beobachtet den Schauspieler. Abbildung 3C zeigt die undurchsichtige Nutzung des digitalen Bildschirms in der Studie. Um die Deckkraft zu gewährleisten, wird der Hintergrund des Bildschirms auf Weiß eingestellt (RGB: 255, 255, 255) und alle Lichter im Raum ausgeschaltet. Dem Teilnehmer wird der Bewertungsbildschirm angezeigt, um eine Antwort zu geben. Sie müssen den Cursor mit einer drahtlosen Maus nach oben links oder oben rechts auf dem Bildschirm ziehen (eine der beiden Antwortoptionen, entweder Hoch oder Niedrig). Die Flugbahn und die Reaktionszeit der Maus werden aufgezeichnet.
  5. Schließen Sie den Mikrocontroller an den Experimenter-PC an.
  6. Speichern Sie die Skripte, die das Experiment ausführen, auf dem Experimenter-PC.
    HINWEIS: Abbildung 4A zeigt den Backstage-Bereich (Actor Area) während des Experiments. Die Frontlichter des Raums (Teilnehmerbereich) sind ausgeschaltet und der Akteur-PC zeigt den Namen der Aktion an, die vom Akteur ausgeführt wird. Abbildung 4B zeigt das Schauspielerkabinett, in dem die Schauspieler warten können, bis sie an der Reihe sind, und ihre Outfits wechseln können. Das Schauspielerkabinett ist aus der Sicht des Teilnehmers nicht sichtbar, und da ein Vorhangsystem verwendet wird, können die Schauspieler jeden beliebigen Eingang benutzen. Während des Experiments sind die in der Abbildung gezeigten Leuchtstoffröhren ausgeschaltet.

figure-protocol-2
Abbildung 2: System- und Schaltplan . (A) Das Systemdiagramm des naturalistischen Versuchsaufbaus. (B) Der Schaltplan des Lichtkreises, der den OLED-Bildschirm während des Experiments unterstützt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

figure-protocol-3
Abbildung 3: OLED-Bildschirm aus der Sicht des Experimentators. (A) Undurchsichtige Verwendung des digitalen OLED-Bildschirms aus der Sicht des Experimentators. (B) Transparente Nutzung des digitalen OLED-Bildschirms aus Sicht des Experimentators. (C) Undurchsichtige Verwendung des digitalen OLED-Bildschirms aus Sicht des Experimentators während einer Reaktionszeit. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

figure-protocol-4
Abbildung 4: Hinter den Kulissen des Experiments. (A) Hinter den Kulissen während eines Versuchs. (B) Der Schauspielerschrank befindet sich auf der Rückseite des OLED-Bildschirms, in dem die Schauspieler warten können, bis sie während des Experiments an der Reihe sind. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

2. Entwurf und Implementierung des Beleuchtungskreises

  1. Schritte, die Sie befolgen müssen, bevor Sie die Geräte/Komponenten des Stromkreises mit Strom versorgen
    1. Um die Zustände der LEDs zu ändern, die hinter der Bühne (Actor Area) installiert sind, geben Sie dem Experimenter-PC die Möglichkeit, die LEDs entweder ein- oder auszuschalten.
    2. Um die digitalen Befehle, die vom Experimenter-PC über ein USB-Kabel gesendet werden, zu übertragen, wählen Sie ein Mikrocontroller-Gerät aus, das digitale Eingänge aufnehmen und einen digitalen Ausgang erzeugen kann (siehe Materialtabelle für den in dieser Studie verwendeten Mikrocontroller).
    3. Wählen Sie einen bestimmten USB-Anschluss des Experimenter-PCs aus, um ihn über ein USB-Kabel an den USB-Eingang des Mikrocontrollers anzuschließen. Schalten Sie den PC erst ein, wenn Sie sich vergewissert haben, dass alle Verbindungen erfolgreich hergestellt wurden.
    4. Fügen Sie ein Schaltmodul hinzu, um die Amplitude des vom Mikrocontroller erzeugten Ausgangssignals (ca. 3,3 V) zu erhöhen.
    5. Verbinden Sie den dafür vorgesehenen digitalen Ausgangspin (für dieses Experiment ist der vorgesehene Pin D9) und die Massepins des Mikrocontrollers mit dem Schaltmodul.
    6. Um die Last (die LEDs) zu betreiben, schließen Sie ein Hochleistungs-Metalloxid-Halbleiter-Feldeffekttransistor-Modul (MOSFET) (oder MOSFET-Modul) ein, das durch das vom Schaltmodul erzeugte Signal angesteuert wird, und verbinden Sie die Signalpins des MOSFET-Moduls mit dem entsprechenden Signal-Masse-Paar auf dem Schaltmodul.
    7. Verbinden Sie die Hotbed-Pins des MOSFET-Moduls mit der Last.
    8. Um die Module (und indirekt die LEDs) mit einer geregelten Konstantspannung zu versorgen, ist ein LED-Netzteil erforderlich, das den Wechselstromeingang (AC) übernimmt und eine konstante Gleichspannung im Stromkreis erzeugt.
    9. Verbinden Sie die Ausgänge des LED-Netzteils mit den Stromeingängen des MOSFET-Moduls und des Schaltmoduls.
  2. Schritte, die nach der Verdrahtung der Schaltungskomponenten zu befolgen sind
    1. Schließen Sie das USB-Kabel an den ausgewählten USB-Anschluss des Experimenter-PCs an.
    2. Stellen Sie eine serielle Kommunikationsverbindung zwischen dem Mikrocontroller und der Softwareumgebung her, die auf dem Experimenter-PC ausgeführt wird (siehe Unterabschnitt Anschließen des Mikrocontrollers an den Experimenter-PC).
    3. Schließen Sie das LED-Netzteil an den AC-Netzeingang an.

3. Programmierung des Experiments

HINWEIS: Erstellen Sie drei experimentelle Hauptskripte (ExperimentScript1.m [Ergänzende Codierungsdatei 1], ExperimentScript2.m [Ergänzende Codierungsdatei 2] und ExperimentScript3.m [Ergänzende Codierungsdatei 3]) sowie mehrere Funktionen (RecordMouse.m [Ergänzende Codierungsdatei 4], InsideROI.m [Ergänzende Codierungsdatei 5], RandomizeTrials.m [Ergänzende Codierungsdatei 6], RandomizeBlocks.m [Ergänzende Codierungsdatei 7], GenerateResponsePage.m [Ergänzende Codierungsdatei 8], GenerateTextures.m [Ergänzende Codierungsdatei 9], ActorMachine.m [Ergänzende Codierungsdatei 10], MatchIDtoClass.m [Ergänzende Codierungsdatei 11] und RandomizeWordOrder.m [Ergänzende Codierungsdatei 12]), um das Experiment durchzuführen.

HINWEIS: Detaillierte Erläuterungen finden Sie in den entsprechenden Skripten.

  1. Randomisierung der Versuchs- und Blockreihenfolgen
    1. Definieren und erstellen Sie zwei Funktionen zum Randomisieren der Versuchsreihenfolgen (RandomizeTrials.m) und Blockreihenfolgen (RandomizeBlocks.m), die die Randomisierungsparameter (z. B. die Teilnehmer-ID) als Eingaben verwenden und ein Array pseudorandomisierter Sequenzen zurückgeben.
    2. Weitere Informationen zur Generierung der randomisierten Sequenzen finden Sie in den Skripts RandomizeBlocks.m (Zeilen 2-24) und RandomizeTrials.m (Zeilen 3-26).
  2. Nachverfolgung der Antwort (RecordMouse, InsideRoi)
    1. Erstellen Sie eine Funktion, die die Mausflugbahn der Teilnehmer und die verstrichene Zeit während des Experiments verfolgt und aufzeichnet (siehe RecordMouse.m).
    2. Erstellen Sie eine Hilfsfunktion, um zu überprüfen, ob die angeklickten Koordinaten innerhalb der akzeptablen Bereiche liegen oder nicht (siehe Skript InsideRoi.m).
  3. Generierung von Texturen für Instruktionen und Feedbacks (GenerateTextures.m, GenerateResponsePage.m)
    1. Bereiten Sie die Anweisungen zum Experiment und das Feedback zu den Versuchen als Bilder vor.
    2. Speichern Sie den Inhalt dieser Bilder in einer .mat-Datei (siehe Datei ExperimentImages.mat [Ergänzende Codierungsdatei 13]).
    3. Laden Sie die .mat-Datei in den Arbeitsbereich (siehe GenerateTextures.m Zeile 25), nachdem Sie ein Bildschirmfenster erstellt haben.
    4. Erstellen Sie für jedes Bild eine separate Textur und ihren Bezeichner (siehe GenerateTextures.m Zeilen 27-165).
    5. Definieren Sie eine Funktion, um die zugehörigen Antwortseitentexturen für jedes Experimentskript zu zeichnen (siehe GenerateResponsePage.m).
  4. Verbinden des Actor-PCs mit dem Experimenter-PC über TCP/IP
    1. Erstellen Sie einen TCP-Server-Socket in dem Skript (siehe ExperimentScript2.m Zeile 174), das auf dem Experimenter-PC ausgeführt wird.
    2. Erstellen Sie einen entsprechenden TCP-Client-Socket in dem Skript (siehe ActorMachine.m Zeile 16), das auf dem Actor-PC ausgeführt wird.
    3. Senden Sie Informationen über den bevorstehenden Block/Versuch an die Akteure aus dem Skript (siehe Zeilen 207, 229 und 278 in ExperimentScript2.m oder siehe Zeilen 136, 141, 153, 159 und 297 in ExperimentScript3.m), das auf dem Experimenter-PC ausgeführt wird.
    4. Zeigen Sie die vom Experimenter-PC empfangenen Informationen im Bildschirmfenster des Actor-PCs an (siehe Zeilen 31-47 in ActorMachine.m).
  5. Anschließen des Mikrocontrollers an den Experimenter-PC
    1. Schließen Sie den Mikrocontroller an einen bestimmten USB-Anschluss (z. B. PORT 9) an, um den Zustand (entweder EIN oder AUS) der installierten LEDs hinter der Bühne zu steuern.
    2. Stellen Sie eine serielle Kommunikation zwischen dem Mikrocontroller-Gerät und dem Experimenter-PC her (siehe Zeile 185 im Skript ExperimentScript2.m).
    3. Senden Sie ein logisches High-Signal (1) von dem Skript, das auf dem Experimenter-PC ausgeführt wird (siehe Zeile 290 in ExperimentScript2.m oder Zeile 311 in ExperimentScript3.m-Skripten), an den Mikrocontroller, um die LEDs einzuschalten, wenn die Aktionen über das USB-Kabel angezeigt werden.
    4. Senden Sie ein logisches Low-Signal (0) von dem Skript, das auf dem Experimenter-PC ausgeführt wird (siehe Zeile 292 in ExperimentScript2.m oder Zeile 314 in ExperimentScript3.m-Skripten), an den Mikrocontroller, um die LEDs auszuschalten, wenn vom Teilnehmer eine Antwort erwartet wird.

4. Der Ablauf eines Stichprobenexperiments

  1. Schritte vor dem Experiment
    1. Stellen Sie sicher, dass alle Geräte im Labor (Experimenter-PC, Kamera-PC, Actor-PC und Teilnehmer-Display) von einer USV mit Strom versorgt werden.
    2. Verbinden Sie den Lightning-Mikrocontroller über ein USB-Kabel mit dem Experimenter-PC, damit er sich automatisch einschaltet, wenn der Experimentator-PC eingeschaltet wird.)
    3. Schalten Sie den Experimenter-PC ein und prüfen Sie, ob er mit einem 5-GHz-WLAN verbunden ist.
    4. Wählen Sie das Soundgerät (die Lautsprecher in der Materialtabelle) als Tonausgabegerät des Experimentator-PCs aus.
    5. Schalten Sie das Teilnehmerdisplay ein und stellen Sie die Lautstärkeeinstellungen auf 80 % ein.
    6. Legen Sie die Bildschirmeinstellungen des Experimenter-PCs für mehrere Monitore fest. Erweitern Sie das Display des Experiment-PCs auf das Teilnehmer-Display. Die Anzeige des Experimenter-PCs ist 1 und die Teilnehmeranzeige ist 2.
    7. Schalten Sie den Actor-PC ein und prüfen Sie, ob er mit einem 5-GHz-WLAN verbunden ist.
    8. Schließen Sie die Überwachungskamera über ein USB-Kabel an den Actor-PC an, damit sie beim Einschalten des Actor-PCs automatisch eingeschaltet wird.
    9. Schalten Sie den Kamera-PC ein und öffnen Sie die Kameraanwendung auf dem Desktop. Stellen Sie sicher, dass jeder Schauspieler, seine Bewegungen und sein Ein- und Ausstieg in den Schrank von der Kamera aus sichtbar sind.
    10. Stellen Sie sicher, dass alle Computer, Displays und Geräte (das Antwortgerät [drahtlose Maus des Teilnehmers], die Lautsprecher, die Tastatur und die Maus des Experimenter-PCs und des Actor-PCs sowie der Lightning-Mikrocontroller) ordnungsgemäß funktionieren.
    11. Begrüßen Sie den Teilnehmer in einem anderen Raum; Nachdem Sie kurz über die Studie informiert haben, legen Sie die Einverständniserklärung vor und lassen Sie sie vom Teilnehmer unterschreiben.
    12. Bitten Sie den Teilnehmer, eine Nummer aus einer Tasche zu ziehen, und sagen Sie ihm, dass die Nummer während der gesamten Studie seine Teilnehmer-ID sein wird.
    13. Lassen Sie den Teilnehmer das Online-Formular für demografische Daten mit seiner anonymen Teilnehmer-ID ausfüllen.
      HINWEIS: Es ist wichtig, dass die Teilnehmer die Schauspieler vor dem Experiment nicht sehen. Dieser Papierkram wird also in einem anderen Raum als im Hauptexperimentierraum erledigt, damit die Schauspieler zwischen den Teilnehmern Pausen einlegen können.
  2. Die Schritte des Experiments
    1. Öffnen Sie die Experimentiersoftware auf dem Experimenter-PC, öffnen Sie das Skript ExperimentScript1.m und führen Sie es aus.
    2. Geben Sie die Teilnehmer-ID und das Alter ein. Dann startet das Skript den ersten Teil des Experiments (der erste sichtbare Reiz ist ein Kreuz in der Mitte des Teilnehmerdisplays).
    3. Öffnen Sie die Experimentiersoftware auf dem Actor-PC, und öffnen Sie das Skript ActorMachine.m.
    4. Platzieren Sie den Kamera-PC in der Nähe des Experimenter-PCs und stellen Sie sicher, dass das von der Überwachungskamera stammende Filmmaterial für den Teilnehmer nicht sichtbar ist.
    5. Begrüßen Sie den Teilnehmer im Hauptexperimentierraum und lassen Sie ihn vor dem Teilnehmerdisplay Platz nehmen.
    6. Sagen Sie den Teilnehmern, dass sie sich so aufstellen sollen, dass das Kreuz in der Mitte und geradeaus ist.
    7. Geben Sie kurz Anweisungen zu den Teilen des Experiments, indem Sie sich auf die Erklärungen und Dauern beziehen, die auf dem Whiteboard stehen.
    8. Schalten Sie alle Lichter im Experimentierraum aus.
  3. Experiment Teil 1:
    1. Sagen Sie dem Teilnehmer, dass er im ersten Teil des Experiments ein lexikalisches/konzeptionelles Training absolvieren wird. Warnen Sie sie davor, die Anweisungen zu befolgen, damit sie die Schulung bestehen können.
    2. Sagen Sie dem Teilnehmer, dass das Experiment gestartet werden kann, wenn er bereit ist.
    3. Drücken Sie die ESC-Taste , wenn der Teilnehmer sagt, dass er für den ersten Teil bereit ist.
      HINWEIS: Von nun an durchläuft der Teilnehmer das Experiment, indem er die Anweisungen auf dem Teilnehmerdisplay liest und eine der Optionen auswählt. Sie erhalten Feedback zu ihren richtigen und falschen Antworten, damit sie im Training gut vorankommen können. Das Matching wird so lange fortgesetzt, bis die Teilnehmer innerhalb von 10 Blockwiederholungen die Mindestschwelle (80%) erreichen.
    4. Wenn der Teilnehmer den Trainingsteil abgeschlossen hat, drücken Sie die ESC-Taste und teilen Sie dem Teilnehmer mit, dass der Experimentator die Kontrolle über die Maus übernimmt, um den zweiten Teil des Experiments zu starten.
  4. Experiment Teil 2:
    1. Öffnen Sie das Skript ExperimentScript2.m, und warten Sie auf die Eingabeaufforderung Warten auf den Actor-PC.
    2. Läuten Sie die Glocke, wenn die Eingabeaufforderung angezeigt wird, damit einer der Akteure das Skript auf dem Actor-PC ausführen kann, um die Verbindung mit dem Experimenter-PC zu aktivieren.
    3. Warten Sie auf die Eingabeaufforderung Experiment Teil 2 ist fertig.
    4. Sagen Sie dem Teilnehmer, dass der Bildschirm jetzt transparent ist, während er einige kurze Aktionen durch ihn beobachtet.
    5. Warnen Sie sie, jede Aktion genau zu beobachten, und weisen Sie sie darauf hin, dass sie laut sagen sollen, worum es sich handelt.
    6. Sagen Sie dem Teilnehmer, dass das Experiment gestartet werden kann, wenn er bereit ist.
    7. Drücken Sie die ESC-Taste , wenn der Teilnehmer sagt, dass er für den ersten Teil bereit ist.
      HINWEIS: Der Teilnehmer geht durch die Anweisungen und beobachtet die erste Aktion. Actor1 führt die Aktionen aus, wenn die LED-Leuchten eingeschaltet sind, und überprüft die nächste Aktion über die Eingabeaufforderung auf dem Actor-PC, wenn die Leuchten ausgeschaltet sind. Wenn jede Aktion beendet ist, erscheint ein Dialogfeld auf dem Experimenter-PC-Bildschirm.
    8. Geben Sie im Dialogfeld ein, was der Teilnehmer über die Aktion sagt, und geben Sie im zweiten Dialogfeld 1 oder 0 ein, je nachdem, ob die Aktion richtig oder falsch identifiziert wurde.
      HINWEIS: Diese Schritte werden für den ersten Schauspieler achtmal wiederholt, und die Hintergrundmusik beginnt zu spielen, wenn es für die Schauspieler an der Zeit ist, die Plätze zu wechseln.
    9. Sehen Sie sich den Backstage-Bereich von den Aufnahmen der Überwachungskamera auf dem Kamera-PC an.
    10. Drücken Sie die ESC-Taste , um die Identifizierung für Actor2 zu starten, wenn der Actor mit der Geste " Ich bin bereit" mit den Händen in Richtung der Überwachungskamera winkt.
    11. Wiederholen Sie die Schritte 4.4.7 und 4.4.8 gemeinsam mit dem Teilnehmer, bis die gleichen acht Aktionen auch identifiziert werden, während sie von Actor2 ausgeführt werden.
    12. Wenn der Teilnehmer die Warnung "Identifizierung ist abgeschlossen " sieht und den Teil durch Klicken auf den Pfeil verlässt, drücken Sie die ESC-Taste und teilen Sie dem Teilnehmer mit, dass der Experimentator die Kontrolle über die Maus übernimmt, um den dritten Teil des Experiments zu starten.
  5. Experiment Teil 3:
    1. Öffnen Sie das Skript ExperimentScript3.m.
    2. Sagen Sie dem Teilnehmer, dass er sich die Aktionen beider Schauspieler ansehen wird, und klicken Sie dann auf die Option, die er für geeignet hält.
      HINWEIS: Die Teilnehmer bewerten in vier Blöcken die Aktionen der Akteure. In zwei der Blöcke führt Akteur1 die Aktionen aus, und in den anderen beiden führt Akteur2 die gleichen Aktionen aus. In zwei der Blöcke bewerten die Teilnehmer die Aktionen, indem sie hohe oder niedrige Agency-Kapazitäten zuweisen, und in den anderen beiden werden sie hohe oder niedrige Erfahrungskapazitäten zuweisen.
    3. Drücken Sie die ESC-Taste , wenn der Teilnehmer sagt, dass er für den dritten Teil bereit ist.
      HINWEIS: Der Teilnehmer geht die Anweisungen durch und beginnt mit dem ersten Block. Die Schauspieler führen die Aktionen im Licht aus, und während die Teilnehmer ihre Antworten geben, wird der Bildschirm undurchsichtig und die Lichter werden ausgeschaltet, damit die Schauspieler sehen können, welche Aktion als nächstes kommt. Wenn jeder Block endet, tauschen die Schauspieler die Plätze, indem sie den Eingabeaufforderungen auf dem Akteur-PC folgen.
    4. Prüfen Sie, ob hinter der Bühne alles gut läuft und ob der richtige Schauspieler während der Blöcke die richtige Aktion durchführt.
    5. Drücken Sie die ESC-Taste , um den nächsten Block zu starten, wenn der rechte Schauspieler nach dem Austausch der Schauspieler mit der Geste " Ich bin bereit" winkt.
    6. Wiederholen Sie Schritt 4.5.4 und Schritt 4.5.5 in Zusammenarbeit mit dem Teilnehmer und dem Darsteller, bis die vier Blöcke vollständig sind.
    7. Wenn der Teilnehmer die Aufforderung Das Experiment ist beendet sieht, drücken Sie die ESC-Taste .
    8. Bedanken Sie sich bei dem Teilnehmer und schicken Sie ihn nach der Nachbesprechung und dem Einholen von Unterschriften los.

Abbildung 5 zeigt eine Beispielstudie aus der Sicht des Teilnehmers. Abbildung 5A zeigt den Teilnehmer, der auf den Cursor in der Mitte des Bildschirms in seiner undurchsichtigen Verwendung blickt. Abbildung 5B zeigt den Teilnehmer, der die Live-Action-Stimuli über den Bildschirm beobachtet. Abbildung 5C zeigt den Auswertungsbildschirm, der dem Teilnehmer nach den Stimuli präsentiert wird, in dem er die Maus zu einer der beiden Alternativen in jeder oberen Ecke des Bildschirms ziehen muss.

figure-protocol-5
Abbildung 5: OLED-Bildschirm aus der Sicht des Teilnehmers. (A) Undurchsichtige Verwendung des digitalen OLED-Bildschirms aus der Sicht des Teilnehmers während eines Fixationsbildschirms. (B) Transparente Nutzung des digitalen OLED-Bildschirms aus der Sicht des Teilnehmers während der Präsentation einer Live-Aktion. (C) Undurchsichtige Nutzung des digitalen OLED-Bildschirms aus der Sicht des Teilnehmers während des Antwortzeitraums. Bitte klicken Sie hier, um eine größere Version dieser Abbildung zu sehen.

5. Datenvorverarbeitung und -analyse

  1. Segmentieren von Daten in Bedingungen
    1. Lesen Sie alle Teilnehmerdatendateien in den Arbeitsbereich der Softwareumgebung ein.
    2. Definieren Sie die Bedingungen für die Gruppierung der Daten (zwei Aktionsklassen [Aktionsklasse 1 und Aktionsklasse 2] x zwei Akteure [Akteure 1 und Akteure 2] x zwei Dimensionen [Agentur und Erfahrung] x zwei Ebenen [Hoch und Niedrig]).
    3. Unterteilen Sie die Daten in vier Hauptgruppen: "Agentur hoch", "Agentur niedrig", "Erfahrung hoch" und "Erfahrung niedrig".
    4. Unterteilen Sie diese Hauptgruppen in vier Untergruppen (zwei Akteure x zwei Aktionsklassen).
    5. Durchlaufen Sie jede Datendatei, um die Studien zu gruppieren, die zu einer der vier zuvor definierten Untergruppen gehören.
    6. Speichern Sie die relevanten Studieninformationen (Reaktionszeit, Cursorbewegung und Zeitpunkte, zu denen die Cursorposition abgetastet wird) in separaten Datenstrukturen für jede Untergruppe.
    7. Beenden Sie die Schleife, wenn alle Versuche gruppiert sind.
  2. Visualisierung der Trajektorien
    1. Nachdem Sie die Daten segmentiert haben, führen Sie die folgenden Schritte aus, um die Maustrajektorien zu visualisieren.
    2. Um die Zeitinterpolation auf die Trajektorien der Antwortvariablen anzuwenden, wählen Sie für jeden Versuch 101 (x,y)-Paare aus dem Trajektorienarray aus, sodass jede Teilgruppe von Daten Versuche mit einer gleichen Anzahl von Zeitschritten enthält.
      HINWEIS: Wenn Sie die Anzahl der Paare auf 101 verankern, stellen Sie sicher, dass Sie die Konvention32befolgen, um eine korrekte Zeitnormalisierung durchzuführen. Erreichen Sie daher die Zeitnormalisierung mit der folgenden Gleichung, wobei n die Anzahl der Abtastungen in einem Trajektorienarray ist:
      figure-protocol-6
    3. Berechnen Sie die Summe der (x,y)-Paare zu jedem der 101 Zeitpunkte und dividieren Sie dann das erhaltene Ergebnis durch die Gesamtzahl der Versuche dieser Untergruppe, um die Mittelwerte für jede Untergruppe zu erhalten (z. B. Erfahrung mit niedrigem Akteur1 oder Erfahrung mit niedrigem Akteur2).
    4. Wenden Sie einen Skalierungsvorgang auf die Zeilenwerte an, um die mittleren Trajektorien zu visualisieren.
      HINWEIS: Die 2D-Koordinatenebene geht davon aus, dass beide Achsen vom Nullpunkt in der unteren linken Ecke des Fensters aus zunehmen (vorausgesetzt, die Koordinaten sind positive ganze Zahlen), während das Pixelformat die obere linke Ecke des Fensters als Referenz verwendet (z. B. Nullpunkt). Wenden Sie daher einen Skalierungsvorgang für die y-Koordinaten (entsprechend den Zeilenwerten im Pixelformat) der abgetasteten Positionen an, indem Sie die abgetastete y-Koordinate jedes Versuchs aus dem Wert der Gesamtzahl der Zeilen extrahieren.
    5. Stellen Sie die zugehörigen Teilgruppen zum Vergleich in derselben Abbildung dar.
      HINWEIS: Jede Flugbahn beginnt in der Mitte des Rechtecks unten in der Mitte, mit START, und endet in den Rechtecken in der oberen linken oder oberen rechten Ecke.

6. Bedingungen, die zu einem Systemausfall führen können, und Vorsichtsmaßnahmen

HINWEIS: Im Falle eines Systemausfalls ist es wichtig, ein physisches Zeichen (Klingeln) zu haben, um den Schauspieler über den Fehler zu informieren und ihn zu warnen, sich an einem Ort aufzuhalten, der für den Teilnehmer unsichtbar ist.

  1. Ausfälle aufgrund der Netzwerkverbindung
    1. Wenn einer der Computer mit einem anderen Netzwerk verbunden ist, schlägt die TCP/IP-Verbindungsanforderung fehl und das System zeigt einen Fehler an. Um dies zu verhindern, stellen Sie sicher, dass sich der Experimenter-PC und der Actor-PC auf demselben Band desselben drahtlosen Netzwerks befinden.
    2. Um sicherzustellen, dass sich beide PCs im selben Netzwerk befinden, löschen Sie zuvor verbundene drahtlose Netzwerke von beiden PCs.
    3. Legen Sie statische IP-Adressen für die Geräte im ausgewählten Netzwerk fest, da sich die IP-Adressen in einem Netzwerk ohne vorherige Ankündigung ändern können.
    4. Jede kurzzeitige Unterbrechung der Verbindung (z. B. aufgrund eines Stromausfalls, eines Internetausfalls usw.) zum Netzwerk kann dazu führen, dass das Skript fehlschlägt. Unter diesen Umständen muss das System von Anfang an neu gestartet werden, um die TCP/IP-Verbindung wiederherzustellen.
      HINWEIS: Die Anforderung an statische IPs für Geräte kann vom Internetdienstanbieter erfüllt werden. Bestimmte Ports können durch das Betriebssystem oder die Hardware eines bestimmten Geräts deaktiviert werden. Daher müssen die Ports, die im Experiment verwendet werden sollen, geöffnet sein und dürfen keine aktive Verbindung haben, bis das Experimentskript gestartet wird.
  2. Ausfälle aufgrund von Softwareabstürzen
    1. Die Softwareumgebung kann aufgrund fehlgeschlagener Verbindungen (z. B. serielle Schnittstelle, TCP/IP-Verbindung, Bildschirmverbindung usw.) abstürzen, was zu einem Datenverlust führen kann. Um dies zu umgehen, teilen Sie das Hauptexperimentskript in mehrere Skripte auf. Wenn es beispielsweise einen Block gibt, der abgeschlossen werden muss, bevor die Akteure mit der Ausführung von Aktionen beginnen, ist es nicht erforderlich, während dieses Blocks einen Server auf dem Experimenter-PC zu erstellen. Der Server kann erstellt werden, wenn der Block, der Aktionen beinhaltet und daher eine Kommunikation zwischen dem Experimenter-PC und dem Actor-PC erfordert, kurz vor dem Start steht.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

Vergleiche der Reaktionszeit (RT)
Da es sich bei der aktuellen Studie um ein fortlaufendes Projekt handelt, werden als repräsentative Ergebnisse Daten aus dem Hauptteil des Experiments (Experiment Teil 3) präsentiert. Diese Daten stammen von 40 Teilnehmern, darunter 23 Frauen und 17 Männer, im Alter von 18 bis 28 Jahren (M = 22,75, SD = 3,12).

Um die geeignete statistische Methode für die Analysen auswählen zu können, war es notwendig, das Ausmaß der Norma...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Das übergeordnete Ziel der vorliegenden Studie ist es, zu unserem Verständnis beizutragen, wie die visuelle Wahrnehmung und Kognition des Menschen auf hoher Ebene in realen Situationen funktioniert. Diese Studie konzentrierte sich auf die Wahrnehmung von Handlungen und schlug ein naturalistisches, aber kontrollierbares experimentelles Paradigma vor, das es Forschern ermöglicht, zu testen, wie Individuen die Handlungen anderer wahrnehmen und bewerten, indem sie reale Akteure in einer Laborumgebung präsentieren.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Die Autoren erklären, dass sie keine relevanten oder wesentlichen finanziellen Interessen im Zusammenhang mit der in diesem Artikel beschriebenen Forschung haben.

Danksagungen

Diese Arbeit wurde durch Zuschüsse an Burcu A. Urgen vom Scientific and Technological Research Council of Türkiye (Projektnummer: 120K913) und der Bilkent University unterstützt. Wir danken unserem Pilotteilnehmer Sena Er Elmas für die Idee, Hintergrundgeräusche zwischen den Schauspielerwechseln hinzuzufügen, Süleyman Akı für die Einrichtung des Lichtkreises und Tuvana Karaduman für die Idee, eine Überwachungskamera hinter den Kulissen zu verwenden, und für ihren Beitrag als eine der Schauspielerinnen in der Studie.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
Höhenverstellbarer Tischnach MaßN/ABreite: 60 cm, Höhe: 62 cm, Tiefe: 40 cm
Ardunio UNO Smart ProjectsA000066Mikrocontroller, der zum Umschalten des Zustands der LEDs aus dem Skript verwendet wird, das auf dem Bediener-PC ausgeführt
wird Schwarze HoseKeine MarkeN/ALocker geschnittene Hosen von Schauspielern ohne offensichtlichen Markennamen oder Logo.
GehäuseXigmatekEN43224XIGMATEK HELIOS RAINBOW LED USB 3.0 MidT ATX GAMING GEHÄUSE
CPUAMDAMD Ryzen 5 1600 Soket AM4 3.2 GHz - 3.6 GHz 16 MB 65 W 12 nm Prozessor
VorhängeSonderanfertigungN/ABreite: Teil 1: 110 cm Breite von der Wandseite (links), Teil 2: 123 cm Breite über OLED-Display, Teil 3: 170 cm vom OLED-Display bis zur rechten Seite, Kabinentiefe: 100 cm, Kabineninnentiefe: 100 cm, alle Höhen 230 cm außer Teil 2 (75 cm Höhe)
Experimenter Verstellbar/DrehstuhlKeine MarkeN/ABeliebige Marke
Experimenter TableCustomN/ABreite: 160 cm, Höhe: 75 cm, Tiefe: 80 cm
GPUMSIGT 1030 2GHD4 LP OCMSI GEFORCE GT 1030 2GHD4 LP OC 2GB DDR4 64bit NVIDIA GPU
Grauer VerdunkelungsvorhangSonderanfertigungN/ABreite: 330 cm, Höhe: 230 cm, zur Abdeckung des Hintergrunds
FestplatteKioxiaLTC10Z240GG8Kioxia 240 GB Exceria Sata 3.0 SSD (555 MB Lesen/540 MB Schreiben)
FestplatteToshibaHDWK105UZSVAToshiba 2,5'' 500 GB L200 SATA 3.0 8 MB Cache 5400 U/min 7 mm Festplatte
High-Power MOSFET ModulN/AN/AHeizungsregler MKS MOSFET Modul
LaptopAppleS/N: C02P916ZG3QTMacBook Pro 11.1 Intel Core i7 (Wird als Actor-PC verwendet)
LaptopAsus UX410UWird zur Überwachung der Überwachungskamera in Echtzeit verwendet.
LED-LeuchtenKeine MarkeN/A
LED-Streifen-NetzteilKeine MarkeN/AAC/DC-Spannungswandler für die Versorgung des Beleuchtungskreises mit Gleichspannung
MATLAB Die MathWorks Inc., Natick, MA, USAVersion: R2022aWird für die Programmierung des Experiments verwendet.

Erforderliche Toolboxes:
MATLAB Support Package für Arduino-Hardware (Version 22.1.2)
Instrument Control Toolbox (Version 4.6)
Psychtoolbox (Version 3)
Überwachen SiePhilipsUHB2051005145 Modell-ID: 242V8A/00, PHILIPS 23,8" 242V8A 4ms 75 Hz Freesync DP-HDMI+VGA IPS Gaming-Monitor
MotherboardMSIB450M-A PRO MAXMSI B450M-A PRO MAX Amd B450 Sockel AM4 DDR4 3466(OC) M.2 Motherboard
Mauspad für TeilnehmerMonster  78185721101502042 / 8699266781857Pusat Gaming Mauspad XL
NachtlampeAukesES620-0.5W 6500K-IP 20Wird verwendet, um den Schauspielern zu helfen, sich umzusehen, wenn die Lichter im Backstage-Bereich ausgeschaltet sind.
Teilnehmer Verstellbar/DrehstuhlKeine MarkeN/A
Teilnehmer TischIKEASandsberg 294.203.93Breite: 110 cm, Höhe: 75 cm, Tiefe: 67 cm
VerlängerungskabelViko9011760Y250 V (6 Eingänge) Schwarz
VerlängerungskabelViko9011730Y250 V (3 Eingänge) Schwarz
VerlängerungskabelViko9011330Y250 V (3 Eingänge) Weiß
VerlängerungskabelS-Link Modellnummer: SPG3-J-10AC - 250 V 3 Meter (5 Eingänge)
NetzteilTHERMALTAKEPS-LTP-0550NHSANE-1THERMALTAKE LITEPOWER RGB 550W APFC 12 cm Lüfter Netzteil
Professionelle Gaming-MausRampage8680096Modellnummer: SMX-R50 
RAMGSKILLF4-3000C16S-8GVRBGSKILL 8GB (1x8GB) RipjawsV Red DDR4 3000 MHz CL16 1.35 V Single
Ram EmpfangsglockeKeine MarkeN/AWird verwendet, um die Kommunikation zwischen dem Experimentator und den Schauspielern zu unterstützen.
ÜberwachungskameraBrion Vega2-20204210Modell:BV6000
LautsprecherLogitechP/N: 880-000-405 PID: WD528XMWird zum Abspielen der Hintergrundmusik verwendet.
UmfragesoftwareQualtrics N/A
SchaltmodulKeine MarkeN/AF5305S PMOS Schaltmodul
Tisch unter dem OLED-DisplaySonderanfertigungN/ABreite: 123 cm, Höhe: 75 cm, Tiefe: 50 cm
Transparentes OLED-DisplayPlanarPN: 998-1483-01 S/N:195210075Ein transparentes 55-Zoll-Display, das dynamische Informationen anzeigt, ermöglichte die undurchsichtige und transparente Nutzung während des Experiments.
USVEAGK200610100087EAG 110
USVEAG210312030507EAG 103
USB 2.0 Kabel Typ A/B für Arduino UNO (Blau)Smart ProjectsM000006 Wird verwendet, um den Mikrocontroller mit dem Experimentator-PC zu verbinden.
USB zu RS232 Konverter S-Link8680096082559Modell: SW-U610
Weiße Langarmbluse (2)H& M (Baumwolle)N/ALocker geschnittene Blusen mit Rundhalsausschnitt und ohne erkennbaren Markennamen oder Logo.
Kabellose TastaturLogitechP/N: 820-003488 S/N: 1719CE0856D8Modell: K360
Kabellose MausLogitechS/N: 2147LZ96BGQ9Modell: M190 (Wird als Reaktionsgerät verwendet)
YD1600BBAFBOX

Referenzen

  1. Grossman, E. D., Blake, R. Brain areas active during visual perception of biological motion. Neuron. 35 (6), 1167-1175 (2002).
  2. Saygin, A. P. Superior temporal and premotor brain areas necessary for biological motion perception. Brain. 130 (9), 2452-2461 (2007).
  3. Peelen, M. V., Downing, P. E. The neural basis of visual body perception. Nature Reviews Neuroscience. 8 (8), 636-648 (2007).
  4. Caspers, S., Zilles, K., Laird, A. R., Eickhoff, S. B. ALE meta-analysis of action observation and imitation in the human brain. Neuroimage. 50 (3), 1148-1167 (2010).
  5. Nelissen, K., et al. Action observation circuits in the macaque monkey cortex. Journal of Neuroscience. 31 (10), 3743-3756 (2011).
  6. Oosterhof, N. N., Tipper, S. P., Downing, P. E. Crossmodal and action-specific: Neuroimaging the human mirror neuron system. Trends in Cognitive Sciences. 17 (7), 311-318 (2013).
  7. Lingnau, A., Downing, P. E. The lateral occipitotemporal cortex in action. Trends in Cognitive Sciences. 19 (5), 268-277 (2015).
  8. Giese, M. A., Rizzolatti, G. Neural and computational mechanisms of action processing: Interaction between visual and motor representations. Neuron. 88 (1), 167-180 (2015).
  9. Tucciarelli, R., Wurm, M., Baccolo, E., Lingnau, A. The representational space of observed actions. eLife. 8, e47686(2019).
  10. Tarhan, L., Konkle, T. Sociality and interaction envelope organize visual action representations. Nature Communications. 11 (1), 3002(2020).
  11. Urgen, B. A., Saygin, A. P. Predictive processing account of action perception: Evidence from effective connectivity in the action observation network. Cortex. 128, 132-142 (2020).
  12. Newen, A., De Bruin, L., Gallagher, S. The Oxford Handbook of 4E Cognition. , Oxford University Press. Oxford, UK. (2018).
  13. Snow, J. C., Culham, J. C. The treachery of images: How realism influences brain and behavior. Trends in Cognitive Sciences. 25 (6), 506-519 (2021).
  14. Matusz, P. J., Dikker, S., Huth, A. G., Perrodin, C. Are we ready for real-world neuroscience. Journal of Cognitive Neuroscience. 31 (3), 327-338 (2019).
  15. Zaki, J., Ochsner, K. The need for a cognitive neuroscience of naturalistic social cognition. Annals of the New York Academy of Sciences. 1167 (1), 16-30 (2009).
  16. Hasson, U., Honey, C. J. Future trends in Neuroimaging: Neural processes as expressed within real-life contexts. NeuroImage. 62 (2), 1272-1278 (2012).
  17. Risko, E. F., Laidlaw, K. E., Freeth, M., Foulsham, T., Kingstone, A. Social attention with real versus reel stimuli: toward an empirical approach to concerns about ecological validity. Frontiers in Human Neuroscience. 6, 143(2012).
  18. Parsons, T. D. Virtual reality for enhanced ecological validity and experimental control in the clinical, affective and social neurosciences. Frontiers in Human Neuroscience. 9, 660(2015).
  19. Deuse, L., et al. Neural correlates of naturalistic social cognition: brain-behavior relationships in healthy adults. Social Cognitive and Affective Neuroscience. 11 (11), 1741-1751 (2016).
  20. Camerer, C., Mobbs, D. Differences in behavior and brain activity during hypothetical and real choices. Trends in Cognitive Sciences. 21 (1), 46-56 (2017).
  21. Nastase, S. A., Goldstein, A., Hasson, U. Keep it real: Rethinking the primacy of experimental control in cognitive neuroscience. NeuroImage. 222, 117254(2020).
  22. Kihlstrom, J. F. Ecological validity and "ecological validity". Perspectives on Psychological Science. 16 (2), 466-471 (2021).
  23. Brunswik, E. Perception and the Representative Design of Psychological Experiments. , University of California Press. Oakland, California. (1956).
  24. Aronson, E., Carlsmith, J. M. Experimentation in social psychology. The Handbook of Social Psychology. Gilbert, D. T., Fiske, S. T., Lindzay, G. , McGraw-Hill. New York, NY. 1-79 (1968).
  25. Hammond, K. Ecological validity: Then and now. University of Colorado. , Available from: https://www.albany.edu/cpr/brunswik/notes/essay1.html (1998).
  26. Fan, S., Dal Monte, O., Chang, S. W. Levels of naturalism in social neuroscience research. IScience. 24 (7), 102702(2021).
  27. Orban, G. A., Lanzilotto, M., Bonini, L. From observed action identity to social affordances. Trends in Cognitive Sciences. 25 (6), 493-505 (2021).
  28. Gray, H. M., Gray, K., Wegner, D. M. Dimensions of mind perception. Science. 315 (5812), 619(2007).
  29. Li, Z., Terfurth, L., Woller, J. P., Wiese, E. Mind the machines: Applying implicit measures of mind perception to social robotics. 2022 17th ACM/IEEE International Conference on Human-Robot Interaction (HRI. , 236-245 (2022).
  30. Karpinski, A., Steinman, R. B. The single category implicit association test as a measure of implicit social cognition. Journal of Personality and Social Psychology. 91 (1), 16(2006).
  31. Greenwald, A. G., McGhee, D. E., Schwartz, J. L. Measuring individual differences in implicit cognition: the implicit association test. Journal of Personality and Social Psychology. 74 (6), 1464(1998).
  32. Freeman, J. B., Ambady, N. MouseTracker: Software for studying real-time mental processing using a computer mouse-tracking method. Behavior Research Methods. 42 (1), 226-241 (2010).
  33. Pekçetin, T. N., Barinal, B., Tunç, J., Acarturk, C., Urgen, B. A. Studying mind perception in social robotics implicitly: The need for validation and norming. Proceedings of the 2023 ACM/IEEE International Conference on Human-Robot Interaction. , 202-210 (2023).
  34. Yu, Z., Wang, F., Wang, D., Bastin, M. Beyond reaction times: Incorporating mouse-tracking measures into the implicit association test to examine its underlying process. Social Cognition. 30 (3), 289-306 (2012).
  35. Romero, C. A., Snow, J. C. Methods for presenting real-world objects under controlled laboratory conditions. Journal of Visualized Experiments. (148), e59762(2019).
  36. Jastorff, J., Abdollahi, R. O., Fasano, F., Orban, G. A. Seeing biological actions in 3 D: An f MRI study. Human Brain Mapping. 37 (1), 203-219 (2016).
  37. Ferri, S., Pauwels, K., Rizzolatti, G., Orban, G. A. Stereoscopically observing manipulative actions. Cerebral Cortex. 26 (8), 3591-3610 (2016).
  38. Stangl, M., Maoz, S. L., Suthana, N. Mobile cognition: Imaging the human brain in the 'real world. Nature Reviews Neuroscience. 24 (6), 347-362 (2023).
  39. Kriegeskorte, N. Deep neural networks: a new framework for modeling biological vision and brain information processing. Annual Review of Vision Science. 1, 417-446 (2015).
  40. Marblestone, A. H., Wayne, G., Kording, K. P. Toward an integration of deep learning and neuroscience. Frontiers in Computational Neuroscience. 10, 94(2016).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Wahrnehmung von Handlungennaturalistisches Experimentsoziale Interaktiontransparenter OLED BildschirmPr sentation durch reale Schauspielerkologische Validit tVerhaltensexperimentAnalyse von Maus Trajektorien

Verwandte Artikel