Die Kombination Computer Game-Based Behavioural Experimente mit High-Density EEG-und Infrarot-Tracking-Gaze

Dieses Video zeigt ein Verfahren, um gleichzeitige Blickverfolgung und EEG-Aufzeichnungen mit hoher Dichte von Probanden während der Durchführung von ansprechenden und ökologisch validen kognitiven Aufgaben zu erhalten, die in ein Computerspiel eingebettet sind. Zuerst werden Elektroden an der Versuchsperson angebracht. Anschließend wird die Kamera zur Blickverfolgung kalibriert.

Der Proband spielt das Spiel, während EEG- und Blickdaten aufgezeichnet werden. Es werden ereigniskorrelierte Potentiale und ereigniskorrelierte spektrale Störungen erhalten, die durch Spielereignisse widerrufen werden. Der Hauptvorteil dieser Technik gegenüber bestehenden Methoden, z. B. Stimulus-Präsentationspaketen wie ePrime oder Präsentation, besteht darin, dass das Einbetten von Experimenten in ein Computerspiel die Leistungsangst lindert, indem es sich von einem expliziten Testkontext entfernt und den Probanden hilft, während einer langen experimentellen Sitzung motiviert und mit Aufgaben beschäftigt zu bleiben.

Umfasst ein breites Spektrum an kognitiven Aufgaben. Diese Eigenschaften sind besonders wichtig für pädiatrische und klinische Populationen, bei denen Aufmerksamkeit und Motivation ein Hindernis für komplexe oder langwierige experimentelle Sitzungen sein können. Mein Name ist Keith Yoder und ich bin Forschungsassistent im Beaumont Laboratory.

Heute wird mir David Post zur Seite stehen, ein Labortechniker und UAUA-Doktorand am Department of Human Development. Wir werden ein 128-Kanal-Bios, ein semiaktives Zwei-Mess-System und einen iLink 1000 Infrarot-Blicktracker von SR Research verwenden. Bevor das kombinierte Computerspiel und das EEG-Experiment beginnen können, sollten die Elektroden ausbalanciert werden, um sicherzustellen, dass sie kleine Offsets im Bereich von plus oder minus 20 Mikrovolt pro Stunde haben, bevor der Proband eintrifft. Für das EEG-Experiment balancieren Sie die Elektroden aus, indem Sie sie fünf bis 10 Minuten lang in einem Salzbad einweichen, das aus einem Teelöffel Salz pro Liter destilliertem Wasser besteht.

Lassen Sie die Elektroden nicht länger als 10 Minuten am Stück in Flüssigkeiten. Nachdem Sie die Elektroden aus dem Salzbad genommen haben, spülen Sie sie mit einer mit destilliertem Wasser gefüllten Sprühflasche aus, kurz bevor das Subjekt eintrifft. Schalten Sie die Konverterboxen und Computer für die gleichzeitige Blickverfolgung und EEG ein, achten Sie darauf, das 16 Millimeter lange Objektiv in der Blickverfolgungskamera zu verwenden.

Das Setup verwendet vier Computer, einen dedizierten Computer zur Blickverfolgung, einen dedizierten EEG-Erfassungscomputer, einen dedizierten Stimulus-Präsentationscomputer und einen Computer für die Videoerfassung und Datenanalyse. Zwei Konverterboxen. Bearbeiten Sie die VGA-Ausgänge des Blickverfolgungscomputers und des Stimulus-Präsentationscomputers und senden Sie ein gespleißtes Videosignal an den Videoaufnahmecomputer.

Auf diese Weise kann der Videoerfassungscomputer den vom Subjekt gesehenen Spielbildschirm aufzeichnen und mit einem Cursor überlagert werden, der die aktuelle Blickfixierung darstellt, und einem Zeitstempel. Dieses Overlay-Video wird auf einer Disc-Datei auf dem Videoaufnahmecomputer gespeichert. Sehen wir uns nun die EEG-Einrichtung an.

Beginnen Sie mit der Vorbereitung des EEG-Experiments, indem Sie den Umfang des Probanden messen. Gehen Sie um die Braue und das Inion herum und wählen Sie eine Elektrodenkappe in geeigneter Größe. Setzen Sie die Kappe auf den Kopf des Motivs und stellen Sie sicher, dass sich das Etikett außerhalb der Kappe befindet und auf dem Hals des Motivs aufliegt.

Positionieren Sie die Kappe neu, bis die A-Elektrode in Bezug auf das Naseninion und die linke Ohrmuschel zentriert ist, die rechten Stifte und die Mittellinie der Kappe entlang der Mittellinie des Kopfes des Probanden liegen. Die Nasion ist die Vertiefung zwischen Nase und Braue. Das Inion ist die knöcherne Beule an der Mittellinie am Hinterkopf, und die Ohrmuschel ist der Knorpellappen, der sich an der vorderen Seite der Öffnung des Gehörgangs erstreckt.

Wenn die Kappe in Position ist, bringen Sie einen Klebering auf das Kunststoffgehäuse der Elektroden an. Ex fünf und ex sechs. Richten Sie die Öffnung des Rings mit dem Elektrodenpellet aus.

Entfernen Sie die Papierunterlage vom Klebering und decken Sie den Elektrodenkontakt mit leitfähigem Gel ab. Platzieren Sie EX sechs auf dem rechten Mastoid des Motivs und EX fünf auf dem linken Mastoid des Motivs. Verwenden Sie eine stumpfe Spritze, um leitfähiges Gel in jeden Elektrodenhalter in der Kappe zu geben.

Wackeln Sie mit der Spritzenspitze, um das Haar des Motivs zu scheiteln. Drücken Sie dann gleichzeitig den Kolben nach unten und ziehen Sie die Spritze vom Kopf weg, als würden Sie einen Kuchen dekorieren. Füllen, bis das Gel mit der Oberseite des Kunststoffgehäuses gespült ist.

Achten Sie darauf, dass Sie nicht überfüllt sind. Es ist besser, zu wenig Gel zu haben, da zu viel überschüssiges Gel zwischen den Elektrodenstellen bluten und eine Elektrodenüberbrückung verursachen kann. Wenn Elektroden überbrückt werden, ist nichts dagegen.

Um die Kappe zu entfernen, lassen Sie die Versuchsperson ihre Haare waschen und trocknen und beginnen Sie erneut mit den Steckern der Elektrodenleitungen, die über der Schulter hängen, und den Sensorenden in einer Hand, platzieren Sie jede Elektrode vorsichtig in der entsprechenden Halterung innerhalb der Elektrodenkappe. Fassen Sie nur das Kunststoffgehäuse der Elektroden an und achten Sie sehr darauf, die Drähte nicht zu crimpen. Es ist wichtig, die Elektrodenspitzen nicht zu berühren.

Der Kontakt mit Haut, Kleidung oder anderen Materialien als leitfähigem Gel verschlechtert die Qualität der Elektroden. Legen Sie leitfähiges Gel auf X eins bis X vier und befestigen Sie sie mit Kleberingen am Gesicht des Motivs. Platzieren Sie X eins und X zwei etwa einen Zentimeter horizontal von der linken bzw. rechten äußeren Canthi des Motivs.

Platzieren Sie X drei und DX vier etwa einen Zentimeter unterhalb der Mitte des linken und rechten Auges des Probanden auf den Jochbeinknochen. Sammeln Sie vorsichtig die Elektrodenkabel hinter dem Motiv und wickeln Sie das C-M-S-D-R-L-Kabel locker um die anderen. Um einen Pferdeschwanz zu erstellen, platzieren Sie Velcro-Bänder oben und unten am Pferdeschwanz, um die Leinen an Ort und Stelle zu halten, und befestigen Sie den Pferdeschwanz mit medizinischem Klebeband auf der Rückseite des betroffenen Hemdes.

Achten Sie darauf, dass diese Elektroden genügend Spielraum haben, damit sich der Hals des Motivs bequem nach vorne beugen kann. Bereiten Sie nun die GSR-Elektroden vor, indem Sie auf jede Elektrode eine Kaliumchloridlösung auftragen. Verwenden Sie medizinisches Klebeband, um GSR-Elektroden am zweiten und dritten Finger der nicht dominanten Hand des Probanden oder der Hand, die während des Experiments nicht verwendet wird, anzubringen.

Um Verhaltensreaktionen zu signalisieren, wenn alle Elektroden aufgestellt sind, lassen Sie den Probanden auf einem nicht verstellbaren stationären Stuhl sitzen. Stecken Sie vor dem Stimulus-Präsentationsmonitor alle Elektroden in die Konverterbox und überprüfen Sie den EEG-Erfassungscomputer, um sicherzustellen, dass die Elektroden-Offsets innerhalb von plus/minus 40 Mikrovolt liegen. Wenn eine Elektrode einen sehr großen Versatz hat oder verrauscht ist, entfernen Sie die Elektrode vorsichtig von der Kappe.

Geben Sie mehr Gel in das Gehäuse und tauschen Sie die Elektrode aus. Wenn ein Problem in einer einzelnen Elektrode weiterhin besteht oder wenn eine einzelne Elektrode mit Pulsartefakten verunreinigt wird, sollte dieser Kanal von den umgebenden Elektroden interpoliert werden. Richten Sie nach Beendigung der Aufzeichnung die Blickverfolgung ein, indem Sie zunächst einen Zielaufkleber über der septischen Augenbraue medial zum Auge anbringen.

Starten Sie die Popup-Kalibrierungsanwendung auf dem Stimulus-Präsentationscomputer. Starten Sie eine neue Sitzung und ändern Sie das Dropdown-Menü Typ in CMD. Nachdem Sie den entsprechenden Befehl eingegeben haben, drücken Sie die Senden-Taste, um die Ereignisprotokollierung über die Popup-Kalibrierungsanwendung zu aktivieren, um die Kameraeinrichtung zu starten.

Positionieren Sie die Kamera so, dass der Zielaufkleber und das I des Motivs auf den automatischen Schwellenwert zentriert sind. Drücken Sie die Taste A auf der Tastatur für den Stimulus-Präsentationscomputer. Stellen Sie den Fokus ein, indem Sie das Kameraobjektiv drehen, bis das zu verfolgende I klar ist.

Beginnen Sie mit der Kalibrierung des Blickverfolgungssystems für das Motiv, indem Sie C auf der Tastatur des Stimulus-Präsentationscomputers drücken. Ein Punkt erscheint an neun verschiedenen Stellen auf dem Bildschirm in zufälliger Reihenfolge. Das Motiv sollte auf den Punkt schauen, wenn er erscheint, anstatt die Position des nächsten Punktes zu antizipieren.

Um die Kalibrierung zu bestätigen, drücken Sie die Taste V. Die Punkte werden wieder in zufälliger Reihenfolge angezeigt. Wenn die Kalibrierung gut war, wird das Anvisieren des Motivs auf jeden Validierungspunkt abgebildet.

Wenn die Kalibrierung fehlschlägt, stellen Sie sicher, dass die Reflexionsschwellen für Pupille und Hornhaut angemessen sind. Die Pupillen- und Hornhautschwellenwerte können über den Kamera-Setup-Bildschirm auf dem Host-Computer der Insel oben links auf dem Bildschirm angepasst werden. Durch Klicken auf die Aufwärts- und Abwärtspfeile der Pupille und der Hornhaut werden die Schwellenwerte jeweils erhöht bzw. verringert. Stellen Sie sicher, dass die Abtastrate auf 500 Hertz eingestellt ist, indem Sie auf die Schaltfläche 500 Hertz klicken.

Minimieren Sie die Popup-Kalibrierungsanwendung auf dem Stimulus-Präsentationscomputer und beginnen Sie mit der Aufzeichnung von Blickdaten, indem Sie mit der rechten Maustaste auf das iLink-Symbol in der Taskleiste klicken und Aufnahme starten auswählen. Starten Sie die Videoaufzeichnung auf dem Videoaufnahmecomputer mit der Black Magic Media Express-Software. Starten Sie dann die EEG-Aufzeichnung auf dem EEG-Erfassungscomputer, indem Sie auf die Pause-Schaltfläche klicken.

Jetzt, auf der Stimulus-Präsentation, startete der Computer das Spiel, da Polus ein speziell entwickeltes Spiel ist, das entwickelt wurde, um ökologische Gültigkeit zu gewährleisten Ohne die experimentelle Kontrolle in einem Spiel zu opfern, müssen die Probanden ein Frachtschiff retten, das angegriffen wird. Eine Go-No-Go-Aufgabe wird durch die Einführung eines Wurmlochs umgesetzt, aus dem entweder ein Freund erscheint, der dem Spieler hilft, oder ein Feind, der dem Spieler Schaden zufügt. Spieler. Führen Sie auch eine Punktbewegungs-Kohärenzaufgabe aus, indem Sie während eines anderen Spiels ein Raumschiff durch driftende Sternenfelder steuern.

Die Probanden müssen ein Radarfernrohr verwenden, um Asteroiden in einer modifizierten Posner-Aufgabe zu sammeln, wobei die vier Sektoren, in denen Asteroiden erscheinen könnten, mit unterschiedlichen Grundfrequenzen flackern. Änderungen des spektralen Inhalts des EEGs können dann die Aufmerksamkeit anhand der Amplituden der Frequenzen beurteilen, die jeden Sektor markieren. In einem anderen Spiel werden die Probanden gebeten, einen galaktischen Vertrag zu schließen, indem sie die Emotionen identifizieren, die in den Gesichtern dargestellt werden.

Jedes der fünf Gesichter muss auf leeren Stellen auf einem Spielbrett platziert werden, um eine Reihe oder Spalte mit drei Gesichtern zu erstellen, die die gleiche Emotion ausdrücken. Ein viertes Spiel führt den Sally-Anne-Test für Theory of Mind-Spieler ein. Beobachte, wie Captain Sally seine Fracht auf einem von vier Planeten absetzt.

Die Rolle der Anne spielt ein Weltraumpiraten, der die Fracht auf einen anderen Planeten bringt. Schließlich beobachtet ein Admiral sowohl den Kapitän als auch den Piraten und gibt Informationen über die Aktionen des Piraten an den Kapitän weiter. Die Spieler müssen dann Abfangkurse für den Kapitän und den Piraten planen, um daraus abzuleiten, wo jeder die Ladung suchen wird, und so die Theory of Mind erster und zweiter Ordnung im Kontrast zwischen mehreren Bedingungen umzusetzen.

Jüngste Ergebnisse in der Mensch-Computer-Interaktion deuten auf die Macht des Spielkontexts hin, um Motivation bei Aufgaben zu etablieren und aufrechtzuerhalten, die sonst nicht auf diese Weise ansprechend erscheinen würden. Mehrere kognitive Aufgaben in vielen wiederholten Versuchen können während einer einzigen experimentellen Sitzung durchgeführt werden, ohne den Probanden zu ermüden. Dies ist besonders wichtig, denn um ausreichende Versuche für EEG-Mittelwerte zu erhalten, sollten Probanden etwa hundert Versuche jeder Stimulusbedingung ansammeln. Für auditive Reize tauschen Sie die passiven Lautsprecher am Stimulus-Präsentationscomputer gegen Aktivlautsprecher aus.

Dann einstecken und den Verstärker einschalten. Stellen Sie die Lautstärke auf Stufe 60 ein. Dies ist notwendig, um einen maximalen Schallpegel von 80 Dezibel SPL zu erreichen, wenn das Subjekt die Spiele beendet hat.

Beenden Sie das Spiel und stoppen Sie die Datenaufzeichnung, indem Sie die Stopp-Taste in der grafischen Benutzeroberfläche drücken. Auf jedem der Videoerfassungs-, Blickverfolgungs- und EEG-Erfassungscomputer. Schalten Sie die EEG-Wandlerbox aus und trennen Sie alle Kabel von der Box.

Entfernen Sie die Kleberinge und legen Sie sie in warmes destilliertes Wasser. Verwenden Sie eine mit destilliertem Wasser gefüllte Sprühflasche, um das auf den Elektroden verbliebene Gel zu entfernen, und verwenden Sie warmes Leitungswasser und Seife, um das Gel von der Elektrodenkappe zu entfernen. Nun zeigen wir einige repräsentative EEG-Ergebnisse.

Hier ist ein ereignisbezogenes spektrales Störungsdiagramm, das von einer frontalen Mittellinienelektrode fz erhalten wurde. In diesem Spiel entspricht der gegenwärtige Feind dem Aussehen eines feindlichen Schiffes oder einer Go-Bedingung und der gegenwärtige Verbündete dem Aussehen eines verbündeten Schiffes oder einer No-Go-Bedingung während der No-Go-Bedingung. Typischerweise zeigten sich entwickelnde Kinder eine signifikant höhere Gamma-Band-EEG-Leistung als Kinder mit einer Autismus-Spektrum-Erkrankung.

Wenn Sie dieses Verfahren versuchen, ist es wichtig, die Elektrodenkontakte nicht zu berühren, die Drahtleitungen zu crimpen oder zu viel Gel zu verwenden.