Rysunek 8 przedstawia przykładowe dane EEG oraz przyspieszenia z jednostek IMU dla 16-sekundowego okna czasowego zarejestrowanego podczas interakcji między badanym a eksperymentatorem. Dane EEG zostały ponownie próbkowane z częstotliwością 100 Hz, a następnie przefiltrowane pasmowo [1-40 Hz] przy użyciu trzeciorzędowego filtru Butterwortha o zerowej fazie. Kanały o wysokich wartościach impedancji (Z > 60 kΩ) oraz kanały peryferyjne zostały odrzucone 12,15. Jednostki IMU rejestrowały dziewięć sygnałów z częstotliwością 128 Hz: strumień magnetyczny, prędkość kątową oraz przyspieszenie liniowe w trzech osiach kartezjańskich. Tutaj pokazano wartość przyspieszenia skompensowanego grawitacyjnie (GC). Efekt przyspieszenia ziemskiego został skompensowany poprzez zastosowanie filtru Kalmana w celu przewidzenia orientacji IMU w układzie globalnym 16. Dane zostały podzielone na segmenty na podstawie wizualnej inspekcji nagrań wideo (Krok 7.1). Pionowe linie ciągłe wskazują początek interesującego zachowania, natomiast pionowe linie przerywane reprezentują koniec zdarzenia.
Wpływ artefaktów ruchowych jest widoczny w danych EEG przedstawionych na Rysunku 8 około 709 s. Niekontrolowane podejście do gromadzenia danych w tym protokole eksperymentalnym sprawia, że dane EEG są podatne na mruganie powiek, ruchy gałek ocznych, ruchy ciała oraz artefakty elektromiograficzne. Dane poddano wstępnemu przetwarzaniu przy użyciu filtru pasmowoprzepustowego Butterwortha o zerowej fazie i 3rd rzędzie, aby ograniczyć je do pasma delta (1-4 Hz), a następnie znormalizowano poprzez odjęcie średniej i podzielenie przez odchylenie standardowe. Artefakty o wysokiej amplitudzie usuwano automatycznie metodą Artifact Subspace Removal (ASR) 17. Ponadto z analizy danych wyłączono kanały obwodowe w celu zminimalizowania zanieczyszczeń artefaktami mioelektrycznymi. Skurcze mięśnia czołowego i skroniowego nakładają się na sygnał EEG najsilniej w obszarach obwodowych: skurcz mięśnia czołowego pojawia się w lokalizacjach przednich, a skurcz mięśnia skroniowego w bocznych lokalizacjach czołowych i skroniowych 15.
Aby zbadać naturę danych zebranych zgodnie z tym protokołem, na rysunku 9 przedstawiono histogramy danych EEG. Rysunek 9A opisuje rozkład danych dla znormalizowanego sygnału z trzech reprezentatywnych przestrzennie elektrod. Dane EEG wykazują rozkład multimodalny dla analizowanych zachowań. Na rysunku 9B wartości kurtozy przedstawiono w formie wykresów słupkowych, aby ułatwić wizualną inspekcję danych.
Klasyfikację przeprowadzono poprzez ekstrakcję opóźnień czasowych każdego kanału EEG, redukcję wymiarowości przy zachowaniu lokalnego rozproszenia każdej klasy (lokalna analiza dyskryminacyjna Fishera (LFDA)) 18 oraz trenowanie i testowanie modelu na zredukowanym zbiorze cech (modele mieszanin gaussowskich (GMM)) 19. Próbki treningowe i testowe były losowo pobierane w 20 iteracjach (t.j. walidacja krzyżowa), aby zapobiec przeuczeniu modelu. Wielkość prób treningowych i testowych zmienia się w zależności od liczby odrzuconych kanałów (t.j. impedancja większa niż 60 kHz), długości sesji eksperymentalnej oraz liczby prób i przejawianych zachowań. Niemniej jednak liczba próbek treningowych i testowych dla każdej klasy (zachowania) odpowiada 50% liczby próbek w najmniej licznej klasie. Przykładowo, wielkość zbioru testowego dla każdej klasy wynosi N = 1 069 próbek dla danych niemowlęcych przedstawionych na Rysunku 10. Wszystkie etapy wstępnego przetwarzania i klasyfikacji zostały obliczone w środowisku programistycznym MATLAB.
Rycina 11 przedstawia krok po kroku całą procedurę szacowania źródła EEG przeprowadzoną w niniejszym badaniu. Więcej szczegółów dotyczących każdego etapu podsumowano również w sekcji 8.
Rysunek 12 przedstawia wyniki zdarzeniowej (de)synchronizacji (ERD / ERS) w rytmie mu (5-9 Hz) oraz źródła dipolowe podczas zadania „Reach-Offer” (sięganie i oferowanie). ERS i ERD obliczono jako procentowy spadek lub wzrost mocy w pasmie częstotliwości, który występuje w odstępie czasu zdarzenia (zadanie sięgania i oferowania) w porównaniu do odstępu referencyjnego (segmentu pobranego przed zdarzeniem). Rysunek ten pokazuje również wartość przyspieszenia skorygowaną o grawitację, uzyskaną podczas zadania z obu nadgarstków niemowlęcia oraz aktora. Do analizy dipolowej sygnały EEG zostały rozłożone przy użyciu analizy składowych niezależnych (ICA) w celu wyeliminowania szumu tła. Estymacja źródła była przeprowadzana w rytmie mu po wstępnym przetwarzaniu ICA za pomocą stałego algorytmu MUSIC 5. Zgodnie z oczekiwaniami źródła zostały zlokalizowane nad prawym obszarem ruchowym pierwotnym, podczas gdy badany używał lewej ręki do chwytania przedmiotu.
| Nazwa produktu | Firma | Ilość |
| Wzmacniacz BrainAmp | Brain Products GmbH | 2 |
| czapeczka EEG actiCAP – 64 elektrody | Brain Products GmbH | 10 |
| Moduł sterujący actiCAP | Brain Products GmbH | 1 |
| oprogramowanie Brain Vision Recorder | Brain Products GmbH | 1 |
| oprogramowanie sterownika actiCAP Control Box | Brain Products, GmbH | 1 |
| CapTrak | Brain Products, GmbH | 1 |
| oprogramowanie CapTrak | Brain Products GmbH | 1 |
| Monitor ruchu Opal | APDM, Inc | 6 |
| stacja dokująca Opal | APDM, Inc. | 6 |
| bezprzewodowy punkt dostępu Opal | APDM, Inc. | 1 |
| oprogramowanie Motion Studio | APDM, Inc. | 1 |
| Moduł wyzwalający | Niestandardowy | 1 |
| Kamera wideo | HC-W850M, Panasonic Co. | 1 |
| Czapki EEG dla niemowląt są dostępne w następujących rozmiarach obwodu głowy: 42, 44, 46, 48, 50 cm. Dla niniejszego protokołu zaleca się posiadanie zapasu 2 czapek w każdym rozmiarze. |
Tabela 1 Wyposażenie.

Figura 1. Schematy blokowe. (A) Schemat blokowy konfiguracji eksperymentu. (B) Schemat blokowy sesji gromadzenia danych. Kliknij tutaj, aby zobaczyć powiększoną wersję tej figury.

Rysunek 2. Przygotowanie badanego do zbierania danych. (A) Widok z przodu badanego w czepku EEG i czterech jednostkach IMU. (B) Reprezentacja topograficzna 64-kanałowego czepka EEG z zastosowaniem standardowego systemu rozmieszczenia elektrod 10-20. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 3. Sprzęt do gromadzenia danych i pomieszczenie badawcze. (A) Konfiguracja sprzętu do gromadzenia danych: skrzynka sterująca EEG (1), czepek EEG (2), wyzwalacz (3), bezprzewodowy odbiornik danych IMU (4), wzmacniacze EEG (5), pudełko z zabawkami (6), przycisk wyzwalający (7), laptopy do akwizycji danych (8), stacja dokująca IMU (9). (B) Zbliżenie na czepek EEG, elektrody aktywne i skrzynkę sterującą. (C) Zbliżenie na moduły IMU i odbiornik bezprzewodowy, przycisk wyzwalający, wzmacniacze EEG oraz laptopy do gromadzenia danych. Aby wyświetlić ten rysunek w większym rozmiarze, kliknij tutaj.

Rysunek 4. Schematyczny przedstawienie ustawienia eksperymentalnego. Uchwyt skrzynki sterującej EEG (10). Opiekun badanego siedzi na krześle (11), eksperymentator siedzi na krześle (14), a osoba monitorująca dane siedzi na krześle (17). Przedstawiono resztę układu eksperymentalnego: blat interakcyjny (12), wyzwalacz (13), pudełko z zabawkami (15), stół do akwizycji danych (16), rozmieszczenie kamery wideo (18). Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 5. Zrzut ekranu oprogramowania sterującego EEG. Strzałki wskazują kluczowe ikony w oprogramowaniu opisane w krokach 6.1 oraz 6.8. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tej ryciny.

Rysunek 6. Zrzut ekranu z oprogramowania do rejestracji EEG. Strzałki wskazują kluczowe ikony w oprogramowaniu opisane w krokach 6.2 i 6.3. Przedstawiono fragment surowych danych przesyłanych w czasie rzeczywistym. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

Rysunek 7. Zrzut ekranu oprogramowania IMU. Czerwone ramki wyróżniają kluczowe ikony w oprogramowaniu opisane w kroku 6.4. (A) Główne okno poleceń. (B) Okno konfiguracji. (C) Okno rejestracji. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 8. Przykładowe dane z reprezentatywnej sesji eksperymentalnej. (A) Przedstawiono dane EEG i przyspieszenia, oba poddane filtracji pasmowej [1-40Hz]. Wyświetlono elektrody EEG o niskiej impedancji (Z < 60 kΩ) przez cały czas trwania sesji. Pełne linie pionowe wskazują początek zachowania. (B) Klatki obrazu przedstawiające niemowlę wykazujące analizowane zachowania: Obserwacja, Sięganie-chwytanie, Sięganie-oferowanie, Naśladowanie, Eksploracja, Odpoczynek. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 9. Przykładowe histogramy amplitudy EEG dla sześciu zidentyfikowanych zachowań. A) Przedstawione dane odpowiadają surowym danym z trzech elektrod (CP2, FC5, POz) zarejestrowanym podczas sesji z 20-miesięcznym niemowlęciem. Histogramy zostały przeskalowane do najwyższej liczby wystąpień, a kurtoza każdego histogramu jest pokazana po prawej stronie każdego wykresu. Zwróć uwagę na rozkład multimodalny dla większości zachowań. B) Kurtoza danych próbkowych dla każdego zachowania. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Rysunek 10. EEG przewiduje działania behawioralne u niemowląt w swobodnym zachowaniu 12. Przedstawiono przykładową macierz pomyłek dla dokładności klasyfikacji 20-miesięcznego niemowlęcia. Ogólna dokładność dekodowania znajduje się w prawym dolnym rogu. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Rycina 11. Lokalizacja źródła. Kroki wymagane do lokalizacji dipolowego źródła u niemowlęcia z wykorzystaniem anatomicznego badania MRI oraz funkcjonalnych danych EEG. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 12. Profil analizy zadania typu „sięganie-oferowanie”.A) Ujęcia niemowlęcia wykonującego zadanie „sięganie-oferowanie”. B) Średnia globalna moc pola EEG w pasmie Mu (5-9 Hz), trajektorie ruchu kończyn niemowlęcia i aktora; uśrednione widmo perturbacji powiązanej z zdarzeniem ze wszystkich kanałów. C) Zlokalizowane źródła dipolowe dla dwóch zdarzeń: „początek ruchu” oraz „zakończenie ruchu”. Aby zobaczyć powiększoną wersję tego rysunku, kliknij tutaj.