Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi
24 listopada 2015
Ogólnym celem tej metody jest ustanowienie eksperymentalnej procedury opartej na SSVEP poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi, co jest perspektywiczne w pomaganiu chorym i starszym, a także wykonywaniu niehigienicznych lub niebezpiecznych prac.
Ogólnym celem tej metody jest ustanowienie procedury eksperymentalnej opartej na S-S-V-E-P poprzez integrację wielu programów komputerowych w celu umożliwienia badania interakcji mózgu z robotami humanoidalnymi. Osiąga się to dzięki pierwszemu miejscu w elektrodach EEG u ludzi w celu pomiaru reakcji mózgu za pomocą systemu akwizycji danych EEG. Interfejs użytkownika jest używany do wywoływania odpowiedzi S-S-V-E-P i wyświetlania informacji zwrotnych wideo w eksperymentach kontrolnych w pętli zamkniętej.
Drugim krokiem jest zarejestrowanie sygnałów EEG osób po raz pierwszy, aby przeanalizować funkcję S-S-V-E-P w trybie offline i wytrenować klasyfikator dla każdego obiektu. Następnie procesor sygnałowy online i kontroler robota są konfigurowane do sterowania online humanoidalnym Robertem. Ostatnim krokiem jest przeprowadzenie przez badanego trzech konkretnych eksperymentów kontrolnych w pętli zamkniętej w różnych środowiskach.
Aby ocenić wydajność interakcji mózgu Roberta, wyniki pokazują znormalizowaną gęstość widmową mocy sygnałów mózgowych generowanych podczas wpatrywania się w bodźce migoczące z różnymi częstotliwościami. Nasz system przekształca te wzorce fal mózgowych w polecenia do kontrolowania zachowań Roberta. Korzystając z tego podejścia, podmiot jest w stanie wchodzić w interakcje z humanoidalnymi sygnałami mózgowymi Roberta Bio.
Dzięki temu humanoidalny Robert może wykonywać typowe zadania, które są popularne w badaniach robotycznych i są pomocne w pomocy osobom niepełnosprawnym. Zaletą tego podejścia jest jego niezawodność i elastyczność, ponieważ jest rozwijane przez integrację wielu programów, takich jak open wide graph i oprogramowanie centralne, a także programy opracowane przez użytkownika powiązane z C plus Plus i Match Lab. Metoda ta umożliwia badanie mózgu robota w działaniu z robotem humanoidalnym.
Badanie to jest prospektywne w pomocy osobom chorym i starszym, a także w wykonywaniu niehigienicznych lub niebezpiecznych prac. Moi koledzy z drużyny, Lim i Han, zademonstrują teraz rozmieszczenie czujników EEG i pokażą metodę łączenia się z człowiekiem i robotem. Wyjaśnij pacjentowi eksperyment do procedury.
Uzyskanie zgody na udział w eksperymentach. Zmierz obwód osoby badanej, wybierz rozmiar czepka E EEG, który jest zbliżony do pomiaru. Zmierz odległość między NAS zaznacz 10% odległości jako odniesienie do wyłożenia nasadki.
Zaznacz punkt środkowy odległości w wierzchołku na pozycji obiektu cul. Elektroda cz czepka E EEG na wierzchołku wyrównaj znak 10% z punktem środkowym elektrod FP jednej i FP dwóch. Upewnij się, że elektrody fz, cz, PZ i OZ znajdują się na linii środkowej głowy.
Posmaruj odniesienie referencyjne do elektrod żelem przewodzącym. Umieść elektrody referencyjne na lewym i prawym OID za pomocą taśmy medycznej. Zaciśnij pasek łańcucha.
Umieść strzykawkę z końcówką w elektrodach i wstrzyknij żele przewodzące do każdej elektrody w następującej kolejności. Po pierwsze, elektroda uziemiająca, a po drugie, pięć elektrod użytych w eksperymencie O 2 0 1 OZ. PZ i cz. Posadź osobę badaną w wygodnym fotelu, 60 centymetrów przed monitorem bodźców.
Podłącz przewody elektrod do systemu akwizycji danych EEG. Skonfiguruj częstotliwość próbkowania na jeden kiloherc. Sprawdź jakość sygnału EEG na dedykowanym komputerze przetwarzającym dane.
Jeśli wystąpi problem z konkretną elektrodą. Ponownie wstrzyknij żele, aby wyregulować impedancję kanału. Migotanie czterech robotów obrazuje obrazy o różnych częstotliwościach jako bodźce wizualne w interfejsie użytkownika.
Po raz pierwszy badany powinien przeprowadzić eksperyment szkoleniowy offline, aby ustalić wektory cech S-S-V-E-P i wytrenować klasyfikator. Przeprowadź 32 próby dla każdego pacjenta i rejestruj sygnał mózgowy podczas całego tego procesu. Kiedy rozpocznie się badanie, losowo wybierz jeden bodziec jako cel i wyświetl nad nim żółtą strzałkę.
Jedna sekunda. Później migocząc czterema bodźcami wizualnymi na różnych częstotliwościach w interfejsie użytkownika przez pięć sekund, poproś badanego o skupienie się na wybranym celu bodźca, jednocześnie ograniczając ruchy ciała do minimum. Po każdej próbie daj badanemu trzy sekundy na relaks, a następnie rozpocznij następną próbę.
Po zakończeniu wszystkich prób odczytaj zapisane dane. Pionowe pomarańczowe paski wskazują wyzwalacze, aby wybrać bodziec jako cel, w którym bodźce migoczą w okresie pięciu sekund. W każdej próbie wyodrębnij trzysekundowe apo danych między dwiema sekundami a pięcioma sekundami po wyzwoleniu.
Obliczyć współczynnik CCA wielokanałowych danych EEG z sygnałem odniesienia y, który jest ustawiony jako okresowy sygnał bodźca przy określonych częstotliwościach. Metoda CCA znajduje liniowe wektory kombinacji, aby zmaksymalizować współczynnik korelacji między połączonymi sygnałami. Filtruj przestrzennie wielokanałowe dane EEG za pomocą obliczonych współczynników CCA.
Oblicz gęstość widmową mocy danych filtra za pomocą szybkiej transformacji foyer. Znormalizuj widmową gęstość mocy w odniesieniu do jej średniej wartości między trzema hutzami a 40 hutz. Następnie skalibruj parametry klasyfikacyjne dla każdej częstotliwości bodźca.
Skonfiguruj parametry klasyfikacji dla tematu za pomocą otwartego okna ustawień czyszczenia. Uruchom procesor sygnałowy online na komputerze przetwarzającym dane. Pobieraj dane EEG z kanałów O, 2, 0, 1, OZ, PZ i CZ systemu EEG co 0,5 sekundy i wyodrębnij segment danych z ostatnich trzech sekund do przetworzenia online.
Przetwarzaj segment danych przy użyciu algorytmów opisanych w procesie offline. Oblicz gęstość widmową mocy w czasie rzeczywistym do klasyfikacji. Gdy amplituda jednej częstotliwości cechy jest wyższa od danego progu, klasyfikuje się bodziec migoczący z odpowiednią częstotliwością.
Jako cel SSV EEP uruchom ludzkiego robota Noro i nawiąż jego połączenie Wi-Fi z komputerem przetwarzającym dane. Skonfiguruj i uruchom kontroler robota, który otrzymał wyniki klasyfikacji z procesora sygnałowego online i steruje odpowiednimi zachowaniami humanoida Roberta za pośrednictwem połączenia bezprzewodowego. Uruchom program choreograficzny na dedykowanym komputerze do prezentacji bodźców, aby wyświetlić na żywo informacje zwrotne wideo z kamery Roberts w interfejsie użytkownika.
Poproś osobę badaną o wykonanie trzech konkretnych testów kontrolnych w pętli zamkniętej w różnych środowiskach w celu oceny wydajności interakcji mózgu Roberta. Testy te są popularne w badaniach robotycznych i są pomocne w pomaganiu osobom niepełnosprawnym i starszym w ich codziennym życiu. Przed nowym zadaniem poinformuj podmiot o celu zadania i dostępnych zachowaniach do kontroli.
Wyniki te pokazują procedurę przetwarzania danych EEG, w tym wyodrębnianie danych wielokanałowych z epoki przestrzennego filtrowania danych za pomocą współczynników CCA oraz obliczanie znormalizowanej gęstości widmowej mocy. Pokazano tutaj znormalizowaną gęstość widmową mocy uzyskaną w pojedynczych próbach, w których badany wpatruje się w różne migoczące cele. W pierwszych eksperymentach z kontrolą w pętli zamkniętej, człowiek Noah Robert był kontrolowany przez sygnały mózgowe, aby przejść przez przeszkody i nacisnąć włącznik światła na ścianie.
Sygnały mózgowe były odbierane w czasie rzeczywistym. Aby sklasyfikować intencję kontrolną badanego, badany oglądał na żywo informacje zwrotne wideo i kontrolował zachowanie Roberta, wpatrując się w odpowiednie bodźce. Po dotarciu do przełącznika, tester sterował Robertem, aby włączył światło.
W drugim eksperymencie ludzki robot był w sposób ciągły kierowany w kierunku klatki schodowej zgodnie ze znakiem wyjścia w oparciu o informacje zwrotne wideo. Podczas konfrontacji ze szpiegiem-przechodniem, tester kontrolował Roberta, aby powiedzieć "przepraszam" i poczekać, aż przechodzień szpieg ustąpi. Następnie nakazano Robertowi iść w kierunku schodów.
W trzecim eksperymencie humanoidalny Robert był sterowany ruchem całego ciała, aby dotrzeć do celu balonu i podnieść go oraz dostarczyć go do ręki badanego w oparciu o informacje zwrotne na żywo. Ponieważ ludzka intencja jest postrzegana poprzez interpretację sygnałów EEG LU w czasie, ważne jest, aby zweryfikować połączenia elektryczne i jakość sygnału EEG przed przeprowadzeniem eksperymentów. Innym częstym problemem podczas pozyskiwania sygnałów EEG są zakłócenia lub artefakty i szumy.
Lędźwie, nasza interferencja me me taka jest poprawiana poprzez zmniejszenie ruchu ciała i wykorzystanie techniki wielokanałowej opartej na CCA. Nasza metoda jest skuteczna w projektowaniu różnorodnych procedur eksperymentalnych i elastyczna w badaniu algorytmów i technik interakcji mózg-robot, w szczególności może być łatwo wykorzystana do odkrywania nowych zastosowań BRI.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
To badanie ustanawia procedurę eksperymentalną opartą na SSVEP w celu zbadania interakcji mózg-robot za pomocą humanoidalnych robotów. Metoda integruje wiele programów oprogramowania, aby pomagać chorym i osobom starszym oraz wykonywać niebezpieczne zadania.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Robotyka
- Interakcja człowiek-robot
Tło
- SSVEP (Steady-State Visual Evoked Potential) to reakcja mózgu używana w interfejsach mózg-komputer.
- Humanoidalne roboty mogą pomagać w różnych zadaniach, w tym w opiece i niebezpiecznych pracach.
- EEG (elektroencefalografia) jest wykorzystywana do pomiaru aktywności mózgu.
- Integracja programów oprogramowania poprawia kontrolę systemów robotycznych.
Cel badania
- Rozwój metody badania interakcji mózg-robot.
- Możliwość sterowania humanoidalnymi robotami za pomocą sygnałów mózgowych.
- Pomoc osobom potrzebującym poprzez technologię robotyczną.
Stosowane metody
- Umieszczenie elektrod EEG na badanych ludziach w celu pomiaru reakcji mózgu.
- Wykorzystanie interfejsu użytkownika do wywoływania odpowiedzi SSVEP.
- Rejestrowanie sygnałów EEG do analizy offline i treningu klasyfikatorów.
- Konfiguracja systemów przetwarzania sygnałów online i sterowania robotami.
Główne wyniki
- Udane wywołanie odpowiedzi SSVEP od badanych.
- Skuteczna trening klasyfikatorów dla sterowania w czasie rzeczywistym humanoidalnymi robotami.
- Zakończenie eksperymentów kontroli pętli zamkniętej w różnych środowiskach.
- Demonstracja potencjalnych zastosowań w pomaganiu osobom starszym i wykonywaniu niebezpiecznych zadań.
Wnioski
- Metoda oparta na SSVEP jest wykonalna dla badań interakcji mózg-robot.
- Integracja programów oprogramowania poprawia zdolności sterowania robotami.
- To podejście daje nadzieję na przyszłe zastosowania w opiece zdrowotnej i bezpieczeństwie.
Często zadawane pytania
Executive Industry Relevance
This SSVEP-based brain-robot interaction method enables non-invasive neural control of humanoid robots, offering a pathway for assistive technologies in neurorehabilitation and disability support. By translating steady-state visual evoked potentials into robotic commands, the approach supports early-stage validation of neural interface paradigms for translational neurotechnology development. The integration of OpenViBE, MATLAB, and custom C++ software provides a flexible framework for de-risking brain-computer interface (BCI) applications in preclinical assistive device research.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of sensorimotor integration pathways through real-time decoding of visual-evoked brain signals during closed-loop robotic control.
- Operational Value: Supports subject-specific classifier training using offline CCA analysis to personalize neural decoding models for inter-subject variability.
Screening & Assay Development
- Scientific Value: Provides a standardized SSVEP elicitation protocol using flickering visual stimuli at defined frequencies to generate reproducible neural responses across trials.
- Operational Value: Enables quantitative power spectral density normalization and CCA-based spatial filtering to extract reliable feature vectors for signal classification.
Translational & Preclinical Research
- Scientific Value: Demonstrates feasibility of using EEG-derived SSVEP signals to trigger complex robotic behaviors such as navigation, object manipulation, and environmental interaction.
- Operational Value: Supports iterative testing across environments to evaluate real-world robustness of brain-robot interaction systems for assistive technology development.
Pipeline & Workflow Integration
This method fits within the early discovery phase of neurotechnology development, where neural signal fidelity and decoding accuracy are evaluated before advancing to chronic implantable systems or clinical trials.
- Discovery Biology: Enables hypothesis testing of neural correlates of intent by linking visual attention to measurable EEG changes during goal-directed robotic tasks.
- Screening: Delivers assay-ready SSVEP responses through standardized visual stimulation and offline feature extraction for classifier optimization.
- Analytics: Generates normalized power spectral density and CCA coefficients as quantitative readouts to compare neural engagement across stimuli and conditions.
- Translational Research: Supports continuity from acute neural signal detection to functional robotic output, informing design of hybrid BCI-assistive systems.
- Enterprise Reuse: The modular software integration (OpenViBE, MATLAB, Choregraph) allows adaptation to different robotic platforms and stimulus paradigms for platform-wide reuse.
Operational & Enterprise Impact
- Scientific Value: Reduces mechanistic ambiguity in neural decoding by providing time-locked, frequency-specific SSVEP responses tied to visual stimuli.
- Operational Value: Ensures reproducibility through standardized electrode placement (Oz, Pz, Cz, O2, O1), gel application, and impedance checking via reinjection protocols.
- Strategic Value: Informs go/no-go decisions in BCI development by validating real-time classification accuracy and subject controllability across multiple task environments.
- Portfolio Impact: Enables risk-adjusted prioritization of neural interface strategies by demonstrating closed-loop controllability in ecologically valid scenarios.
Implementation Considerations
- Requires expertise in EEG signal processing, CCA analysis, and real-time spectral feature extraction for online classification.
- Dependent on EEG acquisition systems capable of 1 kHz sampling and multi-channel recording from occipital and central sites.
- Necessitates cross-team standardization between neuroscience, robotics, and software engineering teams for synchronized signal processing and behavioral output.
- Adaptation to different model systems may require recalibration of visual stimulus frequencies and classifier thresholds based on subject-specific SSVEP profiles.
- Practical limitations include susceptibility to motion artifacts and environmental EEG noise, mitigated by minimizing subject movement and using spatial filtering techniques.
