SSVEP-gebaseerde Experimentele Procedure voor Brain-Robot Interactie met Humanoid Robots
24 november 2015
Het algemene doel van deze methode is om een SSVEP-gebaseerde experimentele procedure te vestigen door meerdere softwareprogramma's te integreren om de studie van hersen-robot interactie met humanoïde robots mogelijk te maken, wat vooruitstrevende mogelijkheden biedt om zieken en ouderen te assisteren en onhygiënische of gevaarlijke taken uit te voeren.
Het algemene doel van deze methode is om een experimentele procedure op basis van S-S-V-E-P te vestigen door meerdere softwareprogramma's te integreren om de studie van interactie tussen hersenen en robot met humanoïde robots mogelijk te maken. Dit wordt bereikt door eerst EEG-elektroden op een menselijk proefpersoon te plaatsen om de hersenreacties te meten via een EEG-gegevensverzamelsysteem. Een gebruikersinterface wordt gebruikt om S-S-V-E-P-reacties op te roepen en om videofeedback weer te geven in de gesloten-luscontrole-experimenten.
De tweede stap is om de EEG-signalen van de proefpersonen voor de eerste keer op te nemen om uw S-S-V-E-P-kenmerken offline te analyseren en de classificator voor elke proefpersoon te trainen. Vervolgens worden de online signaalverwerker en de robotcontroller geconfigureerd voor de online besturing van een humanoïde Robert. Als laatste stap voltooit de proefpersoon drie specifieke gesloten-luscontrole-experimenten in verschillende omgevingen.
Om de prestaties van de interactie tussen de hersenen en Robert te evalueren, tonen de resultaten de genormaliseerde spectrale dichtheid van de hersensignalen die worden gegenereerd terwijl naar de stimuli wordt gestaan die met verschillende frequenties flikkeren. Ons systeem vertaalt deze hersengolfpatronen naar commando's om Robert-gedragingen te besturen. Met deze aanpak kan de proefpersoon interactie hebben met de humanoïde Robert Bio brainin-signalen.
Dit stelt de humanoïde Robert in staat om typische taken uit te voeren die populair zijn in robotonderzoek en nuttig zijn bij het assisteren van gehandicapten. Het voordeel van deze aanpak is de betrouwbaarheid en flexibiliteit, aangezien deze is ontwikkeld door het integreren van meerdere softwareprogramma's zoals open wide graph en centrale software, evenals door de gebruiker ontwikkelde programma's in c plus plus en match lab. Deze methode maakt het mogelijk om de interactie tussen hersenen en robot in actie te bestuderen met de humanoïde robot.
Deze studie is prospectief in het assisteren van zieken en ouderen, evenals bij het uitvoeren van onhygiënische of gevaarlijke taken. Mijn teamleden, Lim en Han, zullen nu de plaatsing van EEG-sensoren demonstreren en de methode laten zien om verbinding te maken met de menselijke niet-robot respectievelijk. Leg de procedure van het experiment uit aan de proefpersoon.
Vraag toestemming om deel te nemen aan experimenten. Meet de omtrek van de proefpersoon, selecteer de EEG-cap-maat die dicht bij de meting ligt. Meet de afstand tussen de NAS-markering 10%van de afstand als referentie voor het lijnen van de cap.
Markeer het middenpunt van de afstand op de vertex op de subject cul-positie. De elektrode cz van de EEG-cap op de vertex lijnt het 10%-merk op met het middenpunt van de FP one en FP two-elektroden. Zorg ervoor dat de fz, cz, PZ en OZ-elektroden op de middenlijn van het hoofd staan.
Smeer de verwijzingsreferentie op de elektroden met geleidend gel. Plaats de verwijzingselektroden op de linker- en rechter-OID's met medische tape. Trek de kettingriem vast.
Plaats de stompe punt van de spuit in de elektrode-toters en injecteer geleidend gel in elke elektrode in de volgende volgorde. Eerst de grondelektrode en ten tweede de vijf elektroden die in experiment O 2 0 1 OZ.PZ en cz worden gebruikt. Plaats de proefpersoon in een comfortabele stoel, 60 centimeter voor een stimulusmonitor.
Verbind de elektrodedraden met het EEG-gegevensverzamelsysteem. Configureer de bemonsteringssnelheid op één kilohertz. Controleer de EEG-signaalkwaliteit op de speciale dataverwerkingscomputer.
Als er een probleem is met de specifieke elektrode. Injecteer gelen opnieuw om de impedantie van het kanaal aan te passen. Flikker met vier robotsbeelden met verschillende frequenties als visuele stimuli op de gebruikersinterface.
Voer voor de eerste keer een offline trainingsexperiment uit om hun S-S-V-E-P-kenmerkenvectoren vast te stellen en de classificator te trainen. Voer 32 proeven uit voor elke proefpersoon en registreer uw hersensignalen gedurende dit proces. Wanneer een proef begint, selecteert u willekeurig één stimulus als doelwit en toont u een gele pijl erboven.
Een seconde. Later flikker de vier visuele stimuli met verschillende frequenties op de gebruikersinterface gedurende vijf seconden, vraag de proefpersoon om zich te concentreren op het geselecteerde stimulusdoelwit terwijl u de lichaamsbeweging tot een minimum beperkt. Geef de proefpersoon na elke proef drie seconden om te ontspannen en begin dan met de volgende proef.
Wanneer alle proeven zijn voltooid, lees de opgeslagen gegevens. Verticale oranje balken geven triggers aan om een stimulus als doelwit te selecteren, de stimuli flikkeren gedurende de vijf seconden. In elke proef, extraheert u een drie seconden gegevensapo tussen twee seconden en vijf seconden na de trigger.
Bereken de CCA-coëfficiënt van de multi-kanaal EEG-gegevens met een referentiesignaal y, dat is ingesteld als het periodieke stimulussignaal op bepaalde frequenties. De CCA-methode vindt de lineaire combinatievectoren om de correlatiecoëfficiënt tussen de gecombineerde signalen te maximaliseren. Ruimtelijk filter de multi-kanaal EEG-gegevens met behulp van de berekende CCA-coëfficiënten.
Bereken de spectrale dichtheid van de macht van de filtergegevens met behulp van een snelle foyer-transformatie. Normaliseer de spectrale dichtheid van de macht met betrekking tot de gemiddelde waarde tussen drie hutz en 40 hutz. Kalibreer vervolgens de classificatieparameters voor elke stimulusfrequentie.
Configureer de classificatieparameters voor de proefpersoon via een open veeginstellingsvenster. Start de online signaalverwerker op de dataverwerkingscomputer. Verzamel EEG-gegevens van kanalen O 2 0 1 OZ PZ en CZ van het EEG-systeem elke 0,5 seconde en extraheer het gegevenssegment van de laatste drie seconden voor online verwerking.
Verwerk het gegevenssegment met behulp van de algoritmen die in het offline proces worden beschreven. Bereken de realtime spectrale dichtheid van de macht voor classificatie. Wanneer de amplitude van één kenmerkfrequentie boven een bepaalde drempelwaarde ligt, wordt het stimulusflikkeren met de overeenkomstige frequentie geclassificeerd.
Als de SSV EEP-doel, start de menselijke Noro-robot op en s
Bekijk het volledige transcript en krijg toegang tot duizenden wetenschappelijke video's
Overzicht
Deze studie stelt een SSVEP-gebaseerde experimentele procedure voor om interactie tussen hersenen en robot te onderzoeken met behulp van humanoïde robots. De methode integreert meerdere softwareprogramma's om zieken en ouderen te helpen en gevaarlijke taken uit te voeren.
Belangrijke onderdelen van het onderzoek
Wetenschapsgebied
- Neurowetenschap
- Robotica
- Mens-robot interactie
Achtergrond
- SSVEP (Steady-State Visual Evoked Potential) is een hersenreactie die wordt gebruikt in hersen-computerinterfaces.
- Humanoïde robots kunnen helpen bij verschillende taken, waaronder zorg en gevaarlijke werkzaamheden.
- EEG (elektro-encefalografie) wordt gebruikt om hersenactiviteit te meten.
- Integratie van softwareprogramma's verbetert de controle van robotsystemen.
Doel van het onderzoek
- Om een methode te ontwikkelen voor het onderzoeken van interactie tussen hersenen en robot.
- Om de controle van humanoïde robots via hersensignalen mogelijk te maken.
- Om personen in nood te helpen door middel van robottechnologie.
Gebruikte methoden
- Plaatsing van EEG-elektroden op menselijke proefpersonen om hersenreacties te meten.
- Gebruik van een gebruikersinterface om SSVEP-reacties te eliciteren.
- Opname van EEG-signalen voor offline analyse en training van classificeerders.
- Configuratie van online signaalverwerking en robotcontrolesystemen.
Belangrijkste resultaten
- Succesvolle elicitatie van SSVEP-reacties van proefpersonen.
- Effectieve training van classificeerders voor realtime controle van humanoïde robots.
- Voltooiing van closed-loop controle-experimenten in verschillende omgevingen.
- Demonstratie van potentiële toepassingen bij het assisteren van ouderen en het uitvoeren van gevaarlijke taken.
Conclusies
- De SSVEP-gebaseerde methode is haalbaar voor studies over interactie tussen hersenen en robot.
- Integratie van softwareprogramma's verbetert de controlecapaciteiten van robots.
- Deze aanpak belooft veelbelovend te zijn voor toekomstige toepassingen in gezondheidszorg en veiligheid.
Veelgestelde vragen
Executive Industry Relevance
This SSVEP-based brain-robot interaction method enables non-invasive neural control of humanoid robots, offering a pathway for assistive technologies in neurorehabilitation and disability support. By translating steady-state visual evoked potentials into robotic commands, the approach supports early-stage validation of neural interface paradigms for translational neurotechnology development. The integration of OpenViBE, MATLAB, and custom C++ software provides a flexible framework for de-risking brain-computer interface (BCI) applications in preclinical assistive device research.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of sensorimotor integration pathways through real-time decoding of visual-evoked brain signals during closed-loop robotic control.
- Operational Value: Supports subject-specific classifier training using offline CCA analysis to personalize neural decoding models for inter-subject variability.
Screening & Assay Development
- Scientific Value: Provides a standardized SSVEP elicitation protocol using flickering visual stimuli at defined frequencies to generate reproducible neural responses across trials.
- Operational Value: Enables quantitative power spectral density normalization and CCA-based spatial filtering to extract reliable feature vectors for signal classification.
Translational & Preclinical Research
- Scientific Value: Demonstrates feasibility of using EEG-derived SSVEP signals to trigger complex robotic behaviors such as navigation, object manipulation, and environmental interaction.
- Operational Value: Supports iterative testing across environments to evaluate real-world robustness of brain-robot interaction systems for assistive technology development.
Pipeline & Workflow Integration
This method fits within the early discovery phase of neurotechnology development, where neural signal fidelity and decoding accuracy are evaluated before advancing to chronic implantable systems or clinical trials.
- Discovery Biology: Enables hypothesis testing of neural correlates of intent by linking visual attention to measurable EEG changes during goal-directed robotic tasks.
- Screening: Delivers assay-ready SSVEP responses through standardized visual stimulation and offline feature extraction for classifier optimization.
- Analytics: Generates normalized power spectral density and CCA coefficients as quantitative readouts to compare neural engagement across stimuli and conditions.
- Translational Research: Supports continuity from acute neural signal detection to functional robotic output, informing design of hybrid BCI-assistive systems.
- Enterprise Reuse: The modular software integration (OpenViBE, MATLAB, Choregraph) allows adaptation to different robotic platforms and stimulus paradigms for platform-wide reuse.
Operational & Enterprise Impact
- Scientific Value: Reduces mechanistic ambiguity in neural decoding by providing time-locked, frequency-specific SSVEP responses tied to visual stimuli.
- Operational Value: Ensures reproducibility through standardized electrode placement (Oz, Pz, Cz, O2, O1), gel application, and impedance checking via reinjection protocols.
- Strategic Value: Informs go/no-go decisions in BCI development by validating real-time classification accuracy and subject controllability across multiple task environments.
- Portfolio Impact: Enables risk-adjusted prioritization of neural interface strategies by demonstrating closed-loop controllability in ecologically valid scenarios.
Implementation Considerations
- Requires expertise in EEG signal processing, CCA analysis, and real-time spectral feature extraction for online classification.
- Dependent on EEG acquisition systems capable of 1 kHz sampling and multi-channel recording from occipital and central sites.
- Necessitates cross-team standardization between neuroscience, robotics, and software engineering teams for synchronized signal processing and behavioral output.
- Adaptation to different model systems may require recalibration of visual stimulus frequencies and classifier thresholds based on subject-specific SSVEP profiles.
- Practical limitations include susceptibility to motion artifacts and environmental EEG noise, mitigated by minimizing subject movement and using spatial filtering techniques.
