Contrôle proxy en temps réel des signaux périphériques re-paramétrisés à l’aide d’une interface en boucle étroite

Le but global de cette interface est d’étudier l’effet de l’augmentation du signal poly sur l’acquisition de la conscience corporelle. Ceci est accompli en concevant une interface générique en boucle fermée, qui peut être utilisée avec différentes technologies portable sur différentes configurations expérimentales et peut être appliquée sur différentes populations. Dans ce travail, nous présentons une interface générique pour échantillonner les interfaces, leurs applications et leur effet sur le système humain.

La première étape de la conception est l’utilisation de diverses technologies portable qui permettent l’enregistrement de signaux qui proviennent de différents niveaux du système nerveux. La deuxième étape est l’utilisation de la couche Lab Streaming pour obtenir un enregistrement synchronisé et la diffusion en temps réel des signaux. Sur la première étape, les données du flux sont tirées par code, développées dans la langue de notre préférence où l’analyse en temps réel et l’extraction des fonctionnalités d’un signal sélectionné ont lieu.

Ainsi, sur les quatre étapes, les participants connaissent l’augmentation sensorielle des caractéristiques extraites telles que la cartographie auditive de leur fréquence cardiaque au tempo de la chanson ou la représentation visuelle de leurs mouvements. Enfin, en augmentant continuellement en temps réel l’information corporelle, nous élisons la boucle de l’interaction qui se déroule entre l’interface et le participant. Les enquêtes sur la façon dont le cerveau peut contrôler notre corps ont généré la conception d’interfaces de machine cérébrale.

Qui exploitent les signaux du système nerveux pour contrôler un dispositif externe comme un exosquelette ou un bras robotique. Nous présentons ici des interfaces en boucle fermée qui exploitent les signaux du système nerveux et les augmentent à l’aide d’un module sensoriel pour aider les participants à prendre le contrôle de leur corps. Certains éléments essentiels ou caractéristiques de notre conception sont un, l’enregistrement synchrone des données provenant de différentes technologies pour étudier différents niveaux du système nerveux et deux est le streaming de données et l’analyse des données pour l’augmentation en temps réel Dans les deux études d’échantillons, nous avons utilisé la rétroaction audio, mais dans l’interface audio en boucle fermée les danseurs salsa répondaient au tempo de la musique qui a été contrôlée en temps réel , basé sur le rythme du cœur.

Pour ce faire, nous utilisons le langage de programmation musicale, Max pour contrôler la vitesse de lecture des fichiers audio. Des capteurs capturent les danseurs, les battements cardiaques et les pics de R cardiaque filtrés sont générés à l’aide d’un script Python. Ces valeurs de pointe sont ensuite transmises en temps réel à Max via un contrôle sonore ouvert.

Tout d’abord, nous avons aidé le participant à mettre sur le costume de capture de mouvement basé sur led et attaché à elle, leur contrôleur conduit sans fil. Après avoir mis le serveur en place, ouvrez un navigateur Web, entrez l’adresse IP de la machine serveur et connectez-vous. Si cette étape est réussie, le gestionnaire de configuration s’ouvrira.

Ouvrez ensuite l’interface du système de capture de mouvement et cliquez sur connectez-vous. pour commencer à diffuser les données à partir des marqueurs led. Une fois la connexion établie, la position des marqueurs sera affichée sur le monde virtuel de l’interface.

Cliquez à droite sur le squelette sur le côté droit de la fenêtre et sélectionnez nouveau squelette pour choisir la cartographie des marqueurs. Puis cliquez à droite sur le squelette à nouveau et sélectionnez générer squelette. Assurez-vous que le participant pose en T-pose.

Si toutes les étapes sont correctement exécutées, le squelette sera généré. Pour diffuser les données du squelette sur LSL, sélectionnez les paramètres et les options du menu principal. Ouvrez owl émulateur et assurez-vous que vous avez cliqué commencer en streaming en direct.

Ensuite, aidez le même participant à mettre le capuchon eEG. Remplissez les électrodes de gel à haute conductrice et placez les câbles d’électrode. Branchez-les ensuite dans le moniteur sans fil et allumez-le.

Ouvrez l’interface du système EEG et sélectionnez l’appareil wifi d’utilisation. Sélectionnez l’appareil et cliquez sur utiliser cet appareil, cliquez sur l’icône de tête. Sélectionnez le protocole qui permet l’enregistrement des 32 capteurs et cliquez sur la charge.

Assurez-vous que les données du flux s’adaptent et que toutes sont affichées sur l’interface. Pour recueillir des données sur l’activité cardiaque, utilisez l’un des canaux EEG pour connecter le câble d’extension EEG. Utilisez une électrode collante pour coller l’autre extrémité de l’extension juste en dessous de la cage thoracique gauche du participant.

Localisez l’application LSL du système de capture de mouvement dans le dossier LSL et exécutez-le en cliquant deux fois sur l’icône correspondante. Sur l’interface définir l’adresse du serveur approprié, cliquez sur lien. Pour le streaming de données EEG et ECG, aucune étape supplémentaire n’est requise.

Ensuite, nous localiser l’application enregistreur de laboratoire, qui est également situé dans le dossier LSL. Exécutez l’application en cliquant deux fois dessus. Si tous les types de données de la capture de mouvement et du système EEG ne sont pas affichés sur l’enregistrement du panneau pour les flux, cliquez sur mise à jour.

Sélectionnez répertoire et nom sur le panneau de localisation de stockage, puis cliquez sur démarrer pour commencer la collecte de données. Exécutez le code MATLAB, Python ou autre qui reçoit, traite et augmente les données du flux. LSL permet la diffusion des données sur de nombreuses plateformes de programmation.

Ils utilisent les objectifs correspondant à leurs exemples présentatifs décrits dans le manuscrit. Visitez notre lien GitHub. Sur le marché, il existe diverses technologies qui créent des sorties sensorielles.

Quelques exemples communs sont : haut-parleurs, lumières, moniteurs et autres moins communs, tels que vibrateurs d’appareils haptiques, interfaces gustatives et olfactives. Dans l’interface audio en boucle fermée, nous parvenons à augmenter numériquement la fréquence cardiaque. En utilisant le langage de programmation musicale Max, nous sommes en mesure de contrôler la vitesse de lecture des fichiers audio.

Les pics R de coeur filtrés qui sont imprimés sur la console sont transmis du script Python à Max. Là, le temps d’intervalle inter-pic est mesuré et converti en battements par minute. Les données sont mis à l’échelle pour créer une plage entre zéro, la vitesse de lecture la plus lente possible et la vitesse de lecture maximale.

Sur ce continuum, on égale la vitesse normale de lecture, 0,5 équivaut à la demi-vitesse et deux égale la vitesse de lecture double. La conception de l’interface générique peut être utilisée dans diverses populations. Son protocole et les exemples utilisés ici pour fournir une preuve de concept ne se limitent pas à un groupe spécifique.

De plus, les interfaces en boucle fermée sont conçues pour être intuitivement explorées et apprises. Bien qu’il ne devrait pas être nécessaire d’instructions dans le cadre de la procédure expérimentale. Dans l’étude de l’interface audio en boucle fermée d’une véritable interaction dyadique, deux danseurs de salsa ont interagi avec une interface qui utilise la fréquence cardiaque des danseuses pour modifier la vitesse de la chanson.

Les danseurs ont exécuté une routine bien répétée et une danse improvisée. Dans chaque condition, ils ont exécuté la version originale de la chanson une fois, puis c’est la version modifiée du cœur deux fois. À partir des données recueillies, nous estimons les signatures gamma stochastiques des pointes de micro-mouvement extraites.

Ici, nous observons les fonctions de densité de probabilité estimées du coeur et les données de musique. Les figures de la dope démontrent les ensembles du cœur, qui est un organe autonome, dès la première condition dansant la chanson dans sa forme originale. À la deuxième et à la troisième condition dansant le coeur a changé la chanson.

La figure de gauche correspond aux trois enregistrements de la danse spontanée, tandis que la figure de droite aux trois enregistrements de la danse délibérée. Sur les chiffres du bas, nous pouvons observer les ensembles correspondants de l’audio joué. Ici, les ensembles ont une direction opposée.

Dans l’étude de l’interface audio visuelle en boucle fermée d’une interaction dyade artificielle, six participants ont interagi avec une interface qui crée leur avatar miroir en direct. En outre, il intègre la position de la hanche des sons dépendants. Les participants étaient naïfs quant au but de l’étude; ils ont dû se promener dans la salle et trouver comment contrôler le son qui émergerait étonnamment au fur et à mesure qu’ils traversaient la région d’intérêt.

Les chiffres démontrent la fonction de densité de probabilité et les signatures gamma correspondantes des données de vitesse de la hanche de 60 participants de contrôle amis, C1 à C6 quand ils étaient à l’intérieur et à l’extérieur de la région d’intérêt. Les résultats mettent en évidence les différences personnalisées dans le comportement des participants à l’intérieur ou à l’extérieur de la région. Empiriquement, nous avons constaté que les signatures situées dans le coin inférieur droit du plan gamma sont celles d’athlètes et de danseurs effectuant des mouvements hautement qualifiés, les signatures qui se trouvent sur la région supérieure gauche proviennent d’ensembles de données de systèmes nerveux avec des pathologies.

Par conséquent, nous pouvons remarquer que les signatures de la vitesse de la hanche de contrôle trois et quatre révèlent des modèles moteurs plus sains lorsqu’ils sont à l’intérieur du volume. En revanche, le reste des participants affichent le modèle opposé. Cette approche peut être utilisée à la fois pour mieux comprendre la relation entre les mouvements et le son d’un danseur.

Il peut également être utilisé pour explorer de nouvelles approches de la composition musicale qui sont dirigées par des informations corporelles en temps réel, la conversion de la musique faisant à une expérience de l’augmentation du signal corporel Le développement et la recherche sur les interfaces en boucle fermée pourrait bénéficier de plusieurs troubles du système nerveux. Ils pourraient également être utilisés dans les jeux, l’entraînement au mouvement et les sports.