Controllo proxy in tempo reale dei segnali periferici rimizionati utilizzando un'interfaccia a circuito chiuso

Lo scopo generale di questa interfaccia è quello di studiare l'effetto dell'aumento del segnale poli sull'acquisizione di consapevolezza corporea. Ciò si ottiene progettando un'interfaccia generica a circuito chiuso, che può essere utilizzata con diverse tecnologie indossabili su diverse configurazioni sperimentali e può essere applicata su popolazioni diverse. In questo lavoro presentiamo un'interfaccia generica per campionare le interfacce, le loro applicazioni e il loro effetto sul sistema umano.

Il primo passo del design è l'utilizzo di varie tecnologie indossabili che consentono la registrazione di segnali provenienti da diversi livelli del sistema nervoso. Il secondo passo è l'uso del livello Lab Streaming per ottenere la registrazione sincronizzata e lo streaming in tempo reale dei segnali. Sul primo passaggio, i dati del flusso vengono estratti dal codice, sviluppato nella lingua di nostra preferenza in cui è in corso l'analisi in tempo reale e l'estrazione delle funzionalità di un segnale selezionato.

Quindi, sul quattro gradino i partecipanti stanno sperimentando l'aumento sensoriale delle caratteristiche estratte come la mappatura uditivo della loro frequenza cardiaca al tempo della canzone o la rappresentazione visiva dei loro movimenti. Infine, aumentando continuamente in tempo reale le informazioni sul corpo, chiudiamo il ciclo dell'interazione in corso tra l'interfaccia e il partecipante. Le indagini su come il cervello può controllare i nostri corpi hanno generato la progettazione di interfacce con macchine cerebrali.

Che sfruttano i segnali del sistema nervoso per controllare un dispositivo esterno come un esoscheletro o un braccio robotico. Qui presentiamo interfacce a circuito chiuso che sfruttano i segnali del sistema nervoso e li aumentano utilizzando un modulo sensoriale per aiutare i partecipanti a ottenere il controllo sui loro corpi. Alcune caratteristiche essenziali del nostro design sono una, la registrazione sincrona dei dati provenienti da diverse tecnologie per indagare vari livelli del sistema nervoso e due è lo streaming di dati e l'analisi dei dati per l'aumento in tempo reale In entrambi gli studi di esempio, abbiamo usato il feedback audio ma nell'interfaccia audio a circuito chiuso i ballerini di salsa stavano rispondendo al tempo della musica che era controllata in tempo reale , basato sul ritmo del cuore.

Per raggiungere questo obiettivo usiamo il linguaggio di programmazione musicale, Max per controllare la velocità di riproduzione dei file audio. I sensori catturano i ballerini, i battiti cardiaci e i picchi R del cuore filtrati vengono generati utilizzando uno script Python. Questi valori di picco vengono quindi trasmessi in tempo reale a Max tramite controllo del suono aperto.

Per prima cosa abbiamo aiutato il partecipante a indossare il costume di motion capture basato su LED e ad attaccarlo, il suo controller led wireless. Dopo aver aperto il server, aprire un web browser, immettere l'indirizzo IP del computer server e accedere. Se questo passaggio ha esito positivo, verrà aperto configuration manager.

Quindi aprire l'interfaccia del sistema di acquisizione del movimento e fare clic su connetti. per iniziare a trasmettere i dati dai marcatori led. Una volta stabilita la connessione, la posizione dei marcatori verrà visualizzata sul mondo virtuale dell'interfaccia.

Fate clic con il pulsante destro del mouse sull'ossatura sul lato destro della finestra e selezionate una nuova ossatura per scegliere la mappatura marcatore. Quindi fare di nuovo clic con il pulsante destro del mouse sull'ossatura e selezionare genera ossatura. Assicurarsi che il partecipante sia in posa a T.

Se tutti i passaggi vengono eseguiti correttamente, verrà generata l'ossatura. Per trasmettere i dati di ossatura a LSL, selezionate le impostazioni e le opzioni dal menu principale. Apri emulatore OWL e assicurati di aver cliccato per iniziare lo streaming live.

Quindi, aiuta lo stesso partecipante a indossare il copricapo EEG. Riempire gli elettrodi con un gel ad alta conduttivi e posizionare i cavi degli elettrodi. Quindi collegali al monitor wireless e accendilo.

Aprire l'interfaccia del sistema EEG e selezionare utilizzare il dispositivo wifi. Selezionare il dispositivo e fare clic su usa il dispositivo, fare clic sull'icona della testa. Selezionare il protocollo che consente la registrazione di tutti i 32 sensori e fare clic sul carico.

Assicurarsi che i dati del flusso si adattino e che tutti siano visualizzati sull'interfaccia. Per raccogliere i dati sull'attività cardiaca, utilizzare uno dei canali EEG per collegare il cavo di estensione EEG. Utilizzare un elettrodo appiccicoso per attaccare l'altra estremità dell'estensione proprio sotto la gabbia toracica sinistra del partecipante.

Individuare l'applicazione LSL del sistema di motion capture nella cartella LSL ed eseguirla facendo doppio clic sull'icona corrispondente. Nell'interfaccia impostare l'indirizzo del server corretto, fare clic su collegamento. Per lo streaming di dati EEG ed ECG, non sono necessari passaggi aggiuntivi.

Successivamente troviamo l'applicazione di registrazione lab, che si trova anche nella cartella LSL. Eseguire l'applicazione facendo doppio clic su di essa. Se non tutti i tipi di dati dell'acquisizione del movimento e del sistema EEG vengono visualizzati nel record del pannello per i flussi, fate clic su Aggiorna (Update).

Selezionate la directory e il nome nel pannello percorso di archiviazione e quindi fate clic su avvia per iniziare la raccolta dei dati. Eseguire matlab, Python o altro codice che riceve, elabora e aumenta i dati del flusso. LSL consente lo streaming dei dati in numerose piattaforme di programmazione.

Usano gli obiettivi corrispondenti ai loro esempi presentative descritti nel manoscritto. Visita il nostro link GitHub. Sul mercato ci sono varie tecnologie che creano uscite sensoriali.

Alcuni esempi comuni sono:altoparlanti, luci, monitor e altri meno comuni, come i vibratori di dispositivi aptici, le interfacce gustative e olfattive. Nell'interfaccia audio a circuito chiuso riusciamo ad aumentare digitalmente la frequenza cardiaca. Utilizzando il linguaggio di programmazione musicale Max, siamo in grado di controllare la velocità di riproduzione dei file audio.

I picchi R del cuore filtrato che vengono stampati sulla console vengono trasmessi dallo script Python a Max. Lì il tempo intervallo inter-picco viene misurato e convertito in battiti al minuto. I dati vengono ridimensionati per creare un intervallo compreso tra zero, la velocità di riproduzione più lenta possibile e la massima velocità di riproduzione.

Su questo continuum si equivale alla normale velocità di riproduzione, 0,5 equivale alla metà della velocità e due equivale alla doppia velocità di riproduzione. Il design dell'interfaccia generica può essere utilizzato in varie popolazioni. Il suo protocollo e gli esempi che vengono utilizzati qui per fornire la prova del concetto non si limitano a un gruppo specifico.

Inoltre, le interfacce a circuito chiuso sono progettate per essere esplorate e apprese in modo intuitivo. Anche se non dovrebbero essere necessarie istruzioni come parte della procedura sperimentale. Nello studio dell'interfaccia audio a circuito chiuso di una vera interazione diyadica, due ballerine di salsa hanno interagito con un'interfaccia che utilizza la frequenza cardiaca delle ballerine femminili per alterare la velocità della canzone.

I ballerini eseguirono una routine ben provata e una danza improvvisata. In ogni condizione hanno eseguito la versione originale della canzone una volta e poi è la versione alterata dal cuore due volte. Dai dati raccolti stimiamo le firme gamma stocastiche dei micro picchi di movimento estratti.

Qui osserviamo le funzioni di densità di probabilità stimate del cuore e i dati musicali. Le figure dope dimostrano le serie del cuore, che è un organo autonomo, fin dalle prime condizioni ballando la canzone nella sua forma originale. Alla seconda e terza condizione ballando il cuore alterato canzone.

La figura di sinistra corrisponde alle tre registrazioni della danza spontanea, mentre la figura giusta alle tre registrazioni della danza deliberata. Nelle figure inferiori possiamo osservare i set corrispondenti dell'audio riprodotto. Qui i set hanno una direzione opposta.

Nello studio dell'interfaccia audio-visiva a circuito chiuso di un'interazione diadad artificiale, sei partecipanti hanno interagito con un'interfaccia che crea il loro avatar specchiato dal vivo. Inoltre, incorpora suoni dipendenti dalla posizione dell'anca. I partecipanti erano ingenui circa lo scopo dello studio;

Le cifre dimostrano la funzione di densità di probabilità e le corrispondenti firme gamma dei dati sulla velocità dell'anca di 60 partecipanti al controllo degli amici, da C1 a C6 quando erano all'interno e all'esterno della regione di interesse. I risultati evidenziano le differenze personalizzate nel comportamento dei partecipanti all'interno o all'esterno dell'area. Empiricamente abbiamo scoperto che le firme situate nell'angolo inferiore destro del piano gamma sono quelle di atleti e ballerini che eseguono movimenti altamente qualificati, le firme che si trovano nella regione superiore sinistra provengono da set di dati di sistemi nervosi con patologie.

Pertanto, possiamo notare che le firme della velocità dell'anca di controllo tre e quattro rivelano modelli motori più sani quando si trova all'interno del volume. Al contrario, il resto dei partecipanti visualizza il modello opposto. Questo approccio può essere utilizzato sia per ottenere una maggiore comprensione della relazione tra i movimenti di un ballerino e il suono.

Può anche essere usato per esplorare nuovi approcci alla composizione musicale che sono guidati da informazioni corporee in tempo reale, convertendo la produzione musicale in un'esperienza di aumento del segnale corporeo Lo sviluppo e la ricerca su interfacce a circuito chiuso potrebbero beneficiare di diversi disturbi del sistema nervoso. Potrebbero anche essere utilizzati nel gioco, nell'allenamento del movimento e nello sport.