Summary
WheelCon è una piattaforma nuova, libera e open-source per progettare videogiochi che simulano in modo non invasivo la mountain bike lungo un sentiero ripido, tortuoso e accidentato. Contiene componenti che presentano nel controllo sensomotorio umano (ritardo, quantizzazione, rumore, disturbo e cicli di feedback multipli) e consente ai ricercatori di studiare l'architettura a strati nel controllo sensomotorio.
Abstract
La teoria del controllo del feedback è stata ampiamente implementata per modellare teoricamente il controllo sensoriale umano. Tuttavia, le piattaforme sperimentali in grado di manipolare componenti importanti di più cicli di feedback mancano di sviluppo. Questo documento descrive WheelCon, una piattaforma open source volta a risolvere tali insufficienze. Utilizzando solo un computer, un display standard e un volante da gioco poco costoso dotato di un motore di feedback di forza, WheelCon simula in modo sicuro il compito sensoriale canonico di guidare una mountain bike lungo un sentiero ripido, tortuoso e accidentato. La piattaforma offre flessibilità, come verrà dimostrato nelle demo fornite, in modo che i ricercatori possano manipolare i disturbi, il ritardo e la quantizzazione (velocità dei dati) nei cicli di feedback a più livelli, tra cui uno strato di piano avanzato di alto livello e uno strato di riflesso ritardato di basso livello. In questo documento viene illustrata l'interfaccia utente grafica (GUI) di WheelCon, l'input e l'output delle demo esistenti e la progettazione di nuovi giochi. Inoltre, presentiamo il modello di feedback di base e i risultati sperimentali dei giochi dimostrativi, che si allineano bene con la previsione del modello. La piattaforma WheelCon può essere scaricata allhttps://github.com/Doyle-Lab/WheelCon. In breve, la piattaforma è caratterizzata per essere a buon mercato, semplice da usare, e flessibile da programmare per la ricerca efficace neuroscienza sensomotoria e la formazione di ingegneria di controllo.
Introduction
Il sistema di controllo sensomotorio umano è estremamente robusto1, anche se il rilevamento è distribuito, variabile, rade, quantizzato, rumoroso e ritardato2,3,4; l'informatica nel sistema nervoso centrale è lenta5,6,7; e l'agitazione muscolare e satura8. Molti modelli teorici computazionali sono stati proposti per spiegare il complicato processo di controllo sensomotorio umano4,9,10,11,12,13,14, che è un processo di compromesso nella portata e nella risposta umana15,16. Ad esempio, la teoria del controllo del feedback prevede la politica di controllo ottimale12, modelli teorici bayesiano sensoriale apprendimento17,18,19 e teoria dell'informazione fondazione sensomotoria20,21. A differenza dell'abbondanza di modelli teorici, le piattaforme sperimentali in grado di manipolare componenti importanti di più cicli di feedback mancano di sviluppo. Ciò è in parte dovuto al fatto che la progettazione di una piattaforma per collegare e testare questi aspetti del controllo sensomotorio richiede una vasta gamma di competenze, che si estendono dalla teoria del controllo motorio, elaborazione del segnale, e l'interazione, fino alla computer grafica e programmazione. I ricercatori spesso sviluppano i propri sistemi hardware/software personalizzati per caratterizzare le prestazioni di controllo del sensomotorio umano, che possono limitare la capacità di confrontare/confrontare e integrare i set di dati tra i gruppi di ricerca. Lo sviluppo di un sistema facile da usare e convalidato potrebbe ampliare la caratterizzazione quantitativa del controllo sensomotorio.
In questo articolo presentiamo la piattaforma WheelCon, una nuova piattaforma, libera e open-source per progettare videogiochi per un ambiente virtuale che simula in modo non invasivo una legge Fitts che raggiunge il gioco e un compito di mountain bike con il downing di un sentiero ripido, tortuoso e accidentato. La legge di Fitts per raggiungere il compito quantifica il compromesso tra velocità e precisione in cui il tempo necessario per raggiungere un obiettivo di larghezza a distanza scala come22,23. Il "task"mountain-bike' è una combinazione di un compito di ricerca e tracciamento compensativo, che sono due componenti classiche della ricerca sulle prestazioni sensomotorie umane, soprattutto in termini di studio dei cicli di feedback.
WheelCon contiene i componenti di base molto richiesti presentati in ogni teoria: ritardo, quantizzazione, rumore, disturbo e cicli di feedback multipli. È un potenziale strumento per studiare le seguenti diverse domande nel controllo del sensomotorio umano:
Come il sistema sensomotorio umano si occupa del ritardo e della quantizzazione della segnalazione neurale, che è fondamentalmente vincolata dalle risorse limitate (come lo spazio e i costi metabolici) nel cervello24,25;
Come correlazione neurale nella corteccia umana con controllo sensomotorio26;
Come gli esseri umani gestiscono i disturbi esterni imprevedibili nel controllo sensomotorio27;
Come i loop di controllo gerarchico stratificati e integrati all'interno del sistema sensomotorio umano16,28,29;
La conseguenza del ritardo e della quantizzazione nel feedback visivo umano30 e del feedback riflesso31 nel controllo sensoriale;
La politica e la strategia ottimali per l'apprendimento sensoriale sotto ritardo e quantizzazione16,17,24,29.
WheelCon si integra con un volante e può simulare condizioni di gioco che manipolano le variabili in queste domande, come ritardo di segnalazione, quantizzazione, rumore e disturbo, durante la registrazione della politica di controllo dinamico e degli errori di sistema. Permette inoltre ai ricercatori di studiare l'architettura a più livelli nel controllo sensomotorio. Nell'esempio di guida di una mountain bike, due strati di controllo sono coinvolti in questo compito: il piano ad alto strato e il riflesso a basso strato. Per i disturbi visibili (cioè il sentiero), pianifichiamo prima dell'arrivo del disturbo. Per disturbi sconosciuti in anticipo (cioè piccoli urti), il controllo si basa su riflessi ritardati. La teoria del controllo del feedback propone che architetture efficaci a più livelli possano integrare gli obiettivi, i piani, le decisioni con il rilevamento, il riflesso e l'azione degli strati inferiori24. WheelCon fornisce strumenti sperimentali per indurre disturbi distintivi negli strati planimetrici e reflex separatamente per testare tale architettura a più livelli (Figura 1).
Forniamo una piattaforma economica, facile da usare e flessibile da programmare, WheelCon che colma il divario tra studi teorici e sperimentali sulle neuroscienze. Per essere precisi, può essere utilizzato per esaminare gli effetti di ritardo, quantizzazione, disturbo, potenzialmente compromessi di precisione della velocità. Le variabili che possono essere manipolate nei cicli di controllo sono illustrate nella Tabella 1. Può anche essere applicato per studiare il processo decisionale e la capacità di multiplexing attraverso diversi strati di controllo nel controllo sensomotorio umano. Inoltre, WheelCon è compatibile con registrazioni neurali non invasive, come l'elettroencefalografia (EEG), per misurare la risposta neurale durante il controllo sensomotorio32,33,34,35, e le tecniche di stimolazione cerebrale non invasiva, come la stimolazione elettrica transcranica (tES) e la stimolazione magnetica transcranica (TMS), per manipolare l'attività neurale36,37.,
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Lo sviluppo e l'applicazione del protocollo sono stati approvati dal California Institute of Technology Institutional Review Board (IRB) e dalla Southern University of Science and Technology IRB. L'oggetto ha fornito il consenso informato prima dell'esecuzione di qualsiasi procedura.
1. Preparazione e configurazione del sistema
- L'hardware di base consigliato è un processore dual-core da 2 GHz e 4 GB di memoria di sistema.
- Costruisci la piattaforma di gioco sotto la piattaforma Unity, usando il linguaggio di programmazione c'è. Il driver Logitech e Logitech Steering Wheel SDK sono necessari per lo sviluppo della piattaforma di gioco.
- I file eseguibili della piattaforma di gioco supportano solo il sistema operativo Windows 10(OS). Pertanto, su un PC che esegue Windows 10, scaricare e installare il driver della ruota da corsa corrispondente. Quindi scaricare il software WheelCon compresso (https://github.com/Doyle-Lab/WheelCon/archive/master.zip) ed estrarre i file sul disco rigido locale.
- Montare la ruota da corsa in modo sicuro al livello di seduta davanti a un monitor, quindi collegare il cavo USB della ruota al PC e l'adattatore di alimentazione a una presa.
- Avviare la GUI del driver per verificare la corretta lettura dell'input e forzare il feedback. È importante sottolineare che durante il test sia in esecuzione la GUI del driver.
- Per avviare il programma, fare doppio clic su WheelCon.exe nella directory ' .
- Nella schermata di configurazione, scegliere le impostazioni per il monitor e fare clic su Riproduci! (Figura 2a). Apparirà il menu principale. Assicurarsi che le dimensioni e la posizione di visualizzazione siano quelle specificate.
NOTA: il valore "Sensibilità della ruota", che definisce la velocità del cursore, varia da 0 a 1 e il valore predefinito è 0,5. Nel caso in cui la gamma di movimento offerta dalla ruota da corsa non soddisfi parametri di attività specifici, regolare questo valore. Ad esempio, diminuire la sensibilità per la popolazione obsoleta. Tuttavia, per il confronto tra le attività, è necessario mantenere costante questo valore per la batteria e tra i gruppi.
2. Implementazione delle attività
- La legge di Fitts raggiunge il gioco
NOTA: la legge di Fitts che raggiunge il gioco simula il processo di raggiungimento. Il soggetto deve girare la rotellina per posizionare la linea verticale nella regione desiderata (Figura 2d).- Posizionare il soggetto comodamente dietro le ruote. Regolare l'altezza della ruota, se necessario.
- Nel menu principale fare clic su Attività di legge di Fitts (Figura 2b) e digitare un nome per il file di output che indichi l'identificazione dell'oggetto e le informazioni sull'attività nella casella di testo.
- Fare clic su Seleziona file, scegliere Begin Game Fitt's Law.txt nella directory ' .
- Indicare al soggetto di spostare la linea verticale verde con la ruota per posizionarla all'interno della zona grigia. Questo compito serve a familiarizzare il soggetto con la manovra della ruota, così come con la convenzione di colore utilizzata in diverse attività.
- Attività di mountain bike
NOTA: L'attività di mountain bike è una combinazione di ricerca e attività di monitoraggio compensativo. Simula di andare in mountain bike lungo un sentiero ripido, tortuoso e accidentato. Il soggetto può vedere il sentiero e girare la ruota per tracciarla, mentre un motore può forzare la ruota per imitare i dossi invisibili nello studio (Figura 2e).-
Gioco 1: Test dell'effetto del ritardo visivo
NOTA: In questo gioco, la lunghezza della finestra look-ahead (avviso avanzato contro ritardo) viene manipolata.- Nel menu principale fare clic su Attività Mountain Bike ( Figura2c) e digitare un nome per il file di output che indichi l'identificazione dell'oggetto e le informazioni sull'attività nella casella di testo.
- Fare clic su Seleziona file, scegliere Begin Game Vision_Delay.txt nella directory ' .
- Indicare al soggetto di spostare la linea verticale verde con la ruota per tracciare la parte del sentiero grigio che interseca la linea orizzontale viola.
-
Gioco 2: Test dell'effetto del ritardo di azione
NOTA: In questo gioco, viene aggiunto un ritardo di varie lunghezze tra il movimento della ruota e l'uscita di azione.- Nel menu principale, fare clic su Mountain Bike Task e digitare un nome per il file di output che indica l'identificazione del soggetto e le informazioni sull'attività nella casella di testo.
- Fare clic su Seleziona file, scegliere Begin Game Action_Delay.txt nella directory ' .
- Indicare al soggetto di spostare la linea verticale verde con la ruota per tracciare la parte del sentiero grigio che interseca la linea orizzontale viola.
-
Gioco 3: Test dell'effetto della quantizzazione visiva
NOTA: In questo gioco, l'input visivo viene quantizzato per limitare la velocità dati.- Nel menu principale, fare clic su Mountain Bike Task e digitare un nome per il file di output che indica l'identificazione del soggetto e le informazioni sull'attività nella casella di testo.
- Fare clic su Seleziona file, scegliere Vision Quantization.txt nella directory ' . Begin Game
- Indicare al soggetto di spostare la linea verticale verde con la ruota per tracciare la parte del sentiero grigio che interseca la linea orizzontale viola.
-
Gioco 4: Test dell'effetto della quantizzazione dell'azione
NOTA: In questo gioco, l'output dell'azione viene quantizzato per limitare la velocità dei dati.- Nel menu principale, fare clic su Mountain Bike Task e digitare un nome per il file di output che indica l'identificazione del soggetto e le informazioni sull'attività nella casella di testo.
- Fare clic su Seleziona file, scegliere Action Quantization.txt nella directory ' . Begin Game
- Indicare al soggetto di spostare la linea verticale verde con la ruota per tracciare la parte del sentiero grigio che interseca la linea orizzontale viola.
-
Gioco 5: Test dell'effetto di urto e perturbazione del sentiero
NOTA: questa attività è costituita da tre scenari:
a) "Bumps", tracciando un soggetto costante nonostante i disturbi della coppia sulla ruota che imitano i urti che colpiscono quando si guida una mountain bike;
b) "Trail", tracciando un sentiero in movimento con curve casuali ma senza urti;
c) "Trail with Bumps", tracciando un sentiero in movimento con curve e dossi casuali.- Nel menu principale, fare clic su Mountain Bike Task e digitare un nome per il file di output che indica l'identificazione del soggetto e le informazioni sull'attività nella casella di testo.
- Fare clic su Seleziona file, scegliere Bump & Trail.txt nella directory ' . Begin Game
- Indicare al soggetto di spostare la linea verticale verde con la ruota per tracciare la parte del sentiero grigio che interseca la linea orizzontale viola.
-
Gioco 1: Test dell'effetto del ritardo visivo
3. Uscita dati
- Individuare il file di output TXT nella directory ''WheelCon-master'Executable & Output Files'MountainBikeData'' e quindi aprire con Matlab' WheelCon Data Analysis Code.m' nella directory ' .
- Specificare nello script MATLAB la cartella e file_names variabili in base alla directory del file di output, quindi eseguire lo script (CTRL e INVIO) e le variabili di output verranno salvate come vettori di colonna nel workspace. I criteri di errore e controllo verranno esportati per ogni tempo di campionamento. Vedere la tabella 2 per la descrizione dettagliata.
4. Sviluppo di file di input
- Apri il file 'WheelCon Mntn Bike Trail Design Code.m' nella directory ''WheelCon-master'Source Code''.
- Rimuovere il commento (CTRL e T) la sezione per i parametri di gioco desiderati ed eseguire lo script (CTRL e INVIO). Il file di input verrà salvato nella directory ''WheelCon-master'' in formato .txt'. Ogni colonna nei file di input è una variabile di controllo. Fare riferimento alla tabella 1 per l'elenco delle variabili di controllo.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Modellazione del controllo del feedback
Viene illustrato un modello di controllo del feedback semplificato illustrato nella Figura 1. La dinamica del sistema è data da:
dove x(t) è l'errore al momento t, r(t) è il disturbo trail w(t), è il disturbo urto e u(t) è l'azione di controllo.
Ritardo dell'azione di modellazione nel disturbo del percorso
Quando c'è un ritardo T in azione, e un disturbo del sentiero r(t), modelliamo l'azione di controllo
Il gioco inizia con la condizione iniziale zero: x(0) - 0. Il controllore genera il comando di controllo u(t) utilizzando le informazioni complete sulle storie di stato, disturbo e input di controllo. Qui, il ritardo netto T è composto dai ritardi interni nel feedback sensoriale umano e dai ritardi aggiunti esternamente. Il comando di controllo viene eseguito con ritardo T - 0. Il controllo sensoriale nell'impostazione consapevole del rischio motiva l'uso del controllo ottimale L1 e, come tale, l'obiettivo è quello di verificare il seguente problema di controllo robusto
Questo problema ammette una soluzione semplice e intuitiva. Il costo ottimale è
Questo costo ottimale è ottenuto dalla politica Tdi controllordeltcaso peggiore u(t
Quantizzazione dell'azione di modellazione nel disturbo delle tracce
Quando la velocità dati, R, nel ciclo di controllo è limitata, l'azione di controllo viene generata dal ciclo di feedback seguente con vincoli di comunicazione,
dove 
è un controller ed è un 
quantista con velocità dati R e 1, cioè S è un insieme finito di cardinalità 2R. Il disturbo r(t) è legato all'infinito-norma e senza perdita di generalità, 
. La deviazione di stato nel peggiore dei casi è
e lo sforzo minimo di controllo è dato da
Misure di errore
Per quantificare le prestazioni, abbiamo misurato l'errore della norma 
infinito, l'errore assoluto (MAE) e l'errore quadrato medio radice (RMSE). La norma infinito è definita come il massimo degli errori assoluti, dove
L'errore assoluto medio viene calcolato come segue
L'errore al quadrato medio radice viene calcolato come segue
Gioco 1: Avviso o ritardo avanzato visivo
Il gioco 1 valuta in che modo la lunghezza della finestra look-ahead (avviso/ritardo avanzato) influisce sulle prestazioni di controllo del sensomotorio senza essere esposti a disturbi aggiuntivi.
Game 1 dura 360 secondi ed è costituito da un "Trail" continuo, che riduce la quantità di look-ahead ogni 30 secondi. Il gioco inizia con 1 s di avviso avanzato, e poi diminuisce a 0.75 s, e poi a 0.5 s. Da lì, il gioco diminuisce lo sguardo avanti di 0,1 s fino a raggiungere un minimo di -0,4 s. Ritardo positivo, o avviso avanzato negativo, significa che solo il sentiero dietro il giocatore è visibile.
Un'evoluzione della dinamica di errore del giocatore come il gioco progredisce con 1 s avviso avanzato e 0.4 s ritardo sono stati raffigurati in Figura 3a-3b separatamente. Sia la trama visualizza solo i 20 secondi centrali di ciascuno degli intervalli di 30 secondi per trascurare gli effetti del giocatore che si adatta alla nuova finestra look-ahead. La progressione dell'errore nei blocchi sembra stabile nell'impostazione di avviso avanzato di 1 s mentre nell'impostazione di ritardo 0.4s, l'errore si capovolge durante il progresso. Per quantificare l'effetto in modo più dettagliato, valutiamo l'∞ L1-/L2-/L∞- norma per la dinamica di errore per ogni gruppo 20 s corrispondente a un livello di ritardo. Riassumendo questi calcoli in un grafico dà Figura 3c, che dimostra come la norma di errore dei giocatori non cambia fino a quando l'avviso avanzato raggiunge 0,5 s e quindi aumenta in modo approssimativamente lineare.
Gioco 2: Ritardo nell'uscita d'azione
A differenza del ritardo visivo esterno di Game 1, Game 2 aggiunge un ritardo interno specifico all'output dell'azione; in altre parole, l'attuale politica di controllo u(t) funziona a u(t - T act ) dove Tatto è il ritardo esterno in azione. act Gioco 2 dura per 180 s. Regolazione Tatto ogni 30 s, Tatto inizia da 0 s, e incrementa di 0.1 s fino a raggiungere 0.4 s.
Gli effetti del ritardo in azione sono mostrati nella Figura 4. Simile al ritardo della visione, l'errore aumenta linearmente con il ritardo, che è ben in linea con la previsione dalla teoria nella teoria EQ(3).
Gioco 3 e Gioco 4: Quantizzazione nell'ingresso Vision e nell'output d'azione
Game 3 e Game 4 studiano gli effetti della quantizzazione nell'input visivo e nell'output d'azione, rispettivamente. Ogni gioco è lungo 210 s, e la quantizzazione cambia ogni 30 s, con la velocità dei dati che aumenta da 1 a 7 bit. Ad esempio, quando la Rvis è 1 in Game 3, la posizione desiderata (linea grigia nella GUI di gioco) viene presentata al centro a sinistra o al centro destra dello schermo. Quando Rvis - n, la posizione desiderata può essere presentata in 2n possibili posizioni sullo schermo. Per Il Gioco 4, quando Ratto n. 1, il giocatore sta andando a sinistra oa destra con una velocità. Quando Ract è n, il giocatore può guidare la ruota per andare a sinistra oa destra con 2n-1 velocità.
Gli effetti della quantizzazione (velocità dati limitata) nella visione e nell'azione sono illustrati nella Figura 5. Coerentemente con la previsione della teoria in Eq(6), le prestazioni di controllo del sensomotorio migliorano con velocità di dati più elevate e raggiungono le prestazioni ottimali di controllo quando R è intorno a 5.
Gioco 5: Bump e disturbo del percorso
Game 5 è progettato per testare gli effetti di urti e tracce disturbi sul controllo sensomotorio umano. Game 5 si compone di tre scenari:
a) "Bumps", tracciando un soggetto costante nonostante i disturbi della coppia sulla ruota che imitano i urti che colpiscono quando si guida una mountain bike;
b) "Trail", tracciando un sentiero in movimento con curve casuali ma senza urti;
c) "Trail with Bumps", tracciando un sentiero in movimento con curve e dossi casuali.
Ogni scenario dura 60 s nell'ordine (Bumps, Trail, Trail with Bumps) con un riposo di 5 s che precede ogni scenario. Inoltre, i disturbi e il sentiero durante le fasi isolate sono duplicati nella fase combinata "Trails with Bumps", in modo che sia possibile tracciare un corretto confronto delle prestazioni tra i compiti separati e quello in cui il giocatore deve multiplex. Durante l'intero gioco, c'è 1 s di avviso avanzato nell'input di visione, nessun ritardo nell'output di azione e una velocità dati a 10 bit sia per la visione che per l'azione.
Come disturbo, usiamo un segnale binario casuale, la cui ampiezza è la massima coppia possibile che il motore del volante può esercitare. Ogni 100 ms, la coppia passa tra max positivo e negativo (100 o -100 per la ruota). Una commutazione binaria casuale simile controlla la derivata trail. Più specificamente, il sentiero viaggia ad una velocità costante, ma cambia casualmente la sua direzione in modo che rimanga sempre nella gamma dello schermo comodamente visibile al giocatore. Abbiamo regolato la velocità del sentiero sullo schermo in modo che la velocità Figure 6 di rotazione del volante richiesta sia di circa 75 gradi.
NOTA: Poiché questo viene utilizzato per studiare le prestazioni di controllo sensomotorio con limiti di ritardo e velocità dei dati, abbiamo analizzato i dati solo dopo che i soggetti sono stati addestrati per il compito e le loro prestazioni sono diventate stabili. Gli effetti dell'apprendimento sono stati esclusi dai dati. Inoltre, il modello di controllo del feedback non ha preso in considerazione l'apprendimento.
Figura 1: Diagramma a blocchi di base per una piattaforma sperimentale con soggetto e ruota da gioco con motore.
Ogni scatola è un componente che comunica o calcola e ha potenzialmente sia ritardo che quantizzazione, anche all'interno del gioco in G. L'avvertimento anticipato T è implementato anche su uno schermo di computer con visione. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 2: L'interfaccia grafica per WheelCon.
(a) il menu principale; (b) il menu Attività di legge di Fitt; (c) il menu Attività Mountain Bike; (d) l'interfaccia dei videogiochi per Fitt's Law Task; (e) l'interfaccia dei videogiochi per Mountain Bike Task. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 3: Aggiunta di ritardo nell'input visivo durante l'attività di mountain bike.
(a-b) La dinamica di sistema con il tempo per la sessione con 1 s avviso avanzato (a) e con 0.4 s ritardo (b). La linea nera e la linea blu sono rispettivamente la posizione del sentiero e la posizione del giocatore. La linea rossa è la dinamica di errore. (c) L'errore aumenta con il ritardo crescente. Il ritardo negativo significa avvertimento avanzato. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 4: Effetti del ritardo esterno nell'azione sulle prestazioni.
L∞ norma di errore, MAE e RMSE aumenta con il ritardo crescente. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 5: Quantizzazione nell'input visivo (a) e nell'output dell'azione (b).
L∞errore L, MAE e RMSE vengono visualizzati rispettivamente nella linea blu, nera e rossa. Fare clic qui per visualizzare una versione più grande di questa figura.
Figura 6: Effetti dell'urto e del disturbo della scia sul controllo sensorialemotorio umano.
(a) le dinamiche di errore indotte da urto disturbo; (b) le dinamiche di errore indotte dal disturbo del sentiero; (c) le dinamiche di errore indotte da urto e disturbo del percorso; (d) l'errore sovrapposto in rilievo (blu), sentieri (rosso), Sentieri con protuberazioni (verde). Le trame del gambo viola-vuoto e piene di arancio indicano rispettivamente la tempistica e la direzione dei disturbi dopanti e del disturbo del sentiero. Si noti che sia le forze della ruota che i tassi di percorso sono onde quadrate, mentre i gambi indicano dove queste onde quadrate si alternano (cioè derivati delle forze e dei tassi). Fare clic qui per visualizzare una versione più grande di questa figura.
| Notazione | Variabile | Unità | Vincola |
| w(t) | Disturbo da urto | n Newton | 0 - w(t) : 100 |
| r(t) | Disturbo del sentiero | 100 pixel | 0 è r(t) : 100; |
| r(t) - w(t) | |||
| Tvis | Avviso/ritardo avanzamento della vista | Secondo | -1 - Tvis < 1 |
| Tatto | Ritardo d'azione | Secondo | 0 - Tvis < ∞ |
| Rvis | Velocità dati esterni nell'input visivo | pezzo | 1 - Rvis 10 |
| RAtto | Velocità dati esterni nell'uscita della ruota | pezzo | 1 - Ratto : 10 |
| Qvis | Quantificatore esterno sull'input di visione | 1 | Qvis - 2Rvis |
| Qatto | Quantificatore esterno sull'uscita della ruota | 1 | Qatto : 2Rvis |
Tabella 1: Le variabili nei cicli di controllo che possono essere manipolate.
| Notazione | Variabile | Unità | |
| T | Ore | Secondo | |
| x(t) | Dinamica di errore, misurata in base alla distanza tra la posizione del giocatore e la posizione desiderata | 100 pixel | |
| u(t) | Politica di controllo, misurata dall'angolo deviato del volante | Grado | |
Tabella 2: La variabile di stato e il segnale di ingresso nel sistema dinamico.
| Piattaforma | Apri sorgente ? | Scarica link | Funzione |
| Ambiente virtuale 2D (2DVE) | No | 1.Raggiungere i movimenti per la riabilitazione del braccio dopo l'ictus; | |
| ETH MIKE | No | 1.Per la valutazione delle compromissione della mano propriocettiva, motoria e sensoriale | |
| Opensim | Sì | https://opensim.stanford.edu/ | 1. Studiare la coordinazione neuromuscolare; 2. Consentire agli utenti di sviluppare modelli di strutture muscolo-scheletriche e creare simulazioni dinamiche dei movimenti. |
| PneuGlove | No | 1.To addestrare e valutare l'individuazione delle dita nei bambini con paralisi cerebrale emiplegica | |
| VirtualEnaction (Azione virtuale) | Sì | http://virtualenaction.gforge.inria.fr/ | 1. Per la simulazione sistemica delle neuroscienze; 2. Per verificare i modelli funzionali del cervello; 3.To sperimentare comportamenti di sopravvivenza complessi |
| VR-SPIRITO | No | 1.To migliorare le capacità predittive negli scenari sociali. 2. Formazione intensiva riabilitativa per pazienti pediatrici |
|
| WheelCon | Sì | https://github.com/Doyle-Lab/WheelCon | 1. Per verificare la legge fitts nel controllo sensoriale umano; 2.To studiare l'architettura a strati nel controllo Sensorimotor. |
Tabella 3: L'elenco di alcune piattaforme sensomotorie esistenti.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
In questo articolo, abbiamo presentato una piattaforma di gioco gratuita e open source, WheelCon, per studiare gli effetti del ritardo, della quantizzazione, del disturbo e dei cicli di feedback stratificati nel controllo sensoriale umano. Abbiamo mostrato l'hardware, il software e la GUI. Sono state implementate le impostazioni di un singolo ciclo di controllo sensomotorio con ritardo e quantizzazione, che ci permette di misurare gli effetti del ritardo, della quantizzazione e del disturbo nel controllo sensomotorio. I risultati sperimentali sono ben in linea con la previsione dalla teoria del controllo del feedback.
I protocolli forniscono un modo per manipolare in modo non invasivo ritardi esterni e limitare la velocità dei dati sia negli input di visione che nell'output di azione, nonché per analizzare le prestazioni di controllo del sensomotorio. Nel protocollo, chiediamo ai partecipanti di giocare in diversi scenari di attività che sono stati predefiniti nella piattaforma. Con queste attività, è stato verificato l'effetto lineare del ritardo (Figura 3 e Figura 4) e l'effetto non lineare della quantizzazione ( Figura5). Questi effetti implicano l'ottimizzazione dato il compromesso velocità-precisione nel controllo sensoriale umano. Il protocollo ci permette anche di studiare i cicli di feedback stratificati nel sistema sensomotorio umano con uno strato di piano avanzato di alto livello e uno strato di riflessi ritardati di basso livello (Figura 6).
In questo protocollo, è fondamentale formare, ma non in treno, il partecipante in anticipo; in caso contrario, gli effetti di apprendimento o la stanchezza dei partecipanti influiranno sulle previsioni del modello. La variabilità della capacità sensomotoria tra i partecipanti è inevitabile, e quindi alcuni parametri del protocollo (cioè la sensibilità della ruota e la coppia di urto) devono essere sintonizzati in base all'età, alla forza e alle capacità motorie dei partecipanti. È necessaria la corrispondenza di questi parametri tra i gruppi. Qui, suggeriamo all'utente di scegliere una sensibilità appropriata sia per il vecchio che per il gruppo giovane al fine di fare un confronto.
Una limitazione del metodo è che il modello qui presentato non ha considerato il processo di apprendimento. È importante notare che abbiamo analizzato i dati solo dopo che i soggetti sono stati ben addestrati e le loro prestazioni sono diventate stabili per evitare gli effetti di apprendimento.
Nicolas Denoyelle e altri hanno sviluppato una piattaforma (VirtualEnaction) per la simulazione sistemica delle neuroscienze38. VirtualEnaction può essere utilizzato per convalidare i modelli funzionali del cervello. Inoltre, è stata sviluppata una piattaforma di riabilitazione per l'esecuzione di attività sensomotorie39,40,41,42,43. Scott L. Delp et al. ha sviluppato un software open source (OpenSim) per creare e analizzare simulazioni dinamiche del Movimento nella scienza riabilitativa43. Marika Demers ealtri proposte un ambiente virtuale 2D per la riabilitazione del braccio dopo l'ictus41. Designano un dispositivo robotico per la valutazione delle periferiche sensomotorie a mano42. James V. McCall e t al. ha proposto una piattaforma per la riabilitazione delle dita nei bambini con paralisi cerebrale emiplegica40. Niccolò Butti e altri sviluppano una piattaforma basata sulla realtà virtuale sul miglioramento della previsione sociale e sulla formazione intensiva di riabilitazione per i pazienti pediatrici39 . La tabella 3 ha elencato i confronti tra queste piattaforme con la piattaforma qui presentata.
Per le future direzioni di ricerca, la piattaforma è compatibile con la tecnica delle registrazioni neurali non invasive (EEG) per misurare la risposta neurale durante il controllo sensoriale. Studiando la relazione di mappatura tra il controllo sensomotorio e il segnale di frequenza spaziale EEG, potremmo rivelare il meccanismo cerebrale del controllo sensomotorio. Sarà un'importante questione di ricerca per comprendere il sistema sensomotorio umano. Inoltre, la maggior parte della teoria in questo studio si basa sul controllo ottimale dopo l'apprendimento. Il tempo di arresto per la formazione è scelto in modo abbastanza arbitrario ed empirica nello studio. È quindi importante valutare se i partecipanti colpiscono un asintoso dopico duro o un altopiano44. Studi futuri potrebbero studiare lo studio sull'apprendimento del sensomotorio utilizzando WheelCon per testare ulteriormente l'anoptoto/plateau e le loro possibili spiegazioni con la teoria dell'apprendimento sensomotorio.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Gli autori rivelano che non hanno conflitti di interesse.
Acknowledgments
Ringraziamo il Sig. Wang per aver rimodellato le sceneggiature, girato e modificato il video, e il sig. Questo studio ha ottenuto il sostegno della CIT Endowment & National Science Foundation (per JCD), della borsa di studio Boswell (a QL) e del Fondo universitario di alto livello (n. G02386301, G02386401), Guangdong Natural Science Foundation Joint Fund (n. 2019A151511038).
Materials
| Name | Company | Catalog Number | Comments |
| Gaming Wheel | Logitech | ||
| Windows 10 OS | Microsoft |
References
- Franklin, D. W., Wolpert, D. M.
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R.
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E.
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R.
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M.
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
- Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
