Summary
WheelCon bir roman, ücretsiz ve açık kaynak platform unvaziv bir dik aşağı dağ bisikleti simüle video oyunları tasarlamak için, bükümlü, engebeli iz. İnsan sensorimotor kontrolünde (gecikme, niceleme, gürültü, rahatsızlık ve çoklu geri besleme döngüleri) bulunan bileşenleri içerir ve araştırmacıların sensorimotor kontrolünde katmanlı mimariyi incelemelerine olanak tanır.
Abstract
Geri bildirim kontrol teorisi, insan duyusal motor kontrolünü teorik olarak modellemek için kapsamlı bir şekilde uygulanmıştır. Ancak, birden çok geri bildirim döngülerinin önemli bileşenlerini manipüle edebilen deneysel platformlarda gelişme yok. Bu makalede, bu tür yetersizlikleri çözmeyi amaçlayan açık kaynak platform wheelcon açıklanmaktadır. Sadece bir bilgisayar, standart bir ekran ve bir kuvvet geribildirim motoru ile donatılmış ucuz oyun direksiyon simidi kullanarak, WheelCon güvenli bir dik aşağı bir dağ bisikleti sürme kanonik sensorimotor görev simüle, bükümlü, engebeli iz. Platform, sağlanan demolarda gösterildiği gibi esneklik sağlar, böylece araştırmacılar katmanlı geri bildirim döngülerinde üst düzey gelişmiş plan katmanı ve düşük seviyeli gecikmeli refleks katmanı da dahil olmak üzere bozulmaları, gecikmeleri ve nicelikleri (veri hızı) manipüle edebilirler. Bu yazıda WheelCon'un grafik kullanıcı arabirimini (GUI), mevcut demoların giriş ve çıktısını ve yeni oyunların nasıl tasarlanabildiğini gösteriyoruz. Buna ek olarak, modelin tahmini ile uyumlu demo oyunlarından elde edilen temel geri bildirim modelini ve deneysel sonuçlarını salıyoruz. WheelCon platformu https://github.com/Doyle-Lab/WheelCon adresinden indirilebilir. Kısacası, platform ucuz, kullanımı basit ve etkili sensorimotor nörobilim araştırma ve kontrol mühendisliği eğitimi için programesnek özellikli.
Introduction
İnsan sensorimotor kontrol sistemi son derece sağlam1, algılama dağıtılır rağmen, değişken, seyrek, nicel, gürültülü ve gecikmiş2,3,4; merkezi sinir sisteminde bilgisayar yavaş5,6,7; ve kas aktüasyon yorgunlukları ve doymuş8. Birçok hesaplamalı teorik modeller karmaşık insan sensorimotor kontrol süreci açıklamak için önerilmiştir4,9,10,11,1212,13,14, hangi insan ulaşmak ve yanıt bir tradeoff sürecidir15,16. Örneğin, geribildirim kontrol teorisi optimal kontrol politikası12tahmin , Bayes teorisi modelleri sensorimotor öğrenme17,18,19 ve bilgi teorisi sensorimotor temel20,21. Teorik modellerin bolluğunun aksine, birden fazla geri bildirim döngüsünün önemli bileşenlerini manipüle edebilen deneysel platformlar da gelişmeden yoksun. Bunun nedeni kısmen, sensorimotor kontrolün bu yönlerini köprülemek ve test etmek için bir platform tasarlamak, motor kontrol teorisi, sinyal işleme ve etkileşimden bilgisayar grafikleri ve programlamasına kadar uzanan çeşitli uzmanlık lar gerektirmektedir. Araştırmacılar genellikle insan sensorimotor kontrol performansını karakterize etmek için kendi özel donanım/yazılım sistemleri geliştirmekte, bu da veri kümelerini araştırma grupları arasında karşılaştırma/karşılaştırma ve entegre etme yeteneğini sınırlandırabilir. Kullanımı kolay ve doğrulanmış bir sistemin geliştirilmesi sensorimotor kontrolün nicel karakterizasyonunu genişletebilir.
Bu yazıda, wheelcon platformu, bir roman, ücretsiz ve açık kaynak platformu noninvaziv bir Fitts 'Hukuk oyun ve dik, bükümlü ve engebeli iz aşağı indirme ile bir dağ bisikleti görev ulaşan simüle sanal bir ortam için video oyunları tasarlamak için salıyoruz. Fitts'in göreve ulaşma yasası, mesafe ölçeklerinde genişlik hedefine ulaşmak için gereken sürenin22,23olarak ölçülde de hız ve doğruluk arasındaki dengeyi ölçer. 'Dağ-bisiklet görev' bir takip ve telafi edici izleme görevi bir kombinasyonudur, insan sensorimotor performansı araştırma iki klasik bileşenleridir, özellikle geribildirim döngüleri çalışma açısından.
WheelCon her teoride sunulan yüksek talep edilen temel bileşenleri içerir: gecikme, niceleme, gürültü, rahatsızlık ve birden fazla geri bildirim döngüleri. İnsan sensorimotor kontrolünde aşağıdaki farklı soruları incelemek için potansiyel bir araçtır:
• Nasıl insan sensorimotor sistem gecikme ve nöral sinyalleme, temelde sınırlı kaynaklar (uzay ve metabolik maliyetler gibi) beyin24,25ile sınırlıdır quantization ile ilgilenir ;
• Duyusal motor kontrol26ile insan korteksinde nöral korelasyon nasıl ;
• İnsanlar sensorimotor kontrol27'dekiöngörülemeyen, dış rahatsızlıklarla nasıl başa çıkıyorlar;
• Hiyerarşik kontrol döngüleri katmanlı ve insan sensorimotor sistemi16,28,29entegre;
• İnsan görsel geribildiriminde gecikme ve nicelemenin sonucu30 ve sensorimotor kontrolde refleks geri bildirim31;
• Gecikme ve niceleme altında sensorimotor öğrenme için en uygun politika ve strateji16,17,24,29.
WheelCon bir direksiyon ile entegre ve dinamik kontrol politikası ve sistem hataları kaydederken, gecikme sinyalizasyon, nicelik, gürültü ve rahatsızlık gibi bu sorularda değişkenleri manipüle oyun koşulları simüle edebilirsiniz. Ayrıca araştırmacılarSensorimotor kontrolünde katmanlı mimari çalışma sağlar. Bir dağ bisikletine binme örneğinde, bu görevde iki kontrol katmanı yer almaktadır: yüksek katmanlı plan ve düşük katmanlı refleks. Görünür rahatsızlıklar için (yani, iz), biz rahatsızlık gelmeden önce plan. Önceden bilinmeyen rahatsızlıklar için (örn. küçük tümsekler), kontrol gecikmiş reflekslere dayanır. Geri bildirim kontrol teorisi, etkili katmanlı mimarilerin üst katmanların hedeflerini, planlarını, kararları alt katmanların algılaması, refleksi ve eylem24ile bütünleştirebileceğini öne sunar. WheelCon, böyle katmanlı bir mimariyi test etmek için plan ve refleks katmanlarında ayrı ayrı ayırt edici rahatsızlıkları tetiklemek için deneysel araçlar sağlar(Şekil 1).
Biz ucuz, kullanımı kolay ve program platformu esnek, WheelCon bu nöroloji teorik ve deneysel çalışmalar arasındaki boşluğu köprüler sağlar. Spesifik olmak gerekirse, gecikme, niceleme, rahatsızlık, potansiyel hız-doğruluk tradeoffs etkilerini incelemek için kullanılabilir. Denetim döngülerinde manipüle edilebilen değişkenler Tablo 1'degösterilmiştir. Ayrıca insan sensorimotor kontrolünde farklı kontrol katmanları arasında karar verme ve çoklama yeteneğini incelemek için de uygulanabilir. Ayrıca WheelCon, sensörimotor kontrol sırasında nöral yanıtı ölçmek için elektroensefalografi (EEG)32,33,34,35(EEG) gibi noninvaziv nöral kayıtlar la uyumludur ve transkraniyal elektriksel stimülasyon (tES) ve Transkraniyal Manyetik Stimülasyon (TMS) gibi non-invaziv beyin stimülasyon teknikleri, nöral aktiviteyi manipüle etmek için36,37.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Protokolün geliştirilmesi ve uygulanması California Institute of Technology Kurumsal İnceleme Kurulu (IRB) ve Güney Bilim ve Teknoloji IRB Üniversitesi tarafından onaylanmıştır. Konu, herhangi bir işlem gerçekleştirilmeden önce bilgilendirilmiş onay verilmiştir.
1. Sistem hazırlama ve kurulum
- Önerilen temel donanım 2 GHz çift çekirdekli işlemci ve 4 GB sistem belleğidir.
- C# programlama dilini kullanırken Unity platformu altında oyun platformu oluşturun. Logitech oyun direksiyonu sürücüsü ve Logitech Direksiyon SDK oyun platformu geliştirme için gereklidir.
- Oyun platformu çalıştırılabilir dosyalar yalnızca Windows 10 İşletim Sistemini (OS) destekler. Bu nedenle, Windows 10 çalıştıran bir bilgisayarda, ilgili yarış tekerleği sürücüsünü indirin ve yükleyin. Sonra sıkıştırılmış WheelCon yazılımı indirin (https://github.com/Doyle-Lab/WheelCon/archive/master.zip) ve yerel sabit diske dosyaları ayıklayın.
- Yarış tekerleğini monitörün önündeki oturma hizasına güvenli bir şekilde monte edin ve ardından tekerleğin USB kablosunu PC'ye ve güç adaptörünü bir prizine bağlayın.
- Doğru giriş okumasını test etmek ve geri bildirimi zorlamak için sürücü GUI'yi başlatın. Daha da önemlisi, test sırasında sürücü GUI'yi arka planda çalışır durumda tutun.
- Programı başlatmak için WheelCon.exe'ye '\WheelCon-master\Executable & Output Files\' dizininde çift tıklayın.
- Yapılandırma ekranında monitör ayarlarını seçin ve Oynat'ı tıklatın! (Şekil 2a). Ana menü görüntülenir. Ekran boyutunun ve konumunun belirtildiği şekilde olduğundan emin olun.
NOT: İmleç hızını tanımlayan 'Tekerlek Hassasiyeti' değeri 0 ile 1 arasında değişir ve varsayılan olarak 0,5'e kadar değişir. Yarış tekerleği tarafından sağlanan hareket aralığının belirli görev parametrelerine uymaması durumunda, bu değeri ayarlayın. Örneğin, yaşlanan nüfus için duyarlılığı azaltmak. Ancak, görevler arasında karşılaştırma yapmak için, bu değeri pil ve gruplar arasında sabit tutmak gerekir.
2. Görev in uygulanması
- Fitts yasası oyuna uzanıyor
NOT: Fitts'in oyuna ulaşan yasası ulaşma sürecini simüle eder. Konu istenilen bölgeye dikey çizgi yerleştirmek için tekerlek açmak için gerektirir (Şekil 2d).- Konuyu tekerleklerin arkasına rahatça oturtun. Gerekirse tekerlek yüksekliğini ayarlayın.
- Ana menüde, Fitts'in Hukuk Görevi (Şekil 2b)seçeneğini tıklatın ve metin kutusunda konu tanımlama ve görev bilgilerini belirten çıktı dosyasının adını yazın.
- Dosya Seç'etıklayın, '\WheelCon-master\ Demo Giriş Dosyaları\' dizininde Fitt's Law.txt'yi seçin ve ardından Oyunu Başlat'ıtıklatın.
- Nesneyi, yeşil dikey çizgiyi tekerlekle hareket ettirin ve gri bölgeye yerleştirin. Bu görev, farklı görevler boyunca kullanılan renk kuralının yanı sıra, tekerleğin manevrası ile ilgili konuyu tanımaya hizmet eder.
- Dağ bisikleti görevleri
NOT: Dağ bisikleti görevi takip ve telafi edici izleme görevinin bir kombinasyonudur. Bu dik, bükülmüş ve engebeli bir iz aşağı bir dağ bisikleti sürme simüle eder. Bir motor denemegörünmez tümsekleri taklit etmek için tekerleği tork ise konu, iz görebilirsiniz ve onu izlemek için tekerleği çevirebilirsiniz (Şekil 2e).-
Oyun 1: Görsel gecikmenin etkisini test etme
NOT: Bu oyunda, ileriye bakma penceresinin uzunluğu (gelişmiş uyarı ve gecikme) manipüle edilir.- Ana menüde Dağ Bisikleti Görevi 'ni(Şekil 2c)tıklatın ve metin kutusunda konu tanımlama ve görev bilgilerini belirten çıktı dosyasının adını yazın.
- Dosya Seç'etıklayın, '\WheelCon-master\ Demo Giriş Dosyaları\' dizininde Vision_Delay.txt'yi seçin ve ardından Oyunu Başlat'atıklayın.
- Mor yatay çizgiyle kesişen gri iz parçasını izlemek için deneğe tekerlekle yeşil dikey çizgiyi hareket ettirin.
-
Oyun 2: Eylem gecikmesinin etkisini test etme
NOT: Bu oyunda, tekerlek hareketi ve eylem çıkışı arasında çeşitli uzunluklarda bir gecikme eklenir.- Ana menüde, Dağ Bisikleti Görevi'ni tıklatın ve textbox'taki konu tanımlama ve görev bilgilerini belirten çıktı dosyasıiçin bir ad yazın.
- Dosya Seç'etıklayın, '\WheelCon-master\ Demo Giriş Dosyaları\' dizininde Action_Delay.txt'yi seçin ve ardından Oyunu Başlat'ıtıklatın.
- Mor yatay çizgiyle kesişen gri iz parçasını izlemek için deneğe tekerlekle yeşil dikey çizgiyi hareket ettirin.
-
Oyun 3: Görsel niceleme etkisini test etme
NOT: Bu oyunda, görsel giriş veri hızını sınırlamak için ölçülür.- Ana menüde, Dağ Bisikleti Görevi'ni tıklatın ve textbox'taki konu tanımlama ve görev bilgilerini belirten çıktı dosyasıiçin bir ad yazın.
- Dosya Seç'etıklayın, '\WheelCon-master\ Demo Giriş Dosyaları\' dizininde Vision Quantization.txt'yi seçin ve ardından Oyunu Başlat'ıtıklatın.
- Mor yatay çizgiyle kesişen gri iz parçasını izlemek için deneğe tekerlekle yeşil dikey çizgiyi hareket ettirin.
-
Oyun 4: Eylem niceleme etkisini test
NOT: Bu oyunda, eylem çıktısı veri oranını sınırlamak için ölçülür.- Ana menüde, Dağ Bisikleti Görevi'ni tıklatın ve textbox'taki konu tanımlama ve görev bilgilerini belirten çıktı dosyasıiçin bir ad yazın.
- Dosya Seç'etıklayın, '\WheelCon-master\ Demo Giriş Dosyaları\' dizininde Action Quantization.txt'yi seçin ve ardından Oyunu Başlat'ıtıklatın.
- Mor yatay çizgiyle kesişen gri iz parçasını izlemek için deneğe tekerlekle yeşil dikey çizgiyi hareket ettirin.
-
Oyun 5: Tümsek ve iz bozukluğu etkisini test
NOT: Bu görev üç senaryodan oluşur:
a) "Bumps", bir dağ bisikleti sürerken darbeleri taklit tekerlek üzerinde tork bozukluklarına rağmen sabit bir iz konu izleme;
b) "Trail", rasgele dönüşler ile hareketli bir iz izleme ama tümsek olmadan;
c) "Bumps ile Trail", rasgele dönüşler ve darbeler ile hareketli bir iz izleme.- Ana menüde, Dağ Bisikleti Görevi'ni tıklatın ve textbox'taki konu tanımlama ve görev bilgilerini belirten çıktı dosyasıiçin bir ad yazın.
- Dosya seç'etıklayın, '\WheelCon-master\ Demo Giriş Dosyaları\' dizininde Bump & Trail.txt'yi seçin ve ardından Oyunu Başlat'ıtıklatın.
- Mor yatay çizgiyle kesişen gri iz parçasını izlemek için deneğe tekerlekle yeşil dikey çizgiyi hareket ettirin.
-
Oyun 1: Görsel gecikmenin etkisini test etme
3. Veri çıktısı
- TXT çıktı dosyasını '\WheelCon-master\Executable & Output Files\MountainBikeData\' dizininde bulun ve ardından '\WheelCon-master\Source Code' dizininde Matlab' WheelCon Veri Analizi Kodu.m' ile açın.
- MATLAB komut dosyasında klasörü belirtin ve file_names değişkenleri çıktı dosyası dizinine göre belirtin ve ardından komut dosyasını çalıştırın (Ctrl + Enter) ve çıktı değişkenleri Çalışma alanına sütun vektörleri olarak kaydedilir. Hata ve denetim ilkesi her örnekleme zamanı için dışa aktarılır. Ayrıntılı açıklama için Tablo 2'ye bakınız.
4. Giriş dosyası geliştirme
- Açık 'WheelCon Mntn Bike Trail Tasarım Kodu.m' '\WheelCon-master\Kaynak Kodu\' dizini.
- Yorumsuz (Ctrl + T) istenilen oyun parametreleri için bölüm ve komut dosyası (Ctrl + Enter) çalıştırın. Giriş dosyası .txt biçiminde '\WheelCon-master\Kaynak Kodu\' dizinine kaydedilir. Giriş dosyalarındaki her sütun bir denetim değişkenidir. Denetim değişkenleri listesi için Tablo 1'e bakın.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Modelleme Geribildirim Kontrolü
Şekil 1'degösterilen basitleştirilmiş bir geri bildirim kontrol modeli gösteriyoruz. Sistem dinamiği aşağıdakiler tarafından verilmiştir:
x(t) zaman hatası olduğu yerde t, r(t) iz bozukluğu w(t),tümsek bozukluğu, u(t) kontrol eylemidir.
Trail Disturbance Modelleme Eylem Gecikme
Hareket halinde bir gecikme T ve bir iz bozukluğu r(tolduğunda , biz tarafından kontrol eylem modeli
Oyun sıfır başlangıç koşulu ile başlar: x(0) = 0. Denetleyici, durum, rahatsızlık ve kontrol girişinin geçmişleri hakkında tam bilgi kullanarak u(t) kontrol komutunu oluşturur. Burada, net gecikme T insan sensorimotor geribildirim iç gecikmeler ve gecikmeler harici ekledi oluşur. Kontrol komutu gecikme T ≥ 0 ile yürütülür. Risk bilincine bağlı ayarda sensorimotor kontrolü L1 optimum kontrolün kullanımını motive eder ve bu nedenle amaç aşağıdaki sağlam kontrol sorununu doğrulamaktır
Bu sorun basit ve sezgisel bir çözüm kabul ediyor. En uygun maliyet,
Bu optimal maliyet, en kötü durum kontrol politikası u(t + T) = −r(t),
Trail Disturbance Modelleme Eylem Quantization
Veri hızı, R, denetim döngüsünde sınırlı olduğunda, kontrol eylemi iletişim kısıtlamaları ile aşağıdaki geribildirim döngüsü tarafından oluşturulur,
nerede 
bir denetleyici ve veri hızı 
R ≥ 1 olan bir quantizer, yani S kardinallik sonlu bir kümesidir 2R. Rahatsızlık r(t) sonsuz norm bağlı ve genellik kaybı olmadan, 
. En kötü durum sapması,
ve minimum kontrol çabası tarafından verilir
Hata Ölçüleri
Performansı ölçmek için, sonsuz norm 
hatasını, mutlak hata (MAE) ve kök ortalama kare hatasını (RMSE) ölçtük. Sonsuzluk normu, mutlak hataların maksimumu olarak tanımlanır,
Ortalama mutlak hata aşağıdaki gibi hesaplanır
Kök ortalaması kareli hata aşağıdaki gibi hesaplanır
Oyun 1: Görsel Gelişmiş Uyarı veya Gecikme
Oyun 1, ileriye dönük pencerenin uzunluğunun (gelişmiş uyarı/gecikme) ek rahatsızlıklara maruz kalmadan sensorimotor kontrol performansını nasıl etkilediğini değerlendirir.
Oyun 1 360 saniye sürer ve her 30 saniyede bir ileriye bakma miktarını azaltan sürekli bir "Trail"den oluşur. Oyun 1 s gelişmiş uyarı ile başlar ve sonra 0.75 s ve sonra 0.5 s azalır. Oradan, oyun -0,4 s ulaşılır kadar 0,1 s önden bakmak azalır. Pozitif gecikme veya negatif gelişmiş uyarı, sadece oyuncunun arkasındaki iz görünür anlamına gelir.
Oyun ilerledikçe oyuncunun hata dinamiklerinin evrimi 1 s gelişmiş uyarı ve 0.4 s gecikme si Şekil 3a-3b'de ayrı ayrı gösterilmiştir. Her iki çizim de, oyuncunun yeni ileriye bakma penceresine uyum sağlamaetkilerini ihmal etmek için 30 saniyelik aralıkların her birinin yalnızca orta 20 saniyesini görüntüler. Bloklarda hatanın ilerlemesi 1'lerin gelişmiş uyarı ayarında kararlı görünürken, 0,4'lük gecikme ayarında, hata ilerleme sırasında baş aşağı döner. Bu etkiyi daha ayrıntılı olarak ölçmek için, gecikme seviyesine karşılık gelen her 20'li grubun hata dinamikleri için l1-/L2-/L-normlarını değerlendiririz. Bu hesaplamaları bir arsada özetlemek Şekil 3cverir , bu da gelişmiş uyarı 0,5 s'ye ulaşana ve daha sonra yaklaşık doğrusal bir şekilde artana kadar oyuncuların hata normlarının nasıl değişmediğini gösterir.
Oyun 2: Eylem Çıkış Gecikme
Oyun 1'in harici görsel gecikmesinin aksine, Oyun 2 eylem çıkışına özel bir dahili gecikme ekler; başka bir deyişle, mevcut kontrol politikası u(t) uçalışır (t + Thareket) T eylemi eylem de dış gecikme olduğu. Oyun 2 180 s. Ayarlama Thareket her 30 s sürer, Thareket 0 s başlar ve 0.4 s ulaşana kadar 0.1 s artışlar.
Eylemgecikmenin etkileri Şekil 4'tegösterilmiştir. Görme gecikmesine benzer şekilde, hata gecikmeyle doğrusal olarak artar, ki bu da Eq(3'teki teorinin tahminine uygun olarak).
Oyun 3 ve Oyun 4: Vizyon girişi ve Eylem Çıktı Quantization
Oyun 3 ve Oyun 4, sırasıyla görme girişi ve eylem çıktısında nicelemenin etkilerini inceler. Her oyun 210 s uzunluğunda dır ve niceleme her 30'da bir değişir ve veri hızı 1'den 7 bite çıkar. Örneğin, Rvis Oyun 3'te 1 olduğunda, istenilen konum (oyun GUI'sinde gri çizgi) ekranın orta-sol veya orta-sağında sunulur. Rvis = n olduğunda, istenilen konum ekranda 2n olası konumlarda sunulabilir. Oyun 4 için, Rhareket = 1, oyuncu ya sola veya sağa bir hız ile gidiyor. Rhareketi n olduğunda, oyuncu 2n-1 hızları ile sola veya sağa gitmek için tekerlek yönlendirmek olabilir.
Görme ve eylemde nicelleştirmenin (sınırlı veri hızı) etkileri Şekil 5'tegösterilmiştir. Teorinin Eq(6'daki tahminine uygun olarak, sensorimotor kontrol performansı daha yüksek veri hızlarıyla artar ve R 5 civarındayken optimum kontrol performansına ulaşır.
Oyun 5: Bump ve iz bozukluğu
Oyun 5 insan sensorimotor kontrolü üzerinde darbe ve iz bozukluklarıetkilerini test etmek için tasarlanmıştır. Oyun 5 üç senaryodan oluşur:
a) "Bumps", bir dağ bisikleti sürerken darbeleri taklit tekerlek üzerinde tork bozukluklarına rağmen sabit bir iz konu izleme;
b) "Trail", rasgele dönüşler ile hareketli bir iz izleme ama tümsek olmadan;
c) "Bumps ile Trail", rasgele dönüşler ve darbeler ile hareketli bir iz izleme.
Her senaryo 60 s için sırayla (Bumps, Trail, Trail with Bumps) 5 s dinlenme her senaryo öncesinde sürer. Ayrıca, yalıtılmış aşamalar sırasındaki bozukluklar ve iz, ayrı görevler ile oyuncunun çok katlanır olması gereken görevler arasında uygun bir performans karşılaştırması yapilebilmek için birleştirilmiş "Tümsekler ile İzler" aşamasında çoğaltılır. Oyun boyunca, görme girişinde 1 s gelişmiş uyarı, eylem çıkışında gecikme ve hem görme hem de eylem için 10 bitlik veri hızı vardır.
Rahatsızlık olarak, genliği direksiyon motorunun uygulayabileceği maksimum tork olan rastgele, ikili bir sinyal kullanıyoruz. Her 100 ms'de, tork maksimum pozitif ve negatif arasında geçiş eder (tekerlek için 100 veya -100). Benzer bir rasgele ikili anahtarlama iz türevi kontrol eder. Daha spesifik olarak, iz sabit bir hızda seyahat eder ancak yönünü rastgele değiştirir, bu şekilde her zaman ekran aralığında kalır ve oyuncu tarafından rahatça görülebilir. Ekrandaki iz hızını, gerekli direksiyon dönüş hızı yaklaşık 75°/s olacak şekilde ayarladık. Şekil 6, oyun sırasında her senaryo için hata dinamiklerinin 5 s anlık görüntüsünü göstermektedir.
NOT: Bu gecikme ve veri hızı sınırları ile sensorimotor kontrol performansını incelemek için kullanıldığından, biz sadece konular görev için eğitildi kten sonra verileri analiz ve performansistikrarlı oldu. Öğrenme etkileri verilerin dışında tutulmuş. Ayrıca, geri bildirim kontrol modeli öğrenme yi dikkate alınmamıştır.
Şekil 1: Bir motor ile konu ve oyun tekerleği ile deneysel bir platform için temel blok diyagramı.
Her kutu iletişim kurabilen veya hesaplayan ve G'deki oyun da dahil olmak üzere hem gecikme hem de niceleme sahip olan bir bileşendir. Önceden uyarı T de görme ile bir bilgisayar ekranında uygulanır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: WheelCon için kullanıcı-grafik arabirimi.
(a) ana menü; (b) Fitt'in Hukuk Görevi menüsü; (c) Dağ Bisikleti Görev menüsü; (d) Fitt's Law Task için video oyunu arayüzü; (e) Dağ Bisikleti Görev için video oyunu arayüzü. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Dağ-bisiklet görevi sırasında görme girişinde gecikme ekleme.
(a-b) 1 s gelişmiş uyarı (a) ve 0,4 s gecikme (b)ile oturum için zaman ile sistem dinamikleri . Siyah çizgi ve mavi çizgi sırasıyla iz pozisyonu ve oyuncu pozisyonudur. Kırmızı çizgi hata dinamiğidir. (c) Artan gecikme ile hata artar. Negatif gecikme gelişmiş uyarı anlamına gelir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 4: Dış gecikmenin eylemüzerindeki etkileri performans.
L』 hata norm, MAE ve RMSE artan gecikme ile artar. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 5: Görme girişi (a) ve eylem çıktısında (b) nicelleştirme.
L』 hatası, MAE ve RMSE sırasıyla mavi, siyah ve kırmızı çizgide gösterilir. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 6: Tümsek ve iz bozukluğunun insan duyusal motor kontrolü üzerindeki etkileri.
(a) tümsek bozukluğundan kaynaklanan hata dinamiği; (b) iz bozukluğunun neden olduğu hata dinamiği; (c) tümsek ve iz bozukluğunun neden olduğu hata dinamiği; (d) tümsek (mavi), yollar (kırmızı), tümsek (yeşil) ile Yollar böçlükhata hatası. Mor-boş ve turuncu dolgulu kök çizimleri, sırasıyla tümsek bozukluklarının ve iz bozukluğunun zamanlamasını ve yönünü gösterir. Hem tekerlek kuvvetlerinin hem de iz oranlarının kare dalgalar olduğunu ve sapların bu kare dalgaların nereye geçtiğini (yani kuvvetlerin ve oranların türevleri) gösterdiğini unutmayın. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
| Gösterim | Değişken | Birim | Kısıtlar |
| w(t) | Çarpma bozukluğu | n Newton | 0 ≤ w(t) ≤ 100 |
| r(t) | İz bozukluğu | 100 piksel | 0 ≤ r(t) ≤ 100; |
| r(t) | w(t) | |||
| Tvis | Görme önceden uyarı/gecikme | Ikinci | -1 ≤ Tvis < 1 |
| Thareket | Eylem gecikmesi | Ikinci | 0 ≤ Tvis < |
| Rvis | Görme girdisinde dış veri hızı | Bit | 1 ≤ Rvis ≤ 10 |
| Rhareket | Tekerlek çıkışındaki dış veri hızı | Bit | 1 ≤ Rhareket ≤ 10 |
| Qvis | Görme girişinde harici quantizer | 1 | Qvis = 2Rvis |
| Qeylemi | Tekerlek çıkışında harici quantizer | 1 | Qperdesi = 2Rvis |
Tablo 1: Kontrol döngülerinde manipüle edilebilen değişkenler.
| Gösterim | Değişken | Birim | |
| T | Saat | Ikinci | |
| x(t) | Hata dinamiği, oyuncunun konumu ile istenilen konum arasındaki mesafe ile ölçülür | 100 piksel | |
| u(t) | Direksiyonun sapmış açısıile ölçülen kontrol politikası | Derece | |
Tablo 2: Dinamik sistemde durum değişkeni ve giriş sinyali.
| Platform | Açık Kaynak mı? | İndirme Linki | Işlev |
| 2D Sanal Çevre (2DVE) | № | 1.İnme sonrası kol rehabilitasyonu için eriş-kavrama hareketleri; | |
| ETH MIKE | № | 1.Proprioseptif, motor ve sensorimotor el bozukluklarının değerlendirilmesi için | |
| OpenSim | Evet | https://opensim.stanford.edu/ | 1. Nöromüsküler koordinasyonu incelemek için; 2. Kullanıcıların kas-iskelet yapıları modelleri geliştirmek ve hareketlerin dinamik simülasyonlar oluşturmanıza izin verin. |
| PnöGlove | № | hemiplejik serebral palsili çocuklarda parmak individuasyonunun 1.To ve değerlendirmek | |
| VirtualEnaction | Evet | http://virtualenaction.gforge.inria.fr/ | 1. Sistemik nörobilim simülasyonu için; 2. Beynin fonksiyonel modellerini doğrulamak için; 3.To karmaşık hayatta kalma davranışları deney |
| VR-RUH | № | 1.To sosyal senaryolarda tahmin yeteneklerini geliştirmek. 2. Pediyatrik hastalar için rehabilitasyon yoğun eğitim |
|
| WheelCon | Evet | https://github.com/Doyle-Lab/WheelCon | 1. İnsan sensorimotor kontrolünde Fittler Kanunu'nu doğrulamak için; 2.To Sensorimotor kontrolünde katmanlı mimari yi inceleyin. |
Tablo 3: Mevcut bazı sensorimotor platformların listesi.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Bu yazıda, insan sensorimotor kontrolünde gecikme, nicelemeizasyon, rahatsızlık ve katmanlı geri besleme döngülerinin etkilerini incelemek için ücretsiz, açık kaynak oyun platformu WheelCon'u sunduk. Donanımı, yazılımı ve GUI'yi gösterdik. Gecikme ve niceleme ile tek bir sensorimotor kontrol devresinin ayarları uygulanmıştır, bu da sensorimotor kontrolünde gecikme, niceleme ve bozulmanın etkilerini ölçmemizi sağlar. Deneysel sonuçlar, geri besleme kontrol teorisinin tahminiyle uyumlu.
Protokoller, harici gecikmeleri noninvaziv bir şekilde manipüle etmenin ve hem görüş girişlerinde hem de eylem çıkışında veri hızını sınırlamanın ve sensorimotor kontrol performansını analiz etmenin bir yolunu sağlar. Protokolde, katılımcılardan platformda önceden tanımlanmış olan çeşitli görev senaryoları altında oyunu oynamalarını isteriz. Bu görevlerle gecikmenin doğrusal etkisini(Şekil 3 ve Şekil 4)ve nicelleştirmenin doğrusal olmayan etkisini (Şekil 5)doğruladık. Bu etkiler, insan sensorimotor kontrolünde hız-doğruluk tradeoff verilen optimizasyon anlamına. Protokol aynı zamanda insan sensorimotor sistemindeki katmanlı geri besleme döngülerini yüksek seviyeli gelişmiş plan katmanı ve düşük seviyeli gecikmiş refleks tabakası ile incelememizi sağlar(Şekil 6).
Bu protokolde, katılımcıyı önceden eğitmek çok önemlidir, ancak tren üzerinde değil; aksi takdirde, öğrenme etkileri veya katılımcıların yorgunluğu modelin tahminlerini etkileyecektir. Sensorimotor yeteneğinin katılımcılar arasında değişkenliği kaçınılmazdır ve bu nedenle protokoldeki bazı parametrelerin (yani tekerlek hassasiyeti ve tümsek torku) katılımcıların yaşına, gücüne ve motor becerilerine göre ayarlanmalıdır. Bu parametreleri gruplar arasında eşleştirmek gereklidir. Burada, kullanıcının karşılaştırma yapabilmek için hem yaşlı hem de genç grup için uygun bir duyarlılık seçmesini öneririz.
Yöntemin bir sınırlaması, burada sunulan modelin öğrenme sürecini dikkate almamasıdır. Verileri sadece denekler iyi eğitildikten sonra analiz ettiğimizi ve öğrenme etkilerini önlemek için performanslarının istikrarlı hale geldiğini belirtmek önemlidir.
Nicolas Denoyelle ve ark. sistemik nörobilim simülasyonu için bir platform (VirtualEnaction) geliştirdi38. VirtualEnaction beynin fonksiyonel modellerini doğrulamak için kullanılabilir. Ayrıca sensorimotor görevleri gerçekleştirmek için bazı rehabilitasyon platformu geliştirilmiştir39,40,41,42,43. Scott L. Delp ve ark. rehabilitasyonbilim43hareket dinamik simülasyonları oluşturmak ve analiz etmek için bir açık kaynak yazılımı (OpenSim) geliştirdi. Marika Demers ve ark. inme sonra kol rehabilitasyonu için 2D sanal bir ortam önerdi41. Zbytniewska Monika ve ark. el sensorimotor bozukluklarının değerlendirilmesi için robotik bir cihaz tasarımı42. James V. McCall ve ark. hemiplejik serebral palsili çocuklarda parmak rehabilitasyonu için bir platform önerdi40. Niccolò Butti ve ark. pediatrik hastalar için sosyal tahmin iyileştirme ve rehabilitasyon yoğun eğitim hakkında VR tabanlı bir platform geliştirmek39. Tablo 3 burada sunulan platform ile bu platformlar arasındaki karşılaştırmalar listelenmiştir.
Gelecekteki araştırma yönleri için platform, sensorimotor kontrol sırasında nöral yanıtı ölçmek için noninvaziv nöral kayıt tekniği (EEG) ile uyumludur. Sensorimotor kontrolü ile EEG uzaysal frekans sinyali arasındaki haritalama ilişkisini araştırarak sensorimotor kontrolün beyin mekanizmasını ortaya çıkarabiliriz. Bu insan sensorimotor sistemi anlamak için önemli bir araştırma soru olacaktır. Ayrıca, bu çalışmada teorinin çoğu öğrenme den sonra optimal kontrol dayanmaktadır. Eğitim için durdurma süresi oldukça keyfi ve ampirik çalışmada seçilir. Bu nedenle katılımcıların sert bir asimptot veya plato44isabet olup olmadığını değerlendirmek için önemli bir konudur. Gelecekteki çalışmalar daha asimptot / plato ve sensorimotor öğrenme teorisi ile olası açıklamaları test etmek için WheelCon kullanarak sensorimotor öğrenme çalışması araştırabilirsiniz.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Yazarlar çıkar çatışmaları olmadığını açıklarlar.
Acknowledgments
Senaryoları yeniden şekillendirdiği, videoyu çektirdiği ve düzenlediği için Bay Zhengyang Wang'a ve videoyu düzenlediği için Bay Ziyuan Ye'ye teşekkür ederiz. Bu çalışma, CIT Endowment & National Science Foundation (JCD), Boswell bursu (QL) ve Yüksek Düzeyli Üniversite Fonu'ndan (No. G02386301, G02386401), Guangdong Doğa Bilimleri Vakfı Ortak Fonu (No. 2019A1515111038).
Materials
| Name | Company | Catalog Number | Comments |
| Gaming Wheel | Logitech | ||
| Windows 10 OS | Microsoft |
References
- Franklin, D. W., Wolpert, D. M.
- Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R.
- Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E.
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R.
- Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M.
- Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
- Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).
