MPI CyberMotion Simulator: implementacja nowatorskiego symulatora ruchu w celu zbadania integracji ścieżek multisensorycznych w trzech wymiarach

Summary

Opisany jest skuteczny sposób na uzyskanie wglądu w to, jak ludzie poruszają się w trzech wymiarach. Metoda wykorzystuje symulator ruchu, który jest w stanie poruszać obserwatorami w sposób nieosiągalny dla tradycyjnych symulatorów. Wyniki potwierdzają, że ruch w płaszczyźnie poziomej jest niedoszacowany, podczas gdy ruch pionowy jest przeszacowany.

Abstract

Integracja ścieżki to proces, w którym ruch własny jest integrowany w czasie, aby uzyskać oszacowanie swojej aktualnej pozycji względem punktu początkowego ¹. Ludzie mogą wykonywać integrację ścieżek wyłącznie w oparciu o wskazówki wizualne ^2-3, słuchowe ⁴ lub inercyjne ⁵. Jednak przy obecności wielu wskazówek, wskazówki inercyjne - szczególnie kinestetyczne - wydają się dominować w ^6-7. W przypadku braku wzroku ludzie mają tendencję do przeceniania krótkich odległości (<5 m) i kątów skrętu (<30°), ale nie doceniają ^dłuższych5. Wydaje się zatem, że ruch w przestrzeni fizycznej nie jest dokładnie reprezentowany przez mózg.

Wykonano obszerną pracę nad oceną integracji ścieżki w płaszczyźnie poziomej, ale niewiele wiadomo o ruchu pionowym (zobacz ³ dla wirtualnego ruchu z samego widzenia). Jednym z powodów jest to, że tradycyjne symulatory ruchu mają niewielki zakres ruchu ograniczony głównie do płaszczyzny poziomej. Tutaj korzystamy z symulatora ruchu ^8-9 z dużym zakresem ruchu, aby ocenić, czy integracja ścieżek między płaszczyznami poziomymi i pionowymi jest podobna. Oceniono również względny wpływ wskazówek inercyjnych i wizualnych na nawigację po ścieżce.

16 obserwatorów siedziało prosto w fotelu zamontowanym na kołnierzu zmodyfikowanego ramienia robota antropomorficznego KUKA. Informacja sensoryczna była manipulowana poprzez dostarczanie wizualnych (przepływ optyczny, ograniczone pole gwiazdowe czasu życia), przedsionkowo-kinestetycznych (bierny ruch własny z zamkniętymi oczami) lub wizualnych i przedsionkowo-kinestetycznych wskazówek ruchowych. Trajektorie ruchu w płaszczyźnie poziomej, strzałkowej i czołowej składały się z dwóch długości segmentów (1. miejsce: 0,4 m, 2. miejsce: 1 m; ±0,24 m/^s2 przyspieszenia szczytowego). Kąt obu segmentów wynosił 45° lub 90°. Obserwatorzy wskazywali na ich pochodzenie, przesuwając strzałkę, która została nałożona na awatar prezentowany na ekranie.

Obserwatorzy byli bardziej skłonni do zaniżania rozmiaru kąta ruchu w płaszczyźnie poziomej niż w płaszczyźnie pionowej. W płaszczyźnie czołowej obserwatorzy byli bardziej skłonni do przeszacowania rozmiaru kąta, podczas gdy w płaszczyźnie strzałkowej nie było takiego odchylenia. Wreszcie, obserwatorzy reagowali wolniej, gdy odpowiadali wyłącznie na podstawie informacji przedsionkowo-kinestetycznych. Integracja ścieżki człowieka oparta wyłącznie na informacji przedsionkowo-kinestetycznej trwa zatem dłużej niż w przypadku obecności informacji wizualnej. To wskazywanie jest spójne z niedocenianiem i przeszacowywaniem kąta, przez który się poruszało odpowiednio w płaszczyźnie poziomej i pionowej, sugeruje, że neuronalna reprezentacja własnego ruchu w przestrzeni jest niesymetryczna, co może odnosić się do faktu, że ludzie doświadczają ruchu głównie w płaszczyźnie poziomej.

Protocol

1. KUKA Roboter GmbH

1. Symulator MPI CyberMotion składa się z sześciostawowego robota szeregowego w konfiguracji 3-2-1 (ilustracja 1). Bazuje on na komercyjnym KUKA Robocoaster (zmodyfikowany robot przemysłowy KR-500 o udźwigu 500 kg). Fizyczne modyfikacje i struktura sterowania oprogramowaniem potrzebne do uzyskania elastycznej i bezpiecznej konfiguracji eksperymentalnej zostały już wcześniej opisane, w tym ograniczenia prędkości i przyspieszenia symulatora ruchu oraz opóźnienia i funkcja transferu systemu ⁹. Modyfikacje wynikające z tej poprzedniej konfiguracji są zdefiniowane poniżej.

Rysunek 1. Graficzne odwzorowanie aktualnej przestrzeni roboczej MPI CyberMotion Simulator.

2. Złożone profile ruchu, które łączą ruchy boczne z obrotami, są możliwe dzięki MPI CyberMotion Simulator. Osie 1, 4 i 6 mogą obracać się w sposób ciągły. 4 pary sprzętowych ograniczników krańcowych ograniczają osie 2, 3 i 5 w obu kierunkach. Maksymalny zakres ruchów liniowych jest silnie uzależniony od pozycji, z której rozpoczyna się ruch. Aktualne sprzętowe ograniczniki końcowe symulatora MPI CyberMotion przedstawiono w tabeli 1. oś Zakres [st.] Max. prędkość [st./s] Oś 1 ciągły Rozdział 69 Oś 2 Od -128 do -48 57 Oś 3 Od -45 do +92 Rozdział 69 Oś 4 ciągły 76 Rozdział 76 Oś 5 Od -58 do +58 76 Rozdział 76 Oś 6 ciągły 120 szt.

Tabela 1. Aktualna specyfikacja techniczna symulatora MPI CyberMotion.

3. Zanim dojdzie do przeprowadzenia eksperymentu na symulatorze MPI CyberMotion Simulator, każda eksperymentalna trajektoria ruchu jest poddawana fazie testów na komputerze symulacyjnym KUKA (Office PC). "Komputer biurowy" to specjalny produkt sprzedawany przez firmę KUKA, który symuluje rzeczywiste ramię robota i zawiera identyczny system operacyjny i układ ekranu sterowania jak prawdziwy robot. Schematyczny przegląd systemu sterowania symulatora MPI CyberMotion dla konfiguracji z otwartą pętlą przedstawiono na rysunku 2.

Rysunek 2. Schematyczny przegląd systemu sterowania w pętli otwartej symulatora MPI CyberMotion. Kliknij tutaj, aby powiększyć rysunek.

4. Szczegóły dotyczące struktury kontroli można znaleźć tutaj ⁹. Krótko mówiąc, w przypadku konfiguracji z otwartą pętlą, takiej jak ta użyta w obecnym eksperymencie, trajektorie są wstępnie programowane poprzez konwersję trajektorii wejściowych we współrzędnych kartezjańskich na kąty przestrzeni połączeń za pomocą kinematyki odwrotnej (rysunek 2).
5. System sterowania MPI odczytuje te żądane przyrosty kąta połączenia i przesyła je do systemu sterowania KUKA, aby za pomocą prądów silnika wykonywać ruchy osi. Wartości resolwera połączeń są przesyłane do systemu sterowania KUKA, który określa aktualne pozycje kąta połączenia z wewnętrzną szybkością 12 ms, co z kolei uruchamia następny przyrost złącza, który jest odczytywany z pliku przez system sterowania MPI i zapisywany na dysku. Komunikacja między systemami sterowania MPI i KUKA odbywa się za pomocą połączenia Ethernet za pomocą protokołu KUKA-RSI.
6. Fotel wyścigowy (RECARO Pole Position) wyposażony w 5-punktowy system pasów bezpieczeństwa (Schroth) jest przymocowany do podwozia, w którym znajduje się podnóżek. Podwozie jest zamontowane do kołnierza ramienia robota (Rysunek 3a). Eksperymenty są również możliwe poprzez umieszczenie uczestników w zamkniętej kabinie (ryc. 3b).

Rysunek 3. Konfiguracja symulatora MPI CyberMotion. a) Konfiguracja dla bieżącego eksperymentu z wyświetlaczem LCD. b) Konfiguracja do eksperymentów wymagających zamkniętej kabiny z wyświetlaczem stereo do projekcji przedniej. c) Wyświetlacz monochromatyczny z projekcją przednią. d) Wyświetlacz montowany na głowie.

7. Ponieważ eksperyment jest przeprowadzany w ciemnościach, kamery na podczerwień umożliwiają monitorowanie wizualne z dyspozytorni.

2. Wizualizacja

1. Za pomocą MPI CyberMotion Simulator możliwych jest wiele konfiguracji wizualizacji, w tym wyświetlacz LCD, projekcja przednia stereo lub mono oraz wyświetlacze montowane na głowie (ilustracja 3). W obecnym eksperymencie wizualne wskazówki dotyczące ruchu własnego są dostarczane przez wyświetlacz LCD (rysunek 3a) umieszczony 50 cm przed obserwatorami, którzy w przeciwnym razie byliby testowani w ciemności.
2. Prezentacja wizualna została wygenerowana przy użyciu oprogramowania Virtools 4.1 i składała się z losowego, ograniczonego czasu życia pola kropkowego. Prostopadłościan rozciągający osiem wirtualnych jednostek do przodu, w prawo, w lewo, w górę i w dół z punktu widzenia uczestnika (tj. 16 x 16 x 8 jednostek) został wypełniony 200 000 cząstek o równej wielkości, składających się z białych kółek o średnicy 0,02 jednostki na czarnym tle. Kropki były losowo rozmieszczone w przestrzeni (jednorodny rozkład prawdopodobieństwa w przestrzeni). Ruch w jednostkach wirtualnych został przeskalowany tak, aby odpowiadał ruchowi fizycznemu w stosunku 1 do 1 (1 jednostka wirtualna = 1 metr fizyczny).
3. Każda cząstka była pokazywana przez dwie sekundy, po czym znikała i natychmiast pojawiała się ponownie w losowym miejscu w przestrzeni. W ten sposób połowa kropek zmieniła swoje położenie w ciągu jednej sekundy. Uczestnikom wyświetlano kropki w odległości od 0,085 do 4 jednostek (odpowiednie kąty widzenia: 13° i 0,3°).
4. Ruch w obrębie pola kropkowego był synchronizowany z ruchem fizycznym poprzez odbieranie trajektorii ruchu z komputera sterującego MPI przesyłanych przez połączenie Ethernet z wykorzystaniem protokołu UDP. Podczas poruszania się po polu kropkowym średnia liczba kropek pozostawała stała dla wszystkich ruchów. Wyświetlacz ten nie zapewniał bezwzględnej skali rozmiaru, ale przepływ optyczny i paralaksę ruchu, ponieważ kropki były kulami o ustalonym rozmiarze; wyglądające na mniejsze w zależności od ich odległości względem obserwatora.

3. Projekt eksperymentalny

1. 16 uczestników, którzy byli naiwni w stosunku do eksperymentu, z wyjątkiem jednego autora (MB-C), nosiło słuchawki z redukcją szumów wyposażone w mikrofon, aby umożliwić dwukierunkową komunikację z eksperymentatorem. Dodatkowy dźwięk dźwiękowy był stale odtwarzany przez słuchawki, aby jeszcze bardziej zamaskować hałas wytwarzany przez robota.
2. Uczestnicy korzystali z specjalnie zbudowanego joysticka wyposażonego w przyciski odpowiedzi z danymi przesyłanymi przez połączenie Ethernet z wykorzystaniem protokołu UDP.
3. Kąt dwóch segmentów ruchu wynosił 45° lub 90°. Ruchy w płaszczyźnie poziomej, strzałkowej i czołowej składały się z: ruchów przód-prawo (FR) lub prawo-przód (RF), dół-przód (DF) lub przód-dół (FD) oraz ruch w dół-prawo (DR) lub prawo-dół (RD) (ryc. 4a).

Rysunek 4. Procedura. a) Schematyczne przedstawienie trajektorii użytych w eksperymencie. b) informacje sensoryczne dostarczone dla każdego badanego typu trajektorii. c) Zadanie wskazujące używane do wskazania miejsca, z którego uczestnicy myśleli, że się przenieśli. Kliknij tutaj, aby powiększyć postać.

4. Informacjami sensorycznymi manipulowano poprzez dostarczanie wizualnych (przepływ optyczny, ograniczone pole gwiazdowe czasu życia), przedsionkowo-kinestetycznych (bierny ruch własny z zamkniętymi oczami) lub wizualnych i przedsionkowo-kinestetycznych wskazówek ruchowych (ryc. 4b).
5. Trajektorie ruchu składały się z dwóch długości segmentów (1. miejsce: 0,4 m, 2. miejsce: 1 m; ±0,24 m/^s2 przyspieszenie szczytowe; Rysunek 4b). Trajektorie składały się tylko z tłumaczenia. Nie doszło do rotacji uczestników. Aby zmniejszyć możliwe zakłócenia spowodowane ruchem przed każdą próbą i zapewnić, że układ przedsionkowy został przetestowany począwszy od stanu ustalonego, każdą trajektorię poprzedzała 15-sekundowa przerwa
.
6. Obserwatorzy wskazywali na ich pochodzenie, przesuwając strzałkę, która została nałożona na awatar prezentowany na ekranie (ryc. 4c). Ruch strzały był ograniczony do płaszczyzny trajektorii i sterowany za pomocą joysticka. Awatar został przedstawiony z frontalnego, strzałkowego i poziomego punktu widzenia. Obserwatorzy mogli użyć dowolnego lub wszystkich punktów widzenia, aby udzielić odpowiedzi. Początkowa orientacja strzałki została losowo dobrana we wszystkich badaniach.
7. Ponieważ zadanie wskazywania wymagało od uczestników mentalnego przekształcenia perspektywy wskazującej z egocentrycznej na egzocentryczną, uczestnicy otrzymali instrukcje, jak wskazać z powrotem do swojego pochodzenia w odniesieniu do awatara przed ćwiczeniami i próbami eksperymentalnymi. Uczestnikom powiedziano, że wskazywanie powinno odbywać się tak, jakby awatar był ich własnym ciałem. Uczestnicy zostali następnie poinstruowani, aby wskazać cele fizyczne względem siebie za pomocą techniki pomiaru egzocentrycznego. Na przykład uczestnicy zostali poinstruowani, aby wskazać joystick spoczywający na ich kolanach w połowie drogi między nimi a ekranem, co wymagało od uczestników skierowania strzałki do przodu i w dół względem awatara. Wszyscy uczestnicy byli w stanie wykonać te zadania bez wyrażania dezorientacji.
8. Każdy warunek eksperymentalny powtórzono 3 razy i przedstawiono w losowej kolejności. Błąd podpisany i czas odpowiedzi analizowano jako zmienne zależne w dwóch oddzielnych pomiarach powtarzanych ANOVA 3 (płaszczyzna) * 2 (kąt) * 3 (modalność). Czasy odpowiedzi od jednego skrajnie odstającego uczestnika zostały usunięte z analizy.

4. Reprezentatywne wyniki

Wyniki błędu ze znakiem są zwinięte dla różnych modalności i kątów, ponieważ nie znaleziono żadnych znaczących głównych efektów dla tych czynników. Rysunek 5a pokazuje istotny główny efekt płaszczyzny ruchu (F_(2,30) = 7,0, p = 0,003), gdzie obserwatorzy nie docenili wielkości kąta (średnie dane poniżej 0°) dla ruchu w płaszczyźnie poziomej (-8,9°, s.e. 1,8). W płaszczyźnie czołowej obserwatorzy byli średnio bardziej skłonni do przeszacowania rozmiaru kąta (5,3°, s.e. 2,6), podczas gdy w płaszczyźnie strzałkowej nie było takiego odchylenia (-0,7°, s.e. 3,7). Podczas gdy główne efekty kąta i modalności nie były znaczące, stwierdzono, że kąt istotnie oddziaływał z płaszczyzną (F_(2,30) = 11,1, p < 0,001) tak, że przeszacowania w płaszczyźnie czołowej były większe dla ruchów o 45° (7,9°, s.e. 2,6) niż przez 90° (2,8°, s.e. 2,7), podczas gdy taka rozbieżność była nieobecna dla innych płaszczyzn. Ponadto stwierdzono, że modalność istotnie oddziałuje na kąt (F_(2,30) = 4,7, p = 0,017), tak że niedoszacowania z samych informacji przedsionkowych dla ruchów o 90° były znacznie większe (-4,3°, s.e. 2,1) w porównaniu z warunkami wizualnymi (-2,0°, s.e. 2,4) i przedsionkowymi i wizualnymi łącznie (2,3°, s.e. 2,2), podczas gdy takie rozbieżności nie występowały dla ruchów o 45°. Brak istotnego efektu między badanymi dotyczył błędu ze znakiem (F_(1,15) = 0,7, p = 0,432). Rysunek 5b przedstawia wyniki dotyczące czasu odpowiedzi. Stwierdzono istotny główny efekt modalności (F_(2,28) = 22,6, p < 0,001), w którym obserwatorzy reagowali najwolniej, odpowiadając na podstawie samych informacji przedsionkowo-kinestetycznych (11,0 s, s.e. 1,0) w porównaniu z warunkami wizualnymi (9,3 s, s.e. 0,8) i mieszanymi (9,0 s, s.e. 0,8). Istotny był również główny efekt płaszczyzny (F_(2,28) = 7,5, p = 0,002), gdzie obserwatorzy reagowali najwolniej, gdy poruszali się w płaszczyźnie poziomej (10,4 s, s.e. 1,0) w porównaniu z płaszczyznami strzałkowymi (9,4 s, s.e. 0,8) i czołowymi (9,4 s, s.e. 0,9). Nie stwierdzono istotnego głównego wpływu kąta segmentu ani żadnych interakcji. Stwierdzono istotny wpływ między badanymi na czas odpowiedzi (F_(1,14) = 129,1, p < 0,001).

Rysunek 5. Wyniki. a) Podpisany błąd zwinął się w poprzek modalności dla testowanych samolotów. b) Czas odpowiedzi załamał się w poprzek płaszczyzn ruchu dla badanych modalności. Słupki błędów wynoszą +/- 1 s.e.m.

Discussion

Integracja ścieżki została dobrze ugruntowana jako sposób używany do określenia, skąd pochodzi obserwator, ale jest podatna na niedoszacowanie kąta ^{, o który} się przeszedł. Nasze wyniki pokazują to dla ruchu translacyjnego, ale tylko w płaszczyźnie poziomej. W płaszczyznach pionowych uczestnicy są bardziej skłonni do przeszacowania kąta, przez który się poruszają, lub w ogóle nie mają uprzedzeń. Wyniki te mogą wyjaśniać, dlaczego szacunki wysokości pokonywanego terenu są zwykle przesadzone ¹⁰ , a także dlaczego nawigacja przestrzenna między różnymi piętrami budynku jest słaba ¹¹. Wyniki te mogą być również związane ze znanymi asymetriami we względnej proporcji woreczka do receptorów łagiewki (~0,58) ¹². Wolniejszy czas reakcji oparty wyłącznie na informacjach przedsionkowo-kinestetycznych w porównaniu z tymi, gdy obecne są informacje wizualne, sugeruje, że mogą wystąpić dodatkowe opóźnienia związane z próbą określenia czyjegoś pochodzenia na podstawie samych wskazówek inercyjnych, co może odnosić się do ostatnich badań pokazujących, że percepcja przedsionkowa jest powolna w porównaniu z innymi zmysłami ^13-16. Ogólnie rzecz biorąc, nasze wyniki sugerują, że alternatywne strategie określania pochodzenia mogą być stosowane podczas poruszania się w pionie, co może odnosić się do faktu, że ludzie doświadczają ruchu głównie w płaszczyźnie poziomej. Co więcej, podczas gdy translacje sekwencyjne są rzadko doświadczane, występują najczęściej w płaszczyźnie strzałkowej - gdzie błędy są minimalne - na przykład gdy idziemy w kierunku schodów ruchomych i poruszamy się po nich. Podczas gdy wywiady po eksperymencie nie odzwierciedlały różnych strategii między samolotami, eksperymenty powinny zbadać tę możliwość. Planowane są eksperymenty z trajektoriami wykorzystującymi dodatkowe stopnie swobody, dłuższe ścieżki, z ciałem inaczej zorientowanym względem grawitacji, a także z wykorzystaniem większych pól widzenia, które są teraz możliwe dzięki MPI CyberMotion Simulator, w celu dalszego zbadania wydajności integracji ścieżek w trzech wymiarach.