Opisano wydajną metodę pozwalającą zrozumieć sposób, w jaki ludzie orientują się w przestrzeni trójwymiarowej. Metoda ta wykorzystuje symulator ruchu zdolny do przemieszczania obserwatorów w sposób nieosiągalny dla tradycyjnych symulatorów. Wyniki potwierdzają, że ruch w płaszczyźnie poziomej jest niedoszacowany, natomiast ruch pionowy jest przeszacowany.
Artykuł metodologiczny
Symulator CyberMotion MPI: Implementacja nowatorskiego symulatora ruchu do badania wielozmysłowej integracji ścieżki w trzech wymiarach
W tym artykule
Podsumowanie
Streszczenie
Integracja ścieżki to proces, w którym ruch własny jest sumowany w czasie w celu uzyskania szacunkowej informacji o aktualnej pozycji względem punktu startowego 1. Ludzie mogą przeprowadzać integrację ścieżki opierając się wyłącznie na wskazówkach wizualnych 2-3, słuchowych 4 lub inercyjnych 5. Jednak w obecności wielu wskazówek, sygnały inercyjne – w szczególności kinestetyczne – wydają się dominować 6-7. W przypadku braku wzroku ludzie mają tendencję do przeceniania krótkich dystansów (<5 m) i kątów obrotu (<30°), natomiast niedoceniają tych dłuższych 5. Przesunięcie w przestrzeni fizycznej nie wydaje się zatem być dokładnie reprezentowane przez mózg.
Przeprowadzono liczne badania nad oceną integracji ścieżki w płaszczyźnie poziomej, jednak niewiele wiadomo na temat ruchu w pionie (patrz 3 w odniesieniu do ruchu wirtualnego opartego wyłącznie na wzroku). Jednym z powodów tego stanu rzeczy jest fakt, że tradycyjne symulatory ruchu mają niewielki zakres przemieszczeń, ograniczony głównie do płaszczyzny poziomej. W niniejszej pracy wykorzystujemy symulator ruchu 8-9 o dużym zakresie przemieszczeń, aby ocenić, czy integracja ścieżki przebiega podobnie w płaszczyznach poziomej i pionowej. Oceniono również względny wkład wskazówek inercyjnych i wizualnych w nawigację po ścieżce.
16 obserwatorów siedziało w pozycji wyprostowanej w fotelu zamocowanym do kołnierza zmodyfikowanego antropomorficznego ramienia robota KUKA. Informacje sensoryczne manipulowano poprzez dostarczanie wskazówek wizualnych (przepływ optyczny, pole gwiazd o ograniczonym czasie trwania), przedsionkowo-kinestetycznych (bierny ruch własny z zamkniętymi oczami) lub jednoczesnych wskazówek wizualnych i przedsionkowo-kinestetycznych. Trajektorie ruchu w płaszczyznach poziomej, strzałkowej i czołowej składały się z dwóch odcinków (pierwszy: 0.4 m, drugi: 1 m; maksymalne przyspieszenie ±0.24 m/s2). Kąt między dwoma odcinkami wynosił 45° lub 90°. Obserwatorzy wskazywali powrót do punktu startowego, przesuwając strzałkę nałożoną na awatara wyświetlanego na ekranie.
Obserwatorzy częściej niedoszacowali wielkości kąta w przypadku ruchu w płaszczyźnie poziomej w porównaniu do płaszczyzn pionowych. W płaszczyźnie czołowej obserwatorzy częściej przeceniali wielkość kąta, podczas gdy w płaszczyźnie strzałkowej nie odnotowano takiej tendencji. Wreszcie, obserwatorzy odpowiadali wolniej, gdy opierali się wyłącznie na informacjach przedsionkowo-kinestetycznych. Integracja ścieżki u ludzi oparta wyłącznie na informacjach przedsionkowo-kinestetycznych trwa zatem dłużej niż w obecności informacji wizualnych. Fakt, że wskazywanie jest spójne z niedoszacowaniem i przecenianiem kąta, przez który przesunął się badany, odpowiednio w płaszczyznach poziomej i pionowej, sugeruje, że neuronalna reprezentacja ruchu własnego w przestrzeni jest niesymetryczna, co może wiązać się z faktem, że ludzie doświadczają ruchu głównie w płaszczyźnie poziomej.
Protokół
1. KUKA Roboter GmbH
- Symulator CyberMotion MPI składa się z sześcio przegubowego robota szeregowego w konfiguracji 3-2-1 (Rysunek 1). Oparty jest on na komercyjnym systemie KUKA Robocoaster (zmodyfikowanym robocie przemysłowym KR-500 o udźwigu 500 kg). Modyfikacje fizyczne oraz struktura sterowania oprogramowaniem niezbędna do stworzenia elastycznego i bezpiecznego układu eksperymentalnego zostały opisane wcześniej, w tym ograniczenia prędkości i przyspieszenia symulatora ruchu oraz opóźnienia i funkcja przejścia systemu 9. Modyfikacje względem poprzedniego układu zdefiniowano poniżej.
Rycina 1. Graficzne przedstawienie aktualnej przestrzeni roboczej symulatora MPI CyberMotion.
- Symulator MPI CyberMotion umożliwia tworzenie złożonych profilów ruchu, łączących przemieszczenia boczne z obrotami. Osie 1, 4 i 6 mogą obracać się w sposób ciągły. Cztery pary sprzętowych ograniczników ruchu ograniczają zakres pracy osi 2, 3 i 5 w obu kierunkach. Maksymalny zakres ruchów liniowych jest silnie uzależniony od pozycji początkowej ruchu. Obecne sprzętowe ograniczniki ruchu symulatora MPI CyberMotion przedstawiono w Tabeli 1.
Oś Zakres [deg] Maks. prędkość [deg/s] Oś 1 Ciągły 69 Oś 2 -128 do -48 57 Oś 3 -45 do +92 69 Oś 4 Ciągły 76 Oś 5 -58 do +58 76 Oś 6 Ciągły 120
Tabela 1. Aktualna specyfikacja techniczna symulatora MPI CyberMotion.
- Przed przeprowadzeniem jakiegokolwiek eksperymentu na symulatorze MPI CyberMotion, każda eksperymentalna trajektoria ruchu przechodzi fazę testową na komputerze symulacyjnym KUKA (Office PC). „Office PC” to specjalny produkt oferowany przez firmę KUKA, który symuluje rzeczywiste ramię robota i posiada taki sam system operacyjny oraz układ ekranu sterowania jak rzeczywisty robot. Schematyczny przegląd systemu sterowania symulatora MPI CyberMotion w konfiguracji pętli otwartej przedstawiono na Rysunku 2.
Rycina 2. Schematyczny przegląd układu sterowania w pętli otwartej symulatora MPI CyberMotion. Kliknij tutaj, aby powiększyć rycinię.
- Szczegóły dotyczące struktury sterowania można znaleźć tutaj 9. W skrócie, w przypadku konfiguracji pętli otwartej, takiej jak ta zastosowana w obecnym eksperymencie, trajektorie są programowane wstępnie poprzez konwersję trajektorii wejściowych z układu współrzędnych kartezjańskich na kąty w przestrzeni przegubowej za pomocą kinematyki odwrotnej (Rycina 2).
- System sterowania MPI odczytuje te pożądane przyrosty kątów przegubowych i przesyła je do systemu sterowania KUKA w celu wykonania ruchów osi za pomocą prądów silnika. Wartości resolverów przegubowych są przesyłane do systemu sterowania KUKA, który określa aktualne pozycje kątowe przegubów z wewnętrzną częstotliwością 12ms, co z kolei wyzwala odczyt kolejnego przyrostu przegubowego z pliku przez system sterowania MPI oraz zapis aktualnych pozycji kątowych przegubów na dysku. Komunikacja między systemami sterowania MPI i KUKA odbywa się poprzez połączenie Ethernet z wykorzystaniem protokołu KUKA-RSI.
- Siedzisko wyścigowe (RECARO Pole Position) wyposażone w 5-punktowy system pasów bezpieczeństwa (Schroth) jest przymocowane do podwozia, które zawiera podnóżek. Podwozie jest zamontowane do kołnierza ramienia robota (Rycina 3a). Eksperymenty można również przeprowadzać, umieszczając uczestników w zamkniętej kabinie (Rycina 3b).
Rysunek 3. Układ symulatora MPI CyberMotion. a) Konfiguracja dla bieżącego eksperymentu z wyświetlaczem LCD. b) Konfiguracja dla eksperymentów wymagających zamkniętej kabiny z frontowym stereoskopowym wyświetlaczem projekcyjnym. c) Frontowy monoprojekcyjny wyświetlacz. d) Wyświetlacz montowany na głowie.
- Ponieważ eksperyment jest przeprowadzany w ciemności, kamery na podczerwień umożliwiają monitorowanie wizualne z pokoju kontrolnego.
2. Wizualizacja
- W symulatorze MPI CyberMotion możliwe są różne konfiguracje wizualizacji, w tym ekran LCD, przednia projekcja stereo lub mono oraz wyświetlacze montowane na głowie (Rysunek 3). W obecnym eksperymencie wskazówki wizualne dotyczące ruchu własnego były dostarczane przez wyświetlacz LCD (Rysunek 3a) umieszczony 50 cm przed obserwatorami, którzy w pozostałym zakresie byli badani w ciemności.
- Prezentacja wizualna została wygenerowana przy użyciu oprogramowania Virtools 4.1 i składała się z losowego pola kropek o ograniczonym czasie trwania. Prostopadłościan rozciągający się o osiem jednostek wirtualnych do przodu, w prawo, w lewo, w górę i w dół z punktu widzenia uczestnika (tj. o wymiarach 16 x 16 x 8 jednostek) został wypełniony 200 000 cząsteczkami o tej samej wielkości, składającymi się z białych kół o średnicy 0,02 jednostki na czarnym tle. Kropki zostały rozłożone losowo w przestrzeni (jednorodny rozkład prawdopodobieństwa w obrębie przestrzeni). Ruch w jednostkach wirtualnych został przeskalowany tak, aby odpowiadał w stosunku 1:1 ruchowi fizycznemu (1 jednostka wirtualna = 1 metr fizyczny).
- Każda cząsteczka była wyświetlana przez dwie sekundy przed zniknięciem i natychmiastowym ponownym pojawieniem się w losowej lokalizacji w przestrzeni. W ten sposób połowa kropek zmieniała swoją pozycję w ciągu jednej sekundy. Uczestnikom wyświetlano kropki znajdujące się w odległości od 0,085 do 4 jednostek (odpowiadające kąty widzenia: 13° i 0,3°).
- Ruch w polu kropek był synchronizowany z ruchem fizycznym poprzez odbieranie trajektorii ruchu z komputera sterującego MPI przesyłanych połączeniem Ethernet z wykorzystaniem protokołu UDP. Podczas poruszania się w polu kropek średnia liczba kropek pozostawała stała dla wszystkich ruchów. Wyświetlacz ten nie zapewniał bezwzględnej skali wielkości, lecz przepływ optyczny i paralaksę ruchu, ponieważ kropki były sferami o stałym rozmiarze, które wydawały się mniejsze w zależności od ich odległości od obserwatora.
3. Projekt eksperymentalny
- 16 uczestników, którzy nie byli zaznajomieni z przebiegiem eksperymentu z wyjątkiem jednego z autorów (MB-C), nosili słuchawki z redukcją szumów wyposażone w mikrofon, aby umożliwić dwustronną komunikację z eksperymentatorem. Przez słuchawki stale emitowano dodatkowy szum akustyczny, aby dalej maskować dźwięki generowane przez robota.
- Uczestnicy korzystali z joysticka zbudowanego na specjalne zamówienie i wyposażonego w przyciski odpowiedzi, a dane były przesyłane przez połączenie Ethernet z wykorzystaniem protokołu UDP.
- Kąt dwóch segmentów ruchu wynosił 45° lub 90°. Ruchy w płaszczyźnie poziomej, strzałkowej i czołowej składały się odpowiednio z: ruchów do przodu-w prawo (FR) lub w prawo-do przodu (RF), w dół-do przodu (DF) lub do przodu-w dół (FD) oraz w dół-w prawo (DR) lub w prawo-w dół (RD) (Rysunek 4a).
Rycina 4. Procedura. a) Schematyczne przedstawienie trajektorii wykorzystanych w eksperymencie. b) Informacje sensoryczne dostarczone dla każdego badanego typu trajektorii. c) Zadanie wskazywania wykorzystane do oznaczenia punktu wyjścia, z którego uczestnicy uważali, że się przemieścili. Kliknij tutaj, aby powiększyć rycinę.
- Informacje sensoryczne manipulowano poprzez dostarczenie wskazówek wizualnych (przepływ optyczny, ograniczone pole gwiazd), przedsionkowo-kinestetycznych (pasywny ruch własny z zamkniętymi oczami) lub jednocześnie wizualnych i przedsionkowo-kinestetycznych (Rysunek 4b).
- Trajektorie ruchu składały się z dwóch odcinków o różnych długościach (1.: 0,4 m, 2.: 1 m; szczytowe przyspieszenie ±0,24 m/s2; Rysunek 4b). Trajektorie obejmowały wyłącznie translację. Nie następowały żadne rotacje uczestników. Aby zminimalizować możliwe zakłócenia wynikające z ruchu przed każdą próbą i upewnić się, że układ przedsionkowy jest testowany w stanie spoczynku, każdej trajektorii poprzedzała 15 s przerwy.
- Obserwatorzy wskazywali drogę powrotną do punktu wyjścia poprzez przesuwanie strzałki nałożonej na awatara wyświetlanego na ekranie (Rysunek 4c). Ruch strzałki był ograniczony do płaszczyzny trajektorii i kontrolowany za pomocą dżojstika. Awatar prezentowano z perspektywy czołowej, strzałkowej i poziomej. Obserwatorzy mogli korzystać z dowolnej lub wszystkich perspektyw w celu udzielenia odpowiedzi. Początkowa orientacja strzałki była randomizowana w poszczególnych próbach.
- Ponieważ zadanie wskazywania wymagało od uczestników mentalnej transformacji perspektywy z reprezentacji egocentrycznej na eksocentryczną, przed próbami treningowymi i eksperymentalnymi przekazano im instrukcje, jak wskazywać drogę powrotną do punktu wyjścia w odniesieniu do awatara. Poinformowano uczestników, że wskazywanie powinno odbywać się tak, jakby awatar był ich własnym ciałem. Następnie polecono uczestnikom wskazać fizyczne cele względem siebie, stosując technikę pomiaru eksocentrycznego. Na przykład uczestnicy otrzymali polecenie wskazania dżojstika spoczywającego na ich kolanach, w połowie drogi między nimi a ekranem, co wymagało skierowania strzałki do przodu i w dół względem awatara. Wszyscy uczestnicy byli w stanie wykonać te zadania bez zgłaszania zagubienia.
- Każdy warunek eksperymentalny powtórzono 3 razy i prezentowano w kolejności losowej. Błąd podpisany oraz czas reakcji analizowano jako zmienne zależne w dwóch oddzielnych analizach ANOVA z powtarzanymi pomiarami 3 (płaszczyzna) * 2 (kąt) * 3 (modalność). Czas reakcji jednego uczestnika, będącego ekstremalną wartością odstającą, został usunięty z analizy.
4. Reprezentatywne wyniki
Wyniki błędów z uwzględnieniem znaku zostały zagregowane w ramach modalności i kątów, ponieważ nie stwierdzono istotnych efektów głównych dla tych czynników. Rycina 5a przedstawia istotny efekt główny płaszczyzny ruchu (F(2,30) = 7.0, p = 0.003), w której obserwatorzy niedoszacowali wielkości kąta (średnie dane mniejsze niż 0°) dla ruchu w płaszczyźnie poziomej (-8.9°, s.e. 1.8). W płaszczyźnie czołowej obserwatorzy mieli średnio większą tendencję do przeszacowania wielkości kąta (5.3°, s.e. 2.6), podczas gdy w płaszczyźnie strzałkowej nie odnotowano takiej tendencji (-0.7°, s.e. 3.7). Chociaż efekty główne kąta i modalności nie były istotne, stwierdzono istotną interakcję kąta z płaszczyzną (F(2,30) = 11.1, p < 0.001), tak że przeszacowania w płaszczyźnie czołowej były większe dla ruchów o 45° (7.9°, s.e. 2.6) niż dla ruchów o 90° (2.8°, s.e. 2.7), natomiast taka rozbieżność nie wystąpiła w pozostałych płaszczyznach. Dodatkowo stwierdzono istotną interakcję modalności z kątem (F(2,30) = 4.7, p = 0.017), w wyniku której niedoszacowania wynikające z samych informacji przedsionkowych dla ruchów o 90° były istotnie większe (-4.3°, s.e. 2.1) w porównaniu z warunkami opartymi na informacji wzrokowej (-2.0°, s.e. 2.4) oraz połączonej informacji przedsionkowej i wzrokowej (2.3°, s.e. 2.2), podczas gdy takie rozbieżności nie wystąpiły dla ruchów o 45°. Nie stwierdzono istotnego efektu międzyosobniczego dla błędu z uwzględnieniem znaku (F(1,15) = 0.7, p = 0.432). Rycina 5b przedstawia wyniki czasu reakcji. Odnotowano istotny efekt główny modalności (F(2,28) = 22.6, p < 0.001), gdzie obserwatorzy reagowali najwolniej, odpowiadając wyłącznie na podstawie informacji przedsionkowo-kinestetycznych (11.0 s, s.e. 1.0) w porównaniu z warunkami wzrokowymi (9.3 s, s.e. 0.8) i połączonymi (9.0 s, s.e. 0.8). Stwierdzono również istotny efekt główny płaszczyzny (F(2,28) = 7.5, p = 0.002), gdzie obserwatorzy reagowali najwolniej podczas ruchu w płaszczyźnie poziomej (10.4 s, s.e. 1.0) w porównaniu z płaszczyznami strzałkową (9.4 s, s.e. 0.8) i czołową (9.4 s, s.e. 0.9). Nie stwierdzono istotnego efektu głównego kąta segmentu ani żadnych interakcji. Znaleziono istotny efekt międzyosobniczy dla czasu reakcji (F(1,14) = 129.1, p < 0.001).
Rycina 5. Wyniki. a) Błąd podpisany zagregowany dla wszystkich modalności w badanych płaszczyznach. b) Czas reakcji zagregowany dla wszystkich płaszczyzn ruchu w badanych modalnościach. Słupki błędów oznaczają +/- 1 s.e.m.
Dyskusja
Integracja ścieżki została dobrze udokumentowana jako metoda służąca do ustalenia punktu startowego obserwatora, jednak jest ona podatna na niedoszacowanie kąta przebytego ruchu 5. Nasze wyniki wykazują to zjawisko w przypadku ruchu translacyjnego, ale wyłącznie w płaszczyźnie poziomej. W płaszczyznach pionowych uczestnicy częściej mają tendencję do przeszacowania przebytego kąta lub nie wykazują żadnego błędu systematycznego. Wyniki te mogą wyjaśniać, dlaczego szacunki wysokości przebytej w terenie mają tendencję do wyolbrzymienia 10, a także dlaczego nawigacja przestrzenna między różnymi piętrami budynku jest utrudniona 11. Wyniki te mogą być również powiązane ze znanymi asymetriami w względnej proporcji receptorów woreczka do receptorów łagiewki (~0,58) 12. Dłuższy czas reakcji oparty wyłącznie na informacjiach przedsionkowo-kinestetycznych w porównaniu do sytuacji z dostępem do informacji wizualnych sugeruje, że mogą istnieć dodatkowe opóźnienia związane z próbą określenia punktu startowego wyłącznie na podstawie wskazówek bezwładnościowych, co może wiązać się z niedawnymi badaniami wykazującymi, że percepcja przedsionkowa jest powolna w porównaniu z innymi zmysłami 13-16. Ogólnie nasze wyniki sugerują, że podczas ruchu w pionie mogą być stosowane alternatywne strategie określania punktu startowego, co może wynikać z faktu, że ludzie doświadczają ruchu głównie w płaszczyźnie poziomej. Co więcej, choć sekwencyjne translacje zdarzają się rzadko, występują one najczęściej w płaszczyźnie strzałkowej – gdzie błędy są minimalne – na przykład podczas chodzenia w stronę schodów ruchomych i wjazdu na nie. Chociaż wywiady poeksperymentalne nie wykazały stosowania różnych strategii w zależności od płaszczyzny, przyszłe badania powinny eksplorować tę możliwość. Planowane są eksperymenty z trajektoriami wykorzystującymi dodatkowe stopnie swobody, dłuższymi ścieżkami, przy różnej orientacji ciała względem grawitacji, a także z wykorzystaniem szerszego pola widzenia, co jest obecnie możliwe dzięki symulatorowi MPI CyberMotion, aby dalej badać wydajność integracji ścieżki w trzech wymiarach.
Oświadczenia
Brak zadeklarowanych konfliktów interesów.
Podziękowania
Stypendia MPI Postdoc dla MB-C i TM; Korean NRF (R31-2008-000-10008-0) dla HHB. Podziękowania dla Karla Beykircha, Michaela Kergera i Joachima Tescha za pomoc techniczną i dyskusje naukowe.
Bibliografia
- Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: Basic and applied research. Optometry and Vision Science. 78, 282-289 (2001).
- Vidal, M., Amorim, M. A., Berthoz, A. Navigating in a virtual three-dimensional maze: how do egocentric and allocentric reference frames interact. Cognitive Brain Research. 19, 244-258 (2004).
- Vidal, M., Amorim, M. A., McIntyre, J., Berthoz, A. The perception of visually presented yaw and pitch turns: Assessing the contribution of motion, static, and cognitive cues. Perception & Psychophysics. 68, 1338-1350 (2006).
- Loomis, J. M., Klatzky, R. K., Philbeck, J. W., Golledge, R. Assessing auditory distance perception using perceptually directed action. Perception & Psychophysics. 60, 966-980 (1998).
- Loomis, J. M., Klatzky, R. L., Golledge, R. G., Cicinelli, J. G., Pellegrino, J. W., Fry, P. A. Nonvisual navigation by blind and sighted: Assessment of path integration ability. Journal of Experimental Psychology General. 122, 73-91 (1993).
- Bakker, N. H., Werkhoven, P. J., Passenier, P. O. The effects of proprioceptive and visual feedback on geographical orientation in virtual environments. Presence. 8, 36-53 (1999).
- Kearns, M. J., Warren, W. H., Duchon, A. P., Tarr, M. J. Path integration from optic flow and body senses in a homing task. Perception. 31, 349-374 (2002).
- Study of a novel motion platform for flight simulators using an anthropomorphic robot. Pollini, L., Innocenti, M., Petrone, A. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit, Keystone, Colorado AIAA, , 2006-6360 (2006).
- Teufel, H. J., Nusseck, H. -G., Beykirch, K. A., Butler, J. S., Kerger, M., Bulthoff, H. H. MPI motion simulator: development and analysis of a novel motion simulator. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit, Hilton Head, South Carolina AIAA, , 2007-6476 (2007).
- Gärling, T., Böök, A., Lindberg, E., Arce, C. Is elevation encoded in cognitive maps. Journal of Environmental Psychology. 10, 341-351 (1990).
- Montello, D. R., Pick, H. L. J. Integrating knowledge of vertically aligned large-scale spaces. Environment and Behaviour. 25, 457-483 (1993).
- Correia, M. J., Hixson, W. C., Niven, J. I. On predictive equations for subjective judgments of vertical and horizon in a force field. Acta oto-laryngologica Supplementum. 230, 3(1968).
- Barnett-Cowan, M., Harris, L. R. Perceived timing of vestibular stimulation relative to touch, light and sound. Experimental Brain Research. 198, 221-231 (2009).
- Barnett-Cowan, M., Harris, L. R. Temporal processing of active and passive head movement. Experimental Brain Research. 214, 27-35 (2011).
- Sanders, M. C., Chang, N. N., Hiss, M. M., Uchanski, R. M., Hullar, T. E. Temporal binding of auditory and rotational stimuli. Experimental Brain Research. 210, 539-547 (2011).
- Barnett-Cowan, M., Raeder, S. M., Bulthoff, H. H. Persistent perceptual delay for head movement onset relative to auditory stimuli of different duration and rise times. Experimental Brain Research. , Forthcoming (2012).
Przedruki i uprawnienia
