Artykuł metodologiczny

Tworzenie iluzji wirtualnej ręki i wirtualnej twarzy w celu zbadania autoprezentacji

13.9K wyświetleń

⸱

DOI:

10.3791/54784

⸱

1 marca 2017

 ,  , 
1Cognitive Psychology Unit, Leiden University

W tym artykule

Podsumowanie

Tutaj opisujemy paradygmaty iluzji wirtualnej ręki i wirtualnej twarzy, które mogą być wykorzystane do badania samopercepcji/reprezentacji związanej z ciałem. Zostały one już wykorzystane w różnych badaniach, aby wykazać, że w określonych warunkach wirtualna ręka lub twarz mogą zostać włączone do reprezentacji ciała, co sugeruje, że reprezentacje ciała są raczej elastyczne.

Streszczenie

Badania badające, jak ludzie reprezentują siebie i swoje ciało, często używają wariantów "iluzji własności", takich jak tradycyjna iluzja gumowej ręki lub niedawno odkryta iluzja zaciemnienia. Jednak te przykłady wymagają raczej sztucznych konfiguracji eksperymentalnych, w których sztuczny efektor musi być głaskany synchronicznie z prawdziwą ręką lub twarzą uczestników – sytuacja, w której uczestnicy nie mają kontroli nad głaskaniem lub ruchami swojego prawdziwego lub sztucznego efektora. W tym miejscu opisujemy technikę tworzenia iluzji własności w konfiguracji, która jest bardziej realistyczna, bardziej intuicyjna i przypuszczalnie o wyższej ważności ekologicznej. Pozwala na stworzenie iluzji wirtualnej ręki poprzez kontrolowanie ruchów wirtualnej ręki prezentowanej na ekranie lub w wirtualnej przestrzeni przed nimi. Jeśli wirtualna ręka porusza się synchronicznie z prawdziwą ręką uczestników, mają oni tendencję do postrzegania wirtualnej ręki jako części własnego ciała. Technika ta tworzy również iluzję wirtualnej twarzy, zmuszając uczestników do kontrolowania ruchów wirtualnej twarzy przed nimi, ponownie w efekcie, w wyniku czego mają tendencję do postrzegania twarzy jako własnej, jeśli porusza się ona synchronicznie z ich prawdziwą twarzą. Badanie okoliczności, w których iluzje tego rodzaju mogą być tworzone, zwiększane lub redukowane, dostarcza ważnych informacji o tym, jak ludzie tworzą i utrzymują reprezentacje samych siebie.

Wprowadzenie

Zgodnie z zachodnią filozofią, ludzka jaźń składa się z dwóch aspektów1: Po pierwsze, postrzegamy nasze własne ciało i nasze działania tu i teraz, co tworzy fenomenalną autoprezentację (często nazywaną minimalnym ja). Po drugie, tworzymy trwalsze reprezentacje nas samych, przechowując informacje o naszej osobistej historii, integrując nowe informacje z wyłaniającą się koncepcją siebie i odpowiednio prezentując się naszemu środowisku społecznemu, co sprowadza się do tworzenia tak zwanej jaźni narracyjnej. Twierdzi się, że minimalistyczne lub fenomenalne "ja" wyłania się z dwóch źródeł informacji. Jednym z nich jest odgórna informacja o trwalszych aspektach naszego ciała, takich jak informacje o posiadanych efektorach czy kształcie naszej twarzy. Drugi to informacje oddolne dostarczane przez postrzeganie siebie w obecnej sytuacji.

Badania nad tym ostatnim były silnie zainspirowane mądrym badaniem Botvinicka i Cohena2. Autorzy ci prezentowali ludzkich uczestników z gumową ręką leżącą przed nimi, blisko jednej z ich prawdziwych dłoni, która jednak była ukryta przed wzrokiem. Kiedy prawdziwa ręka i gumowa ręka były głaskane synchronicznie, aby stworzyć intermodalne synchroniczne dane wejściowe, uczestnicy mieli tendencję do postrzegania gumowej ręki jako części własnego ciała – iluzji gumowej ręki. Dalsze badania wykazały, że postrzeganie własności posunęło się nawet tak daleko, że uczestnicy zaczynali się pocić i próbować wycofać swoją prawdziwą rękę, gdy gumowa ręka była atakowana nożem lub w inny sposób była "zraniona"3.

Podczas gdy Botvinick i Cohen zinterpretowali swoje wyniki, aby pokazać, że postrzeganie siebie wynika z przetwarzania informacji oddolnych, inni autorzy argumentowali, że iluzja gumowej ręki wynika z interakcji między intermodalną synchronizacją danych wejściowych, oddolnym źródłem informacji i przechowywanymi reprezentacjami własnych rąk, odgórnym źródłem informacji4. Chodzi o to, że synchronizacja bodźca tworzy wrażenie, że prawdziwa i gumowa ręka to jedno i to samo, a biorąc pod uwagę, że gumowa ręka wygląda jak prawdziwa ręka, wrażenie to jest uważane za rzeczywistość.

Późniejsze badania przeprowadzone przez Kalckerta i Ehrssona5 dodały komponent wzrokowo-motoryczny do paradygmatu gumowej ręki, który pozwala na badanie zarówno postrzeganej własności (wrażenia, że sztuczny efektor należy do własnego ciała), jak i postrzeganej sprawczości (wrażenia, że samemu wytwarza się obserwowane ruchy). Uczestnicy byli w stanie poruszać palcem wskazującym gumowej ręki w górę i w dół, poruszając własnym palcem wskazującym, a synchronizacja między rzeczywistymi i gumowymi ruchami palca dłoni, tryb ruchu (tryb pasywny vs. aktywny) oraz ułożenie gumowej ręki (niezgodne vs. zgodne w odniesieniu do dłoni uczestnika) były manipulowane. Odkrycia te zostały podjęte w celu poparcia poglądu, że sprawczość i własność są funkcjonalnie odrębnymi zjawiskami poznawczymi: podczas gdy synchronizacja ruchu znosiła zarówno poczucie własności, jak i sprawczości, sposób poruszania się wpływał tylko na sprawczość, a zgodność pozycji gumowej ręki miała wpływ tylko na własność. Dwa ostatnie wyniki zostały powtórzone w kolejnym badaniu, w którym odległość między prawdziwą a gumową ręką w płaszczyźnie pionowej była różna6: własność gumowej ręki zmniejszała się, ponieważ jej pozycja coraz bardziej nie pasowała do prawdziwej ręki uczestnika. Na sprawczość nie wpłynęły jednak niewłaściwe umiejscowienie gumowej ręki w żadnym stanie.

Jednak ostatnie badania wykorzystujące techniki wirtualnej rzeczywistości, które zapewniają uczestnikowi aktywną kontrolę nad sztucznym efektorem, sugerują, że rola części odgórnej i rozróżnienie między własnością a sprawczością mogły być przecenione7,8. Techniki te zastąpiły gumową dłoń wirtualną ręką prezentowaną uczestnikom na ekranie przed nimi lub za pomocą okularów wirtualnej rzeczywistości9. Uczestnicy często noszą rękawicę do danych, która tłumaczy ruchy prawdziwej ręki uczestnika na ruchy wirtualnej ręki, synchronicznie lub asynchronicznie (np. z zauważalnym opóźnieniem). Podobnie jak w przypadku iluzji gumowej ręki, tłumaczenie synchroniczne znacznie zwiększa wrażenie uczestnika, że wirtualna ręka staje się częścią jego własnego ciała10.

Wykorzystanie technik wirtualnej rzeczywistości do stworzenia iluzji gumowej ręki ma kilka zalet zarówno w porównaniu z tradycyjnym paradygmatem gumowej ręki, jak i połączeniem paradygmatu gumowej ręki z komponentami wzrokowo-motorycznymi11. Poruszanie ręką i obserwowanie efektora poruszającego się synchronicznie z nią stwarza o wiele bardziej naturalną sytuację niż stanięcie twarzą w twarz z gumową ręką i bycie głaskanym przez eksperymentatora. Co więcej, wirtualna manipulacja zapewnia eksperymentatorowi znacznie większą elastyczność eksperymentalną i znacznie większą kontrolę nad percepcyjną relacją między postrzeganiem i poruszaniem prawdziwą ręką a percepcją zdarzenia stworzonego przez sztuczny efektor. W szczególności korzystanie z technik wirtualnych ułatwia manipulowanie czynnikami, które mogą wpływać na postrzeganą własność i sprawczość. Na przykład kształt wirtualnej ręki może być modyfikowany znacznie łatwiej i szybciej niż kształt gumowej dłoni, a ruchy wirtualnej ręki mogą być dowolnego rodzaju i na przykład obejmować ruchy biologicznie niemożliwe. Ułatwia to między innymi badanie granic iluzji, ponieważ sztuczny efektor nie musi wyglądać jak ręka, ale może być zastąpiony przez dowolny rodzaj zdarzenia statycznego lub dynamicznego. Zarówno z praktycznego, jak i teoretycznego punktu widzenia, wirtualny efektor jest prawdopodobnie o wiele bardziej wciągający i wydaje się o wiele bardziej realny niż gumowa ręka, co prawdopodobnie zmniejszy konieczność odwoływania się do interpretacji odgórnych, aby zrozumieć obecną sytuację.

Iluzje własności nie są jednak ograniczone do rąk. Tsakiris12 był pierwszym, który użył techniki głaskania, aby stworzyć wrażenie uczestników, że statyczna twarz na obrazie prezentowanym przed nimi jest ich własną. Sforza i wsp.13 również znaleźli dowody na to zjawisko, do którego odnoszą się jako do enfacementu: uczestnicy włączali rysy twarzy partnera, gdy ich własna twarz i twarz ich partnera były dotykane synchronicznie. Mechanizm neuronalny leżący u podstaw iluzji enfacement został ostatnio zbadany przez różnych badaczy; w celu uzyskania wyczerpującego komentarza i interpretacji wyników zob. Bufalari i wsp.14. Ostatnio przekształciliśmy zwykły projekt iluzji twarzy w wersję wirtualnej rzeczywistości (iluzję wirtualnej twarzy), w której uczestnicy kontrolują ruchy wirtualnej twarzy przed sobą, poruszając własną głową15.

Tutaj opisujemy dwa eksperymenty, które wykorzystywały odpowiednio iluzję wirtualnej ręki7 oraz iluzję wirtualnej twarzy15 paradygmatów do zbadania autoprezentacji. Eksperyment z wirtualną ręką obejmował trzy, całkowicie skrzyżowane czynniki eksperymentalne: (a) synchronizację między (odczuwalnymi) ruchami rzeczywistej ręki a (widzianymi) wirtualnymi efektorami, która była albo bliska zeru, aby wywołać własność i sprawczość, albo trzy sekundy jako warunek kontrolny; b) wygląd efektora wirtualnego, który wyglądał albo jak ludzka ręka, albo jak prostokąt (w ten sposób w celu zbadania wpływu podobieństwa efektora rzeczywistego do wirtualnego na iluzję własności); oraz (c) możliwość kontrolowania zachowania efektora wirtualnego, który albo nie istniał w stanie pasywnym, albo był bezpośredni w stanie aktywnym. Eksperyment z wirtualną twarzą obejmował dwa, całkowicie skrzyżowane czynniki eksperymentalne: (a) synchronizację między ruchami rzeczywistej twarzy i wirtualnej twarzy, która była albo bliska zeru, aby wywołać własność i sprawczość, albo trzy sekundy jako warunek kontrolny; oraz (b) wyraz twarzy wirtualnej twarzy, który był neutralny lub wyrażał uśmiech, w celu sprawdzenia, czy pozytywny nastrój poprawi nastrój uczestnika i poprawi jego wyniki w zadaniu kreatywności wrażliwym na nastrój.

Protokół

Wszystkie badania były zgodne ze standardami etycznymi deklaracji helsińskiej, a protokoły zostały zatwierdzone przez komisję etyki badań nad ludźmi Uniwersytetu w Leiden. W każdym z testowanych warunków wzięło udział około 20 uczestników.

1. Iluzja wirtualnej dłoni

  1. Konfiguracja eksperymentalna
    1. Przywitaj uczestnika i zbierz dodatkowe informacje, takie jak wiek, płeć itp.
    2. Przygotuj stanowisko eksperymentalne obejmujące: programistyczne środowisko wirtualnej rzeczywistości; rękawicę danych (dataglove) dla praworęcznej dłoni z sześcioma programowalnymi stymulatorami wibracyjnymi przymocowanymi do środka dłoni oraz do zewnętrznej strony paliczków środkowych (drugich) każdego z pięciu palców (patrz Lista Materiałów); tracker orientacji o 3 stopniach swobody (3-DOF); sprzęt do pomiaru reakcji przewodnictwa skóry (SCR); czarną skrzynkę (głębokość: 50 cm; wysokość: 24 cm; szerokość: 38 cm) z poziomo położonym na górze ekranem komputera (służącym do prezentacji środowiska wirtualnej rzeczywistości) oraz pelerynę do zasłonięcia ręki uczestnika.
    3. Poproś uczestnika o założenie rękawicy danych na prawą dłoń oraz trackera orientacji na prawy nadgarstek. Przymocuj za pomocą paska nadajnik zdalny SCR do lewego nadgarstka. Umieść elektrody SCR na paliczkach środkowych (drugich) palca wskazującego i środkowego lewej ręki (patrz Rysunek 1A i B w celu uzyskania ilustracji konfiguracji).
    4. Usiądź uczestnika przed biurkiem, na którym znajduje się skrzynka z ekranem komputera na górze. Poproś uczestnika o włożenie prawej ręki do skrzynki wzdłuż osi głębokości, tak aby była ona osłonięta przed jego wzrokiem.
    5. Nałóż pelerynę na prawy bark uczestnika i zasłoń przestrzeń między ekranem a uczestnikiem. Poproś uczestnika o położenie lewej ręki na pustym fragmencie biurka.
    6. Podłącz kable rękawicy danych i trackera orientacji do komputera, a następnie uruchom programistyczne środowisko wirtualnej rzeczywistości. Uruchom wcześniej przygotowany skrypt poleceń w oknie poleceń, klikając przycisk „run” w interfejsie środowiska wirtualnej rzeczywistości, aby uruchomić środowisko wirtualnej rzeczywistości. Monitoruj, czy uczestnik postępuje zgodnie z instrukcjami wyświetlanymi na ekranie komputera przed uczestnikiem. Czekaj, aż przygotowany skrypt poleceń zostanie automatycznie zakończony.

Eksperyment w rzeczywistości wirtualnej; konfiguracja sprzężenia zwrotnego sensorycznego; śledzenie dłoni i interfejs wizualny; interakcja VR.
Rysunek 1: (A) Uczestnicy nosili tracker orientacji i rękawicę danych na prawej dłoni oraz zdalny nadajnik SCR na lewej dłoni. (B) Konfiguracja eksperymentu iluzji wirtualnej dłoni. (C) Konfiguracja eksperymentu iluzji wirtualnej twarzy. (D) Zrzut ekranu z monitora komputera. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

  1. Projektowanie wirtualnej dłoni
    UWAGA: W oknie poleceń oprogramowania do rzeczywistości wirtualnej należy używać i zapisywać skrypty poleceń w języku Python. Należy upewnić się, że główny skrypt poleceń, polecenia importu, skrypty modułów oraz inne polecenia opisane poniżej stanowią część tego samego pliku skryptu. Pełny skrypt python oraz niezbędne pliki znajdują się w załączonym pliku „Virtual Hand Illusion.zip” (uwaga: plik zip jest materiałem uzupełniającym do manuskryptu i nie stanowi części pakietu oprogramowania. Ponadto nie zawiera on wymaganych wtyczek dla dataglove i trackera orientacji oraz innych modułów python używanych w skrypcie). Aby przeprowadzić eksperyment, należy najpierw wypakować zawartość tego pliku do dowolnego folderu (np. na pulpit), a następnie dwukrotnie kliknąć plik „virtual-hand illusion_54784_R2_052716_KM.py”, aby rozpocząć eksperyment. Należy pamiętać, że skrypt został zaprojektowany do pracy w określonym środowisku programistycznym rzeczywistości wirtualnej i nie będzie działać w innych programach.
    1. Zaimportuj do środowiska rzeczywistości wirtualnej gotowy model wirtualnej dłoni oraz gotowy moduł skryptu dłoni (które można znaleźć w pliku instalacyjnym pakietu oprogramowania środowiska rzeczywistości wirtualnej). Moduł skryptu dłoni śledzi gesty stawów palców i kąty dataglove i przekazuje te informacje do modelu wirtualnej dłoni, co pozwala na kontrolowanie ruchów wirtualnej dłoni poprzez ruchy prawdziwej dłoni w dataglove.
      1. W razie potrzeby ręcznie zmień rozmiar i wygląd wirtualnej dłoni, określając jej parametry w skrypcie, takie jak skalowanie w osiach x, y i z w celu zmiany rozmiaru lub zmieniając zmapowany obraz.
      2. Dla warunków synchronii nie stosuj żadnych transformacji, tak aby wirtualna dłoń poruszała się w ten sam sposób co prawdziwa dłoń i (mniej więcej) w tym samym czasie. Aby stworzyć asynchronię, wprowadź opóźnienie 3 s, tak aby wirtualna dłoń poruszała się jak prawdziwa dłoń, ale z zauważalnym opóźnieniem.
    2. Zidentyfikuj odpowiednią gotową wtyczkę trackera orientacji w pliku instalacyjnym środowiska rzeczywistości wirtualnej i zaimportuj ją do skryptów poleceń. Należy pamiętać, że uruchomienie skryptów poleceń sprawia, iż moduł trackera orientacji śledzi zmiany orientacji prawdziwej dłoni (za pomocą trackera orientacji noszonego przez uczestników na prawym nadgarstku), co może być następnie wykorzystane do kontrolowania zmian orientacji wirtualnej dłoni poprzez ustawienie danych yaw, pitch i roll wirtualnej dłoni w oknie poleceń. W warunkach synchronii przesyłaj dane śledzone przez tracker orientacji bezpośrednio do modelu wirtualnej dłoni, a w przypadku asynchronii wprowadź opóźnienie 3 s.
    3. Zaprojektuj wymagane dodatkowe obiekty wirtualne i ich trajektorie ruchu, tak aby poruszały się w stronę wirtualnej dłoni i od niej (tutaj: zaprojektuj i zaimportuj dodatkowe modele patyka, prostokąta, kuli i noża, które będą używane w różnych częściach eksperymentu; patrz „Warunki eksperymentalne”). Ręcznie zmień rozmiar, wygląd i pozycję każdego z tych obiektów w skrypcie poleceń w ten sam sposób, w jaki ustawiane są parametry wirtualnej dłoni. Ustaw wymagane trajektorie ruchu za pomocą odpowiednich poleceń, aby określić pozycję startową i końcową trajektorii ruchu obiektu oraz prędkość, z jaką powinien się on poruszać.
    4. Określ w skrypcie poleceń siłę wibracji i czas trwania każdej wibracji stymulatora; albo bez opóźnienia dla warunków synchronii (t.j. wibracja rozpoczyna się dokładnie w momencie kontaktu wirtualnej dłoni z innym obiektem wirtualnym), albo z opóźnieniem 3 s dla asynchronii. Wszystkie wibratory wibrują w tym samym czasie, w którym wirtualna dłoń jest dotykana przez inny obiekt wirtualny (lub w opóźnionym punkcie czasowym). Ustaw siłę wibracji na poziom średni (t.j. 0,5 w skali 0-1). Należy pamiętać, że rzeczywista siła wibracji zależy od środowiska programistycznego i wibratorów użytych w eksperymencie, a średni poziom wibracji w naszym eksperymencie nie musi odpowiadać rzeczywistej sile wibracji przy użyciu innego sprzętu (t.j. wibratorów/dataglove) lub oprogramowania.
    5. Dodaj do skryptu eksperymentu drugą część, która jest identyczna z poprzednimi krokami, z wyjątkiem następujących zmian:
      1. Zastąp model wirtualnej dłoni wirtualnym prostokątem o rozmiarze zbliżonym do wirtualnej dłoni (aby zrealizować czynnik wyglądu w eksperymencie)
      2. Upewnij się, że rotacja prawdziwej dłoni rejestrowana przez tracker orientacji jest przekładana na ruchy obrotowe prostokąta.
      3. Upewnij się, że otwieranie i zamykanie prawdziwej dłoni rejestrowane przez dataglove jest przekładane na zmiany koloru prostokąta za pomocą odpowiedniego polecenia zmiany koloru obiektu w środowisku programistycznym (np. wyświetl prostokąt w kolorze zielonym, gdy dłoń jest całkowicie zamknięta, w kolorze czerwonym, gdy jest całkowicie otwarta, i pozwól, aby kolor stopniowo zmieniał się z czerwonego na zielony lub z zielonego na czerwony w miarę otwierania lub zamykania dłoni).
  2. Warunki eksperymentalne
    1. Przeprowadź osiem warunków eksperymentalnych (wynikających z przecięcia trzech czynników eksperymentalnych: synchronii, wyglądu wirtualnego efektora oraz aktywności/pasywności) w kolejności zbalansowanej pomiędzy uczestnikami lub zrandomizowanej.
    2. Dla każdego warunku przewidź trzy fazy po około 2 do 3 min każda w celu wywołania iluzji wirtualnej dłoni oraz fazę zagrożenia w celu pomiaru elektrofizjologicznych reakcji skóry (SCR). Konkretny protokół nieco różni się dla ośmiu warunków i jest opisany poniżej.
    3. Wirtualna dłoń/aktywna/synchronia
      1. Skonfiguruj system tak, aby opóźnienie między następującymi zdarzeniami było bliskie zeru i niezauważalne: (a) ruchy i zmiany orientacji prawdziwej dłoni i odpowiadające im ruchy i zmiany orientacji wirtualnej dłoni w fazie korelacji wzrokowo-ruchowej; (b) punkty czasowe kontaktu między wirtualną dłonią a dodatkowym obiektem wirtualnym na ekranie i odpowiadające im punkty czasowe stymulacji wibracyjnej prawdziwej dłoni w fazie wzrokowo-dotykowej; oraz (c) ruchy i zmiany orientacji prawdziwej dłoni i odpowiadające im ruchy i zmiany orientacji wirtualnej dłoni; oraz punkty czasowe kontaktu między wirtualną dłonią a dodatkowym obiektem wirtualnym na ekranie i odpowiadające im punkty czasowe stymulacji wibracyjnej prawdziwej dłoni w fazie wzrokowo-ruchowo-dotykowej.
      2. W fazie korelacji wzrokowo-ruchowej poproś uczestników o swobodne poruszanie lub obracanie prawdziwej prawej dłoni, w tym otwieranie, zamykanie i obracanie dłoni oraz indywidualne poruszanie każdym palcem. Uczestnicy powinni obserwować odpowiadające temu ruchy wirtualnej dłoni na ekranie komputera.
      3. W fazie stymulacji wzrokowo-dotykowej poproś uczestników, aby trzymali prawdziwą dłoń w bezruchu, obserwując ekran. Wyświetl na ekranie inny obiekt wirtualny, taki jak wirtualna kula lub patyk (stworzony w 1.2.3), który porusza się w stronę wirtualnej dłoni i od niej, sprawiając wrażenie dotykania i nie-dotykania wirtualnej dłoni.
        1. Każdy kontakt między tym dodatkowym obiektem wirtualnym a wirtualną dłonią powinien być powiązany z aktywnością wibratora w dataglove. Wibrator powinien stymulować tę część prawdziwej dłoni, która odpowiada części wirtualnej dłoni dotykanej przez dodatkowy obiekt wirtualny (np. jeśli obiekt wirtualny wydaje się dotykać wnętrza dłoni wirtualnej, wibrator powinien stymulować wnętrze prawdziwej dłoni uczestnika16).
      4. W fazie korelacji wzrokowo-ruchowo-dotykowej poproś uczestników o poruszanie wirtualną dłonią poprzez ruch prawdziwej dłoni w celu dotknięcia wirtualnego wibrującego patyka lub podobnego obiektu (patrz 1.2.3). Upewnij się, że każdy kontakt między wirtualną dłonią a wirtualnym patykiem/obiektem jest powiązany ze stymulacją wibracyjną prawdziwej dłoni uczestnika, zgodnie z opisem w 1.3.3.3.
      5. W fazie zagrożenia poproś uczestników, aby trzymali prawdziwą prawą dłoń w bezruchu, obserwując pojawienie się wirtualnego noża lub igły na ekranie komputera. Spraw, aby wirtualny nóż lub igła poruszały się w stronę wirtualnej dłoni i od niej. Upewnij się, że każdy kontakt skutkuje widocznym pozornym „cięciem” lub „nakłuciem” wirtualnej dłoni.
        1. Stymuluj tę część prawdziwej dłoni, która odpowiada przeciętej lub nakłutej części wirtualnej dłoni, używając wibratorów dataglove zgodnie z opisem w 1.3.3.3.
    4. Wirtualna dłoń/aktywna/asynchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.3 po skonfigurowaniu systemu tak, aby opóźnienie między kluczowymi zdarzeniami wynosiło trzy sekundy zamiast wartości bliskiej zeru.
    5. Wirtualny prostokąt/aktywna/synchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.3, ale z użyciem wirtualnego prostokąta zamiast wirtualnej dłoni.
    6. Wirtualny prostokąt/aktywna/asynchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.4, ale z użyciem wirtualnego prostokąta zamiast wirtualnej dłoni.
    7. Wirtualna dłoń/pasywna/synchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.3, ale poproś uczestnika, aby przez wszystkie fazy trzymał prawdziwą dłoń w bezruchu.
    8. Wirtualna dłoń/pasywna/asynchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.4, ale poproś uczestnika, aby przez wszystkie fazy trzymał prawdziwą dłoń w bezruchu.
    9. Wirtualny prostokąt/pasywna/synchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.5, ale poproś uczestnika, aby przez wszystkie fazy trzymał prawdziwą dłoń w bezruchu.
    10. Wirtualny prostokąt/pasywna/asynchronia
      1. Przeprowadź procedurę opisaną w punkcie 1.3.6, ale poproś uczestnika, aby przez wszystkie fazy trzymał prawdziwą dłoń w bezruchu.
  3. Gromadzenie danych
    1. Zbierz dane SCR za pomocą sprzętu pomiarowego (patrz Lista Materiałów) i jego oprogramowania. Częstotliwość rejestracji wynosi 0,1 ms.
    2. Poproś uczestnika o wypełnienie kwestionariusza mierzącego poczucie własności, sprawstwa, lokalizacji i wyglądu dla odpowiedniego warunku. Użyj wersji papierowej, w której każde pytanie (opisane w 1.4.2.1 i 1.4.2.2) jest wydrukowane wraz ze skalą Likerta (opisaną w 1.4.2.3) i którą można wypełnić długopisem; lub użyj wersji komputerowej, w której każde pytanie jest wyświetlane na ekranie wraz ze skalą Likerta, a wybrana wartość skali może zostać wpisana.
      1. Uwzględnij kwestionariusz, który zawiera co najmniej jedno lub więcej pytań o własności2; użyj następnych czterech:
        (O1) „Czułem, jakby dłoń na ekranie była moją prawą dłonią lub częścią mojego ciała”;
        (O2) „Wydawało się, że to, co czułem w prawej dłoni, było spowodowane dotykiem patyka na dłoni na ekranie, którą widziałem”;
        (O3) „Miałem wrażenie, że wibracja, którą czułem w prawej dłoni, znajdowała się w tym samym miejscu, w którym dłoń na ekranie była dotykana przez patyk”;
        (O4) „Wydawało się, że moja prawa dłoń znajdowała się w miejscu, w którym była dłoń na ekranie”.
      2. Rozważ dodanie dalszych pytań dotyczących sprawstwa; użyj następujących:
        (A1) „Czułem, że mogę kontrolować tę wirtualną dłoń” (dla warunku aktywnego);
        (A1) „Wydawało się, że mógłbym poruszyć dłonią na ekranie, gdybym chciał, jakby była ona posłuszna mojej woli” (dla warunku pasywnego).
        Uwaga: pozycje wymienione w 1.4.2.1 i 1.4.2.2 odnoszą się do warunku dłoni. Dla warunku prostokąta zastąp wszystkie odniesienia do wirtualnej dłoni odniesieniami do wirtualnego prostokąta.
      3. Użyj skali Likerta2 dla każdego pytania (np. 1-7), tak aby uczestnicy mogli ocenić stopień, w jakim zgadzają się z pytaniem; np. użyj 1 dla „zdecydowanie się nie zgadzam” i 7 dla „zdecydowanie się zgadzam”. Upewnij się, że każde pytanie pojawia się na ekranie i można na nie odpowiedzieć liczbami od 1 do 7, odpowiadającymi 7 opcjom odpowiedzi w skali Likerta; wygląd i opcje odpowiedzi są zaprogramowane w skrypcie eksperymentu.

2. Iluzja wirtualnej twarzy

  1. Układ doświadczalny
    1. Przywitaj uczestnika i zbierz dodatkowe informacje, takie jak wiek, płeć, itp.
    2. Należy przygotować układ doświadczalny obejmujący środowisko programistyczne w rzeczywistości wirtualnej oraz system śledzenia pozycji głowy, wraz z odpowiednim sprzętem i oprogramowaniem.17; oraz tracker orientacji 3-DOF przymocowany do góry kapelusza lub czapki z daszkiem.
      UWAGA: Korzystając z tej konfiguracji eksperymentalnej, uczestnicy mogą swobodnie poruszać głową lub nią obracać, aby kontrolować położenie i orientację wirtualnej twarzy, jednak nie mają możliwości kontrolowania jej wyrazu.
    3. Poproś uczestnika o zajęcie miejsca na krześle w odległości 2 metrów od ekranu komputera. Zobacz Rycina 1C i 1D ilustracja układu eksperymentalnego.
    4. Poproś uczestnika o założenie czepek z przymocowanym trackerem orientacji.
    5. Podłącz system śledzenia pozycji oraz tracker orientacji do komputera, a następnie uruchom przygotowany wcześniej skrypt poleceń w oknie wiersza poleceń, klikając przycisk „run” w interfejsie środowiska wirtualnej rzeczywistości, aby uruchomić środowisko wirtualnej rzeczywistości. Monitoruj, czy uczestnik stosuje się do instrukcji wyświetlanych na ekranie komputera znajdującego się przed uczestnikami. Poczekaj, aż przygotowany wcześniej skrypt poleceń zakończy działanie automatycznie.
  2. Wirtualne projektowanie twarzy
    UWAGA: Pełny skrypt w języku Python oraz niezbędne pliki znajdują się w załączonym pliku „Virtual Face Illusion.zip” (Uwaga: plik zip jest materiałem uzupełniającym do manuskryptu i nie część pakietu oprogramowania; nie obejmuje on wymaganych wtyczek wykorzystywanych do śledzenia pozycji i orientacji ani żadnych innych modułów języka Python używanych w skrypcie). Aby przeprowadzić eksperyment, należy najpierw wypakować zawartość tego pliku do dowolnego folderu (np. (pulpit), a następnie dwukrotnie kliknij plik „virtual-face illusion_54784_R2_052716_KM.py”, aby rozpocząć eksperyment. Należy pamiętać, że skrypt został zaprojektowany do pracy w przedstawionym tutaj środowisku programistycznym wirtualnej rzeczywistości i nie będzie działać przy użyciu innych programów.
    1. Użyj programu do wirtualnego tworzenia twarzy, aby zaprojektować wirtualne twarze o odpowiednim wieku, rasie i płci (odpowiadających testowanym uczestnikom), wybierając najbardziej dopasowane wartości na odpowiednich skalach programu.
    2. Stwórz dwie wersje każdej twarzy – jedną z neutralnym wyrazem i jedną z uśmiechem – wybierając odpowiednie wartości na odpowiednich skalach w programie (który zmienia wyrazy twarzy poprzez modyfikację wielkości oczu, krzywizny ust oraz niektórych innych mięśni twarzy).
    3. W celu przeprowadzenia testów na studentach, należy stworzyć za pomocą programu do budowania wirtualnych twarzy cztery wirtualne twarze osób w wieku 20 lat: jedną męską twarz z neutralnym wyrazem twarzy, jedną męską twarz uśmiechniętą, jedną żeńską twarz z neutralnym wyrazem twarzy oraz jedną żeńską twarz uśmiechniętą.
    4. W programie do wirtualnego budowania twarzy wyeksportuj twarze do plików 3D w formacie VRML.
    5. Używając odpowiednich poleceń środowiska programistycznego rzeczywistości wirtualnej, zaimportuj utworzone pliki VRML, t. j.wirtualne twarze do środowiska rzeczywistości wirtualnej w celu wykorzystania ich podczas eksperymentu. Zmieniaj ich rozmiar lub skalę, odpowiednio ustawiając parametry za pomocą właściwych poleceń.
    6. Znajdź w pliku instalacyjnym środowiska wirtualnego gotowy moduł śledzenia dla systemu śledzenia pozycji głowy i zaimportuj go, co umożliwi monitorowanie pozycji głowy uczestnika. W skryptach zmień dane dotyczące pozycji głowy i określ moment czasowy, w którym pozycje głowy są przekształcane w pozycje wirtualnej twarzy (zastosuj opóźnienie 0 ms dla warunków synchronizacji oraz opóźnienie 3 s dla asynchronizacji).
    7. W pliku instalacyjnym środowiska wirtualnego należy odnaleźć gotową wtyczkę do śledzenia orientacji i zaimportować ją w skryptach sterujących. Należy pamiętać, że skrypt umożliwia wprowadzenie opóźnień czasowych w odniesieniu do momentu, w którym zmiany orientacji głowy uczestnika są przekładane na zmiany orientacji głowy wirtualnej (należy zastosować opóźnienie 0 ms dla warunków synchronii oraz opóźnienie 3 s dla asynchronii).
    8. Zaprojektuj dodatkowe obiekty wirtualne (takie jak wirtualny patyczek) oraz ich trajektorie ruchu, tak aby poruszały się one w stronę wirtualnej twarzy i z powrotem. Ustaw rozmiar obiektu wirtualnego tak, aby był zbliżony do rozmiaru wirtualnego palca.
    9. Podłącz sprzęt, zaimplementuj zapisane skrypty poleceń, a następnie rozpocznij eksperyment.
  3. Warunki eksperymentalne
    1. Uruchom skrypty poleceń i śledź pozycję głowy uczestnika za pomocą systemu śledzenia pozycji głowy oraz orientację głowy uczestnika za pomocą trackera orientacji 3-DOF przymocowanego do czepka.
    2. Narażono uczestnika na działanie wirtualnej twarzy przez 30 s, instruując go, aby nie wykonywał żadnych ruchów. Po zniknięciu twarzy uczestnicy odpowiedzieli na pytania w skali IOS (opisanej w sekcji Gromadzenie danych), aby ocenić, jak postrzegają relację między sobą a wirtualną twarzą.
    3. Należy przeprowadzić cztery warunki eksperymentalne (opisane poniżej) w kolejności zrównoważonej pomiędzy uczestnikami lub zrandomizowanej. Każdy warunek obejmuje trzy fazy trwające od około 2 do 3 minut każda, mające na celu wywołanie iluzji wirtualnej twarzy.
    4. Neutralny/synchronizacja
      1. Skonfiguruj system w taki sposób, aby opóźnienie między następującymi zdarzeniami było bliskie zeru i niezauważalne: (a) ruchy rzeczywistej głowy i odpowiadające im ruchy wirtualnej głowy w fazie korelacji wzrokowo-motorycznej oraz (b) momenty kontaktu między rzeczywistą dłonią uczestnika a rzeczywistym policzkiem uczestnika a także między wirtualnym obiektem a wirtualną głową w fazie stymulacji wzrokowo-dotykowej.
      2. W fazie korelacji wzrokowo-ruchowej poproś uczestników o założenie czepek z przymocowanym trackerem orientacji. Poproś ich o ciągłe poruszanie lub obracanie głową w celu kontrolowania pozycji i orientacji wirtualnej twarzy.
      3. W fazie stymulacji wzrokowo-dotykowej uczestnicy powinni wielokrotnie wyciągać prawą rękę w prawo i z powrotem, aby dotknąć prawego policzka, obserwując jednocześnie ekran. Dotyk powinien być jedynie chwilowy: uczestnicy dotykają policzka, puszczają go, a następnie ponownie wyciągają prawą rękę w prawo i powtarzają tę czynność przez cały czas trwania fazy stymulacji wzrokowo-dotykowej.
      4. Na ekranie należy wyświetlić wirtualną twarz, w której policzek jest wielokrotnie dotykany przez wirtualny obiekt, na przykład wirtualną piłkę. Dotyk (a właściwie ruch ręki w ogóle) jest zsynchronizowany z wirtualnym obiektem za pomocą systemu ruchu, który potrafi śledzić położenie kończyny uczestnika (np. dłoni) w przestrzeni 3D, co pozwoliło nam na bezpośrednie odwzorowanie ruchów dłoni uczestnika na trajektorię obiektu wirtualnego, w wyniku czego uzyskano zsynchronizowaną trajektorię ruchu rzeczywistej dłoni uczestnika oraz trajektorię ruchu obiektu wirtualnego. W związku z tym, gdy obiekt wirtualny dotyka wirtualnego awatara, odpowiada to dotknięciu przez uczestnika własnego policzka.
    5. Neutralny/asynchronia
      1. Przeprowadź procedurę opisaną w punkcie 2.3.4 po skonfigurowaniu systemu w taki sposób, aby opóźnienie między zdarzeniami krytycznymi wynosiło 3 s zamiast wartości bliskiej zeru.
    6. Uśmiechanie się/synchronizacja
      1. Przeprowadź procedurę opisaną w punkcie 2.3.4 po skonfigurowaniu systemu tak, aby wyświetlał uśmiechniętą twarz zamiast twarzy z neutralnym wyrazem.
    7. Uśmiech/asynchronia
      1. Przeprowadź procedurę opisaną w punkcie 2.3.6 po skonfigurowaniu systemu w taki sposób, aby opóźnienie między zdarzeniami krytycznymi wynosiło 3 s zamiast wartości bliskiej zeru.
  4. Gromadzenie danych
    1. Poproś uczestnika o wypełnienie kwestionariusza badającego poczucie własności oraz sprawstwa dla odpowiedniego warunku.
      1. Dołącz kwestionariusz, który zawiera co najmniej jedno lub więcej pytań dotyczących własności; wykorzystaj następujące cztery pytania:
        (O1) „Miałem wrażenie, że twarz na ekranie była moją własną twarzą”;
        (O2) „Miałem wrażenie, jakbym patrzył na własne odbicie w lustrze”;
        (O3) „Miałem wrażenie, że wyczuwam ruchy i dotyk na twarzy w miejscu, w którym znajdowała się twarz na ekranie”;
        (O4) „Odniosłem wrażenie, że dotyk, który poczułem na twarzy, był spowodowany dotknięciem twarzy na ekranie przez kulę”.
      2. Rozważ uwzględnienie pytań dotyczących sprawstwa; użyj następujących dwóch:
        (A1) „Wydawało się, że ruchy, które widziałem na twarzy na ekranie, były spowodowane moimi własnymi ruchami”;
        (A2) „Twarz na ekranie poruszała się dokładnie tak, jak chciałem, jakby słuchała mojej woli”.
    2. Dołącz skalę „Włączenie Innego w Ja” (IOS)18, stworzoną przy użyciu 7-stopniowej (1-7) skali Likerta2 gdzie każdy wynik odpowiada innemu stopniowi nakładania się obrazu siebie i drugiej osoby. Należy przedstawić stopień tego nakładania się graficznie poprzez nałożenie na siebie dwóch kół, z których jedno reprezentuje „siebie”, a drugie „drugą osobę”. Najniższemu wynikowi w skali należy przypisać brak nakładania się kół, a najwyższemu pełne nałożenie. Wyższe oceny reprezentują zatem większy stopień nakładania się obrazu siebie i drugiej osoby.
    3. Opcjonalnie można dołączyć siatkę afektu (Affect Grid)19 w celu oceny nastroju.
      1. Stwórz dwuwymiarową (walencja i pobudzenie) siatkę typu Likerta, w której jeden wymiar odpowiada walencji (zakres od -4 dla uczucia nieprzyjemnego do +4 dla uczucia przyjemnego), a drugi pobudzeniu (zakres od -4 dla uczucia senności do +4 dla uczucia wysokiego pobudzenia).
      2. Poproś uczestników o wybranie jednego punktu (np.(za pomocą długopisu) odpowiadającą temu, jak przyjemnie się obecnie czują i jak silne jest ich pobudzenie.
        UWAGA: Kwestionariusze, IOS oraz Affect Grid pojawiają się na ekranie po zakończeniu każdej z faz eksperymentalnych. Uczestnicy odpowiadali za pomocą klawiatury (analogicznie jak w eksperymencie dotyczącym iluzji wirtualnej dłoni).
    4. Opcjonalnie można dołączyć zadanie alternatywnych zastosowań (Alternative Uses Task, AUT)20.
      1. Poproś uczestników o wymienienie jak największej liczby możliwych zastosowań powszechnego przedmiotu domowego, np. gazety. Zadanie wykonuje się za pomocą papieru i długopisu. Uczestnicy powinni zapisać jak najwięcej zastosowań danego przedmiotu w ciągu 5 minut.
      2. Powtórz dla innego obiektu (np., cegła). Następnie oceń wyniki pod kątem płynności (liczba zastosowań), elastyczności (liczba kategorii zastosowań), rozwinięcia (stopień szczegółowości lub wyjaśnienia danego zastosowania) oraz oryginalności (stopień unikalności zastosowania). Upewnij się, że we wszystkich elementach wyższe wyniki wskazują na wyższy poziom myślenia dywergencyjnego. Wyznacz dwóch różnych oceniających i upewnij się, że korelacja między nimi jest wysoka. W dalszych analizach skup się na wyniku elastyczności, ponieważ jest on najbardziej spójnym i teoretycznie najbardziej przejrzystym wynikiem w tym zadaniu.
      3. Należy wykorzystać test AUT jako utajoną miarę (wolną od charakterystyki żądań) wskazującą na nastrój, ponieważ wyniki w tym zadaniu poprawiają się wraz z lepszym nastrojem.21.
        UWAGA: Jeśli ma zostać zaimplementowany AUT, należy zmodyfikować skrypt w taki sposób, aby wirtualna twarz pozostawała na ekranie, była widoczna i znajdowała się pod kontrolą uczestnika podczas wykonywania AUT.

Wyniki

Iluzja wirtualnej ręki

Przeprowadziliśmy kilka eksperymentów z wykorzystaniem paradygmatu iluzji wirtualnej ręki, aby zbadać, w jaki sposób ludzie reprezentują swoje ciało, w tym przypadku dłonie. Liczba badanych uczestników zależała od liczby warunków, zazwyczaj było to około 20 uczestników dla każdego warunku. Poniżej przedstawiamy istotne wyniki jednego z najbardziej rozbudowanych badań przeprowadzonych w naszym laboratorium. Naszą dyskusję ograniczymy do danych subiektywnych: średniej z odpowiedzi w skali Likerta na cztery pytania dotyczące poczucia własności (O1-O4) oraz odpowiedzi w skali Likerta na pytanie dotyczące poczucia sprawstwa (A1).

W niniejszym badaniu8 systematycznie zbadano wpływ synchronizacji (synchroniczna vs asynchroniczna), wyglądu wirtualnego efektora (wirtualna dłoń vs prostokąt) oraz aktywności (pasywna vs aktywna) na poczucie własności (sense of ownership) i poczucie sprawstwa (sense of agency) uczestników (wszystkie warunki przetestowano wewnątrz osób). Wyniki były identyczne dla poczucia własności i sprawstwa. Jak wskazano na Rysunku 2, postrzegana własność i sprawstwo były silniejsze, gdy prawdziwa i wirtualna dłoń poruszały się synchronicznie [F(1,43) = 48,35; p < 0,001; oraz F(1,43) = 54,64; p < 0,001; odpowiednio dla własności i sprawstwa], gdy wirtualnym efektorem była dłoń, a nie prostokąt [F(1,43) = 14,85; p < 0,001; oraz F(1,43) = 6,94; p < 0,02], oraz gdy uczestnik był aktywny, a nie pasywny [F(1,43) = 9,32; p < 0,005; oraz F(1,43) = 79,60; p < 0,001]. Efekt synchronizacji powiela standardową iluzję wirtualnej dłoni.

Wykresy słupkowe analizujące oceny synchroniczne vs asynchroniczne, dłoni vs prostokąta, aktywne vs pasywne.
Rysunek 2: Oceny poczucia własności i sprawstwa w zależności od synchronizacji, wyglądu wirtualnego efektora oraz aktywności uczestnika. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Wykres słupkowy porównujący oceny synchroniczne i asynchroniczne dla poczucia własności i sprawstwa.
Rycina 3: Oceny poczucia własności i sprawstwa w zależności od synchronizacji i aktywności uczestnika. Należy zauważyć, że efekt synchronizacji jest bardziej wyraźny u aktywnych uczestników. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Co jeszcze bardziej interesujące, zarówno poczucie własności, jak i poczucie sprawstwa wykazały istotną interakcję między aktywnością a synchronizacją [F(1,43) = 13,68; p = 0,001; oraz F(1,43) = 23,36; p < 0,001; patrz Rysunek 3], ale nie między wyglądem a synchronizacją. Taki wzorzec sugeruje, że aktywność odgrywa bardziej dominującą rolę dla poczucia własności i złudzenia niż wygląd; wykazano nawet, że iluzoryjne poczucie własności jest silniejsze w wirtualnym niż w tradycyjnym paradygmacie iluzji gumowej ręki. Zgodnie z teorią Hommla22, sprawstwo obiektywne (i.e., stopień, w jakim zewnętrznym zdarzeniem można obiektywnie sterować) przyczynia się zarówno do subiektywnego poczucia własności, jak i subiektywnego poczucia sprawstwa, co wyjaśnia, dlaczego w niniejszym eksperymencie aktywna, synchroniczna kontrola nad wirtualnym efektorem zwiększyła zarówno subiektywne poczucie własności, jak i subiektywne poczucie sprawstwa.

Podczas gdy wygląd nie wchodził w interakcję z synchronicznością, co sugeruje, że iluzja własności nie opiera się na wyglądzie, wywołał on jednak główny efekt. Wskazuje to, że wygląd ma wpływ na postrzeganą własność. Słuszne jest założenie, że ludzie mają ogólne oczekiwania co do tego, jakie obiekty zewnętrzne mogą lub nie mogą być prawdopodobną częścią ich ciała, co wspiera postrzeganie własności w ogóle, ale nie moderuje efektu synchroniczności. Wyciągamy zatem wniosek, że wiele źródeł informacji przyczynia się do poczucia subiektywnej własności: ogólnych oczekiwań odgórnych (top-down) oraz informacji o synchroniczności oddolnych (bottom-up). Relacja między tymi dwoma źródłami informacji nie wydaje się być interaktywna, lecz kompensacyjna, tak że ogólne oczekiwania mogą dominować w przypadku braku synchroniczności i na odwrót.

Iluzja wirtualnej twarzy

W innym badaniu zbadaliśmy, w jaki sposób ludzie reprezentują własną twarz. Byliśmy w stanie zreplikować tradycyjną iluzję przeniesienia twarzy (enfacement illusion) w środowisku wirtualnym, którą nazywamy iluzją wirtualnej twarzy12. Następnie zbadaliśmy, czy ludzie przejmują nastrój wyrażony przez wirtualną twarz, z którą się utożsamiają. Zastosowano jeden czynnik wewnątrzobiektowy – synchronizację (synchroniczna vs. asynchroniczna) oraz jeden czynnik międzyobiektowy – wyraz twarzy (szczęśliwy vs. neutralny). Wartości oceny IOS przed fazą indukcji odjęto od wartości oceny IOS po fazie indukcji; analogicznie, wartości oceny Affect Grid przed fazą indukcji odjęto od wartości oceny Affect Grid po fazie indukcji, a te zmiany w ocenach wykorzystano jako wyniki IOS oraz Affect Grid.

Analiza wyników poczucia własności (O1-4), wyników poczucia sprawstwa (A1-2) oraz zmian w skali IOS18 wykazała główne efekty synchronii [odpowiednio F(1,58) = 38.24; p < 0.001; F(1,58) = 77.33; p < 0.001; oraz F(1,58) = 43.63; p < 0.001], co wskazuje, że synchronia między ruchami własnej głowy a ruchami wirtualnej twarzy zwiększyła postrzegane poczucie własności i sprawstwa oraz ułatwiła integrację twarzy drugiej osoby z własną jaźnią (patrz Rycina 4). Synchronia poprawiła również nastrój, o czym świadczy efekt synchronii w zmianach siatki afektu19 [F(1,58) = 7.99; p < 0.01].

Wykres słupkowy porównujący oceny synchroniczne i asynchroniczne w zakresie poczucia własności, sprawstwa i zmian IOS.
Rycina 4: Oceny poczucia własności i sprawstwa, a także zmiany IOS w funkcji synchronii. Należy zauważyć, że dodatnie zmiany IOS oznaczają zwiększenie integracji drugiej osoby z własnym „ja”. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykres słupkowy porównujący zmiany w siatce afektu i wyniki elastyczności w warunkach synchronicznych i asynchronicznych.
Rycina 5: Zmiany w siatce afektu (wartości dodatnie oznaczają afekt pozytywny) oraz wyniki elastyczności w teście AUT w zależności od synchronii i ekspresji wirtualnej twarzy. Należy zauważyć, że interakcje między synchronią a ekspresją są napędzane przez bardziej pozytywny nastrój i szczególnie dobrą wydajność elastyczności dla kombinacji synchronii i szczęśliwej wirtualnej twarzy. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Odnotowano istotne efekty główne wyrazu twarzy w odniesieniu do zmian IOS, zmian w siatce afektu oraz elastyczności w teście AUT20,21,23, lecz ważniejszy był fakt, że zmiany w siatce afektu oraz wynik elastyczności wchodziły w interakcję z synchronizacją [odpowiednio F(1,58) = 4.40; p < 0.05 oraz F(1,58) = 4.98; p < 0.05]. Jak pokazano na Rysunku 5, uczestnicy zgłaszali poprawę nastroju i wykazali bardziej kreatywne zachowania po enfacingu (i.e., synchronicznym poruszaniu się wraz z) wesołą twarzą w porównaniu z warunkami, w których poruszali się asynchronicznie z wesołą twarzą lub synchronicznie z twarzą neutralną.

F/P/PESEFFACTSYNEFF*ACTEFF*SYNACT*SYNEFF*ACT*SYN
O111.6610.1145.3810.08
0.0010.003<0.0010.003
0.210.190.510.19
O25.3747.65
0.025<0.001
0.110.53
O310.7541.309.81
0.002<0.0010.003
0.200.490.19
O412.8617.1715.1210.60
0.001<0.001<0.0010.002
0.230.290.260.20
O1-414.859.3248.3513.68
<0.0010.004<0.0010.001
0.260.180.530.24
A16.9479.6054.6423.36
0.012<0.001<0.001<0.001
0.140.650.560.37

Tabela 1: Wartości F, P oraz cząstkowe eta kwadrat (PES) dla efektów ocen pozycji kwestionariusza, przy df = 43. Czynniki to EFF: wirtualny efektor (wirtualna dłoń vs. prostokąt); ACT: aktywność (aktywna eksploracja vs. pasywna stymulacja); oraz SYN: synchronizacja (synchroniczna vs. asynchroniczna). Przedstawiono jedynie wyniki dla efektów istotnych statystycznie.

M/SEH-P-SYH-P-ASH-A-SYH-A-ASR-P-SYR-P-ASR-A-SYRAAAS
O1-44.373.445.093.503.793.144.683.05
0.200.230.190.250.230.230.200.21
A13.593.116.364.363.072.576.093.80
0.300.320.150.330.280.270.240.33

Tabela 2: Średnie (M) i błędy standardowe (SE) dla ocen poczucia własności i sprawstwa we wszystkich ośmiu warunkach. H: dłoń; R: prostokąt; A: aktywny; P: pasywny; SY: synchroniczny; AS: asynchroniczny.

F/P/PESMimika twarzySynchronizacjaMimika twarzy* Synchronizacja
Poczucie własności (O1-4)38.24
<0.001
0.40
Poczucie sprawstwa (A1-2)77.33
<0.001
0.57
Zmiany IOS4.0343.63
0.0490.001
0.070.43
Zmiany walencji w siatce afektu6.067.994.40
0.0170.0070.041
0.100.130.07
Elastyczność AUT5.424.98
0.0240.03
0.090.08
Płynność AUT7.89
0.007
0.12

Tabela 3: Wartości F, P i częściowego eta kwadrat (PES) dla istotnych mierników zależnych, przy df = 58 dla wyników kwestionariusza i IOS oraz df = 56 dla wymiaru walencyjnego siatki nastroju (affect grid) i wyników AUT. Przedstawiono wyłącznie wyniki dla efektów istotnych.

M/SENeutral-SYNeutral-ASHappy-SYHappy-AS
Poczucie własności (O1-4)2.882.033.382.36
0.270.160.230.22
Sprawstwo (A1-2)5.904.256.164.08
0.200.250.130.32
Zmiany IOS0.37-0.801.00-0.40
0.210.250.200.24
Zmiany walencji w siatce afektywnej-1.07-1.330.60-1.20
0.420.330.390.31
AUT-Elastyczność5.876.077.436.10
0.310.370.290.39
AUT-Płynność7.278.279.737.37
0.510.680.680.49

Tabela 4: Średnie (M) i błędy standardowe (SE) dla istotnych miar zależnych w czterech warunkach. Neutral: neutralny wyraz twarzy; Happy: szczęśliwy wyraz twarzy; SY: synchronicznie; AS: asynchronicznie.

Dyskusja

W tym artykule opisaliśmy dwa szczegółowe protokoły dla paradygmatów iluzji wirtualnej ręki i wirtualnej twarzy, w których nasze badanie wirtualnej twarzy było pierwszym, które odtworzyło tradycyjną iluzję posiadania twarzy wywołaną głaskaniem w rzeczywistości wirtualnej, wraz z reprezentatywnymi wynikami z tych dwóch paradygmatów.

Znaczące efekty synchronizacji wskazują, że udało nam się wywołać iluzoryczną własność wirtualnej ręki i wirtualnej twarzy, podobnie jak w przypadku bardziej tradycyjnych paradygmatów iluzji. Możliwość odtworzenia tych efektów za pomocą technik rzeczywistości wirtualnej ma znaczne zalety11,24. Techniki wirtualnej rzeczywistości uwalniają eksperymentatora od dość sztucznej i przerywającej procedury głaskania i otwierają nowe możliwości eksperymentalnych manipulacji. Na przykład morfing wirtualnych efektorów pozwolił nam na systematyczne manipulowanie wpływem wyglądu wirtualnej ręki i podobieństwa między wirtualną a prawdziwą ręką uczestnika, czy wyrazem twarzy wirtualnej twarzy. Wpływ sprawczości może być również systematycznie badany poprzez różnicowanie stopnia (np. natychmiastowości), w jakim uczestnicy mogą kontrolować ruchy sztucznego efektora.

Inną obiecującą ścieżką przyszłych badań nad rzeczywistością wirtualną są doświadczenia w rzeczywistości wirtualnej z perspektywy pierwszej osoby (1PP). Doświadczenia 1PP mogą stworzyć ogromne poczucie zanurzenia i poczucia obecności, na zupełnie inną skalę niż doświadczenie wirtualnej rzeczywistości z perspektywy trzeciej osoby 25,26,27,28. W doświadczeniach 1PP można naprawdę poczuć, że jest się awatarem, że dosłownie ucieleśnia się awatara. Otwiera to możliwości wszelkiego rodzaju manipulacji, takich jak odłączanie części ciała28, wydłużanie29, przeskalowywanie części ciała30 lub zmiana koloru skóry31,32.

Jak pokazują obecne i wiele innych odkryć, kontrolowanie zdarzeń wirtualnych w sposób synchroniczny silnie zwiększa percepcję tych zdarzeń należących do własnego ciała. Na przykład nasze wyniki z badania ręki sugerują, że natychmiastowa kontrola jest ważną wskazówką do rozróżnienia między zdarzeniami wyprodukowanymi przez siebie a zdarzeniami wyprodukowanymi przez innych (tj. sprawczość osobista) oraz między zdarzeniami związanymi z samym sobą a zdarzeniami związanymi z innymi (tj. posiadaniem ciała). Odkrycia zaprezentowane tutaj i gdzie indziej sugerują, że informacje oddolne odgrywają decydującą rolę w powstawaniu fenomenalnej autoprezentacji, nawet w przypadku części ciała, które nie są tak związane z tożsamością, jak czyjaśwłasna część ciała.

Najbardziej krytyczną częścią opisanych protokołów jest proces indukcji, który wprowadza korelacje między informacjami wzrokowymi, dotykowymi i motorycznymi (tj. proprioceptywnymi) - korelacje te pozwalają systemowi poznawczemu na uzyskanie własności i sprawczości. Ponieważ korelacje te opierają się na względnym czasie odpowiednich zdarzeń, takich jak opóźnienie między własnymi ruchami uczestnika a ruchami sztucznego efektora, kluczowe jest ograniczenie opóźnień przetwarzania (zwłaszcza w odniesieniu do translacji danych z rękawicy na ruch wirtualnego efektora na ekranie) do minimum. W naszym eksperymencie maksymalne opóźnienie czasowe wynosi około 40 ms, co jest prawie niezauważalne i nie utrudnia postrzegania przyczynowości i sprawczości. Shimada, Fukuda i Hirakizasugerowali , że krytyczne okno czasowe dla wystąpienia procesów integracji multisensorycznej składających się na reprezentację ja-ciało wynosi 300 ms, co oznacza, że dłuższe opóźnienia prawdopodobnie zmniejszą postrzeganie kontroli nad wirtualnymi wydarzeniami.

Innym ważnym aspektem protokołu jest ścisła eksperymentalna kontrola nad ruchami ręki lub twarzy uczestnika, w zależności od paradygmatu. Podczas indukcji niezbędne są aktywne ruchy danego czynnika, ponieważ wymagane korelacje międzyzmysłowe opierają się na aktywnych ruchach eksploracyjnych po stronie uczestnika. Dlatego ważne jest, aby zachęcać uczestników do częstego przemieszczania się i angażowania się w aktywną eksplorację. Jednak w innych fazach eksperymentu ruchy mogą mieć negatywny wpływ na pomiar. Na przykład, w paradygmacie iluzji wirtualnej ręki, poruszanie lewą ręką (z której zarejestrowano SCR) może sprawić, że pomiary poziomu SCR będą hałaśliwe i niewiarygodne.

Ograniczeniem techniki paradygmatu iluzji wirtualnej ręki jest to, że ze względów praktycznych uczestnicy zwykle noszą rękawicę do transmisji danych i tracker orientacji podczas całego eksperymentu (tak, aby zminimalizować rozproszenie uwagi). Może to nie być komfortowe, co z kolei może wpłynąć na nastrój lub motywację uczestnika. Jednym z możliwych rozwiązań tego problemu byłoby użycie lżejszego sprzętu lub niestandardowych urządzeń do noszenia. Innym ograniczeniem naszej obecnej techniki paradygmatu iluzji wirtualnej twarzy jest to, że sprzęt rejestruje tylko ruchy głowy, ale nie zmienia wyrazu twarzy. Umożliwienie uczestnikom kontrolowania mimiki wirtualnej twarzy prawdopodobnie przyczyni się do złudzeń własności, ale wymagałoby to sprzętu i oprogramowania, które zapewniają niezawodne wykrywanie i kategoryzację mimiki twarzy u ludzi - czego jeszcze nie mamy w naszym laboratorium. Korzystanie na przykład z narzędzi do przechwytywania ruchu w czasie rzeczywistym (twarzy) byłoby bardzo korzystne w pokonywaniu tych ograniczeń i pozwoliłoby nam zwiększyć poczucie sprawczości i własności awatarów na znacznie wyższy poziom.

Jak sugerują wyniki naszego badania8, ludzie biorą pod uwagę różne źródła informacji i stale aktualizują swoją reprezentację ciała. Wydaje się, że wykorzystują informacje oddolne i odgórne w sposób kompensacyjny, w tym sensie, że jedno źródło informacji odgrywa większą rolę w przypadku braku drugiego – podobnie jak zakłada się w odniesieniu do poczucia sprawczości34. Stwarza to interesujące kierunki dla przyszłych badań, ponieważ sugeruje na przykład, że własność może być postrzegana nawet w przypadku sztucznych efektorów w niewygodnych pozycjach, pod warunkiem wystarczającego stopnia podobieństwa powierzchni, lub odwrotnie (tj. jeśli sztuczny efektor idealnie pokrywa się z prawdziwym efektorem, ale różni się od niego pod względem cech powierzchni). Dostępne wyniki sugerują również, że granice między sobą a innymi są raczej plastyczne, tak więc cechy innej osoby lub podmiotu mogą być postrzegane jako cecha samego siebie, pod warunkiem pewnego stopnia synchronizacji między własnym zachowaniem a zachowaniem drugiejosoby35,36.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Ta praca została sfinansowana przez Chińską Radę Stypendialną (CSC) dla K. M., a grant infrastrukturalny Holenderskiej Organizacji Badawczej (NWO) dla B. H.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Vizard (Oprogramowanie kontrolujące środowisko wirtualnej rzeczywistości)WorldvizVizard umożliwia importowanie modeli dłoni i integrację modułów śledzenia dłoni, rękawic danych i orientacji za pomocą samodzielnie napisanych skryptów poleceń. Skrypty te mogą być uruchamiane w celu kontrolowania prezentacji wirtualnej ręki w środowisku wirtualnym, wyglądu ręki i sposobu, w jaki się porusza; Kontrolują również działanie wibratora.
Cybertouch (Dataglove)CyberGlove  SystemyCybertouchUczestnicy noszą tę rękawicę, aby kontrolować ruchy wirtualnej ręki w środowisku wirtualnym. Częstotliwość pomiaru = 100 Hz; Częstotliwość wibracji wibratora = 0-125 Hz.
Intersense (Orientation tracker)ThalesInertiaCube3Uczestnicy noszą tracker Intersense, aby umożliwić monitorowanie orientacji ich prawdziwej ręki (dane, których używana rękawica nie dostarcza). Częstotliwość aktualizacji = 180 Hz.
System Biopac (Fizjologiczne urządzenie pomiarowe)BiopacMP100Sprzęt do rejestrowania odpowiedzi przewodnictwa skóry.
Jednostka akwizycyjna (fizjologiczne urządzenie pomiarowe)BiopacBN-PPGEDSprzęt do rejestrowania odpowiedzi przewodnictwa skóry.
Zdalny nadajnik (fizjologiczne urządzenie pomiarowe)BiopacBN-PPGED-TUczestnicy noszą zdalny nadajnik na lewym nadgarstku; wysyła on sygnały do jednostki akwizycyjnej Biopac.
Elektroda (Fizjologiczne urządzenie pomiarowe)BiopacEL507Uczestnicy noszą  elektrodę na palcach; odbiera ona sygnały przewodnictwa skóry.
AcqKnowledge (Oprogramowanie kontrolujące pozyskiwanie danych fizjologicznych)BiopacACK100W, ACK100MOprogramowanie do rejestrowania odpowiedzi przewodnictwa skóry.
Pudełkowykonane na zamówienieUczestnicy wkładają prawą rękę do pudełka
KomputerDowolny standardowy komputer + ekran (może być zastąpiony okularami VR / urządzeniem)Niezbędne do prezentacji środowiska wirtualnej rzeczywistości, w tym wirtualnej ręki.
Uczestnicy PelerynyWykonanejnoszą tę pelerynę na prawym ramieniu, więc nie widzą swojej prawej ręki i ramienia.
Kinect (Śledzenie pozycji głowy)Sensor MicrosoftKinect śledzi pozycję X-Y głowy uczestnika. Częstotliwość nagrywania = 30 Hz.
Oprogramowanie FAAST (Head Position Tracker software)MXRFAAST 1.0Software steruje sensorem Kinect i służy do śledzenia pozycji głowy uczestnika.
Intersense (Śledzenie orientacji głowy)ThalesInertiaCube3Intersense śledzi zmiany orientacji obrotowej głowy uczestnika. Częstotliwość aktualizacji = 180 Hz.
Facegen (oprogramowanie do generowania modeli twarzy)Pojedyncze odwróceniaFaceGen  Modelarz Facegen umożliwia tworzenie różnych wirtualnych twarzy poprzez zmianę różnych parametrów, takich jak męskość/kobiecość czy kolor skóry.
CzapkaDowolna czapka, np. czapka z daszkiemNa czapce znajduje się czujnik orientacji Intersense.
KomputerDowolny standardowy komputer + ekranNiezbędne do prezentacji środowiska wirtualnej rzeczywistości, w tym wirtualnej głowy.
na Zamówienie

Bibliografia

  1. Tsakiris, M., Schütz-Bosbach, S., Gallagher, S. On agency and body-ownership: Phenomenological and neurocognitive reflections. Conscious. Cogn. 16 (3), 645-660 (2007).
  2. Botvinick, M., Cohen, J. Rubber hands 'feel' touch that eyes see. Nature. 391 (6669), 756-756 (1998).
  3. Armel, K. C., Ramachandran, V. S. Projecting sensations to external objects: Evidence from skin conductance response. Proc. R. Soc. B. 270 (1523), 1499-1506 (2003).
  4. Tsakiris, M. My body in the brain: A neurocognitive model of body-ownership. Neuropsychologia. 48 (3), 703-712 (2010).
  5. Kalckert, A., Ehrsson, H. H. Moving a rubber hand that feels like your own: Dissociation of ownership and agency. Front. Hum. Neurosci. 6 (40), (2012).
  6. Kalckert, A., Ehrsson, H. H. The spatial distance rule in the moving and classical rubber hand illusions. Conscious. Cogn. 30C, 118-132 (2014).
  7. Ma, K., Hommel, B. Body-ownership for actively operated non-corporeal objects. Conscious. Cogn. 36, 75-86 (2015).
  8. Ma, K., Hommel, B. The role of agency for perceived ownership in the virtual hand illusion. Conscious. Cogn. 36, 277-288 (2015).
  9. Slater, M., Perez-Marcos, D., Ehrsson, H. H., Sanchez-Vives, M. V. Towards a digital body: The virtual arm illusion. Front. Hum. Neurosci. 2 (6), (2008).
  10. Sanchez-Vives, M. V., Spanlang, B., Frisoli, A., Bergamasco, M., Slater, M. Virtual hand illusion induced by visuomotor correlations. PLOS ONE. 5 (4), e10381(2010).
  11. Spanlang, B., et al. How to build an embodiment lab: Achieving body representation illusions in virtual reality. Front. Robot. AI. 1, 1-22 (2014).
  12. Tsakiris, M. Looking for myself: Current multisensory input alters self-face recognition. PLOS ONE. 3 (12), e4040(2008).
  13. Sforza, A., Bufalari, I., Haggard, P., Aglioti, S. M. My face in yours: Visuo-tactile facial stimulation influences sense of identity. Soc. Neurosci. 5, 148-162 (2010).
  14. Bufalari, I., Porciello, G., Sperduti, M., Minio-Paluello, I. Self-identification with another person's face: the time relevant role of multimodal brain areas in the enfacement illusion. J. Neurophysiol. 113 (7), 1959-1962 (2015).
  15. Ma, K., Sellaro, R., Lippelt, D. P., Hommel, B. Mood migration: How enfacing a smile makes you happier. Cognition. 151, 52-62 (2016).
  16. Ma, K., Hommel, B. The virtual-hand illusion: Effects of impact and threat on perceived ownership and affective resonance. Front. Psychol. 4 (604), (2013).
  17. Suma, E. A., et al. Adapting user interfaces for gestural interaction with the flexible action and articulated skeleton toolkit. Comput. Graph. 37 (3), 193-201 (2013).
  18. Aron, A., Aron, E. N., Smollan, D. Inclusion of Other in the Self Scale and the structure of interpersonal closeness. J. Pers. Soc. Psychol. 63 (4), 596(1992).
  19. Russell, J. A., Weiss, A., Mendelsohn, G. A. Affect grid: a single-item scale of pleasure and arousal. J. Pers. Soc. Psychol. 57 (3), 493-502 (1989).
  20. Guilford, J. P. The nature of human intelligence. , McGraw- Hill. New York, NY. (1967).
  21. Ashby, F. G., Isen, A. M., Turken, A. U. A neuropsychological theory of positive affect and its influence on cognition. Psychol. Rev. 106 (3), 529-550 (1999).
  22. Hommel, B. 34;Action control and the sense of agency". The sense of agency. Haggard, P., Eitam, B. , Oxford University Press. New York. 307-326 (2015).
  23. Akbari Chermahini, S., Hommel, B. The (b)link between creativity and dopamine: Spontaneous eye blink rates predict and dissociate divergent and convergent thinking. Cognition. 115 (3), 458-465 (2010).
  24. Sanchez-Vives, M. V., Slater, M. From presence to consciousness through virtual reality. Nat. Rev. Neurosci. 6 (4), 332-339 (2005).
  25. Slater, M., Spanlang, B., Sanchez-Vives, M. V., Blanke, O. First person experience of body transfer in virtual reality. PLOS ONE. 5 (5), (2010).
  26. Maselli, A., Slater, M. The building blocks of the full body ownership illusion. Front. Hum. Neurosci. 7 (83), (2013).
  27. Pavone, E. F., et al. Embodying others in immersive virtual reality: Electro cortical signatures of monitoring the errors in the actions of an avatar seen from a first-person perspective. J. Neurosci. 26 (2), 268-276 (2016).
  28. Tieri, G., Tidoni, E., Pavone, E. F., Aglioti, S. M. Body visual discontinuity affects feeling of ownership and skin conductance responses. Sci. Rep. 5 (17139), (2015).
  29. Kilteni, K., Normand, J., Sanchez-Vives, M. V., Slater, M. Extending body space in immersive virtual reality: A long arm illusion. PLOS ONE. 7 (7), (2012).
  30. Banakou, D., Groten, R., Slater, M. Illusory ownership of a virtual child body causes overestimation of object sizes and implicit attitude changes. Proc. Natl. Acad. Sci. U.S.A. 110 (31), 12846-12851 (2013).
  31. Martini, M., Perez-Marcos, D., Sanchez-Vives, M. V. What color is my arm? Changes in skin color of an embodied virtual arm modulates pain threshold. Front. Hum. Neurosci. 7 (438), (2013).
  32. Peck, T. C., Seinfeld, S., Aglioti, S. M., Slater, M. Putting yourself in the skin of a black avatar reduces implicit racial bias. Consc. Cogn. 22 (3), 779-787 (2013).
  33. Shimada, S., Fukuda, K., Hiraki, K. Rubber hand illusion under delayed visual feedback. PLOS ONE. 4 (7), (2009).
  34. Synofzik, M., Vosgerau, G., Newen, A. Beyond the comparator model: A multifactorial two-step account of agency. Conscious. Cogn. 17 (1), 219-239 (2008).
  35. Hommel, B., Müsseler, J., Aschersleben, G., Prinz, W. The theory of event coding (TEC): A framework for perception and action planning. Behav. Brain. Sci. 24 (5), 849-878 (2001).
  36. Hommel, B. Action control according to TEC (theory of event coding). Psychol. Res. 73 (4), 512-526 (2009).

Przedruki i uprawnienia

Tagi

Wirtualna iluzja d oniwirtualna iluzja twarzypoczucie w asno ci cia apostrzegane sprawstworuch synchronicznywarunek asynchronicznyr kawica danychtracker orientacjirodowisko wirtualnej rzeczywisto ciledzenie pozycji g owy
Tworzenie iluzji wirtualnej ręki i wirtualnej twarzy w celu zbadania autoprezentacji
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki korzystania z usługi

Zasady

Prawa autorskie © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.