Method Article

Ocena aspektów użyteczności rozwiązania rzeczywistości mieszanej na potrzeby analizy immersyjnej w scenariuszach Przemysłu 4.0

DOI:

10.3791/61349

⸱

October 6th, 2020

 ,  ,  ,  ,  ,  ,  ,  ,  ,  , 
1Institute of Databases and Information Systems, Ulm University, 2Department for Psychotherapy and Biopsychosocial Health, Danube University Krems, 3Department of Psychiatry and Psychotherapy, University of Regensburg, 4Faculty of Computer Science, Otto von Guericke University Magdeburg, 5Department of Pediatrics and Adolescent Medicine, Medical University of Vienna, 6Department of Child and Adolescent Psychiatry, Medical University of Vienna, 7Institute of Clinical Epidemiology and Biometry, University of Würzburg

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten protokół określa techniczne ustawienia opracowanej aplikacji rzeczywistości mieszanej, która jest używana do immersyjnej analizy. Na tej podstawie przedstawiono miary, które zostały wykorzystane w badaniu mającym na celu uzyskanie wglądu w aspekty użyteczności opracowanego rozwiązania technicznego.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W medycynie czy przemyśle coraz częściej wymagana jest analiza wielowymiarowych zbiorów danych. Jednak dostępne rozwiązania techniczne są często skomplikowane w użyciu. Dlatego mile widziane są nowe podejścia, takie jak analiza immersyjna. Immersyjna analiza obiecuje korzystać z wielowymiarowych zestawów danych w wygodny sposób dla różnych grup użytkowników i zestawów danych. Technicznie rzecz biorąc, urządzenia rzeczywistości wirtualnej są wykorzystywane do umożliwienia immersyjnej analizy. Na przykład w Przemyśle 4.0 scenariusze, takie jak identyfikacja wartości odstających lub anomalii w wielowymiarowych zestawach danych, są realizacją celów analizy immersyjnej. W tym kontekście należy odpowiedzieć na dwa ważne pytania dotyczące każdego opracowywanego rozwiązania technicznego w zakresie analizy immersyjnej: Po pierwsze, czy rozwiązania techniczne są pomocne, czy nie? Po drugie, czy cielesne doświadczenie rozwiązania technicznego jest pozytywne, czy negatywne? Pierwsze pytanie dotyczy ogólnej wykonalności rozwiązania technicznego, a drugie ma na celu komfort noszenia. Zachowane badania i protokoły, które systematycznie zajmują się tymi kwestiami, są nadal rzadkie. W niniejszej pracy przedstawiono protokół badania, w którym bada się głównie użyteczność analizy immersyjnej w scenariuszach Przemysłu 4.0. W szczególności protokół opiera się na czterech filarach. Po pierwsze, kategoryzuje użytkowników na podstawie wcześniejszych doświadczeń. Po drugie, prezentowane są zadania, które można wykorzystać do oceny wykonalności rozwiązania technicznego. Po trzecie, prezentowane są miary, które określają ilościowo efekt uczenia się użytkownika. Po czwarte, kwestionariusz ocenia poziom stresu podczas wykonywania zadań. W oparciu o te filary wdrożono ustawienie techniczne, które wykorzystuje inteligentne okulary rzeczywistości mieszanej do zastosowania protokołu badania. Wyniki przeprowadzonego badania pokazują z jednej strony możliwość zastosowania protokołu, a z drugiej wykonalność immersyjnej analityki w scenariuszach Przemysłu 4.0. Prezentowany protokół zawiera omówienie odkrytych ograniczeń.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rozwiązania wirtualnej rzeczywistości (rozwiązania VR) są coraz ważniejsze w różnych dziedzinach. Często dzięki rozwiązaniom VR (w tym rzeczywistości wirtualnej, rzeczywistości mieszanej i rzeczywistości rozszerzonej) realizacja wielu codziennych zadań i procedur jest łatwiejsza. Na przykład w dziedzinie motoryzacji procedura konfiguracji samochodu może być obsługiwana przez użycie Virtual Reality1 (VR). Badacze i praktycy zbadali i opracowali wiele podejść i rozwiązań w tym kontekście. Jednak badania, które badają aspekty użyteczności, są nadal rzadkie. Ogólnie rzecz biorąc, aspekty te należy rozpatrywać w świetle dwóch głównych pytań. Po pierwsze, należy ocenić, czy rozwiązanie VR rzeczywiście przewyższa podejście, które nie wykorzystuje technik VR. Po drugie, ponieważ rozwiązania VR opierają się głównie na ciężkich i złożonych urządzeniach sprzętowych, parametry takie jak komfort noszenia i wysiłek umysłowy powinny być bardziej dogłębnie zbadane. Ponadto wymienione aspekty należy zawsze badać w odniesieniu do danego obszaru zastosowań. Chociaż wiele istniejących podejść dostrzega potrzebę zbadania tych pytań2, istnieje mniej badań, które przedstawiły wyniki.

Temat badawczy w dziedzinie VR, który jest obecnie ważny, jest oznaczony za pomocą immersyjnej analityki. Wywodzi się z dziedziny badawczej analityki wizualnej, która stara się włączyć ludzką percepcję do zadań analitycznych. Ten proces jest również dobrze znany jako eksploracja danych wizualnych4. Analiza immersyjna obejmuje tematy z dziedziny wizualizacji danych, analizy wizualnej, rzeczywistości wirtualnej, grafiki komputerowej i interakcji człowiek-komputer5. Niedawne zalety wyświetlaczy montowanych na głowie (HMD) doprowadziły do zwiększenia możliwości eksplorowania danych w sposób immersyjny. Wraz z tymi trendami pojawiają się nowe wyzwania i pytania badawcze, takie jak rozwój nowych systemów interakcji, potrzeba zbadania zmęczenia użytkowników lub rozwój zaawansowanych wizualizacji 3D6. W poprzedniej publikacji6 omówiono ważne zasady immersyjnej analizy. W świetle dużych zbiorów danych metody takie jak analiza immersyjna są coraz bardziej potrzebne, aby umożliwić lepszą analizę złożonych pul danych. Istnieje tylko kilka badań, które badają aspekty użyteczności immersyjnych rozwiązań analitycznych. Ponadto w takich badaniach należy również wziąć pod uwagę daną dziedzinę lub dziedzinę. W ramach tej pracy opracowano prototyp immersyjnej analityki i na jego podstawie protokół, który bada opracowane rozwiązanie pod kątem scenariuszy Przemysłu 4.0. W ten sposób protokół wykorzystuje metodę doświadczenia2, która opiera się na aspektach subiektywnych, wydajnościowych i fizjologicznych. W omawianym protokole aspekty subiektywne są mierzone poprzez odczuwany stres użytkowników badania. Wydajność z kolei jest mierzona przez wymagany czas i błędy, które są popełniane w celu wykonania zadań analitycznych. Na koniec czujnik przewodnictwa skóry mierzył parametry fizjologiczne. Pierwsze dwa pomiary zostaną przedstawione w niniejszej pracy, natomiast zmierzone przewodnictwo skóry wymaga dalszych wysiłków w celu oceny.

Prezentowane badanie obejmuje kilka dziedzin badawczych, szczególnie w tym aspekty neuronauki i systemy informacyjne. Co ciekawe, rozważania nad neurobiologicznymi aspektami systemów informatycznych przyciągnęły ostatnio uwagę kilku grup badawczych7,8, co wskazuje na zapotrzebowanie na zbadanie wykorzystania systemów informatycznych również z kognitywnego punktu widzenia. Kolejną dziedziną, która jest istotna dla tej pracy, jest badanie czynników ludzkich w systemach informatycznych9,10,11. W dziedzinie interakcji człowiek-komputer istnieją instrumenty do badania użyteczności rozwiązania. Zauważ, że Skala Użyteczności Systemu jest używana głównie w tym kontekście12. Protokoły Thinking Aloud13 to kolejna szeroko stosowana technika badawcza, aby dowiedzieć się więcej o korzystaniu z systemów informatycznych. Chociaż istnieje wiele podejść do mierzenia aspektów użyteczności systemów informatycznych, a niektóre z nich zostały przedstawione dawno temu14, nadal pojawiają się pytania, które wymagają zbadania nowych miar lub metod badawczych. Dlatego badania w tej dziedzinie są bardzo aktywne12,15,16.

Poniżej zostaną omówione powody, dla których dwie powszechnie używane metody nie zostały uwzględnione w obecnej pracy. Po pierwsze, nie zastosowano Skali Użyteczności Systemu. Skala opiera się na dziesięciu pytaniach17, a jej zastosowanie można znaleźć również w kilku innych badaniach VR18. Ponieważ badanie to ma na celu głównie pomiar stress19, bardziej odpowiedni okazał się kwestionariusz związany ze stresem. Po drugie, nie użyto protokołu Thinking Aloud Protocol20. Chociaż ten typ protokołu wykazał swoją ogólną przydatność13, nie został tutaj użyty, ponieważ poziom stresu użytkowników badania może wzrosnąć tylko ze względu na fakt, że sesja głośnego myślenia musi być realizowana równolegle z użyciem ciężkiego i złożonego urządzenia VR. Chociaż te dwie techniki nie zostały wykorzystane, wyniki innych ostatnich badań zostały włączone do omawianego badania. Na przykład w poprzednich pracach21,22, autorzy rozróżniają nowicjuszy i ekspertów w swoich badaniach. Opierając się na pomyślnych wynikach tych badań, w omawianym protokole wykorzystano przedstawioną separację użytkowników badania. Z kolei pomiar naprężeń opiera się na pomysłach następujących prac15,19,21,22.

Najpierw, do przeprowadzenia badania, należy znaleźć odpowiedni scenariusz Przemysłu 4.0 do realizacji zadań analitycznych. Zainspirowani inną pracą autorów23, zidentyfikowano dwa scenariusze (tj. zadania analityczne), (1) Wykrywanie wartości odstających i (2) Rozpoznawanie klastrów. Oba scenariusze są trudne i mają duże znaczenie w kontekście utrzymania maszyn produkcyjnych o wysokiej przepustowości. Opierając się na tej decyzji, sześć głównych czynników wpłynęło na protokół badania przedstawiony w tej pracy:

  1. Rozwiązanie opracowane na potrzeby badania będzie technicznie oparte na inteligentnych okularach rzeczywistości mieszanej (patrz tabela materiałów) i zostanie opracowane jako aplikacja rzeczywistości mieszanej.
  2. Należy opracować odpowiedni test, który jest w stanie odróżnić nowicjuszy od zaawansowanych użytkowników.
  3. Mierniki wydajności powinny uwzględniać czas i błędy.
  4. Musi zostać opracowana aplikacja desktopowa, którą można porównać do rozwiązania do analizy immersyjnej.
  5. Należy zastosować miarę w celu oceny odczuwanego poziomu stresu.
  6. Oprócz tego ostatniego punktu, należy opracować funkcje mające na celu złagodzenie poziomu stresu, podczas gdy użytkownik wykonuje procedurę dwóch wymienionych zadań analitycznych (tj. (1) wykrywania wartości odstających i (2) rozpoznawania klastrów).

Na podstawie sześciu wymienionych punktów, protokół badania zawiera następującą procedurę. Zadania związane z wykrywaniem wartości odstających i analizą rozpoznawania klastrów muszą być wykonywane w sposób immersyjny przy użyciu inteligentnych okularów rzeczywistości mieszanej (patrz tabela materiałów). W związku z tym opracowano nową aplikację. Dźwięki przestrzenne powinny ułatwiać wykonywanie zadań analitycznych bez zwiększania wysiłku umysłowego. Funkcja głosowa ułatwi nawigację wykorzystywaną w opracowanej aplikacji inteligentnych okularów rzeczywistości mieszanej (zob. tabela materiałów). Test rotacji umysłowej powinien być podstawą do odróżnienia nowicjuszy od zaawansowanych użytkowników. Poziom stresu mierzony jest na podstawie kwestionariusza. Wydajność z kolei jest oceniana na podstawie (1) czasu wymaganego przez użytkownika na zadania analizy oraz na podstawie (2) błędów popełnionych przez użytkownika w zadaniach analizy. Wydajność inteligentnego szkła rzeczywistości mieszanej jest porównywana z wykonywaniem tych samych zadań w nowo opracowanej i porównywalnej aplikacji komputerowej 2D. Ponadto urządzenie do pomiaru przewodnictwa skóry służy do pomiaru poziomu przewodnictwa skóry jako możliwego wskaźnika stresu. Wyniki tego pomiaru podlegają dalszej analizie i nie będą omawiane w niniejszej pracy. Autorzy ujawnili w innym badaniu z tym samym urządzeniem, że wymagane są dodatkowe względy24.

Na podstawie tego protokołu, odpowiedzi na następujące pięć pytań badawczych (RQ) jest adresowanych:

RQ1: Czy zdolności przestrzenne uczestników mają znaczący wpływ na wykonywanie zadań?
RQ2: Czy w czasie następuje znacząca zmiana w wydajności zadań?
RQ3: Czy nastąpiła znacząca zmiana wydajności zadań podczas korzystania z dźwięków przestrzennych w rozwiązaniu do analizy immersyjnej?
RQ4: Czy rozwijana immersyjna analityka jest postrzegana przez użytkowników jako stresująca?
RQ5: Czy użytkownicy osiągają lepsze wyniki podczas korzystania z immersyjnego rozwiązania analitycznego w porównaniu z podejściem 2D?

Rysunek 1 podsumowuje prezentowany protokół w odniesieniu do dwóch skal. Pokazuje opracowane i zastosowane miary oraz ich nowatorstwo w odniesieniu do poziomu interakcji. Z uwagi na to, że poziom interakcji stanowi ważny aspekt podczas opracowywania funkcji dla środowiska VR, rysunek 1 lepiej pokaże nowatorstwo całego protokołu opracowanego w tej pracy. Chociaż ocena aspektów w ramach dwóch użytych skal jest subiektywna, ich ogólna ocena opiera się na bieżących powiązanych pracach i następujących głównych rozważaniach: Jedną z ważnych zasad jest wykorzystanie abstrakcji środowiska do naturalnej interakcji, do której użytkownik się dostroił. Jeśli chodzi o omawiany protokół, wizualizacja chmur punktów wydaje się być intuicyjna dla użytkowników, a rozpoznawanie wzorców w takich chmurach zostało ogólnie uznane za zadanie wykonalne. Kolejną ważną zasadą jest nakładanie afordancji. Przykładem jest tu użycie dźwięków przestrzennych w postaci, w jakiej zastosowano je w omawianym protokole, ponieważ korelują one z bliskością poszukiwanego obiektu. Autorzy zalecają dostrojenie reprezentacji w taki sposób, aby większość informacji znajdowała się w strefie pośredniej, która jest najważniejsza dla ludzkiej percepcji. Powodem, dla którego autorzy nie uwzględnili tej zasady, było zachęcenie użytkownika do samodzielnego znalezienia najlepszego miejsca, a także próba orientacji w przestrzeni wizualizacji danych, która jest zbyt duża, aby można ją było pokazać od razu. W przedstawionym podejściu nie prowadzono dalszych rozważań na temat charakterystyki danych 3D, które mają być pokazane. Na przykład, jeśli założono, że wymiar jest czasowy, można było wyświetlić wykresy rozrzutu. Autorzy uważają ten rodzaj wizualizacji za ogólnie interesujący w kontekście Przemysłu 4.0. Musi być jednak skoncentrowany na rozsądnie małym zestawie wizualizacji. Co więcej, już w poprzedniej publikacji skupiono się na wspólnej analizie danych. W niniejszej pracy pytanie to zostało wykluczone ze względu na złożoność pozostałych zagadnień poruszanych w niniejszym badaniu. W prezentowanej tutaj konfiguracji użytkownik jest w stanie eksplorować wciągającą przestrzeń, spacerując dookoła. Inne podejścia oferują kontrolery do eksploracji przestrzeni wirtualnej. W tym badaniu skupiono się na użyteczności za pomocą Skali Użyteczności Systemu (SUS). W innej poprzedniej publikacji przeprowadzono badanie dla ekspertów ekonomicznych, ale z użyciem gogli VR. Ogólnie rzecz biorąc, i co najważniejsze, badanie to narzeka na ograniczone pole widzenia dla innych urządzeń, takich jak używane w tej pracy inteligentne okulary rzeczywistości mieszanej (patrz tabela materiałów). Ich wyniki pokazują, że początkujący w dziedzinie VR byli w stanie efektywnie korzystać z narzędzia analitycznego. Jest to zgodne z doświadczeniami z tego badania, chociaż w tej pracy początkujący nie zostali sklasyfikowani jako mający doświadczenia z VR lub grami. W przeciwieństwie do większości rozwiązań VR, rzeczywistość mieszana nie jest sztywna do pozycji, ponieważ pozwala na śledzenie rzeczywistego otoczenia. Podejścia VR, takie jak wzmianka o użyciu specjalnych krzeseł do doświadczenia 360°, aby uwolnić użytkownika od jego pulpitu. Autorzy wskazują, że problemy z percepcją wpływają na wydajność analityki immersyjnej; Na przykład za pomocą cieni. W przypadku omawianego badania nie jest to wykonalne, ponieważ używane inteligentne okulary rzeczywistości mieszanej (patrz tabela materiałów) nie są w stanie wyświetlać cieni. Obejściem tego problemu może być wirtualna podłoga, ale taka konfiguracja nie była objęta zakresem tego badania. Badanie ankietowe w dziedzinie analizy immersyjnej zidentyfikowało wykresy rozrzutu 3D jako jedną z najczęstszych reprezentacji danych wielowymiarowych. Ogólnie rzecz biorąc, aspekty pokazane w Rysunek 1 nie mogą być obecnie skompilowane do protokołu, który bada aspekty użyteczności immersyjnej analizy dla scenariuszy Przemysłu 4.0.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wszystkie materiały i metody zostały zatwierdzone przez Komisję Etyki Uniwersytetu w Ulm i zostały przeprowadzone zgodnie z zatwierdzonymi wytycznymi. Wszyscy uczestnicy wyrazili pisemną świadomą zgodę.

1. Stwórz odpowiednie środowisko do nauki

UWAGA: Badanie zostało przeprowadzone w kontrolowanym środowisku, aby poradzić sobie ze skomplikowanym sprzętem. Uczestnikom badania wyjaśniono, na czym polegają używane inteligentne okulary rzeczywistości mieszanej (patrz tabela materiałów) oraz laptop do aplikacji 2D.

  1. Sprawdź rozwiązanie techniczne przed każdym uczestnikiem; ustawione w trybie domyślnym. Przygotuj kwestionariusze i umieść je obok uczestnika.
  2. Pozwól uczestnikom rozwiązywać zadania z przypadków użycia, wykrywania wartości odstających i rozpoznawania klastrów w jednej sesji (tj. średni czas wynosił 43 minuty).
  3. Rozpocznij badanie od powitania uczestników i przedstawienia celu badania, a także ogólnej procedury.
  4. Uczestnicy korzystający z urządzenia do pomiaru przewodnictwa skóry (patrz Tabela materiałów) muszą przestrzegać krótkiej fazy spoczynku, aby otrzymać pomiar podstawowy. Tylko połowa uczestników korzystała z tego urządzenia.
  5. Wszyscy uczestnicy muszą wypełnić kwestionariusz Inwentarza Stanu i Cechy Lęku (STAI) 31, przed rozpoczęciem eksperymentu.
    1. Następnie uczestnicy muszą wykonać test rotacji umysłowej (patrz Rysunek 4, ten test oceniał zdolności wyobraźni przestrzennej), który był podstawą do odróżnienia osób osiągających wysokie wyniki od słabych (osoby osiągające wysokie wyniki są zaawansowanymi użytkownikami, podczas gdy osoby osiągające słabe wyniki są nowicjuszami), a następnie test dźwięku przestrzennego w celu zmierzenia zdolności słuchu przestrzennego uczestnika.
      UWAGA: Mediana wyników testu w teście rotacji mentalnej 32 została użyta do odróżnienia osób osiągających niskie wyniki od osób osiągających wysokie wyniki.
  6. Losowo podziel uczestników na dwie grupy; Rozpocznij od zadania dotyczącego wykrywania wartości odstających lub rozpoznawania klastrów, a następnie kontynuuj drugi przypadek użycia. W przypadku zadania polegającego na rozpoznawaniu klastrów połowa uczestników najpierw zaczęła od używanych inteligentnych okularów rzeczywistości mieszanej (patrz tabela materiałów), a następnie korzystała z aplikacji 2D, podczas gdy druga połowa najpierw zaczęła od aplikacji 2D, a następnie korzystała z inteligentnych okularów rzeczywistości mieszanej (patrz tabela materiałów). W przypadku zadania wykrywania wartości odstających losowo wybierz jedną grupę, która otrzymuje wsparcie dźwiękowe, podczas gdy druga część grupy nie otrzymuje żadnego wsparcia dźwiękowego.
  7. Na zakończenie sesji uczestnicy muszą ponownie odpowiedzieć na kwestionariusz Inwentarza Stanu i Cechy Lęku (STAI)31, a także na kwestionariusz opracowany samodzielnie i demograficzny.
  8. Przechowuj wygenerowane dane, które zostały automatycznie zarejestrowane przez każdą opracowaną aplikację, w pamięci laptopa po zakończeniu sesji.

2. Protokół badania dla uczestników

  1. Przygotuj eksperyment (patrz Rysunek 2 dla pomieszczenia eksperymentu) dla każdego uczestnika. Zaprezentuj komputer stacjonarny, używane inteligentne okulary rzeczywistości mieszanej i rozdaj kwestionariusze.
  2. Poinformuj uczestników, że eksperyment potrwa od 40 do 50 minut i że połowa z nich zaczyna po testach wstępnych (patrz punkty 3-6 protokołu badania) najpierw od testu wykrywania wartości odstających (patrz punkt 7 protokołu badania), a następnie testu rozpoznawania klastrów (patrz punkt 8 protokołu badania), podczas gdy pozostali wykonują te dwa testy odwrotnie (tj. Punkt 8 Protokołu Badań przed Punktem 7).
  3. Zdecyduj losowo, czy pomiar przewodnictwa skóry ma być wykonywany. W przypadku odpowiedzi twierdzącej przygotuj urządzenie do pomiaru przewodnictwa skóry33 i poinformuj uczestnika, aby założył urządzenie. Poproś uczestników o krótką fazę odpoczynku, aby otrzymać podstawowy pomiar ich poziomu stresu.
  4. Poproś uczestników o wypełnienie kwestionariusza Inwentarz Stanu i Cechy Lęku (STAI)31 i poinformuj ich, że mierzy on aktualny odczuwany stres przed eksperymentem.
  5. Przeprowadź test rotacji mentalnej.
    1. Poinformuj uczestników, że oceniane są ich zdolności do rotacji umysłowej i zaproś ich przed komputer stacjonarny. Poinformuj uczestników o procedurze testowej. Zauważ, że musieli zidentyfikować podobne obiekty, które miały różne pozycje w symulowanej przestrzeni 3D.
    2. Poinformuj uczestników, że tylko dwa z pięciu pokazanych obiektów są podobne i że będą mieli 2 minuty na cały test. Poinformuj uczestników, że siedem zadań można wykonać w ciągu 2 minut i powiedz im, że dla każdego wykonanego zadania rejestrowane są miary wydajności.
  6. Oceń zdolności dźwięku przestrzennego.
    1. Poinformuj uczestników, że oceniane są ich zdolności w zakresie dźwięku przestrzennego i zaprowadź ich przed komputerem stacjonarnym. Poinformuj uczestników o procedurze testowej. Wyjaśnij uczestnikom, że musi zostać wykrytych sześć próbek dźwięku, z których każda będzie odtwarzana przez 13 sekund.
    2. Poinformuj uczestników, że muszą wykryć kierunek (analogicznie do czterech kierunków kompasu), z którego dochodzi dźwięk.
  7. Oceń umiejętności wykrywania wartości odstających.
    1. Poproś uczestników, aby założyli inteligentne okulary rzeczywistości mieszanej. Wyjaśnij im, że wartości odstające muszą znajdować się w świecie stworzonym dla inteligentnych okularów rzeczywistości mieszanej.
    2. Ponadto poinformuj ich, że wartość odstająca jest punktem oznaczonym na czerwono, a wszystkie inne punkty są oznaczone na biało. Wyjaśnij im więc, że muszą skierować swój wzrok na czerwony punkt, aby go wykryć.
    3. Ponadto poinformuj uczestników, że zapewniona jest nie tylko pomoc wizualna, ale także dźwięki otoczenia pomagają im znaleźć wartości odstające. Poinformuj uczestników, że muszą wykonać 8 zadań odstających, co oznacza, że 8 razy w wirtualnym świecie musi zostać znaleziony czerwony punkt. Dla każdego uczestnika 4 zadania są wspierane dźwiękiem, a 4 zadania są obsługiwane dźwiękiem. Dla każdego uczestnika wybierane jest losowo, czy rozpoczyna zadanie z dźwiękiem, czy nie. Następnie, w zależności od pierwszego zadania, zmienia się z zadania na zadanie, czy zapewnione jest solidne wsparcie, czy nie.
    4. Powiedz uczestnikom, jakie informacje będą rejestrowane: wymagany czas na każde zadanie, długość chodzenia i jak wygląda ich ostateczna ruchoma pozycja w stosunku do pozycji wyjściowej. Na koniec powiedz uczestnikom, że zaznaczony na czerwono punkt zmieni kolor na zielony, jeśli zostanie wykryty (zobacz Rysunek 3).
  8. Oceń umiejętności rozpoznawania klastrów.
    1. Losowo zdecyduj za uczestnika, czy najpierw chce użyć inteligentnych okularów rzeczywistości mieszanej, czy też zaprosić uczestnika do komputera stacjonarnego. Poniżej opisano tylko procedurę dotyczącą ustawienia rzeczywistości mieszanej. Jeśli uczestnik po raz pierwszy zaczyna od komputera stacjonarnego, procedura jest taka sama w zmienionej kolejności i z wyjątkiem poleceń głosowych, są one dostępne tylko podczas korzystania z rozwiązania rzeczywistości mieszanej.
    2. Dla uczestników korzystających z rzeczywistości mieszanej: Poproś uczestników o założenie inteligentnych okularów rzeczywistości mieszanej. Poinformuj uczestników, jak znaleźć klastry w świecie utworzonym za pomocą używanych inteligentnych okularów rzeczywistości mieszanej. Podkreśl uczestnikom, że musieli rozróżnić nakładające się na siebie klastry, poruszając się wokół nich.
    3. Dla uczestników korzystających z rzeczywistości mieszanej: Wyjaśnij uczestnikom, że mogą poruszać się w świecie wirtualnym i wokół klastrów za pomocą poleceń głosowych. Na koniec powiedz uczestnikom, że musieli wykryć sześć klastrów.
    4. Dla uczestników korzystających z rzeczywistości mieszanej: Poproś uczestników o usunięcie używanych inteligentnych okularów rzeczywistości mieszanej. Przenieś uczestników do komputera stacjonarnego i powiedz im, aby korzystali z oprogramowania wyświetlanego na ekranie komputera stacjonarnego. Poinformuj ich, że ten sam typ klastrów, jaki pokazano w używanych inteligentnych okularach rzeczywistości mieszanej, musiał zostać wykryty za pomocą oprogramowania na komputerze stacjonarnym (patrz Rysunek 7 i Rysunek 8).
  9. Poproś uczestników o wypełnienie trzech kwestionariuszy, a mianowicie kwestionariusza Inwentarza Stanu i Cechy Lęku (STAI) 31, samodzielnie opracowanego kwestionariusza w celu zebrania subiektywnych informacji zwrotnych oraz kwestionariusza demograficznego w celu zebrania informacji na ich temat.
  10. Poproś uczestników, aby zdjęli urządzenie do pomiaru przewodnictwa skóry33, jeśli na początku poproszono ich o jego założenie.
  11. Odciąż uczestników od eksperymentu, dziękując za udział.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ustawianie miar dla eksperymentu
Dla zadania wykrywania wartości odstających zdefiniowano następujące miary wydajności: czas, ścieżka i kąt. Zobacz Rysunek 6 dla pomiarów.

Czas był rejestrowany do momentu znalezienia punktu oznaczonego na czerwono (tj. wartości odstającej). Ta miara wydajności wskazuje, ile czasu potrzebował uczestnik na znalezienie punktu zaznaczonego na czerwono. Czas jest oznaczany jako zmienna "czas" (w milisekundach) w wy...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Jeśli chodzi o opracowane zastosowanie inteligentnych okularów rzeczywistości mieszanej (patrz tabela materiałów), dwa aspekty były szczególnie korzystne. Wykorzystanie dźwięków przestrzennych do zadania detekcji wartości odstających zostało z jednej strony pozytywnie odebrane (patrz wyniki RQ3). Z drugiej strony, korzystanie z poleceń głosowych było również odbierane pozytywnie (zob . rys. 10).

Jeśli chodzi o uczestników badania, chociaż liczba z...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do potwierdzenia.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
edaMoveprzenosi
HoloLensMicrosoft
Matlab R2017aMathWorks
RPY2GNU General Public License v2 lub nowszy (GPLv2+) (GPLv2+)https://pypi.org/project/rpy2/
SPSS 25.0IBM

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
  2. Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
  3. Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
  4. Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
  5. Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
  6. Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53(2018).
  7. Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
  8. Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248(2019).
  9. Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
  10. Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
  11. Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
  12. Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
  13. Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
  14. Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
  15. Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
  16. Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656(2019).
  17. System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
  18. Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215(2019).
  19. Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978(2019).
  20. Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
  21. Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148(2018).
  22. Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
  23. Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903(2019).
  24. Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561(2020).
  25. Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
  26. Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
  27. Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
  28. Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
  29. Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
  30. Fonnet, A., Prié, Y. Survey of Immersive Analytics. IEEE Transactions on Visualization and Computer. , (2019).
  31. Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
  32. Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
  33. Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
  34. Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
  35. Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
  36. Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Mixed Reality Smart GlassesImmersive AnalyticsIndustry 4 0 ScenariosUsability Evaluation ProtocolOutlier Detection TaskCluster Recognition SkillSpatial Sound AbilityMental Rotation TestState Trait Anxiety InventorySkin Conductance Measurement

Related Articles