Summary
Det här protokollet beskriver den tekniska inställningen för ett utvecklat program för mixad verklighet som används för integrerande analys. Utifrån detta presenteras mått som använts i en studie för att få insikter i användbarhetsaspekter av den utvecklade tekniska lösningen.
Abstract
Inom medicin eller industri krävs alltmer analys av högdimensionella datamängder. Tillgängliga tekniska lösningar är dock ofta komplexa att använda. Därför är nya metoder som immersiv analys välkomna. Integrerande analys lovar att uppleva högdimensionella datauppsättningar på ett bekvämt sätt för olika användargrupper och datauppsättningar. Tekniskt sett används virtuella verklighetsenheter för att möjliggöra integrerande analys. I Industri 4.0 eftersträvas till exempel scenarier som identifiering av avvikande värden eller avvikelser i högdimensionella datauppsättningar som mål för integrerande analys. I detta sammanhang bör två viktiga frågor tas upp för alla utvecklade tekniska lösningar på immersiv analys: För det första, är de tekniska lösningarna till hjälp eller inte? För det andra, är den kroppsliga upplevelsen av den tekniska lösningen positiv eller negativ? Den första frågan syftar till den allmänna genomförbarheten av en teknisk lösning, medan den andra syftar till bärkomforten. Befintliga studier och protokoll, som systematiskt behandlar dessa frågor, är fortfarande sällsynta. I detta arbete presenteras ett studieprotokoll som huvudsakligen undersöker användbarheten för immersiv analys i Industri 4.0-scenarier. Närmare bestämt bygger protokollet på fyra pelare. Först kategoriserar den användare baserat på tidigare erfarenheter. För det andra presenteras uppgifter som kan användas för att utvärdera genomförbarheten av den tekniska lösningen. För det tredje presenteras åtgärder som kvantifierar en användares inlärningseffekt. För det fjärde utvärderar ett frågeformulär stressnivån när man utför uppgifter. Baserat på dessa pelare implementerades en teknisk inställning som använder smartglasögon med mixad verklighet för att tillämpa studieprotokollet. Resultaten av den genomförda studien visar protokollets tillämplighet å ena sidan och genomförbarheten av immersiv analys i Industri 4.0-scenarier å andra sidan. Det presenterade protokollet innehåller en diskussion om upptäckta begränsningar.
Introduction
Virtuella verklighetslösningar (VR-lösningar) blir allt viktigare inom olika områden. Ofta, med VR-lösningar (inklusive Virtual Reality, Mixed Reality och Augmented Reality), ska utförandet av många dagliga uppgifter och procedurer underlättas. Till exempel inom fordonsdomänen kan konfigurationsproceduren för en bil stödjas med hjälp av Virtual Reality1 (VR). Forskare och praktiker har undersökt och utvecklat en mängd olika tillvägagångssätt och lösningar i detta sammanhang. Studier som undersöker användbarhetsaspekter är dock fortfarande sällsynta. I allmänhet bör aspekterna övervägas mot bakgrund av två viktiga frågor. Först måste det utvärderas om en VR-lösning faktiskt överträffar ett tillvägagångssätt som inte använder VR-tekniker. För det andra, eftersom VR-lösningar huvudsakligen förlitar sig på tunga och komplexa hårdvaruenheter, bör parametrar som bärkomfort och mental ansträngning undersökas mer ingående. Dessutom bör de nämnda aspekterna alltid undersökas med avseende på det aktuella tillämpningsområdet. Även om många befintliga tillvägagångssätt ser behovet av att undersöka dessa frågor2, finns det färre studier som har presenterat resultat.
Ett forskningsämne inom VR, som för närvarande är viktigt, betecknas med immersiv analys. Det härrör från forskningsområdet visuell analys, som försöker inkludera den mänskliga uppfattningen i analysuppgifter. Denna process är också känd som visuell datautvinning4. Immersiv analys innehåller ämnen från datavisualisering, visuell analys, virtuell verklighet, datorgrafik och människa-datorinteraktion5. De senaste fördelarna med huvudmonterade skärmar (HMD) ledde till förbättrade möjligheter att utforska data på ett uppslukande sätt. Längs dessa trender uppstår nya utmaningar och forskningsfrågor, som utvecklingen av nya interaktionssystem, behovet av att undersöka användartrötthet eller utvecklingen av sofistikerade 3D-visualiseringar6. I en tidigare publikation6 diskuteras viktiga principer för immersiv analys. Mot bakgrund av big data behövs metoder som immersiv analys mer och mer för att möjliggöra en bättre analys av komplexa datapooler. Det finns endast ett fåtal studier som undersöker användbarhetsaspekter av integrerande analyslösningar. Dessutom bör området i fråga också beaktas i sådana studier. I detta arbete utvecklades en immersiv analysprototyp, och baserat på det, ett protokoll som undersöker den utvecklade lösningen för Industri 4.0-scenarier. Protokollet utnyttjar därmed erfarenhetsmetod2, som bygger på subjektiva, prestationsmässiga och fysiologiska aspekter. I det aktuella protokollet mäts de subjektiva aspekterna genom upplevd stress hos studieanvändarna. Prestanda mäts i sin tur genom den tid som krävs och fel som görs för att utföra analysuppgifter. Slutligen mätte en hudkonduktanssensor fysiologiska parametrar. De två första måtten kommer att presenteras i detta arbete, medan den uppmätta hudkonduktansen kräver ytterligare insatser för att utvärderas.
Den presenterade studien involverar flera forskningsområden, särskilt neurovetenskapliga aspekter och informationssystem. Intressant nog har överväganden om neurovetenskapliga aspekter av informationssystem nyligen uppmärksammats av flera forskargrupper7,8, vilket visar efterfrågan på att utforska användningen av IT-system också ur kognitiv synvinkel. Ett annat område som är relevant för detta arbete är undersökning av mänskliga faktorer i informationssystem 9,10,11. Inom området människa-datorinteraktion finns instrument för att undersöka användbarheten av en lösning. Observera att System Usability Scale huvudsakligen används i detta sammanhang12. Thinking Aloud Protocols13 är en annan allmänt använd studieteknik för att lära sig mer om användningen av informationssystem. Även om det finns många metoder för att mäta användbarhetsaspekter av informationssystem, och några av dem har presenterats för länge sedan14, uppstår fortfarande frågor som kräver att man undersöker nya åtgärder eller studiemetoder. Därför är forskning inom detta område mycket aktiv12,15,16.
I det följande kommer orsakerna att diskuteras varför två övervägande använda metoder inte har beaktats i det aktuella arbetet. För det första användes inte skalan för systemanvändbarhet. Skalan bygger på tio frågor17 och dess användning finns även i flera andra VR-studier18. Eftersom denna studie huvudsakligen syftar till mätning av stress19 var ett stressrelaterat frågeformulär mer lämpligt. För det andra användes inget Thinking Aloud Protocol20. Även om denna protokolltyp har visat sin användbarhet i allmänhet13, användes den inte här eftersom stressnivån hos studieanvändare kan öka endast på grund av att think aloud-sessionen måste utföras parallellt med användningen av en tung och komplex VR-enhet. Även om dessa två tekniker inte har använts, har resultaten från andra nyligen genomförda studier införlivats i den aktuella studien. Till exempel, i tidigare verk21,22, skiljer författarna mellan nybörjare och experter i sina studier. Baserat på det framgångsrika resultatet av dessa studier använder det aktuella protokollet denna presenterade separation av studieanvändare. Stressmätningen bygger i sin tur på idéer från följande verk 15,19,21,22.
Först, för att genomföra studien, måste ett lämpligt Industri 4.0-scenario hittas för att utföra analytiska uppgifter. Inspirerade av ett annat arbete av författarna23 har två scenarier (dvs. analysuppgifterna) identifierats, (1) Detektion av avvikande värden och (2) Erkännande av kluster. Båda scenarierna är utmanande och är mycket relevanta i samband med underhåll av produktionsmaskiner med hög genomströmning. Baserat på detta beslut har sex viktiga överväganden drivit studieprotokollet som presenteras i detta arbete:
- Lösningen som utvecklats för studien kommer att vara tekniskt baserad på smartglasögon med mixad verklighet (se Table of Materials) och kommer att utvecklas som en mixed reality-applikation.
- Ett lämpligt test måste utvecklas, vilket kan skilja nybörjare från avancerade användare.
- Prestationsmått bör ta hänsyn till tid och fel.
- Ett skrivbordsprogram måste utvecklas, vilket kan jämföras med den integrerande analyslösningen.
- Ett mått måste tillämpas för att utvärdera den upplevda stressnivån.
- Utöver den senare punkten ska funktioner utvecklas för att mildra stressnivån medan en användare utför proceduren för de två nämnda analysuppgifterna (dvs. (1) detektering av avvikande värden och (2) igenkänning av kluster).
Baserat på de sex nämnda punkterna innehåller studieprotokollet följande procedur. Uppgifter för avvikande identifiering och klusterigenkänningsanalys måste utföras på ett integrerande sätt med smartglasögon för mixad verklighet (se materialtabell). Därför utvecklades en ny applikation. Rumsliga ljud ska underlätta utförandet av analysuppgifter utan att öka den mentala ansträngningen. En röstfunktion ska underlätta navigeringen som används för den utvecklade tillämpningen av smartglasögon för mixad verklighet (se Materialförteckning). Ett test av mental rotation ska ligga till grund för att skilja nybörjare från avancerade användare. Stressnivån mäts utifrån ett frågeformulär. Prestanda utvärderas i sin tur baserat på den (1) tid som en användare behöver för analysuppgifterna och baserat på de (2) fel som gjordes av en användare för analysuppgifterna. Prestandan i smartglass med mixad verklighet jämförs med utförandet av samma uppgifter i ett nyutvecklat och jämförbart 2D-skrivbordsprogram. Dessutom används en hudkonduktansanordning för att mäta hudens konduktansnivå som en möjlig indikator för stress. Resultaten av denna mätning är föremål för ytterligare analys och kommer inte att diskuteras i detta arbete. Författarna avslöjade i en annan studie med samma enhet att ytterligare överväganden krävs24.
Baserat på detta protokoll behandlas följande fem forskningsfrågor (RQ):
RQ1: Påverkar deltagarnas rumsliga fantasiförmåga utförandet av uppgifter avsevärt?
RQ2: Finns det en betydande förändring av uppgiftsprestanda över tid?
RQ3: Sker det en betydande förändring av uppgiftsprestanda när du använder rumsliga ljud i den integrerande analyslösningen?
RQ4: Upplevs den utvecklade immersiva analysen stressande av användarna?
RQ5: Presterar användarna bättre när de använder en integrerande analyslösning jämfört med en 2D-metod?
Figur 1 sammanfattar det presenterade protokollet med avseende på två skalor. Den visar de utvecklade och använda åtgärderna och deras nyhet med avseende på interaktionsnivån. Eftersom interaktionsnivån utgör en viktig aspekt vid utveckling av funktioner för en VR-inställning ska figur 1 bättre visa nyheten i hela protokollet som utvecklats i detta arbete. Även om utvärderingen av aspekterna inom de två använda skalorna är subjektiv, baseras deras övergripande utvärdering på det aktuella relaterade arbetet och följande viktiga överväganden: En viktig princip är användningen av abstraktioner av en miljö för en naturlig interaktion, där användaren har blivit anpassad. När det gäller det aktuella protokollet verkar visualiseringen av punktmoln vara intuitiv för användare och igenkänningen av mönster i sådana moln har erkänts som en hanterbar uppgift i allmänhet. En annan viktig princip är att överlappa överkomliga priser. Härmed är användningen av rumsliga ljud som används i det aktuella protokollet ett exempel, eftersom de korrelerar med närheten till ett sökt objekt. Författarna rekommenderar att ställa in representationerna på ett sätt så att den mesta informationen ligger i mellanzonen, vilket är viktigast för mänsklig uppfattning. Anledningen till att författarna inte inkluderade denna princip var att uppmuntra användaren att hitta den bästa platsen själv samt att försöka orientera sig i ett datavisualiseringsutrymme, som är för stort för att visas på en gång. I det presenterade tillvägagångssättet gjordes inga ytterligare överväganden om egenskaperna hos de 3D-data som skulle visas. Om en dimension antas vara tidsmässig kan spridningsdiagram till exempel ha visats. Författarna anser att denna typ av visualisering generellt är intressant i samband med Industri 4.0. Det måste dock fokuseras på en ganska liten uppsättning visualiseringar. Dessutom fokuserade en tidigare publikation redan på samarbetsanalys av data. I detta arbete exkluderades denna forskningsfråga på grund av komplexiteten hos de andra behandlade frågorna i denna studie. I den presenterade installationen här kan användaren utforska det uppslukande utrymmet genom att gå runt. Andra metoder erbjuder styrenheter att utforska det virtuella utrymmet. I denna studie ligger fokus på användbarheten med hjälp av System Usability Scale (SUS). En annan tidigare publikation har genomfört en studie för ekonomiska experter, men med VR-headset. I allmänhet, och viktigast av allt, klagar denna studie på det begränsade synfältet för andra enheter som de använda smartglasögonen för blandad verklighet i detta arbete (se materialförteckning). Deras resultat visar att nybörjare inom VR-området kunde använda analysverktyget effektivt. Detta matchar erfarenheterna från denna studie, även om nybörjare i detta arbete inte klassificerades för att ha VR- eller spelupplevelser. Till skillnad från de flesta VR-lösningar är mixad verklighet inte fast vid en position eftersom den gör det möjligt att spåra den verkliga miljön. VR-tillvägagångssätt som att nämna användningen av speciella stolar för en 360 ° -upplevelse för att befria användaren från skrivbordet. Författarna till indikerar att uppfattningsproblem påverkar prestandan för uppslukande analys; Till exempel genom att använda skuggor. För den aktuella studien är detta inte genomförbart, eftersom de använda smartglasögonen med mixad verklighet (se materialtabell) inte kan visa skuggor. En lösning kan vara ett virtuellt golv, men en sådan inställning låg utanför ramen för denna studie. En undersökningsstudie inom området immersiv analys identifierade 3D-spridningsdiagram som en av de vanligaste representationerna av flerdimensionella data. Sammantaget kan de aspekter som visas i figur 1 för närvarande inte hittas sammanställda till ett protokoll som undersöker användbarhetsaspekter av integrerande analys för Industri 4.0-scenarier.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Alla material och metoder godkändes av etikkommittén vid Ulm University och genomfördes i enlighet med de godkända riktlinjerna. Alla deltagare gav sitt skriftliga informerade samtycke.
1. Skapa lämplig studiemiljö
OBS: Studien genomfördes i en kontrollerad miljö för att hantera den komplexa hårdvaruinställningen. De använda smartglasögonen för mixad verklighet (se Table of Materials) och den bärbara datorn för 2D-applikationen förklarades för studiedeltagarna.
- Kontrollera den tekniska lösningen före varje deltagare; Ställ in i standardläge. Förbered frågeformulären och placera bredvid en deltagare.
- Låt deltagarna lösa uppgifter från avvikande identifiering och klusterigenkänning i en session (dvs. genomsnittlig tid var 43 minuter).
- Börja studien med att välkomna deltagarna och introducera målet med studien, liksom det övergripande förfarandet.
- Deltagare som använder mätanordningen för hudkonduktans (se materialförteckning) måste hålla sig till en kort vilofas för att få en baslinjemätning. Endast hälften av deltagarna använde den här enheten.
- Alla deltagare måste fylla i frågeformuläret State-Trait Angst Inventory (STAI)31 före experimentets början.
- Därefter måste deltagarna utföra det mentala rotationstestet (se figur 4, detta test utvärderade de rumsliga fantasiförmågorna), vilket var grunden för att skilja högpresterande från lågpresterande (högpresterande är avancerade användare, medan lågpresterande är nybörjare), följt av det rumsliga ljudtestet för att mäta en deltagares rumsliga hörselförmåga.
OBS: En medianuppdelning av testresultaten i det mentala rotationstestet32 användes för att skilja lågpresterande från högpresterande.
- Därefter måste deltagarna utföra det mentala rotationstestet (se figur 4, detta test utvärderade de rumsliga fantasiförmågorna), vilket var grunden för att skilja högpresterande från lågpresterande (högpresterande är avancerade användare, medan lågpresterande är nybörjare), följt av det rumsliga ljudtestet för att mäta en deltagares rumsliga hörselförmåga.
- Slumpmässigt separera deltagare i två grupper; Börja antingen med uppgiften om avvikande identifiering eller klusterigenkänning, medan du fortsätter med det andra användningsfallet efteråt. För klusterigenkänningsuppgiften började hälften av deltagarna först med de använda smartglasögonen för mixad verklighet (se Materialförteckning) och använde sedan 2D-programmet, medan den andra hälften först började med 2D-programmet och sedan använde smartglasögonen för mixad verklighet (se Materialförteckning). För avvikande identifieringsuppgiften väljer du slumpmässigt en grupp som får ljudstöd, medan den andra delen av gruppen inte får något ljudstöd.
- Avsluta sessionen, deltagarna måste svara på frågeformuläret State-Trait Angst Inventory (STAI)31 igen, liksom det självutvecklade och ett demografiskt frågeformulär.
- Lagra genererade data, som automatiskt spelades in av varje utvecklad applikation, på den bärbara datorns lagring efter att sessionen genomfördes.
2. Studieprotokoll för deltagare
- Förbered experimentet (se figur 2 för experimentrummet) för varje deltagare. Presentera den stationära datorn, de använda smartglasögonen för mixad verklighet och dela ut frågeformulären.
- Informera deltagarna om att experimentet kommer att ta 40 till 50 minuter och att hälften av dem börjar efter förtesterna (se punkterna 3-6 i studieprotokollet) först med detektionstestet för avvikande värden (se punkt 7 i studieprotokollet), följt av klusterigenkänningstestet (se punkt 8 i studieprotokollet), medan de andra utför dessa två tester vice versa (dvs. Punkt 8 i undersökningsprotokollet före punkt 7).
- Bestäm slumpmässigt om en hudkonduktansmätning görs. Om ja, förbered enheten för mätning av hudkonduktans33 och informera deltagaren om att sätta på enheten. Begär en kort vilofas från deltagarna för att få en baslinjemätning för deras stressnivå.
- Be deltagarna att fylla i frågeformuläret State-Trait Angst Inventory (STAI)31 och informera dem om att det mäter den nuvarande upplevda stressen före experimentet.
- Utför ett mentalt rotationstest.
- Informera deltagarna om att deras mentala rotationsförmåga utvärderas och leda dem framför en stationär dator. Informera deltagarna om testförfarandet. Observera att de var tvungna att identifiera liknande objekt som hade olika positioner i ett simulerat 3D-utrymme.
- Informera deltagarna om att endast två av de fem visade objekten liknar varandra och att de kommer att ha 2 minuter för hela testet. Informera deltagarna om att sju uppgifter kan utföras inom de givna 2 minuterna och berätta för dem att prestationsmått registreras för varje utförd uppgift.
- Utvärdera rumsliga ljudförmågor.
- Informera deltagarna om att deras rumsliga ljudförmåga utvärderas och leda dem framför en stationär dator. Informera deltagarna om testförfarandet. Förklara för deltagarna att sex ljudprover måste detekteras, som kommer att spelas i 13 sekunder vardera.
- Informera deltagarna om att de måste upptäcka riktningen (analogt med de fyra kompassriktningarna) som ljudet kommer från.
- Utvärdera avvikande identifieringsfärdigheter.
- Be deltagarna att ta på sig smartglasögonen för mixad verklighet. Förklara för dem att avvikande värden måste hittas i den värld som skapats för smartglasögon med mixad verklighet.
- Informera dem vidare om att en avvikare är en rödmarkerad punkt, alla andra punkter är vitmarkerade. Förklara då för dem att de måste rikta blicken mot den rödfärgade punkten för att upptäcka den.
- Informera vidare deltagarna om att inte bara visuell hjälp tillhandahålls, dessutom stöder miljöljud dem för att hitta avvikare. Ge informationen till deltagarna att de måste utföra 8 avvikande uppgifter, vilket innebär att 8 gånger inom den virtuella världen måste den rödfärgade punkten hittas. För varje deltagare stöds 4 uppgifter ljud, medan 4 uppgifter inte stöds. För varje deltagare väljs det slumpmässigt om de startar en uppgift med ljudstöd eller inte. Sedan, beroende från den första uppgiften, ändras den från uppgift till uppgift oavsett om bra stöd tillhandahålls eller inte.
- Berätta för deltagarna vilken information som kommer att registreras: nödvändig tid för varje uppgift, gånglängd och hur deras slutliga rörliga position ser ut i förhållande till deras startposition. Berätta slutligen för deltagarna att den rödmarkerade punkten ändras till grönt om den upptäcktes (se figur 3).
- Utvärdera klusterigenkänningskunskaper.
- Bestäm slumpmässigt för deltagaren om du först ska använda smartglasögonen för mixad verklighet eller leda deltagaren till en stationär dator. I det följande beskrivs endast proceduren för inställningen för mixad verklighet. Om en deltagare först börjar med den stationära datorn är proceduren densamma i ändrad ordning och förutom röstkommandona tillhandahålls de bara när du använder lösningen för mixad verklighet.
- För deltagare som använder mixad verklighet: Be deltagarna att ta på sig smartglasögon för mixad verklighet. Informera deltagarna om hur man hittar kluster i världen som skapats med de använda smartglasögonen för mixad verklighet. Betona för deltagarna att de var tvungna att skilja mellan överlappande kluster genom att flytta runt dem.
- För deltagare som använder mixad verklighet: Förklara för deltagarna att de kan navigera i den virtuella världen och runt klustren med hjälp av röstkommandon. Slutligen berätta för deltagarna att de var tvungna att upptäcka sex kluster.
- För deltagare som använder mixad verklighet: Be deltagarna att ta bort de använda smartglasögonen för mixad verklighet. Led deltagarna till en stationär dator och berätta för dem att använda programvaran som visas på skärmen på den stationära datorn. Informera dem om att samma typ av kluster som visas i de använda smartglasögonen för mixad verklighet måste identifieras med hjälp av programvaran på den stationära datorn (se figur 7 och figur 8).
- Be deltagarna att fylla i tre frågeformulär, nämligen frågeformuläret State-Trait Angst Inventory (STAI)31, ett självutvecklat frågeformulär för att samla subjektiv feedback och ett demografiskt frågeformulär för att samla information om dem.
- Be deltagarna att ta bort hudkonduktansmätningsenheten33 om de i början ombads att sätta på den.
- Befria deltagarna från experimentet genom att tacka för deltagandet.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Ställa in åtgärder för experimentet
För avvikande identifieringsuppgiften definierades följande prestandamått: tid, bana och vinkel. Se figur 6 för mätningarna.
Tiden registrerades tills en rödmarkerad punkt (dvs. avvikaren) hittades. Detta prestationsmått anger hur lång tid en deltagare behövde för att hitta den rödmarkerade punkten. Tid betecknas som variabeln "tid" (i millisekunder) i resultaten.
Medan deltagarna försökte hitta den rödmarkerade punkten bestämdes deras gångvägslängd. Grunden för denna beräkning var att de använda smartglasögonen med mixad verklighet (se materialtabell) samlar in den aktuella positionen som en 3D-vektor relativt startpositionen med en bildhastighet på 60 bilder per sekund. Baserat på detta kunde längden på vägen som en deltagare hade gått beräknas. Detta prestationsmått indikerar om deltagarna gick mycket eller inte. Sökväg betecknas som PathLength i resultatet. Baserat på PathLength härleddes ytterligare tre prestandamått: PathMean, PathVariance och BoundingBox. PathMean anger deltagarnas genomsnittliga hastighet i meter per bildruta, PathVariance en rörelses oregelbundenhet och BoundingBox anger om deltagarna intensivt hade använt sin begränsningsram. Det senare bestäms utifrån de maximala och minsta positionerna för alla rörelser (dvs. deltagare som ofta ändrar sin gångposition avslöjade högre BoundingBox-värden).
Det sista värdet som mättes betecknas med AngleMean och utgör ett härlett värde för vinkeln, som betecknas med AngleMean. Den senare betecknar rotationen mellan en deltagares nuvarande position och startposition med en bildhastighet på 60 per sekund. Baserat på detta beräknades den genomsnittliga rotationshastigheten i grader per ram. Härledd på detta värde beräknades rotationens oregelbundenhet med variansen, som betecknas som AngleVariance.
För att sammanfatta syftet med de beräknade ban- och vinkelvärdena anger sökvägen om användarna går mycket eller inte. Om de inte går mycket kan det indikera deras brist på orientering. Vinkeln bör i sin tur indikera om deltagarna gör snabba eller plötsliga huvudrörelser. Om de gör plötsliga huvudrörelser vid flera tillfällen kan detta återigen indikera brist på orientering.
För klusteridentifieringsuppgiften definierades följande prestandamått: tid och fel. Tiden registrerades fram till den tidpunkt då deltagarna rapporterade hur många kluster de har upptäckt. Detta prestandamått anger hur lång tid deltagarna behövde för att hitta kluster. Tid betecknas som Tid (i millisekunder). Fel identifieras i betydelsen av ett binärt beslut (sant/falskt). Antingen var antalet rapporterade kluster korrekt (sant) eller inte korrekt (falskt). Fel betecknas med fel.
Den statliga versionen av State-Trait Anxiety Inventory (STAI) frågeformulär31 användes för att mäta statens ångest, en konstruktion som liknar statlig stress. Enkäten omfattar 20 punkter och delades ut innan studien startade, samt efteråt för att utvärdera förändringarna i tillståndsångesten. För utvärderingen av detta frågeformulär vändes alla positiva attribut (t.ex. ett svar "4" blir ett "1") och alla svar summeras till en slutlig STAI-poäng. Hudkonduktansen mättes för 30 slumpmässigt utvalda deltagare med hjälp av mätanordningen för hudkonduktans (se materialtabell)33.
Efter att de två uppgiftstyperna har uppnåtts delades ett självutvecklat frågeformulär ut i slutet av studien för att be om deltagarnas feedback. Frågeformuläret visas i tabell 1. Dessutom frågade ett demografiskt frågeformulär om kön, ålder och utbildning för alla deltagare.
Övergripande studieförfarande och studieinformation
Den övergripande genomförda studieproceduren illustreras i figur 9. 60 deltagare anslöt sig till studien. Deltagarna rekryterades mestadels vid Ulm University och mjukvaruföretag från Ulm. De deltagande studenterna var främst från datavetenskap, psykologi och fysik. Tio var kvinnor och 50 var män.
Baserat på det mentala rotationsförtestet kategoriserades 31 som lågpresterande, medan 29 kategoriserades som högpresterande. Specifikt kategoriserades 7 kvinnor och 24 män som lågpresterande, medan 3 kvinnor och 26 män kategoriserades som högpresterande. För de statistiska utvärderingarna användes 3 programvaruverktyg (se Materialförteckning).
Frekvenser, procentsatser, medelvärden och standardavvikelser beräknades som beskrivande statistik. Låg- och högpresterande jämfördes i demografiska variabler vid baslinjen med hjälp av Fishers exakta tester och t-tester för oberoende urval. För RQ1 -RQ5 utfördes linjära flernivåmodeller med full maximal sannolikhetsuppskattning. Två nivåer inkluderades, där nivå ett representerar de upprepade bedömningarna (antingen i avvikande detektering eller klusterigenkänning) och nivå två deltagarna. Prestandamåtten (förutom fel) var de beroende variablerna i dessa modeller. I RQ 1 användes även Fishers exakta tester för felsannolikheterna. I RQ3 undersöktes prestanda i tid i rumsliga ljud kontra inga ljud (ljud kontra inget ljud inkluderades som prediktor i modellerna). STAI-poängen utvärderades med hjälp av t-tester för beroende prover för RQ4. I RQ5 undersöktes effekten av 2D-applikationen jämfört med de använda smartglasögonen för mixad verklighet (se materialtabell) med hjälp av McNemars test för felsannolikheten. Alla statistiska tester utfördes tvåsvansade; signifikansvärdet sattes till P<.05.
Hudkonduktansresultaten har inte analyserats och är föremål för framtida arbete. Det är viktigt att författarna avslöjade i en annan studie med samma enhet att ytterligare överväganden krävs24.
För det mentala rotationstestet användes skillnaderna i de mentala rotationstestresultaten mellan deltagarna för att skilja låga från högpresterande. För det rumsliga kapacitetstestet visade alla deltagare goda poäng och kategoriserades därför alla till högpresterande med avseende på deras rumsliga förmågor.
Först sammanfattas viktiga resultat från deltagarna: Låg- och högpresterande i mental rotation visade inga skillnader i deras baslinjevariabler (kön, ålder och utbildning). Deskriptivt hade de lågpresterande en högre andel kvinnliga deltagare än högpresterande och högpresterande var yngre än lågpresterande. Tabell 2 sammanfattar egenskaperna hos deltagarna.
När det gäller resultat för RQ1, för klusterigenkänningsuppgiften, skilde sig inte låga och högpresterande signifikant för 2D-applikationen (4 fel för låga och 2 fel för högpresterande personer) och 3D-metoden (8 fel för låg och 2 fel för högpresterande prestanda). För avvikarens identifieringsuppgift var högpresterande betydligt snabbare än lågpresterande. Dessutom krävde högpresterande en kortare gångavstånd för att lösa uppgifterna. För avvikarens uppgift sammanfattar tabell 3 de detaljerade resultaten.
När det gäller resultat för RQ2 framkom signifikanta resultat endast för avvikarens detekteringsuppgift. BoundingBox, PathLength, PathVariance, PathMean, Angle-Variance och AngleMean ökade signifikant från uppgift till uppgift (se tabell 4). Den inspelade tiden förändrades i sin tur inte nämnvärt från uppgift till uppgift med hjälp av smartglasögonen för mixad verklighet (se Materialförteckning).
När det gäller resultaten för RQ3, baserat på de rumsliga ljuden, kunde deltagarna lösa uppgifterna i det avvikande detekteringsfallet snabbare än utan att använda rumsliga ljud (se tabell 5).
När det gäller resultat för RQ4, vid förhandsbedömningen, var det genomsnittliga tillståndet på STAI-poängen M = 44,58 (SD = 4,67). Vid efterbedömningen var det M = 45,72 (SD = 4,43). Denna förändring uppnådde inte statistisk signifikans (p = .175). Beskrivande statistik över svaren i det egenutvecklade frågeformuläret presenteras i figur 10.
När det gäller resultat för RQ5 indikerar metoden med smartglasögon för mixad verklighet (se Materialförteckning) betydligt snabbare klusterigenkänningstider än att använda en stationär dator (seT able 6). Hastighetsfördelen vid användning av smartglasögon med mixad verklighet (se materialtabell) var dock ganska liten (dvs. i ett millisekundersintervall).
Observera slutligen att data från denna studie finns på36.
Figur 1: Undersökta aspekter på skalan Interaktion kontra nyhet. Figuren visar de använda måtten och deras nyhet med avseende på interaktionsnivån. Klicka här för att se en större version av denna figur.
Figur 2: Bilder av studierummet. Två bilder på studierummet presenteras. Klicka här för att se en större version av denna figur.
Bild 3: Upptäckt avvikande värden. Skärmbilden visar en identifierad avvikelse. Klicka här för att se en större version av denna figur.
Figur 4: Exempel på test av mental rotation. Skärmdumpen visar de 3D-objekt som deltagarna konfronterades med; dvs två av fem objekt i olika positioner med samma objektstruktur var tvungna att satsa upptäckta. Denna siffra har ändrats baserat på detta arbete35. Klicka här för att se en större version av denna figur.
Figur 5: Inställning för testet av rumslig förmåga. I (A) visas ljudkonfigurationen för uppgiften Tillbaka, medan i (B) visas det schematiska användargränssnittet för testet. Denna siffra har ändrats baserat på detta arbete35. Klicka här för att se en större version av denna figur.
Bild 6: Illustration av inställningen för identifiering av avvikande aktivitetsvärden. Tre huvudaspekter visas. Först illustreras avvikarna. För det andra visas prestationsmått. För det tredje visas hur ljudstödet beräknades. Denna siffra har ändrats baserat på detta arbete35. Klicka här för att se en större version av denna figur.
Bild 7: Illustration av inställningen för aktivitetsklusterigenkänning. Tänk på scenarierna A-C för ett bättre intryck, deltagarna var tvungna att ändra blicken för att identifiera kluster korrekt. Denna siffra har ändrats baserat på detta arbete35. Klicka här för att se en större version av denna figur.
Bild 8: Illustration av inställningen för aktivitetsklusterigenkänning i Matlab. Figuren illustrerar kluster som tillhandahålls i Matlab, som låg till grund för 2D-skrivbordsapplikationen. Klicka här för att se en större version av denna figur.
Figur 9: Översikt över hela studien. Denna figur visar de steg deltagarna var tvungna att utföra, i kronologisk ordning. Denna siffra har ändrats baserat på detta arbete35. Klicka här för att se en större version av denna figur.
Figur 10: Resultat av det egenutvecklade frågeformuläret (se tabell 1). Resultaten visas med hjälp av låddiagram. Denna siffra har ändrats baserat på detta arbete35. Klicka här för att se en större version av denna figur.
| #Question | Fråga | Mål | Skala | Betydelse |
| 1 | Som hur stressigt upplevde du att bära glasögonen? | Bär | 1-10 | 10 betyder hög, 1 betyder låg |
| 2 | Hur stressande var avvikarens uppgift? | Extremvärden | 1-10 | 10 betyder hög, 1 betyder låg |
| 3 | Hur stressande upplevde du de rumsliga ljuden? | Ljud | 1-10 | 10 betyder hög, 1 betyder låg |
| 4 | Hur stressande var uppgiften att hitta kluster i Mixed Reality? | Kluster MR | 1-10 | 10 betyder hög, 1 betyder låg |
| 5 | Hur stressande var uppgiften att hitta kluster i skrivbordsmetoden? | Kluster DT | 1-10 | 10 betyder hög, 1 betyder låg |
| 6 | Hur stressande var användningen av röstkommandona? | Röst | 1-10 | 10 betyder hög, 1 betyder låg |
| 7 | Kände du dig stödd av de rumsliga ljuden? | Ljud | 1-10 | 10 betyder hög, 1 betyder låg |
Tabell 1: Självutvecklat frågeformulär för användaråterkoppling. Den består av 7 frågor. För varje fråga fick deltagarna bestämma ett värde inom en skala från 1-10, där 1 betyder ett lågt värde (dvs. dålig feedback) och 10 ett högt värde (dvs. en mycket bra feedback).
| Variabel | Lågpresterande (n=31) | Högpresterande | P-värde |
| (n=31) | (n=29) | ||
| Kön, n(%) | |||
| Kvinnlig | 7 (23%) | 3 (10%) | |
| Manlig | 24 (77%) | 26 (90%) | .302 a |
| Ålderskategori, n(%) | |||
| <25 | 1 (3%) | 5 (17%) | |
| 25-35 | 27 (87%) | 21 (72%) | |
| 36-45 | 0 (0%) | 2 (7%) | |
| 46-55 | 1 (3%) | 0 (0%) | |
| >55 | 2 (6%) | 1 (3%) | .099 a) |
| Högsta utbildning, n(%) | |||
| Gymnasium | 3 (10%) | 5 (17%) | |
| Ungkarl | 7 (23%) | 6 (21%) | |
| Mästare | 21 (68%) | 18 (62%) | .692 a) |
| Mental rotationstest, medelvärde (SD) | |||
| Rätta svar | 3.03 (1.40) | 5.31 (0.76) | .001 b |
| Fel svar | 2.19 (1.47) | 1.21 (0.56) | 0.000 b |
| Rumsligt hörseltest, medelvärde (SD) © | |||
| Rätta svar | 4.39 (1.09) | 4.31 (1.00) | .467 b |
| Fel svar | 1.61 (1.09) | 1.69 (1.00) | .940 b |
| a: Fishers exakta test | |||
| b:T-test med två samplingar | |||
| c: SD-standardavvikelse | |||
Tabell 2: Beskrivning av deltagarurval och jämförelse mellan låg- och högpresterande i baslinjevariabler. Tabellen visar data för de tre demografiska frågorna om kön, ålder och utbildning. Dessutom presenteras resultaten från de två förtesterna.
| Variabel | Uppskatta | SE a) | Resultat |
| BoundingBox för lågpresterare i olika uppgifter | 2,224 | .438 | t(60,00) = 5,08; p<.001 |
| Ändring av BoundingBox för högpresterande uppgifter | +.131 | .630 | t(60,00) = .21; p=.836 |
| Tid för lågpresterare över uppgifter | 20,919 | 1,045 | t(60,00) = 20,02; p<.001 |
| Ändring av tid för högpresterande över uppgifter | -3,863 | 1,503 | t(60,00) = -2,57; p=.013 |
| Banlängd för lågpresterande uppgifter | 5,637 | .613 | t(60,00) = 9,19; p<.001 |
| Ändring av banlängd för högpresterande uppgifter | -1,624 | .882 | t(60,00) = -1,84; p=.071 |
| PathVariance för lågpresterare mellan uppgifter | 4.3E-4 | 4.7E-5 | t(65,15) = 9,25; p<.001 |
| Ändring av PathVariance för högpresterande uppgifter | +4.3E-6 | 6.7E-5 | t(65,15) = .063; p=.950 |
| PathMean för lågpresterande uppgifter | .0047 | 5.3E-4 | t(60,00) = 8,697; p<.001 |
| Ändring av PathMean för högpresterande uppgifter | +3.8E-5 | 7.7E-4 | t(60,00) = .05; p=.960 |
| AngleVariance för lågpresterare över uppgifter | .0012 | 7.3E-5 | t(85,70) = 16,15; p<.001 |
| Ändring av AngleVariance för högpresterande uppgifter | -2.7E-5 | 1.0E-4 | t(85,70) = -,26; p=.796 |
| AngleMean för lågpresterare över uppgifter | .015 | .001 | t(60,00) = 14,27; p<.001 |
| Ändring av AngleMean för högpresterande uppgifter | -3.0E-4 | 1.5E-3 | t(60,00) = -,20; p=.842 |
| a) SE = standardfel | |||
Tabell 3: Resultat av flernivåmodellerna för RQ1 (avvikande detektering med smarta glasögon). Tabellen visar statistiska resultat av RQ1 för avvikarens detekteringsuppgift (för alla prestandamått).
| Variabel | Uppskatta | SE a) | Resultat |
| BoundingBox vid första uppgiften | .984 | .392 | t(138,12) = 2,51; p=.013 |
| Ändring av BoundingBox från uppgift till uppgift | +.373 | .067 | t(420,00) = 5,59; p<.001 |
| Tid vid första uppgiften | 19,431 | 1,283 | t(302,08) = 15,11; p<.001 |
| Ändring av tid från uppgift till uppgift | -.108 | .286 | t(420,00) = -,37; p=.709 |
| Banlängd vid första uppgiften | 3,903 | .646 | t (214,81) = 6,05; p<.001 |
| Ändring av banlängd från uppgift till uppgift | +.271 | .131 | t(420,00) = 2,06; p=.040 |
| PathVariance vid första uppgiften | 3.1E-4 | 3.7E-5 | t(117,77) = 8,43; p<.001 |
| Ändring av PathVariance från uppgift till uppgift | +3.5E-5 | 4.5E-6 | t(455,00) = 7,90; p<.001 |
| PathMean vid första uppgiften | .0033 | 4.2E-4 | t(88,98) = 7,66; p<.001 |
| Ändring av PathMean från uppgift till uppgift | +4.1E-4 | 5.2E-5 | t(420,00) = 7,81; p<.001 |
| AngleVariance vid första uppgiften | .001 | 5.7E-5 | t(129,86) = 17,92; p<.001 |
| Ändring av AngleVariance från uppgift till uppgift | +4.1E-5 | 6.5E-6 | t(541,75) = 6,34; p<.001 |
| AngleMean vid första uppgiften | .0127 | 8.1E-4 | t(82,17) = 15,52; p<.001 |
| Ändring av AngleMean från uppgift till uppgift | +6.1E-4 | 9.0E-5 | t(420,00) = 6,86; p<.001 |
| a) SE = standardfel | |||
Tabell 4: Resultat av flernivåmodellerna för RQ2 (avvikande detektering med smartglasögon). Tabellen visar statistiska resultat av RQ2 för avvikarens detekteringsuppgift (för alla prestandamått).
| Variabel | Uppskatta | SE a) | Resultat |
| BoundingBox utan ljud mellan uppgifter | 2,459 | .352 | t(93,26) = 6,98; p<.001 |
| Ändring av BoundingBox med ljud över uppgifter | -.344 | .316 | t(420,00) = -1,09; p=.277 |
| Tid utan ljud över uppgifter | 20,550 | 1,030 | t(161,17) = 19,94; p<.001 |
| Ändring av tid med ljud över uppgifter | -2,996 | 1,319 | t(420,00) = -2,27; p=.024 |
| Banlängd utan ljud mellan uppgifter | 5,193 | .545 | t(121,81) = 9,54; p<.001 |
| Ändring av banlängd med ljud mellan uppgifter | -.682 | .604 | t(420,00) = -1,13; p=.260 |
| PathVariance utan ljud mellan uppgifter | .0004 | 3.5E-5 | t(79,74) = 12,110; p<.001 |
| Ändring av PathVariance med ljud mellan uppgifter | +1.3E-5 | 2.2E-5 | t(429,20) = .592; p=.554 |
| PathMean utan ljud mellan uppgifter | .005 | 4.0E-4 | t(73,66) = 11,35; p<.001 |
| Ändring av PathMean med ljud över uppgifter | +1.4E-4 | 2.5E-4 | t(420,00) = .56; p=.575 |
| AngleVariance utan ljud över uppgifter | .0012 | 5.4E-5 | t(101,32) = 21,00; p<.001 |
| Ändring av AngleVariance med ljud över uppgifter | +3.3E-5 | 3.1E-5 | t(648,56) = 1,07; p=.284 |
| AngleMean utan ljud över uppgifter | .0145 | 7.8E-4 | t(70,17) = 18,51; p<.001 |
| Ändring av AngleMean med ljud över uppgifter | +6.0E-4 | 4.3E-4 | t(420,00) = 1,39; p=.166 |
| a) SE = standardfel | |||
Tabell 5: Resultat av flernivåmodellerna för RQ3 (avvikande detektering med smartglasögon). Tabellen visar statistiska resultat av RQ3 för avvikarens detekteringsuppgift (för alla prestandamått).
| Variabel | Uppskatta | SE a) | Resultat |
| Tid med skrivbordet över uppgifter | 10,536 | .228 | t(156,43) = 46,120; p<.001 |
| Ändring av tid med Hololens mellan uppgifter | -.631 | .286 | t(660,00) = -2,206; p=.028 |
| a) SE = standardfel | |||
Tabell 6: Resultat av flernivåmodellerna för RQ5 (klusterigenkänning med hjälp av smartglasögon). Tabellen visar statistiska resultat av RQ5 för klusterigenkänningsuppgiften (för alla prestandamått).
Subscription Required. Please recommend JoVE to your librarian.
Discussion
När det gäller den utvecklade applikationen mixed reality smartglasses (se Table of Materials) var två aspekter särskilt fördelaktiga. Användningen av rumsliga ljud för avvikarens detekteringsuppgift uppfattades positivt å ena sidan (se resultaten av RQ3). Å andra sidan uppfattades användningen av röstkommandon också positivt (se figur 10).
När det gäller studiedeltagarna, även om antalet rekryterade deltagare var ganska litet för en empirisk studie, är antalet konkurrenskraftigt jämfört med många andra verk. Ändå planeras en större skala studie baserat på det visade protokollet. Men eftersom det visade sin genomförbarhet för 60 deltagare förväntas fler deltagare inte avslöja några ytterligare utmaningar. Det diskuterades att urvalet av deltagare kunde vara bredare (i betydelsen de områden deltagarna kommer från) och att antalet baslinjevariabler för att skilja mellan hög- och lågpresterande kunde vara högre. Å andra sidan, om dessa aspekter ändras till högre siffror, behöver själva protokollet inte ändras i grunden.
I allmänhet påverkar de avslöjade begränsningarna inte genomförandet av en studie baserad på protokollet som visas i detta arbete, de påverkar bara rekryteringen och de använda frågorna för det demografiska frågeformuläret. En begränsning av denna studie är dock ändå viktig: den totala tiden som krävs för att avsluta experimentet för en deltagare är hög. Å andra sidan, eftersom deltagarna inte klagade över bärkomforten eller att testanordningen belastar dem för mycket, kan tiden för att genomföra det övergripande protokollet för en deltagare anses vara acceptabel. Slutligen, i ett framtida experiment, måste flera aspekter läggas till protokollet. I synnerhet bör avvikande identifieringsuppgiften också utvärderas i 2D-skrivbordsapplikationen. Dessutom måste andra hårdvaruenheter som de använda smartglasögonen med mixad verklighet (se materialförteckning) också utvärderas. Protokollet verkar dock vara fördelaktigt i bredare bemärkelse.
Följande viktiga insikter erhölls för det presenterade protokollet. Först visade den sin genomförbarhet för att utvärdera integrerande analyser för en lösning med mixad verklighet. Mer specifikt avslöjade de använda smartglasögonen för mixad verklighet (se Table of Materials) deras genomförbarhet för att utvärdera integrerande analyser i ett program med mixad verklighet för Industri 4.0-scenarier. För det andra var jämförelsen av den utvecklade använda mixed reality-smartglasögonapplikationen (se materialförteckning) med en 2D-skrivbordsapplikation till hjälp för att undersöka om mixed-reality-lösningen kan överträffa en applikation som inte använder VR-tekniker. För det tredje bör mätningen av fysiologiska parametrar eller vitala tecken alltid beaktas i sådana experiment. I detta arbete mättes stress med hjälp av ett frågeformulär och en hudkonduktansanordning. Även om den senare fungerade tekniskt korrekt, avslöjade författarna i en annan studie med samma enhet att ytterligare överväganden krävs24. För det fjärde var testet av rumslig förmåga och separationen av hög- och lågpresterande fördelaktiga. Sammanfattningsvis, även om det presenterade protokollet verkar vara komplext vid en första anblick (se figur 9), visade det sin användbarhet tekniskt. När det gäller resultaten avslöjade det också dess användbarhet.
Eftersom detektering av avvikande värden och igenkänning av kluster är typiska uppgifter vid utvärdering av många högdimensionella datamängder i Industri 4.0-scenarier, är deras användning i en empirisk studie representativ för detta forskningsområde. Protokollet visade att dessa scenarier kan integreras väl i en användbarhetsstudie om integrerande analys. Därför kan den använda inställningen rekommenderas för andra studier i detta sammanhang.
Eftersom resultatet av den visade studien visade att användningen av en mixed-reality-lösning baserad på de använda smartglasögonen (se Table of Materials) är användbar för att undersöka integrerande analyser för Industry 4.0-scenarier, kan protokollet också användas för andra användbarhetsstudier i det givna sammanhanget.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Författarna har inget att erkänna.
Materials
| Name | Company | Catalog Number | Comments |
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
- Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y.
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
