JoVE Journal > Behavior
Summary
Abstract
Introduction
Protocol
Results
Discussion
Disclosures
Acknowledgements
Materials
References
Automatic Translation
Please note that all translations are automatically generated. Click here for the English version.
Behavior

Virtual Reality experiment med fysiologiska åtgärder

Published: August 29, 2018
doi:
10.3791/58318
, , , , , ,
1Chair of Cognitive Science,ETH Zürich, 2Geographic Information Visualization and Analysis,University of Zürich, 3Digital Society Initiative,University of Zürich

Summary

Virtual reality (VR) experiment kan vara svårt att genomföra och kräver noggrann planering. Det här protokollet beskriver en metod för utformningen och genomförandet av VR experiment som samlar in fysiologiska data från mänskliga deltagare. Experimenten i virtuella miljöer (EVE) ram är anställd för att påskynda denna process.

Abstract

Virtual reality (VR) experiment används alltmer på grund av deras interna och externa giltighet jämfört med verkliga observation och laboratorieexperiment, respektive. VR är speciellt användbar för geografiska visualiseringar och utredningar av rumsliga beteende. I rumsliga Uppförandeforskning, VR ger en plattform för att studera förhållandet mellan navigering och fysiologiska åtgärder (t.ex., hud konduktans, hjärtfrekvens, blodtryck). Uttryckligen, tillåter fysiologiska åtgärder forskare att ta itu med nya frågor och begränsa tidigare teorier om spatiala förmågor, strategier och prestanda. Individuella skillnader i navigeringsprestanda kan exempelvis förklaras av i vilken utsträckning som förändringar i upphetsning medla effekterna av uppgift svårigheter. Men kan komplexiteten i utformningen och genomförandet av VR experiment distrahera praktiker från sina primära forskning mål och införa oegentligheter i datainsamling och analys. För att möta dessa utmaningar, experimenten i virtuella miljöer (EVE) ramen omfattar standardiserade moduler såsom deltagare utbildning med control gränssnitt, insamling av data med hjälp av enkäter, synkronisering av fysiologiska mätningar och datalagring. Eva ger också den nödvändiga infrastrukturen för datahantering, visualisering och utvärdering. Detta dokument beskriver ett protokoll som sysselsätter EVE ramen att göra navigering experiment i VR med fysiologiska sensorer. Protokollet beskrivs steg som krävs för att rekrytera deltagare, fästa den fysiologiska sensorer, administrera experimentet med EVE, och bedömningen av de insamlade uppgifterna med verktyg för utvärdering av EVE. Sammantaget kommer detta protokoll underlätta framtida forskning genom att effektivisera utformningen och genomförandet av VR experiment med fysiologiska sensorer.

Introduction

Förstå hur individer navigera har stor betydelse för flera områden, bland annat kognitiv vetenskap1,2,3, neurovetenskap4,5och dator vetenskap6 , 7. navigering har undersökts i både verkliga och virtuella miljöer. En fördel med verkliga experiment är att navigering kräver inte förmedling av en gränssnitt och därmed kan producera mer realistiska rumsliga beteende. Däremot virtual reality (VR) experiment möjliggör mer exakt mätning av beteendemässiga (t.ex., promenader banor) och fysiologiska (t.ex., puls) data, liksom mer experimentell kontroll (dvs., inre giltigheten). Detta synsätt kan i sin tur resultera i enklare tolkningar av uppgifterna och därmed mer robust teorier om navigering. Neurovetenskap kan dessutom nytta av VR eftersom forskare kan undersöka de neurala korrelat till navigering medan deltagarna är engagerade i den virtuella miljön men inte fysiskt flytta. För dataloger kräver navigering i VR unika utvecklingen i processorkraft, minne, och datorgrafik för att säkerställa en verklighetstrogen upplevelse. Resultaten från VR experiment kan också tillämpas i arkitektur och kartografi genom att informera utformningen av byggnaden layouter8 och karta funktioner9 att underlätta verkliga navigering. Nyligen, framsteg i VR-tekniken i kombination med en dramatisk minskning av dess kostnad har lett till en ökning av antalet laboratorier anställa VR för sina experimentella konstruktioner. På grund av denna växande popularitet behöver forskare överväga hur man kan effektivisera genomförandet av VR applikationer och standardisera experiment arbetsflödet. Denna strategi hjälper Skift resurser från genomförande till utvecklingen av teori och utöka befintliga funktionerna i VR.

VR uppställningar kan variera från mer till mindre realistiska när det gäller skärmar och kontroller. Mer realistisk VR uppställningar tenderar att kräva ytterligare infrastruktur såsom stora spårning platser och högupplösta visar10. Dessa system använder ofta omdirigerade gångavstånd algoritmer för att injicera omärklig rotationer och översättningar till visuell feedback som ges till användarna och förstora effektivt den virtuella miljön genom vilken deltagare kan flytta11 , 12. dessa algoritmer kan vara generaliserad i att de inte kräver kunskap om miljömässiga strukturen13 eller prediktiva däri de antar särskilda vägar för användaren14. Även om de flesta forskning på omdirigerade walking har används huvud-monterad displayer (HMDs), vissa forskare använder en version av denna teknik med promenader på plats som en del av en stor projektionssystem (t.ex., grottor)15. Medan HMDs kan bäras på huvudet av deltagaren, tenderar CAVE skärmar att ge en bredare horisontellt synfält16,17. Dock behövs mindre infrastruktur för VR-system som använder skrivbordet visar18,19. Neurovetenskaplig forskning har också anställd VR system i kombination med funktionell magnetresonanstomografi (fMRI) under avsökningen20, i kombination med fMRI efter skanning21,22, och i kombination med elektroencefalografi (EEG) under inspelning23,24. Ramar för programvara behövs för att samordna olika skärmar och kontroller som används för navigering forskning.

Forskning som innefattar VR och fysiologiska data innebär ytterligare utmaningar såsom datainsamling och synkronisering. Fysiologiska data tillåter dock för utredningarna av implicita processer som kan medla förhållandet mellan navigering potentiella och rumsliga beteende. Faktiskt, relationen mellan stress och navigering har undersökts med hjälp av desktop VR och en kombination av olika fysiologiska sensorer (dvs., puls, blodtryck, hud konduktans, salivkortisol och alpha-amylas)25 , 26 , 27 , 28. till exempel van Gerven och kollegor29 undersökt effekterna av stress på navigering strategi och prestanda med hjälp av en virtuell verklighet version av en Morris vatten labyrint uppgift och flera fysiologiska åtgärder (t.ex., hud konduktans, hjärtfrekvens, blodtryck). Deras resultat visade att stress förutspådde navigering strategi när det gäller landmark användning (dvs., egocentriska kontra allocentric) men var inte relaterad till navigeringsprestanda. Resultat från tidigare studier är i allmänhet något inkonsekvent angående effekten av stress på navigeringsprestanda och rumsliga minne. Detta mönster kan hänföras till avskiljandet av stressfaktor (t.ex., den kalla Blodtryckshöjande förfarande26, stjärnigt spegel spårning uppgift25) från faktiska navigering uppgiften, användning av enkel labyrint-liknande virtuella miljöer ( e.g., virtuella Morris vatten labyrint26, virtuella radial arm labyrint28), och skillnader i metodologiska detaljer (t.ex., typ av stressfaktor, typ av fysiologiska data). Skillnader i form av insamlade fysiologiska data kan också vara problematiskt för genomförande och analys av sådana studier.

Experimenten i virtuella experiment (EVE) ramen underlättar utformning, genomförande och analys av VR experiment, särskilt de med ytterligare kringutrustning (t.ex., eye trackers, fysiologiska enheter)30. Ramen för EVE är fritt tillgängligt som ett projekt med öppen källkod på GitHub (https://cog-ethz.github.io/EVE/). Denna ram är baserad på den populära Unity 3D spelmotorn (https://unity3d.com/) och MySQL databas management system (https://www.mysql.com/). Forskare kan använda EVE ramen för att förbereda de olika stadierna av VR experiment, inklusive före och efter studien enkäter, baseline mått för alla fysiologiska data, träning med styrgränssnittet, huvudnavigering uppgiften, och tester för rumsliga minne av navigeras miljön (t.ex., domar av den relativa riktningen). Praktiker kan också styra synkronisering av data från olika källor och på olika nivåer av aggregation (t.ex., över prövningar, block eller sessioner). Datakällor kan vara fysiska (dvs., anslutna till användaren, se Tabell för material) eller virtuella (dvs., beroende av samspelet mellan deltagarens avatar och den virtuella miljön). Ett experiment kan till exempel kräva inspelning puls och position/orientering från deltagaren när den deltagarens avatar rör sig genom ett särskilt område av den virtuella miljön. Alla dessa data lagras i en MySQL-databas automatiskt och utvärderas med replay funktioner och den R paketet evertools (https://github.com/cog-ethz/evertools/). Evertools ger exporterande funktioner, grundläggande deskriptiv statistik, och diagnostiska verktyg för fördelningar av data.

EVE ramen kan distribueras med en mängd olika fysiska infrastrukturerna och VR-system. I detta protokoll beskriver vi ett särskilt genomförandet på NeuroLab vid ETH Zürich (figur 1). NeuroLab är en 12 m 6 m rum som innehåller en isolerad kammare för att bedriva EEG experiment, ett skåp som innehåller VR systemet (2,6 x 2,0 m) och en persienn område för att fästa fysiologiska sensorer. I VR-systemet ingår en 55-tums ultra high definition TV-skärm, en high-end gaming dator, en joystick kontroll gränssnitt och flera fysiologiska sensorer (se Tabell för material). I följande avsnitt, vi beskriva protokollet för genomför en navigering experiment i den NeuroLab som med hjälp av EVE ram och fysiologiska sensorer, nuvarande representativa resultat från en studie på stress och navigering, och diskutera möjligheterna och utmaningar i samband med detta system.

Protocol

Följande protokoll genomfördes i enlighet med riktlinjer som godkänts av den etik kommissionen av ETH Zürich som en del av förslaget EK 2013-N-73. 1. rekrytera och förbereda deltagarna Välj deltagare med särskilda demografi (t.ex., ålder, kön, utbildningsbakgrund) med en deltagare rekryteringssystem eller e-postlista (t.ex., UAST; http://www.uast.uzh.ch/). Kontakta utvalda deltagare via e-post. I detta e-postmeddelande, påminna deltagarna sessio…

Representative Results

Från varje deltagare i NeuroLab, vi vanligtvis samlar in fysiologiska data (t.ex., ECG), enkätdata (t.ex., Santa Barbara avkänningen av riktning skala eller SBSOD31), och navigationsdata (t.ex., stigar genom den virtuell miljö). Till exempel har förändringar i hjärtfrekvens (härlett från EKG-data) associerats med förändringar i stress staterna i kombination med andra fysiologiska32 och själv rapportera …

Discussion

I detta dokument beskrev vi ett protokoll för att genomföra experiment i VR med fysiologiska enheter med hjälp av EVE framework. Dessa typer av experiment är unik på grund av ytterligare maskinvara överväganden (t.ex., fysiologiska enheter och annan kringutrustning), förberedande stegen för insamling av fysiologiska data med VR och data verksamhetskrav. Detta protokoll innehåller nödvändiga steg för praktiker som avser att samla in data från flera kringutrustning samtidigt. Exempelvis användning a…

Disclosures

The authors have nothing to disclose.

Acknowledgements

Den virtuella miljön var vänligen tillhandahållen av VIS spel (http://www.vis-games.de) att forska i virtual reality.

Materials

Alienware Area 51 Base Dell  210-ADHC Computation
138cm 4K Ultra-HD LED-TV Samsung UE55JU6470U Display
SureSigns VS2+ Philips Healthcare 863278 Blood Pressure
PowerLab 8/35 AD Instruments PL3508 Skin Conductance
PowerLab 26T (LTS) AD Instruments ML4856 Heart Rate
Extreme 3D Pro Joystick Logitech 963290-0403 HID
DOWNLOAD MATERIALS LIST

References

  1. Gallistel, C. R. . The Organization of Learning. , (1990).
  2. Waller, D., Nadel, L. . Handbook of Spatial Cognition. , (2013).
  3. Denis, M. . Space and Spatial Cognition: A Multidisciplinary Perspective. , (2017).
  4. Epstein, R. A., Patai, E. Z., Julian, J. B., Spiers, H. J. The cognitive map in humans: spatial navigation and beyond. Nature Neuroscience. 20, 1504 (2017).
  5. O’Keefe, J., Nadel, L. . The Hippocampus as a Cognitive Map. , (1978).
  6. Kuipers, B. J. Modelling spatial knowledge. Cognitive Science. 2, 129-153 (1978).
  7. Heppenstall, A. J., Crooks, A. T., See, L. M., Batty, M. . Agent-Based Models of Geographical Systems. , (2012).
  8. Kuliga, S. F., Thrash, T., Dalton, R. C., Hölscher, C. Virtual reality as an empirical research tool – Exploring user experience in a real building and a corresponding virtual model. Computers, Environment and Urban Systems. 54, 363-375 (2015).
  9. Credé, S., Fabrikant, S. I. Let’s Put the Skyscrapers on the Display-Decoupling Spatial Learning from Working Memory. Proceedings of Workshops and Posters at the 13th International Conference on Spatial Information Theory (COSIT 2017). , 163-170 (2018).
  10. Hodgson, E., Bachmann, E. R., Vincent, D., Zmuda, M., Waller, D., Calusdian, J. WeaVR: a self-contained and wearable immersive virtual environment simulation system). Behavior Research Methods. 47 (1), 296-307 (2015).
  11. Nilsson, N., et al. 15 Years of Research on Redirected Walking in Immersive Virtual Environments. IEEE Computer Graphics and Applications. , 1-19 (2018).
  12. Razzaque, S., Kohn, Z., Whitton, M. C. Redirected walking. Proceedings of EUROGRAPHICS. , 105-106 (2001).
  13. Hodgson, E., Bachmann, E. Comparing Four Approaches to Generalized Redirected Walking: Simulation and Live User Data. IEEE Transactions on Visualization and Computer Graphics. 19 (4), 634-643 (2013).
  14. Nescher, T., Huang, Y. -. Y., Kunz, A. Planning redirection techniques for optimal free walking experience using model predictive control. 2014 IEEE Symposium on 3D User Interfaces (3DUI). , 111-118 (2014).
  15. Razzaque, S., Swapp, D., Slater, M., Whitton, M. C., Steed, A. Redirected walking in place. Eurographics workshop on virtual environments. , 123-130 (2002).
  16. Meilinger, T., Knauff, M., Bulthoff, H. Working Memory in Wayfinding-A Dual Task Experiment in a Virtual City. Cognitive Science: A Multidisciplinary Journal. 32 (4), 755-770 (2008).
  17. Grübel, J., Thrash, T., Hölscher, C., Schinazi, V. R. Evaluation of a conceptual framework for predicting navigation performance in virtual reality. PLOS ONE. 12 (9), 0184682 (2017).
  18. Weisberg, S. M., Schinazi, V. R., Newcombe, N. S., Shipley, T. F., Epstein, R. A. Variations in Cognitive Maps: Understanding Individual Differences in Navigation. Journal of experimental psychology. Learning, memory, and cognition. , (2014).
  19. Wiener, J. M., Hölscher, C., Büchner, S., Konieczny, L. Gaze behaviour during space perception and spatial decision making. Psychological research. 76 (6), 713-729 (2012).
  20. Hassabis, D., Chu, C., Rees, G., Weiskopf, N., Molyneux, P. D., Maguire, E. A. Decoding Neuronal Ensembles in the Human Hippocampus. Current Biology. 19 (7), 546-554 (2009).
  21. Maguire, E. A., Nannery, R., Spiers, H. J. Navigation around London by a taxi driver with bilateral hippocampal lesions. Brain. 129, 2894-2907 (2006).
  22. Marchette, S. A., Vass, L. K., Ryan, J., Epstein, R. A. Anchoring the neural compass: coding of local spatial reference frames in human medial parietal lobe. Nature neuroscience. 17 (11), 1598-1606 (2014).
  23. Vass, L. K., et al. Oscillations Go the Distance: Low-Frequency Human Hippocampal Oscillations Code Spatial Distance in the Absence of Sensory Cues during Teleportation. Neuron. 89 (6), 1180-1186 (2016).
  24. Sharma, G., Gramann, K., Chandra, S., Singh, V., Mittal, A. P. Brain connectivity during encoding and retrieval of spatial information: individual differences in navigation skills. Brain Informatics. 4 (3), (2017).
  25. Richardson, A. E., VanderKaay Tomasulo, M. M. Influence of acute stress on spatial tasks in humans. Physiology & Behavior. 103 (5), 459-466 (2011).
  26. Duncko, R., Cornwell, B., Cui, L., Merikangas, K. R., Grillon, C. Acute exposure to stress improves performance in trace eyeblink conditioning and spatial learning tasks in healthy men. Learning & memory (Cold Spring Harbor, N.Y.). 14 (5), 329-335 (2007).
  27. Klopp, C., Garcia, C., Schulman, A. H., Ward, C. P., Tartar, J. L. Acute social stress increases biochemical and self report markers of stress without altering spatial learning in humans. Neuro endocrinology letters. 33 (4), 425-430 (2012).
  28. Guenzel, F. M., Wolf, O. T., Schwabe, L. Sex differences in stress effects on response and spatial memory formation. Neurobiology of Learning and Memory. 109, 46-55 (2014).
  29. van Gerven, D. J. H., Ferguson, T., Skelton, R. W. Acute stress switches spatial navigation strategy from egocentric to allocentric in a virtual Morris water maze. Neurobiology of Learning and Memory. 132, 29-39 (2016).
  30. Grübel, J., Weibel, R., Jiang, M. H., Hölscher, C., Hackman, D. A., Schinazi, V. R. EVE: A Framework for Experiments in Virtual Environments. Spatial Cognition X: Lecture Notes in Artificial Intelligence. , 159-176 (2017).
  31. Hegarty, M., Richardson, A. E., Montello, D. R., Lovelace, K., Subbiah, I. Development of a self-report measure of environmental spatial ability. Intelligence. 30, 425-447 (2002).
  32. Ziegler, M. G. Psychological Stress and the Autonomic Nervous System. Primer on the Autonomic Nervous System. , 189-190 (2004).
  33. Michaelis, J. R., Rupp, M. A., Montalvo, F., McConnell, D. S., Smither, J. A. The Effect of Vigil Length on Stress and Cognitive Fatigue. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 59 (1), 916-920 (2015).
  34. Helton, W. S. Validation of a Short Stress State Questionnaire. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 48 (11), 1238-1242 (2004).
  35. Wolbers, T., Hegarty, M. What determines our navigational abilities. Trends in Cognitive Sciences. 14 (3), 138-146 (2010).
  36. Moussaïd, M., et al. Crowd behaviour during high-stress evacuations in an immersive virtual environment. Journal of The Royal Society Interface. 13 (122), (2016).
  37. . Lead positioning Available from: https://lifeinthefastlane.com/ecg-library/basics/lead-positioning/ (2017)
  38. Wilder, J. The law of initial value in neurology and psychiatry. The Journal of Nervous and Mental Disease. 125 (1), 73-86 (1957).
  39. Loomis, J., Knapp, J. Visual Perception of Egocentric Distance in Real and Virtual Environments. Virtual and Adaptive Environments. , 21-46 (2003).
  40. Richardson, A. R., Waller, D. The effect of feedback training on distance estimation in virtual environments. Applied Cognitive Psychology. 19 (8), 1089-1108 (2005).
  41. Klatzky, R. L., Loomis, J. M., Beall, A. C., Chance, S. S., Golledge, R. G. Spatial updating of self-position and orientation during real, imagined, and virtual locomotion. Psychological Science. 9, 293-298 (1998).
  42. Bakker, N. H., Werkhoven, P. J., Passenier, P. O. Calibrating Visual Path Integration in VEs. Presence: Teleoperators and Virtual Environments. 10 (2), 216-224 (2001).
  43. Thrash, T., et al. Evaluation of control interfaces for desktop virtual environments. Presence. 24 (4), (2015).
  44. Kinateder, M., Warren, W. H. Social Influence on Evacuation Behavior in Real and Virtual Environments. Frontiers in Robotics and AI. 3, 43 (2016).
  45. Loomis, J. M., Blascovich, J. J., Beall, A. C. Immersive virtual environment technology as basic research tool in psychology. Behavior Research Methods, Instruments & Computers. 31 (4), 557-564 (1999).

Tags

Virtual RealityPhysiological MeasuresCognitive ScienceEmotionNavigation BehaviorEnvironmental PerceptionBehavioral GeographyDecision MakingEDA-ECG SoftwareElectrodesSampling RateOpen Circuit ZeroExperiment SettingsInformed ConsentEDA ElectrodesECG ElectrodesBlood Pressure Cuff

Play Video
PDF
DOI
DOWNLOAD MATERIALS LIST
Cite This Article
Weibel, R. P., Grübel, J., Zhao, H., Thrash, T., Meloni, D., Hölscher, C., Schinazi, V. R. Virtual Reality Experiments with Physiological Measures. J. Vis. Exp. (138), e58318, doi:10.3791/58318 (2018).
Download Citation
Reprints and Permissions

View Video

✖

To prove you're not a robot, please enter the text in the image below

CAPTCHA Image
Play CAPTCHA Audio
Refresh Image