Summary
Этот протокол очерчивает технические настройки разработанного приложения смешанной реальности, которое используется для иммерсивной аналитики. На основе этого представлены показатели, которые были использованы в исследовании для получения представления об юзабилити-аспектах разработанного технического решения.
Abstract
В медицине или промышленности все чаще требуется анализ многомерных наборов данных. Однако имеющиеся технические решения часто сложны в использовании. Поэтому приветствуются новые подходы, такие как иммерсивная аналитика. Иммерсивная аналитика обещает испытать многомерные наборы данных удобным способом для различных групп пользователей и наборов данных. Технически устройства виртуальной реальности используются для обеспечения иммерсивной аналитики. Например, в Индустрии 4.0 такие сценарии, как идентификация выбросов или аномалий в наборах многомерных данных, преследуются целями иммерсивной аналитики. В этом контексте для любого разработанного технического решения по иммерсивной аналитике следует ответить на два важных вопроса: во-первых, полезны ли технические решения или нет? Во-вторых, является ли телесный опыт технического решения положительным или отрицательным? Первый вопрос направлен на общую целесообразность технического решения, в то время как второй направлен на комфорт ношения. Существующие исследования и протоколы, которые систематически затрагивают эти вопросы, все еще редки. В этой работе представлен протокол исследования, который в основном исследует удобство использования для иммерсивной аналитики в сценариях Индустрии 4.0. В частности, протокол основан на четырех столпах. Во-первых, он классифицирует пользователей на основе предыдущего опыта. Во-вторых, представлены задания, которые могут быть использованы для оценки осуществимости технического решения. В-третьих, представлены меры, которые количественно оценивают обучающий эффект пользователя. В-четвертых, анкета оценивает уровень стресса при выполнении заданий. На основе этих столпов была реализована техническая настройка, которая использует умные очки смешанной реальности для применения протокола исследования. Результаты проведенного исследования показывают применимость протокола с одной стороны и целесообразность иммерсивной аналитики в сценариях Индустрии 4.0 с другой. Представленный протокол включает в себя обсуждение обнаруженных ограничений.
Introduction
Решения виртуальной реальности (VR-решения) приобретают все большее значение в различных областях. Часто с решениями VR (включая виртуальную реальность, смешанную реальность и дополненную реальность) выполнение многих повседневных задач и процедур должно быть облегчено. Например, в автомобильной области процедура настройки автомобиля может поддерживаться использованием виртуальной реальности1 (VR). Исследователи и практики исследовали и разработали множество подходов и решений в этом контексте. Тем не менее, исследования, которые исследуют аспекты юзабилити, все еще редки. В целом эти аспекты следует рассматривать в свете двух основных вопросов. Во-первых, необходимо оценить, действительно ли решение VR превосходит подход, который не использует методы VR. Во-вторых, поскольку решения VR в основном полагаются на тяжелые и сложные аппаратные устройства, такие параметры, как комфорт ношения и умственные усилия, должны быть изучены более глубоко. Кроме того, упомянутые аспекты всегда должны быть исследованы в отношении рассматриваемой области применения. Хотя многие существующие подходы видят необходимость в изучении этих вопросов2, существует меньше исследований, которые представили результаты.
Тема исследования в области VR, которая в настоящее время важна, обозначается иммерсивной аналитикой. Он происходит от исследовательской области визуальной аналитики, которая пытается включить человеческое восприятие в аналитические задачи. Этот процесс также хорошо известен как визуальный интеллектуальный анализ данных4. Иммерсивная аналитика включает в себя темы из областей визуализации данных, визуальной аналитики, виртуальной реальности, компьютерной графики и человеко-компьютерного взаимодействия5. Последние преимущества в головных дисплеях (HMD) привели к улучшению возможностей для изучения данных иммерсивным способом. Наряду с этими тенденциями возникают новые проблемы и исследовательские вопросы, такие как разработка новых систем взаимодействия, необходимость исследования усталости пользователей или разработка сложных 3D-визуализаций6. В предыдущей публикации6 обсуждаются важные принципы иммерсивной аналитики. В свете больших данных такие методы, как иммерсивная аналитика, все более и более необходимы для лучшего анализа сложных пулов данных. Существует лишь несколько исследований, которые исследуют аспекты юзабилити иммерсивных аналитических решений. Кроме того, в таких исследованиях следует также учитывать рассматриваемую область или область. В этой работе был разработан прототип иммерсивной аналитики, и на его основе был разработан протокол, который исследует разработанное решение для сценариев Индустрии 4.0. Таким образом, протокол использует метод опыта2, который основан на субъективных, эксплуатационных и физиологических аспектах. В рассматриваемом протоколе субъективные аспекты измеряются через воспринимаемый стресс пользователей исследования. Производительность, в свою очередь, измеряется через требуемое время и ошибки, которые допускаются для выполнения задач анализа. Наконец, датчик проводимости кожи измерял физиологические параметры. Первые две меры будут представлены в этой работе, в то время как измеренная проводимость кожи требует дальнейших усилий для оценки.
Представленное исследование включает в себя несколько областей исследований, в частности, включая аспекты нейробиологии и информационные системы. Интересно, что соображения по нейробиологическим аспектам информационных систем недавно привлекли внимание нескольких исследовательских групп 7,8, показывая потребность в изучении использования ИТ-систем также с когнитивной точки зрения. Еще одним направлением, актуальным для данной работы, является исследование человеческого фактора информационных систем 9,10,11. В области человеко-компьютерного взаимодействия существуют инструменты для исследования удобства использования решения. Обратите внимание, что шкала юзабилити системы в основном используется в этом контексте12. Протоколы13 Thinking Aloud являются еще одним широко используемым методом исследования, чтобы узнать больше об использовании информационных систем. Хотя существует множество подходов к измерению юзабилити-аспектов информационных систем, и некоторые из них были представлены давно14, все же возникают вопросы, требующие изучения новых мер или методов изучения. Поэтому исследования в этой области очень активны 12,15,16.
Ниже будут рассмотрены причины, по которым в настоящей работе не были рассмотрены два широко используемых метода. Во-первых, не использовалась шкала юзабилити системы. Шкала основана на десяти вопросах17, и ее использование можно найти в нескольких других исследованиях VR18. Поскольку это исследование в основном направлено на измерение стресса19, более подходящим был вопросник, связанный со стрессом. Во-вторых, протокол20 «Думай вслух» не использовался. Хотя этот тип протокола показал свою полезность в целом13, он не использовался здесь, так как уровень стресса пользователей исследования может увеличиться только из-за того, что сеанс мысли вслух должен выполняться параллельно с использованием тяжелого и сложного устройства VR. Хотя эти два метода не использовались, результаты других недавних исследований были включены в рассматриваемое исследование. Например, в предыдущих работах21,22 авторы различают новичков и специалистов в своих исследованиях. Основываясь на успешном результате этих исследований, рассматриваемый протокол использует это представленное разделение пользователей исследования. Измерение напряжений, в свою очередь, основано на идеях следующих работ 15,19,21,22.
Во-первых, для проведения исследования необходимо найти подходящий сценарий Индустрии 4.0 для выполнения аналитических задач. Вдохновленные другой работой авторов23, были определены два сценария (т.е. задачи анализа): (1) Обнаружение выбросов и (2) Распознавание кластеров. Оба сценария являются сложными и очень актуальны в контексте обслуживания высокопроизводительных производственных машин. Исходя из этого решения, протокол исследования, представленный в этой работе, определил шесть основных соображений:
- Решение, разработанное для исследования, будет технически основано на смарт-очках смешанной реальности (см. Таблицу материалов) и будет разработано как приложение смешанной реальности.
- Должен быть разработан подходящий тест, который способен отличить новичков от продвинутых пользователей.
- Показатели эффективности должны учитывать время и ошибки.
- Необходимо разработать настольное приложение, которое можно сравнить с иммерсивным аналитическим решением.
- Должна быть применена мера для оценки воспринимаемого уровня стресса.
- В дополнение к последнему пункту должны быть разработаны функции для снижения уровня стресса, пока пользователь выполняет процедуру двух упомянутых задач анализа (например, (1) Обнаружение выбросов и (2) Распознавание кластеров).
Основываясь на шести упомянутых пунктах, протокол исследования включает в себя следующую процедуру. Задачи outlier Detection и Cluster Recognition Analysis должны выполняться с помощью интеллектуальных очков смешанной реальности (см. Таблицу материалов). Поэтому было разработано новое приложение. Пространственные звуки облегчают выполнение задач анализа без увеличения умственных усилий. Голосовая функция должна облегчить навигацию, используемую для разработанного применения смарт-очков смешанной реальности (см. Таблицу материалов). Тест мысленного вращения должен быть основой для отличия новичков от продвинутых пользователей. Уровень стресса измеряется на основе анкеты. Производительность, в свою очередь, оценивается на основе (1) времени, необходимого пользователю для задач анализа, и на основе (2) ошибок, которые были сделаны пользователем для задач анализа. Производительность в смарт-стекле смешанной реальности сравнивается с выполнением тех же задач в недавно разработанном и сопоставимом 2D-настольном приложении. Кроме того, устройство для измерения уровня проводимости кожи используется для измерения уровня проводимости кожи в качестве возможного индикатора стресса. Результаты этого измерения подлежат дальнейшему анализу и не будут обсуждаться в данной работе. Авторы выявили в другом исследовании с тем же устройством, что требуются дополнительные соображения24.
На основе этого протокола рассматриваются следующие пять исследовательских вопросов (RQ):
RQ1: Влияют ли способности пространственного воображения участников на выполнение заданий?
RQ2: Происходит ли значительное изменение производительности задач с течением времени?
RQ3: Происходит ли существенное изменение производительности задач при использовании пространственных звуков в решении иммерсивной аналитики?
RQ4: Является ли разработанная иммерсивная аналитика стрессовой для пользователей?
RQ5: Работают ли пользователи лучше при использовании иммерсивного аналитического решения по сравнению с 2D-подходом?
На рисунке 1 обобщен представленный протокол в отношении двух шкал. Показаны разработанные и применяемые меры и их новизна по отношению к уровню взаимодействия. Поскольку уровень взаимодействия представляет собой важный аспект при разработке функций для настройки VR, рисунок 1 должен лучше показать новизну всего протокола, разработанного в этой работе. Хотя оценка аспектов в рамках двух используемых шкал является субъективной, их общая оценка основана на текущей соответствующей работе и следующих основных соображениях: Одним из важных принципов является использование абстракций среды для естественного взаимодействия, на которое пользователь настроился. Что касается рассматриваемого протокола, визуализация облаков точек кажется интуитивно понятной для пользователей, и распознавание шаблонов в таких облаках было признано управляемой задачей в целом. Еще один важный принцип заключается в наложении возможностей. Таким образом, использование пространственных звуков, используемых в рассматриваемом протоколе, является примером, поскольку они коррелируют с близостью искомого объекта. Авторы рекомендуют настраивать представления таким образом, чтобы большая часть информации располагалась в промежуточной зоне, которая наиболее важна для восприятия человека. Причина, по которой авторы не включили этот принцип, заключалась в том, чтобы побудить пользователя самостоятельно найти лучшее место, а также попытаться сориентироваться в пространстве визуализации данных, которое слишком велико, чтобы быть показанным сразу. В представленном подходе не было сделано никаких дальнейших соображений о характеристиках 3D-данных, которые будут показаны. Например, если измерение предполагается временным, можно было бы показать точечные диаграммы. Авторы считают этот вид визуализации в целом интересным в контексте Индустрии 4.0. Тем не менее, он должен быть сосредоточен на достаточно небольшом наборе визуализаций. Более того, предыдущая публикация уже была посвящена совместному анализу данных. В данной работе этот исследовательский вопрос был исключен из-за сложности других рассмотренных вопросов в данном исследовании. В представленной здесь настройке пользователь может исследовать иммерсивное пространство, гуляя вокруг. Другие подходы предлагают контроллеры для исследования виртуального пространства. В этом исследовании основное внимание уделяется удобству использования с помощью шкалы юзабилити системы (SUS). Другая предыдущая публикация провела исследование для экономических экспертов, но с VR-гарнитурами. В целом, и самое главное, это исследование жалуется на ограниченное поле зрения для других устройств, таких как используемые умные очки смешанной реальности в этой работе (см. Таблицу материалов). Их результаты показывают, что новички в области VR смогли эффективно использовать аналитический инструмент. Это согласуется с опытом этого исследования, хотя в этой работе новички не были классифицированы как имеющие VR или игровой опыт. В отличие от большинства VR-решений, смешанная реальность не закреплена на позиции, так как позволяет отслеживать реальную среду. Подходы VR, такие как упоминание об использовании специальных стульев для 360°, чтобы освободить пользователя от его рабочего стола. Авторы указывают, что проблемы восприятия влияют на производительность иммерсивной аналитики; например, с помощью теней. Для рассматриваемого исследования это неосуществимо, так как используемые умные очки смешанной реальности (см. таблицу материалов) не способны отображать тени. Обходным путем может быть виртуальный этаж, но такая установка выходит за рамки этого исследования. Обзорное исследование в области иммерсивной аналитики определило 3D-точечные диаграммы как одно из наиболее распространенных представлений многомерных данных. В целом, аспекты, показанные на рисунке 1 , не могут быть найдены в настоящее время скомпилированными в протокол, который исследует аспекты юзабилити иммерсивной аналитики для сценариев Индустрии 4.0.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Все материалы и методы были одобрены Комитетом по этике Ульмского университета, и были выполнены в соответствии с утвержденными руководящими принципами. Все участники дали свое письменное информированное согласие.
1. Создание соответствующей учебной среды
ПРИМЕЧАНИЕ: Исследование проводилось в контролируемой среде, чтобы справиться со сложными аппаратными настройками. Использованные смарт-очки смешанной реальности (см. Таблицу материалов) и ноутбук для 2D-приложения были объяснены участникам исследования.
- Проверять техническое решение перед каждым участником; установлен в режиме по умолчанию. Подготовьте анкеты и разместите рядом с участником.
- Пусть участники решают задачи из вариантов использования обнаружения выбросов и распознавания кластеров за один сеанс (т.е. среднее время составило 43 мин).
- Начните исследование, приветствуя участников и представляя цель исследования, а также общую процедуру.
- Участники, использующие прибор для измерения проводимости кожи (см. Таблицу материалов), должны придерживаться короткой фазы покоя, чтобы получить базовое измерение. Только половина участников использовала это устройство.
- Все участники должны заполнить анкету31 State-Trait Anxiety Inventory (STAI) до начала эксперимента.
- Затем участники должны выполнить тест умственного вращения (см. Рисунок 4, этот тест оценивал способности пространственного воображения), который послужил основой для различения высоких и низких исполнителей (высокие исполнители являются продвинутыми пользователями, в то время как низкие исполнители являются новичками), за которым следует пространственный звуковой тест для измерения пространственных слуховых способностей участника.
ПРИМЕЧАНИЕ: Медианное разделение результатов теста в тестеумственной ротации 32 использовалось для различения низких и высоких показателей.
- Затем участники должны выполнить тест умственного вращения (см. Рисунок 4, этот тест оценивал способности пространственного воображения), который послужил основой для различения высоких и низких исполнителей (высокие исполнители являются продвинутыми пользователями, в то время как низкие исполнители являются новичками), за которым следует пространственный звуковой тест для измерения пространственных слуховых способностей участника.
- Случайным образом разделить участников на две группы; либо начните с задачи по обнаружению выбросов, либо с распознавания кластеров, а затем продолжите работу с другим вариантом использования. Для задачи кластерного распознавания половина участников сначала начала с используемых смарт-очков смешанной реальности (см. Таблицу материалов), а затем использовала 2D-приложение, в то время как другая половина сначала начала с 2D-приложения, а затем использовала смарт-очки смешанной реальности (см. Таблицу материалов). Для задачи обнаружения выбросов случайным образом выберите одну группу, которая получает звуковую поддержку, в то время как другая часть группы не получает звуковой поддержки.
- Завершая сессию, участники должны снова ответить на вопросник31 State-Trait Anxiety Inventory (STAI), а также на самостоятельно разработанный и демографический вопросник.
- Сохраните сгенерированные данные, которые были автоматически записаны каждым разработанным приложением, в хранилище ноутбука после завершения сеанса.
2. Протокол исследования для участников
- Подготовьте эксперимент (см. рисунок 2 для комнаты эксперимента) для каждого участника. Представьте настольный ПК, использованные смарт-очки смешанной реальности и раздайте анкеты.
- Сообщите участникам, что эксперимент займет от 40 до 50 минут, и что половина из них начнется после предварительных тестов (см. Пункты 3-6 Протокола исследования), сначала с теста на обнаружение выбросов (см. Пункт 7 Протокола исследования), а затем теста на распознавание кластеров (см. Пункт 8 Протокола исследования), в то время как другие выполняют эти два теста наоборот (т.е. Пункт 8 Протокола исследования перед пунктом 7).
- Случайным образом решите, проводится ли измерение проводимости кожи. В случае утвердительного состояния подготовьте прибор33 для измерения проводимости кожи и сообщите участнику о необходимости надеть устройство. Запросите короткую фазу покоя у участников, чтобы получить базовое измерение их уровня стресса.
- Попросите участников заполнить анкету31 «Инвентаризация тревожности состояния» (STAI) и сообщить им, что она измеряет текущий воспринимаемый стресс до начала эксперимента.
- Проведите тест на мысленную ротацию.
- Сообщите участникам, что их умственные способности вращения оцениваются, и проведите их перед настольным компьютером. Сообщите участникам о процедуре тестирования. Обратите внимание, что они должны были идентифицировать похожие объекты, которые имели разные положения в смоделированном 3D-пространстве.
- Сообщите участникам, что только два из пяти показанных объектов похожи и что у них будет 2 минуты на весь тест. Сообщите участникам, что семь задач могут быть выполнены в течение заданных 2 минут, и сообщите им, что показатели производительности записываются для каждой выполненной задачи.
- Оцените пространственные звуковые способности.
- Сообщите участникам, что их пространственные звуковые способности оцениваются, и проведите их перед настольным компьютером. Сообщите участникам о процедуре тестирования. Объясните участникам, что необходимо обнаружить шесть звуковых сэмплов, которые будут воспроизводиться в течение 13 секунд каждый.
- Сообщите участникам, что они должны определить направление (аналогично четырем направлениям компаса), из которого исходит звук.
- Оцените навыки обнаружения выбросов.
- Попросите участников надеть умные очки смешанной реальности. Объясните им, что выбросы должны быть найдены в мире, созданном для умных очков смешанной реальности.
- Далее сообщите им, что выброс - это точка с красной маркировкой, все остальные точки обозначены белым цветом. Объясните им, что они должны направить свой взгляд на точку красного цвета, чтобы обнаружить ее.
- Далее информируйте участников о том, что предоставляется не только визуальная помощь, но и звуки окружающей среды помогают им находить выбросы. Предоставьте участникам информацию о том, что они должны выполнить 8 задач, а это означает, что 8 раз в виртуальном мире должна быть найдена точка красного цвета. Для каждого участника 4 задания поддерживаются звуком, в то время как 4 задачи не поддерживаются. Для каждого участника случайным образом выбирается, начинают ли они задачу со звуковой поддержкой или нет. Затем, в зависимости от первой задачи, он меняется от задачи к задаче, независимо от того, предоставляется ли звуковая поддержка или нет.
- Расскажите участникам, какая информация будет записана: необходимое время для каждого задания, продолжительность ходьбы и то, как их окончательное положение движения связано с их начальным положением. Наконец, сообщите участникам, что отмеченная красным цветом точка изменится на зеленую, если она была обнаружена (см. рисунок 3).
- Оцените навыки распознавания кластеров.
- Случайным образом решите для участника, использовать ли сначала умные очки смешанной реальности или привести участника к настольному компьютеру. Ниже описана только процедура для настройки смешанной реальности. Если участник сначала начинает с настольного компьютера, процедура одинакова в измененном порядке и, кроме голосовых команд, они предоставляются только при использовании решения смешанной реальности.
- Для участников, использующих смешанную реальность: попросите участников надеть смарт-очки смешанной реальности. Сообщите участникам, как найти кластеры в мире, созданные с помощью используемых умных очков смешанной реальности. Подчеркните участникам, что они должны различать перекрывающиеся кластеры, перемещаясь вокруг них.
- Для участников, использующих смешанную реальность: объясните участникам, что они могут перемещаться в виртуальном мире и вокруг кластеров с помощью голосовых команд. Наконец, скажите участникам, что они должны были обнаружить шесть кластеров.
- Для участников, использующих смешанную реальность: попросите участников удалить использованные смарт-очки смешанной реальности. Подведите участников к настольному компьютеру и попросите их использовать программное обеспечение, показанное на экране настольного компьютера. Сообщите им, что тот же тип кластеров, как показано в используемых смарт-очках смешанной реальности, должен быть обнаружен с помощью программного обеспечения на настольном компьютере (см. Рисунок 7 и Рисунок 8).
- Попросите участников заполнить три анкеты, а именно анкету31 «Инвентаризация тревожности государственных черт» (STAI), самостоятельно разработанную анкету для сбора субъективной обратной связи и демографическую анкету для сбора информации о них.
- Попросите участников удалить устройство33 измерения проводимости кожи, если их попросили в начале надеть его.
- Избавьте участников от эксперимента, сказав спасибо за участие.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Настройка мер для эксперимента
Для задачи обнаружения выбросов были определены следующие показатели производительности: время, путь и угол. Измерения см. на рисунке 6 .
Время регистрировалось до тех пор, пока не была найдена отмеченная красным цветом точка (т.е. выброс). Этот показатель производительности показывает, сколько времени потребовалось участнику, чтобы найти отмеченную красным цветом точку. Время обозначается как переменная «время» (в миллисекундах) в результатах.
В то время как участники пытались найти отмеченную красным цветом точку, была определена длина их пешеходной дорожки. Основой этого расчета послужило то, что используемые смарт-очки смешанной реальности (см. Таблицу материалов) собирают текущее положение в виде 3D-вектора относительно исходного положения с частотой кадров 60 кадров в секунду. Исходя из этого, можно было рассчитать длину пути, пройденного участником. Этот показатель производительности показывает, много ли ходили участники или нет. В результатах path обозначается как PathLength. На основе PathLength были получены еще три показателя производительности: PathMean, PathVariance и BoundingBox. PathMean обозначает среднюю скорость участников в метрах на кадр, PathVariance - неустойчивость движения, а BoundingBox - интенсивно ли участники использовали свою ограничительную рамку. Последнее определяется на основе максимальных и минимальных положений всех движений (т.е. участники, которые часто меняют свое положение ходьбы, выявили более высокие значения BoundingBox).
Последнее измеренное значение обозначается AngleMean и представляет собой производное значение угла, которое обозначается AngleMean. Последний обозначает вращение между текущим положением и стартовым положением участника с частотой кадров 60 в секунду. Исходя из этого, была рассчитана средняя скорость вращения в градусах на кадр. На основе этого значения была рассчитана неустойчивость вращения с помощью дисперсии, которая обозначается как AngleVariance.
Чтобы суммировать цели вычисляемых значений пути и угла, путь указывает, много ли ходят пользователи или нет. Если они мало ходят, это может указывать на отсутствие ориентации. Угол, в свою очередь, должен указывать, совершают ли участники быстрые или резкие движения головой. Если они делают резкие движения головой несколько раз, это может снова указывать на отсутствие ориентации.
Для задачи обнаружения кластера были определены следующие показатели производительности: время и ошибки. Время было зафиксировано до того момента, когда участники сообщили, сколько кластеров они обнаружили. Этот показатель производительности показывает, сколько времени участникам потребовалось для поиска кластеров. Время обозначается как Время (в миллисекундах). Ошибки выявляются в смысле двоичного решения (true/false). Либо количество зарегистрированных кластеров было правильным (true), либо неправильным (false). Ошибки обозначаются ошибками.
Государственная версия опросника31 State-Trait Anxiety Inventory (STAI) использовалась для измерения тревожности состояния, конструкции, аналогичной стрессу состояния. Анкета состоит из 20 пунктов и была роздана до начала исследования, а также после оценки изменений в состоянии тревоги. Для оценки этой анкеты все положительные атрибуты были перевернуты (например, ответ «4» становится «1»), и все ответы суммируются до окончательного балла STAI. Проводимость кожи измеряли для 30 случайно выбранных участников с помощью устройства измерения проводимости кожи (см. Таблицу материалов)33.
После того, как два типа задач были выполнены, в конце исследования был роздан самостоятельно разработанный вопросник, чтобы запросить обратную связь от участника. Вопросник приведен в таблице 1. Кроме того, в демографическом вопроснике задавался вопрос о поле, возрасте и образовании всех участников.
Общая процедура обучения и информация об исследовании
Общая проведенная процедура исследования проиллюстрирована на рисунке 9. К исследованию присоединились 60 участников. Участники были в основном набраны в Ульмском университете и компаниях-разработчиках программного обеспечения из Ульма. Участвовавшие студенты были в основном из областей информатики, психологии и физики. Десять из них были женщинами и 50 — мужчинами.
Основываясь на предварительном тесте умственной ротации, 31 человек был классифицирован как низкопроизводительный, в то время как 29 были классифицированы как высокоэффективные. В частности, 7 женщин и 24 мужчины были классифицированы как низкоуспевающие, в то время как 3 женщины и 26 мужчин были классифицированы как высокоэффективные. Для статистических оценок использовались 3 программных средства (см. Таблицу материалов).
Частоты, проценты, средние значения и стандартные отклонения были рассчитаны как описательная статистика. Низкие и высокие показатели сравнивались в исходных демографических переменных с использованием точных тестов Фишера и t-тестов для независимых образцов. Для RQ1 -RQ5 выполнены линейные многоуровневые модели с полной оценкой максимальной вероятности. Были включены два уровня, где первый уровень представляет собой повторные оценки (либо при обнаружении выбросов, либо при распознавании кластеров), а второй уровень - об участниках. Показатели производительности (за исключением ошибок) были зависимыми переменными в этих моделях. В RQ 1 также использовались точные тесты Фишера для вероятности ошибок. В RQ3 были исследованы характеристики во времени в пространственных звуках по сравнению с отсутствием звуков (звук против отсутствия звука был включен в качестве предиктора в модели). Оценки STAI оценивались с использованием t-тестов для зависимых образцов для RQ4. В RQ5 был исследован эффект 2D-приложения по сравнению с используемыми умными очками смешанной реальности (см. таблицу материалов) с использованием теста Макнемара на вероятность ошибки. Все статистические тесты проводились двумя хвостатыми; значение значимости было установлено равным P<,05.
Результаты проводимости кожи не анализировались и подлежат дальнейшей работе. Важно отметить, что авторы выявили в другом исследовании с тем же устройством, что требуются дополнительные соображения24.
Для теста умственной ротации различия результатов теста умственной ротации между участниками были использованы, чтобы отличить низких и высоких исполнителей. Для теста пространственных способностей все участники показали хорошие баллы и, следовательно, все были классифицированы как высокоэффективные в отношении их пространственных способностей.
Сначала обобщаются важные результаты участников: низкие и высокие показатели в умственной ротации не показали различий в их исходных переменных (пол, возраст и образование). Описательно, у участников с низкими показателями был более высокий процент женщин-участников, чем у высокоэффективных, а высокоэффективные были моложе, чем низкоуспевающие. В таблице 2 обобщены характеристики участников.
Что касается результатов для RQ1, то для задачи кластерного распознавания низкие и высокие показатели существенно не отличались для 2D-приложения (4 ошибки для низких и 2 ошибки для высокопроизводительных) и 3D-подхода (8 ошибок для низких и 2 ошибки для высокопроизводительных). Для задачи обнаружения выброса высокие показатели были значительно быстрее, чем низкопроизводительные. Кроме того, для решения поставленных задач высоким исполнителям требовалась более короткая дистанция ходьбы. Что касается задачи выброса, то в таблице 3 приведены подробные результаты.
Что касается результатов для RQ2, значительные результаты появились только для задачи обнаружения выброса. BoundingBox, PathLength, PathVariance, PathMean, Angle-Variance и AngleMean значительно увеличились от задачи к задаче (см. таблицу 4). Записанное время, в свою очередь, существенно не менялось от задачи к задаче с использованием умных очков смешанной реальности (см. Таблицу материалов).
Что касается результатов для RQ3, основанных на пространственных звуках, участники смогли решить задачи в случае обнаружения выбросов быстрее, чем без использования пространственных звуков (см. Таблицу 5).
Что касается результатов по RQ4, то при предварительной оценке среднее состояние по баллам STAI составляло M = 44,58 (SD = 4,67). На этапе после оценки он составлял М = 45,72 (УР = 4,43). Это изменение не достигло статистической значимости (p = 0,175). Описательная статистика ответов в самостоятельно разработанной анкете представлена на рисунке 10.
Что касается результатов для RQ5, подход смарт-очков смешанной реальности (см. Таблицу материалов) указывает на значительно более быстрое время распознавания кластеров, чем при использовании настольного компьютера (см. Table 6). Однако преимущество в скорости при использовании смарт-очков смешанной реальности (см. Таблицу материалов) было довольно небольшим (т.е. в миллисекундном диапазоне).
Наконец, отметим, что данные этого исследования можно найти в36.
Рисунок 1: Исследованные аспекты по шкале Взаимодействие против Новизны. На рисунке показаны используемые меры и их новизна по отношению к уровню взаимодействия. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Фотографии кабинета. Представлены две фотографии кабинета. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 3: Обнаруженный выброс. На снимке экрана показан обнаруженный выброс. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 4: Пример теста мысленного вращения. На скриншоте показаны 3D-объекты, с которыми столкнулись участники; т.е. два из пяти объектов в разных положениях с одинаковой структурой объектов должны были сделать ставку на обнаружение. Эта цифра была изменена на основе этой работы35. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 5: Настройка теста пространственных способностей. В (A) показана конфигурация звука для задачи Back, а в (B) — схематический пользовательский интерфейс теста. Эта цифра была изменена на основе этой работы35. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 6: Иллюстрация настройки для обнаружения выброса задачи. Показаны три основных аспекта. Во-первых, проиллюстрированы выбросы. Во-вторых, показаны показатели производительности. В-третьих, показано, как была рассчитана звуковая поддержка. Эта цифра была изменена на основе этой работы35. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 7: Иллюстрация настройки для распознавания кластера задач. Рассмотрим сценарии A-C для лучшего впечатления, участники должны были изменить свой взгляд, чтобы правильно идентифицировать кластеры. Эта цифра была изменена на основе этой работы35. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 8: Иллюстрация настройки для распознавания кластера задач в Matlab. На рисунке показаны кластеры, предоставленные в Matlab, который был основой для 2D-настольного приложения. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 9: Общая процедура исследования с первого взгляда. На этом рисунке представлены шаги, которые участники должны были выполнить, в их хронологическом порядке. Эта цифра была изменена на основе этой работы35. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 10: Результаты самостоятельно разработанного вопросника (см. таблицу 1). Результаты отображаются с помощью прямоугольных графиков. Эта цифра была изменена на основе этой работы35. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
| #Question | Вопрос | Цель | Шкала | Значение |
| 1 | Как вы испытывали стресс при ношении очков? | Ношение | 1-10 | 10 означает высокий, 1 означает низкий |
| 2 | Насколько напряженной была задача выброса? | Выбросы | 1-10 | 10 означает высокий, 1 означает низкий |
| 3 | Насколько стрессовые вы испытывали пространственные звуки? | Звук | 1-10 | 10 означает высокий, 1 означает низкий |
| 4 | Насколько напряженной была задача поиска кластеров в смешанной реальности? | Кластерная МРТ | 1-10 | 10 означает высокий, 1 означает низкий |
| 5 | Насколько напряженной была задача поиска кластеров в настольном подходе? | Кластер DT | 1-10 | 10 означает высокий, 1 означает низкий |
| 6 | Насколько напряженным было использование голосовых команд? | Голос | 1-10 | 10 означает высокий, 1 означает низкий |
| 7 | Чувствовали ли вы поддержку пространственных звуков? | Звук | 1-10 | 10 означает высокий, 1 означает низкий |
Таблица 1: Самостоятельно разработанный вопросник для обратной связи с пользователями. Он состоит из 7 вопросов. Для каждого вопроса участники должны были определить значение в пределах шкалы от 1 до 10, в соответствии с которой 1 означает низкое значение (т. Е. Плохая обратная связь), а 10 - высокое значение (т. Е. Очень хорошая обратная связь).
| Переменная | Низкая производительность (n=31) | Высокая производительность | Значение P |
| (n=31) | (n=29) | ||
| Пол, n(%) | |||
| Женский | 7 (23%) | 3 (10%) | |
| Мужской | 24 (77%) | 26 (90%) | .302 (а) |
| Возрастная категория, n(%) | |||
| <25 | 1 (3%) | 5 (17%) | |
| 25-35 | 27 (87%) | 21 (72%) | |
| 36-45 | 0 (0%) | 2 (7%) | |
| 46-55 | 1 (3%) | 0 (0%) | |
| >55 | 2 (6%) | 1 (3%) | .099 (а) |
| Высшее образование, n(%) | |||
| Средняя школа | 3 (10%) | 5 (17%) | |
| Холостяк | 7 (23%) | 6 (21%) | |
| Хозяин | 21 (68%) | 18 (62%) | .692 (а) |
| Тест мысленного вращения, среднее (SD) | |||
| Правильные ответы | 3.03 (1.40) | 5.31 (0.76) | .001 (б) |
| Неправильные ответы | 2.19 (1.47) | 1.21 (0.56) | .000 (б) |
| Тест на пространственный слух, средний (SD) © | |||
| Правильные ответы | 4.39 (1.09) | 4.31 (1.00) | .467 (б) |
| Неправильные ответы | 1.61 (1.09) | 1.69 (1.00) | .940 (б) |
| a:Точный тест Фишера | |||
| b:Тест на два образца t-test | |||
| c: Стандартное отклонение SD | |||
Таблица 2: Описание выборки участников и сравнение низко- и высокоэффективных сотрудников по базовым переменным. В таблице приведены данные по трем демографическим вопросам по полу, возрасту и образованию. Кроме того, представлены результаты двух предварительных тестов.
| Переменная | Оценивать | SE (а) | Результат |
| BoundingBox для низкой производительности между задачами | 2,224 | .438 | t(60,00) = 5,08; с<.001 |
| Изменение BoundingBox для высокой производительности в задачах | +.131 | .630 | t(60,00) = 0,21; p=.836 |
| Время для низкой производительности при выполнении задач | 20,919 | 1,045 | t(60,00) = 20,02; с<.001 |
| Изменение времени для высокопроизводительных задач | -3,863 | 1,503 | t(60,00) = -2,57; p=.013 |
| Длина пути для низкопроизводительных задач | 5,637 | .613 | t(60,00) = 9,19; с<.001 |
| Изменение длины пути для высокопроизводительных задач | -1,624 | .882 | t(60,00) = -1,84; p=.071 |
| PathVariance для низкопроизводительных задач | 4.3Э-4 | 4.7Е-5 | t(65,15) = 9,25; с<.001 |
| Изменение PathVariance для высокопроизводительных задач | +4.3Е-6 | 6.7Е-5 | t(65,15) = 0,063; p=.950 |
| PathMean для низкой производительности в разных задачах | .0047 | 5.3Э-4 | t(60,00) = 8,697; с<.001 |
| Изменение PathMean для высокопроизводительных задач | +3.8Е-5 | 7.7Е-4 | t(60,00) = 0,05; p=.960 |
| Угловая дисперсия для низкой производительности в разных задачах | .0012 | 7.3Е-5 | t(85,70) = 16,15; с<.001 |
| Изменение AngleVariance для высокопроизводительных задач | -2.7Е-5 | 1.0Е-4 | t(85,70) = -,26; p=.796 |
| AngleМеанал для низкой производительности в разных задачах | .015 | .001 | t(60,00) = 14,27; с<.001 |
| Изменение AngleMean для высокопроизводительных задач | -3.0Е-4 | 1.5Е-3 | t(60,00) = -,20; p=.842 |
| а) SE = стандартная погрешность | |||
Таблица 3: Результаты многоуровневых моделей для RQ1 (обнаружение выбросов с помощью смарт-очков). В таблице приведены статистические результаты RQ1 для задачи обнаружения выброса (для всех показателей производительности).
| Переменная | Оценивать | SE (а) | Результат |
| BoundingBox при первой задаче | .984 | .392 | t(138,12) = 2,51; p=.013 |
| Изменение BoundingBox от задачи к задаче | +.373 | .067 | t(420,00) = 5,59; с<.001 |
| Время на первую задачу | 19,431 | 1,283 | t(302,08) = 15,11; с<.001 |
| Изменение времени от задачи к задаче | -.108 | .286 | t(420,00) = -,37; p=.709 |
| Длина пути при первом задании | 3,903 | .646 | t(214,81) = 6,05; с<.001 |
| Изменение длины пути от задачи к задаче | +.271 | .131 | t(420,00) = 2,06; p=.040 |
| PathVariance при первой задаче | 3.1Э-4 | 3.7Е-5 | t(117,77) = 8,43; с<.001 |
| Изменение PathVariance от задачи к задаче | +3.5Е-5 | 4.5Е-6 | t(455,00) = 7,90; с<.001 |
| PathMean при первом задании | .0033 | 4.2Е-4 | t(88,98) = 7,66; с<.001 |
| Изменение PathMean от задачи к задаче | +4.1Е-4 | 5.2Е-5 | t(420,00) = 7,81; с<.001 |
| Угловая дисперсия при первой задаче | .001 | 5.7Е-5 | t(129,86) = 17,92; с<.001 |
| Изменение углаВариантность от задачи к задаче | +4.1Е-5 | 6.5Е-6 | t(541,75) = 6,34; с<.001 |
| АнглМеан при первом задании | .0127 | 8.1Э-4 | t(82,17) = 15,52; с<.001 |
| Изменение УглаМеан от задачи к задаче | +6.1Е-4 | 9.0Е-5 | t(420,00) = 6,86; с<.001 |
| а) SE = стандартная погрешность | |||
Таблица 4: Результаты многоуровневых моделей для RQ2 (обнаружение выбросов с помощью смарт-очков). В таблице приведены статистические результаты RQ2 для задачи обнаружения выброса (для всех показателей производительности).
| Переменная | Оценивать | SE (а) | Результат |
| BoundingBox без звука между задачами | 2,459 | .352 | t(93,26) = 6,98; с<.001 |
| Изменение BoundingBox со звуком между задачами | -.344 | .316 | t(420,00) = -1,09; p=.277 |
| Время без звука между задачами | 20,550 | 1,030 | t(161,17) = 19,94; с<.001 |
| Изменение времени со звуком между задачами | -2,996 | 1,319 | t(420,00) = -2,27; p=.024 |
| Длина пути без звука между задачами | 5,193 | .545 | t(121,81) = 9,54; с<.001 |
| Изменение pathlength со звуком между задачами | -.682 | .604 | t(420,00) = -1,13; p=.260 |
| PathVariance без звука между задачами | .0004 | 3.5Е-5 | t(79,74) = 12,110; с<.001 |
| Изменение PathVariance со звуком между задачами | +1.3Е-5 | 2.2Е-5 | t(429,20) = 0,592; p=.554 |
| PathМеа без звука в разных задачах | .005 | 4.0Е-4 | t(73,66) = 11,35; с<.001 |
| Изменение PathMean со звуком между задачами | +1.4Е-4 | 2.5Е-4 | t(420,00) = 0,56; p=.575 |
| Угловоевариание без звука между задачами | .0012 | 5.4Е-5 | t(101,32) = 21,00; с<.001 |
| Изменение углаВариантность со звуком между задачами | +3.3Е-5 | 3.1Э-5 | t(648,56) = 1,07; p=.284 |
| AngleМеанит без звука во всех задачах | .0145 | 7.8Е-4 | t(70,17) = 18,51; с<.001 |
| Изменение AngleMean со звуком между задачами | +6.0Е-4 | 4.3Э-4 | t(420,00) = 1,39; p=.166 |
| а) SE = стандартная погрешность | |||
Таблица 5: Результаты многоуровневых моделей для RQ3 (обнаружение выбросов с помощью смарт-очков). В таблице приведены статистические результаты RQ3 для задачи обнаружения выброса (для всех показателей производительности).
| Переменная | Оценивать | SE (а) | Результат |
| Время работы с рабочим столом между задачами | 10,536 | .228 | t(156,43) = 46,120; с<.001 |
| Изменение времени с помощью Hololens между задачами | -.631 | .286 | t(660.00) = -2.206; p=.028 |
| а) SE = стандартная погрешность | |||
Таблица 6: Результаты многоуровневых моделей для RQ5 (кластерное распознавание с использованием смарт-очков). В таблице приведены статистические результаты RQ5 для задачи распознавания кластеров (для всех показателей производительности).
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Что касается применения разработанных умных очков смешанной реальности (см. Таблицу материалов), то особенно полезными были два аспекта. Использование пространственных звуков для задачи обнаружения выброса было положительно воспринято с одной стороны (см. результаты RQ3). С другой стороны, использование голосовых команд также воспринималось положительно (см. рисунок 10).
Что касается участников исследования, хотя число набранных участников было довольно небольшим для эмпирического исследования, это число является конкурентоспособным по сравнению со многими другими работами. Тем не менее, планируется более масштабное исследование на основе показанного протокола. Однако, поскольку он показал свою осуществимость для 60 участников, ожидается, что больше участников не выявят никаких дальнейших проблем. Было обсуждено, что отбор участников мог бы быть более широким (в смысле областей, из которых выступают участники) и что число исходных переменных для проведения различия между высокими и низкими показателями могло бы быть выше. С другой стороны, если эти аспекты будут изменены на более высокие цифры, сам протокол не должен быть глубоко изменен.
В целом выявленные ограничения не влияют на проведение исследования на основе протокола, показанного в данной работе, они лишь влияют на набор и используемые вопросы для демографического опросника. Тем не менее, одно ограничение этого исследования, тем не менее, важно: общее время, необходимое для завершения эксперимента для одного участника, велико. С другой стороны, поскольку участники не жаловались на комфорт ношения или на то, что тестовое устройство слишком сильно их обременяет, время проведения общего протокола для одного участника можно считать приемлемым. Наконец, в будущем эксперименте в протокол необходимо добавить несколько аспектов. В частности, задача обнаружения выбросов также должна быть оценена в 2D-настольном приложении. Кроме того, другие аппаратные устройства, такие как используемые смарт-очки смешанной реальности (см. Таблицу материалов), также должны быть оценены. Тем не менее, протокол представляется полезным в более широком смысле.
Для представленного протокола были получены следующие основные идеи. Во-первых, он показал свою целесообразность оценки иммерсивной аналитики для решения смешанной реальности. В частности, используемые смарт-очки смешанной реальности (см. Таблицу материалов) показали их возможность оценки иммерсивной аналитики в приложении смешанной реальности для сценариев Индустрии 4.0. Во-вторых, сравнение разработанного приложения для смарт-очков смешанной реальности (см. Таблицу материалов) с 2D-настольным приложением было полезно для изучения того, может ли решение смешанной реальности превзойти приложение, которое не использует методы VR. В-третьих, измерение физиологических параметров или жизненно важных показателей всегда должно учитываться в таких экспериментах. В этой работе стресс измеряли с помощью опросника и устройства для проведения кожи. Хотя последний работал технически правильно, авторы показали в другом исследовании с тем же устройством, что требуются дополнительные соображения24. В-четвертых, преимуществом был тест пространственных способностей и разделение высоких и низких показателей. Таким образом, хотя представленный протокол на первый взгляд кажется сложным (см. рисунок 9), он показал свою техническую полезность. Что касается результатов, то он также показал его полезность.
Поскольку обнаружение выбросов и распознавание кластеров являются типичными задачами при оценке многих многомерных наборов данных в сценариях Индустрии 4.0, их использование в эмпирическом исследовании является репрезентативным для этой области исследований. Протокол показал, что эти сценарии могут быть хорошо интегрированы в исследование юзабилити по иммерсивной аналитике. Поэтому используемая настройка может быть рекомендована для других исследований в этом контексте.
Поскольку результаты показанного исследования показали, что использование решения смешанной реальности на основе используемых умных очков (см. Таблицу материалов) полезно для изучения иммерсивной аналитики для сценариев Индустрии 4.0, протокол может быть использован и для других исследований юзабилити в данном контексте.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Авторам нечего раскрывать.
Acknowledgments
Авторам нечего признавать.
Materials
| Name | Company | Catalog Number | Comments |
| edaMove | movisens | ||
| HoloLens | Microsoft | ||
| Matlab R2017a | MathWorks | ||
| RPY2 | GNU General Public License v2 or later (GPLv2+) (GPLv2+) | https://pypi.org/project/rpy2/ | |
| SPSS 25.0 | IBM |
References
- Korinth, M., Sommer-Dittrich, T., Reichert, M., Pryss, R. Design and Evaluation of a Virtual Reality-Based Car Configuration Concept. Science and Information Conference. , Springer, Cham. 169-189 (2019).
- Whalen, T. E., Noël, S., Stewart, J. Measuring the human side of virtual reality. IEEE International Symposium on Virtual Environments, Human-Computer Interfaces and Measurement Systems, 2003. , IEEE. 8-12 (2003).
- Martens, M. A., et al. It feels real: physiological responses to a stressful virtual reality environment and its impact on working memory. Journal of Psychopharmacology. 33 (10), 1264-1273 (2019).
- Keim, D. A. Information visualization and visual data mining. IEEE transactions on Visualization and Computer Graphics. 8 (1), 1-8 (2002).
- Dwyer, T., et al. Immersive analytics: An introduction. Immersive analytics. , Springer, Cham. 1-23 (2018).
- Moloney, J., Spehar, B., Globa, A., Wang, R. The affordance of virtual reality to enable the sensory representation of multi-dimensional data for immersive analytics: from experience to insight. Journal of Big Data. 5 (1), 53 (2018).
- Davis, F. D., Riedl, R., Vom Brocke, J., Léger, P. M., Randolph, A. B. Information Systems and Neuroscience. , Springer. (2018).
- Huckins, J. F., et al. Fusing mobile phone sensing and brain imaging to assess depression in college students. Frontiers in Neuroscience. 13, 248 (2019).
- Preece, J., et al. Human-computer interaction. , Addison-Wesley Longman Ltd. (1994).
- Card, S. K. The psychology of human-computer interaction. , CRC Press. (2018).
- Pelayo, S., Senathirajah, Y. Human factors and sociotechnical issues. Yearbook of Medical Informatics. 28 (01), 078-080 (2019).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Krahmer, E., Ummelen, N. Thinking about thinking aloud: A comparison of two verbal protocols for usability testing. IEEE Transactions on Professional Communication. 47 (2), 105-117 (2004).
- Hornbæk, K. Current practice in measuring usability: Challenges to usability studies and research. International Journal of Human-Computer Studies. 64 (2), 79-102 (2006).
- Peppa, V., Lysikatos, S., Metaxas, G. Human-Computer interaction and usability testing: Application adoption on B2C websites. Global Journal of Engineering Education. 14 (1), 112-118 (2012).
- Alwashmi, M. F., Hawboldt, J., Davis, E., Fetters, M. D. The iterative convergent design for mobile health usability testing: mixed-methods approach. JMIR mHealth and uHealth. 7 (4), 11656 (2019).
- System Usability Scale (SUS). Assistant Secretary for Public Affairs. , Available from: https://www.hhs.gov/about/agencies/aspa/how-to-and-tools/methods/system-usability-scale.html (2013).
- Fang, Y. M., Lin, C. The Usability Testing of VR Interface for Tourism Apps. Applied Sciences. 9 (16), 3215 (2019).
- Pryss, R., et al. Exploring the Time Trend of Stress Levels While Using the Crowdsensing Mobile Health Platform, TrackYourStress, and the Influence of Perceived Stress Reactivity: Ecological Momentary Assessment Pilot Study. JMIR mHealth and uHealth. 7 (10), 13978 (2019).
- Zugal, S., et al. Investigating expressiveness and understandability of hierarchy in declarative business process models. Software & Systems Modeling. 14 (3), 1081-1103 (2015).
- Schobel, J., et al. Learnability of a configurator empowering end users to create mobile data collection instruments: usability study. JMIR mHealth and uHealth. 6 (6), 148 (2018).
- Schobel, J., Probst, T., Reichert, M., Schickler, M., Pryss, R. Enabling Sophisticated Lifecycle Support for Mobile Healthcare Data Collection Applications. IEEE Access. 7, 61204-61217 (2019).
- Hoppenstedt, B., et al. Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data. Sensors. 19 (18), 3903 (2019).
- Winter, M., Pryss, R., Probst, T., Reichert, M. Towards the Applicability of Measuring the Electrodermal Activity in the Context of Process Model Comprehension: Feasibility Study. Sensors. 20, 4561 (2020).
- Butscher, S., Hubenschmid, S., Müller, J., Fuchs, J., Reiterer, H. Clusters, trends, and outliers: How immersive technologies can facilitate the collaborative analysis of multidimensional data. Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems. , 1-12 (2018).
- Wagner Filho, J. A., Rey, M. F., Freitas, C. M. D. S., Nedel, L. Immersive analytics of dimensionally-reduced data scatterplots. 2nd Workshop on Immersive Analytics. , (2017).
- Batch, A., et al. There is no spoon: Evaluating performance, space use, and presence with expert domain users in immersive analytics. IEEE Transactions on Visualization and Computer Graphics. 26 (1), 536-546 (2019).
- Cliquet, G., Perreira, M., Picarougne, F., Prié, Y., Vigier, T. Towards hmd-based immersive analytics. HAL. , Available from: https://hal.archives-ouvertes.fr/hal-01631306 (2017).
- Luboschik, M., Berger, P., Staadt, O. On spatial perception issues in augmented reality based immersive analytics. Proceedings of the 2016 ACM Companion on Interactive Surfaces and Spaces. , 47-53 (2016).
- Fonnet, A., Prié, Y.
- Spielberger, C. D., Gorsuch, R. L., Lushene, R. E. STAI Manual for the Stait-Trait Anxiety Inventory (self-evaluation questionnaire). Consulting Psychologist. 22, Palo Alto, CA, USA. 1-24 (1970).
- Vandenberg, S. G., Kuse, A. R. Mental rotations, a group test of three-dimensional spatial visualization. Perceptual Motor Skills. 47 (2), 599-604 (1978).
- Härtel, S., Gnam, J. P., Löffler, S., Bös, K. Estimation of energy expenditure using accelerometers and activity-based energy models-Validation of a new device. European Review of Aging and Physical Activity. 8 (2), 109-114 (2011).
- Gautier, L. RPY2: A Simple and Efficient Access to R from Python. , Available from: https://sourceforge.net/projects/rpy/ (2020).
- Hoppenstedt, B., et al. Applicability of immersive analytics in mixed reality: Usability study. IEEE Access. 7, 71921-71932 (2019).
- Hoppenstedt, B. Applicability of Immersive Analytics in Mixed Reality: Usability Study. IEEE Dataport. , (2019).
