$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Все процедуры, связанные со сбором образцов, были выполнены в соответствии с рекомендациями института IRB.
ПРИМЕЧАНИЕ: Схема, подробно описывающая рабочий процесс протокола, показана на рисунке 1.
1. 3D Сканирование
- Получите 3D-сканирование образца онкологической резекции в соответствии с ранее описанным протоколом 3D-сканирования7.
- Установите имеющийся в продаже настольный 3D-сканер в непосредственной близости от патологоанатомической лаборатории, где обычно берутся образцы.
- Аккуратно промойте и обсушите резецированный экземпляр. Затем сделайте 2D-фотографии его передней и задней поверхностей.
- Поместите образец на поворотный стол сканера, обеспечив защиту поворотного стола от любых биологических жидкостей с помощью тонкого пластикового листа.
- Используя программное обеспечение для 3D-сканера и портативный компьютер, получите 3D-сканирование передней и задней поверхностей образца.
- С помощью программного обеспечения 3D-сканера используйте трехточечную перекрестную регистрацию данных для выравнивания двух наборов данных сканирования.
- После того, как скан будет похож на 3D-структуру образца ex vivo, перейдем к шагу 1.2.
- Нажмите «Сохранить скан» и сохраните завершенный скан из программы 3D-сканирования в виде файла .obj и файла .jpeg.
2. Настройка среды дополненной реальности
- Откройте десктопное программное обеспечение дополненной реальности. Откройте пакет Дополненная реальность VISE.
- Загрузите 3D-модель, созданную на шаге 1.2, в виде файла .obj, а данные текстуры в виде файла .jpeg в программное обеспечение, перетащив файлы с рабочего стола в поле «Активы проекта».
- Наденьте шлем виртуальной реальности (HMD).
- Откройте меню в среде шлема виртуальной реальности, подняв недоминантное запястье. Когда появится квадратный значок, коснитесь его, указав пальцем на значок, и найдите меню.
- Выбрать файл | Показать все приложения | откройте приложение «Голографическое удаленное взаимодействие» на шлеме виртуальной реальности.
- Подключите шлем виртуальной реальности к программному обеспечению, выбрав Смешанная реальность | Удаленное взаимодействие | Голографическое удаленное взаимодействие для режима игры на верхней панели инструментов.
- Введите IP-адрес шлема виртуальной реальности, который отображается при открытии приложения голографического удаленного взаимодействия.
ПРИМЕЧАНИЕ: Если IP-адрес не отображается в приложении, его также можно найти в настройках или с помощью голосовой команды «Что такое мой IP-адрес».
- Убедитесь, что шлем виртуальной реальности и устройство, на котором установлено программное обеспечение, подключены к одной и той же сети Wi-Fi. Нажмите треугольную кнопку «Играть» в верхней части по центру. Шлем шлема виртуальной реальности теперь будет отображать надпись «Рендеринг».
- Перетащите модель 3D-объекта на левую панель иерархии. Откройте выпадающее меню для объекта. Перетащите значение по умолчанию во всплывающее окно «Настроить опору» в разделе «Заменить объект». Нажмите на кнопку «Применить выбранные объекты».
- Откройте раскрывающийся список Medical_Object в меню «Иерархия» и выберите «Привязка», прежде чем выбрать «Переместить точку опоры Medical_Object» во всплывающем окне «Настроить точку опоры».
- Перетащите файл текстуры в поле (Texture 2D) всплывающего окна Adjust Pivot. Выберите «Применить выбранный файл текстуры».
- Нажмите кнопку «Играть» в верхней центральной части экрана еще раз.
3. Вход в виртуальную реальность
- Используйте голосовую команду Open для инициализации голограммы.
- Если объект не виден или исчезает из поля зрения, используйте голосовую команду Reposition, чтобы вернуть объект в центр обзора.
- Объект будет отображаться в анатомических размерах. Используйте голосовую команду Lock Size, чтобы сохранить текущий размер объекта, Unlock Size, чтобы изменить размер объекта, и Back to Scale, чтобы восстановить анатомический размер объекта.
- Сведите пальцы и большой палец, чтобы изменить размер, переместить и повернуть объект так же, как и физический объект.
4. Использование голосовых команд
- Управляйте объектом без помощи рук с помощью следующих голосовых команд:
- Вправо: Поверните объект вправо.
- Влево: Поверните объект влево.
- Больше: Увеличьте объект.
- Меньше: Уменьшите размер.
- Увеличить прозрачность: Увеличьте прозрачность объекта.
- Уменьшить прозрачность: Уменьшите прозрачность объекта.
5. Повторное выравнивание образца под руководством AR
ПРИМЕЧАНИЕ: 3D-выравнивание голограммы можно увидеть на рисунке 2.
- Манипулируйте голограммой 3D-образца, видимой через шлем виртуальной реальности, с помощью большого и указательного пальцев.
- Захватите объект, соединив большой и указательный пальцы вместе в реальной среде, где голограмма видна в виртуальной среде.
- Отпустите объект, открыв большой и указательный пальцы в реальной среде, как только 3D-голограмма будет размещена в нужном месте в виртуальной среде.
- Используйте голосовую команду Lock, чтобы закрепить голограмму на месте, и Unlock, чтобы снова манипулировать объектом.
- Исходя из анатомической ориентации голограммы, выровняйте виртуальный образец в ложе резекции, выполнив шаги 5.1-5.2. Когда голограмма будет максимально выровнена относительно резекционного слоя, если смотреть через шлем виртуальной реальности, используйте голосовую команду Lock, чтобы зафиксировать образец на месте.
