Визуализация резецированного образца опухоли на основе дополненной реальности

Аннотация

Это видео демонстрирует использование дополненной реальности (AR) для резекции опухоли, где 3D-отсканированный образец опухоли визуализируется в виде голограммы на головном дисплее. Хирурги могут манипулировать голограммой и фиксировать ее на месте, чтобы обеспечить точное удаление опухоли.

Протокол

Все процедуры, связанные со сбором образцов, были выполнены в соответствии с рекомендациями института IRB.

ПРИМЕЧАНИЕ: Схема, подробно описывающая рабочий процесс протокола, показана на рисунке 1.

1. 3D Сканирование

1. Получите 3D-сканирование образца онкологической резекции в соответствии с ранее описанным протоколом 3D-сканирования7.
   1. Установите имеющийся в продаже настольный 3D-сканер в непосредственной близости от патологоанатомической лаборатории, где обычно берутся образцы.
   2. Аккуратно промойте и обсушите резецированный экземпляр. Затем сделайте 2D-фотографии его передней и задней поверхностей.
   3. Поместите образец на поворотный стол сканера, обеспечив защиту поворотного стола от любых биологических жидкостей с помощью тонкого пластикового листа.
   4. Используя программное обеспечение для 3D-сканера и портативный компьютер, получите 3D-сканирование передней и задней поверхностей образца.
   5. С помощью программного обеспечения 3D-сканера используйте трехточечную перекрестную регистрацию данных для выравнивания двух наборов данных сканирования.
   6. После того, как скан будет похож на 3D-структуру образца ex vivo, перейдем к шагу 1.2.
2. Нажмите «Сохранить скан» и сохраните завершенный скан из программы 3D-сканирования в виде файла .obj и файла .jpeg.

2. Настройка среды дополненной реальности

1. Откройте десктопное программное обеспечение дополненной реальности. Откройте пакет Дополненная реальность VISE.
2. Загрузите 3D-модель, созданную на шаге 1.2, в виде файла .obj, а данные текстуры в виде файла .jpeg в программное обеспечение, перетащив файлы с рабочего стола в поле «Активы проекта».
3. Наденьте шлем виртуальной реальности (HMD).
4. Откройте меню в среде шлема виртуальной реальности, подняв недоминантное запястье. Когда появится квадратный значок, коснитесь его, указав пальцем на значок, и найдите меню.
5. Выбрать файл | Показать все приложения | откройте приложение «Голографическое удаленное взаимодействие» на шлеме виртуальной реальности.
6. Подключите шлем виртуальной реальности к программному обеспечению, выбрав Смешанная реальность | Удаленное взаимодействие | Голографическое удаленное взаимодействие для режима игры на верхней панели инструментов.
7. Введите IP-адрес шлема виртуальной реальности, который отображается при открытии приложения голографического удаленного взаимодействия.
   ПРИМЕЧАНИЕ: Если IP-адрес не отображается в приложении, его также можно найти в настройках или с помощью голосовой команды «Что такое мой IP-адрес».
8. Убедитесь, что шлем виртуальной реальности и устройство, на котором установлено программное обеспечение, подключены к одной и той же сети Wi-Fi. Нажмите треугольную кнопку «Играть» в верхней части по центру. Шлем шлема виртуальной реальности теперь будет отображать надпись «Рендеринг».
9. Перетащите модель 3D-объекта на левую панель иерархии. Откройте выпадающее меню для объекта. Перетащите значение по умолчанию во всплывающее окно «Настроить опору» в разделе «Заменить объект». Нажмите на кнопку «Применить выбранные объекты».
10. Откройте раскрывающийся список Medical_Object в меню «Иерархия» и выберите «Привязка», прежде чем выбрать «Переместить точку опоры Medical_Object» во всплывающем окне «Настроить точку опоры».
11. Перетащите файл текстуры в поле (Texture 2D) всплывающего окна Adjust Pivot. Выберите «Применить выбранный файл текстуры».
12. Нажмите кнопку «Играть» в верхней центральной части экрана еще раз.

3. Вход в виртуальную реальность

1. Используйте голосовую команду Open для инициализации голограммы.
2. Если объект не виден или исчезает из поля зрения, используйте голосовую команду Reposition, чтобы вернуть объект в центр обзора.
3. Объект будет отображаться в анатомических размерах. Используйте голосовую команду Lock Size, чтобы сохранить текущий размер объекта, Unlock Size, чтобы изменить размер объекта, и Back to Scale, чтобы восстановить анатомический размер объекта.
4. Сведите пальцы и большой палец, чтобы изменить размер, переместить и повернуть объект так же, как и физический объект.

4. Использование голосовых команд

1. Управляйте объектом без помощи рук с помощью следующих голосовых команд:
   1. Вправо: Поверните объект вправо.
   2. Влево: Поверните объект влево.
   3. Больше: Увеличьте объект.
   4. Меньше: Уменьшите размер.
   5. Увеличить прозрачность: Увеличьте прозрачность объекта.
   6. Уменьшить прозрачность: Уменьшите прозрачность объекта.

5. Повторное выравнивание образца под руководством AR

ПРИМЕЧАНИЕ: 3D-выравнивание голограммы можно увидеть на рисунке 2.

1. Манипулируйте голограммой 3D-образца, видимой через шлем виртуальной реальности, с помощью большого и указательного пальцев.
   1. Захватите объект, соединив большой и указательный пальцы вместе в реальной среде, где голограмма видна в виртуальной среде.
   2. Отпустите объект, открыв большой и указательный пальцы в реальной среде, как только 3D-голограмма будет размещена в нужном месте в виртуальной среде.
2. Используйте голосовую команду Lock, чтобы закрепить голограмму на месте, и Unlock, чтобы снова манипулировать объектом.
3. Исходя из анатомической ориентации голограммы, выровняйте виртуальный образец в ложе резекции, выполнив шаги 5.1-5.2. Когда голограмма будет максимально выровнена относительно резекционного слоя, если смотреть через шлем виртуальной реальности, используйте голосовую команду Lock, чтобы зафиксировать образец на месте.

Результаты

Рисунок 1: Протокольный документооборот. Схема, демонстрирующая экспериментальные протоколы параллельно с текущим стандартным протоколом.

Рисунок 2: Переориентация 3D-голограммы, наблюдаемая через шлем виртуальной реальности. Пользователь видит через ш...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Цифровой фотоаппарат или камерофон	Айфон		Может использовать iPhone или аналогичную камеру, телефон или цифровую камеру.
EinScan SP V2 Platinum Настольный 3D-сканер	Сияние 3D		Аппаратное обеспечение для 3D-сканера
Программное обеспечение ExScan; Solid Edge SHINING 3D Edition	Сияние 3D		Программное обеспечение для 3D-сканера, входящее в комплект поставки 3D-сканера
Внешняя мышь	Майкрософт
Ноутбук	Dell XP5	00355-60734-40310-AAOEM	Требования к ноутбуку:
USB: 1 ×USB 2.0 или 3.0; ОС: Win 7, 8 или 10 (64 бит);
Видеокарта: серия Nvidia; Графическая память: ?1G;
Процессор: двухъядерный i5 или выше; Оперативная память: ?8G
Microsoft HMD 2	Майкрософт
Программное обеспечение Unity	Технологии Unity		Платформа интерактивного 3D-контента в режиме реального времени
Пакет Microsoft Office	Майкрософт
Мобильная презентационная корзина	Оклахома-Саунд	ПРК450
Конвертер устройств USB-c	ТРИПП-ЛАЙТ	U442-ДОК3-Б	Необходим только в том случае, если в ноутбуке нет USB