Сочетание дополненной реальности и 3D-печати для отображения моделей пациентов на смартфоне

Этот протокол дает неопытным пользователям инструменты для привлечения решений дополненной реальности в медицинской области через создание собственного приложения для смартфонов. Этот метод сочетает в себе дополненную реальность и 3D-печать, позволяющую быстро и легко визуализировать 3D-модели, созданные на основе данных поверх 3D печатного эталонного маркера. Этот метод может быть применен к любому медицинскому сценарию, в котором 3D печатные ссылки могут быть жестко прикреплены к пациенту.

Визуализация визуальных 3D-моделей, созданных на основе локализации данных, которая является целевой, а также может улучшить пациента Этот протокол был специально разработан для пользователей без предварительных знаний медицинской визуализации или разработки программного обеспечения, чтобы помочь в использовании дополненной реальности в медицинской области. Чтобы создать 3D-модели анатомии пациента, сначала отследите файл медицинского изображения в окне программного обеспечения 3D Slicer и нажмите OK. Чтобы сегментировать анатомию пациента, перейдите на модуль редактора сегмента в 3D Slicer. Элемент сегментации будет создан автоматически при входе в модуль.

Выберите нужный объем в разделе главного тома и нажмите правой кнопкой ниже изображения, чтобы выбрать добавить для создания сегмента. В панели эффектов выберите наиболее удобный инструмент для целевой и сегмент медицинского образа пациента. Для экспорта сегментации в формате файла 3D-модели откройте модуль сегментации.

В экспортно-импортных моделях и маркировках выберите экспорт и модели и нажмите на экспорт, чтобы создать 3D-модель из сегментируемой области. Нажмите сохранить и выбрать элементы, которые будут сохранены. Затем измените формат файла 3D-модели на OBJ.

Сегментация может быть повторена для создания дополнительных 3D-моделей различных анатомических областей. Для позиционирования 3D-модели пациента в любом положении в отношении маркера дополненной реальности откройте модуль позиции модели AR Health и выберите режим визуализации. Нажмите на модель маркера нагрузки, чтобы загрузить маркер для этой опции, кнопку ellipsis, чтобы выбрать путь сохраненной 3D-модели, и загрузить модель для загрузки модели в 3D Slicer.

Нажмите закончить и центр, чтобы центр все модели в маркер. Используйте слайд-бары для регулировки положения, ориентации и масштабирования 3D-моделей по отношению к маркеру по желанию. Затем выберите путь для хранения файлов и нажмите сохранить модели, чтобы сохранить модели в этой позиции.

Чтобы совместить маркер дополненной реальности с 3D-биомоделью в любом нужном положении, откройте модуль позиции модели AR Health и в разделе инициализации выберите режим регистрации. Нажмите модель маркера нагрузки, чтобы загрузить маркер для этой опции и переместить 3D-модели, пока они не пересекаются с поддерживающей структурой маркера куба, изменяя высоту базы маркера по мере необходимости. Чтобы сохранить модель в этой позиции, выберите путь для хранения файлов и нажмите сохранить модели.

Если модель анатомии слишком велика, загрузите биомодель и поддерживающую структуру модели маркера куба в программное обеспечение сетки смесителя. Выберите обе модели в окне браузера объекта, чтобы объединить модели и использовать простой инструмент вырезать из меню редактирования, чтобы удалить любые нежелательные разделы модели, которые не будут напечатаны 3D. Чтобы сохранить модель для 3D-печати, выберите файл и экспорт и выберите нужный формат.

Для 3D-печати физических моделей, необходимых для окончательного применения дополненной реальности, в программном обеспечении для 3D-печати выберите материал белого цвета для TwoColorCuebMarker_white. obj файл и черный цветной материал для TwoColorCubeMarker_white. obj файл.

Затем используйте двойной экструдер 3D принтер для 3D печати кубический маркер в черно-белом в высококачественном режиме с небольшой высотой слоя. Для разработки приложения для смартфонов в Unity Engine, которое включает в себя 3D-модели, откройте Vuforia Developer и создайте учетную запись. Выберите ключ разработки, чтобы получить ключ бесплатной лицензии на разработку, а в меню менеджера лицензий выберите и скопировать ключ.

Для настройки смартфона, в приложении Unity 2019, при настройке сборки в меню файла выберите соответствующую платформу для устройства. Чтобы включить Vuforia в проект, выберите редактирование, настройку проекта, настройки игрока и настройки XR и проверьте поле с пометкой Vuforia Augmented Reality Support. Чтобы создать камеру дополненной реальности, выберите бар меню, игровой объект, двигатель Vuforia, а также AR-камеру и импорт компонентов Vuforia по запросу.

Чтобы добавить ключ лицензии Vuforia в настройки конфигурации Vuforia, выберите папку ресурсов, нажмите конфигурацию Vuforia и вставьте ключ лицензии в раздел ключа лицензии приложения. Импортируем целевой файл Vuforia, содержащий файлы, необходимые Vuforia для обнаружения маркеров в Unity, и выберите бар меню, игровой объект, двигатель Vuforia и мульти-изображение для создания мультимишени Vuforia. Нажмите на мультицелевые, чтобы выбрать тип маркера, который будет использоваться для обнаружения и в варианте базы данных при многоцелемом поведении, выберите ARHealth_3dPrintedCube_30x30x30.

В многоцелевые варианты при многоцелевом поведении выберите дваcolorCubeMarker или StickerCubeMarker в зависимости от маркера. Перетащите 3D-модели в папку моделей и перетащите папку под мультицелемный элемент. Модели должны стать видимыми в сцене 3D-представления Unity.

Чтобы изменить цвета 3D-моделей, создайте новые материалы и присвоить новые материалы моделям. Если веб-камера доступна, нажмите кнопку воспроизведения, чтобы проверить приложение на компьютере. Если маркер виден веб-камере, он должен быть обнаружен и 3D-модели должны появиться в сцене.

Если для разработки приложения будет использован Android-смартфон, выберите настройки сборки в Unity и выберите подключенный телефон из списка. Затем сохраните файл с расширением apk и позвольте процессу закончить. Если приложение будет развернуто на устройстве iOS, выберите файл в настройках сборки и сохраните файл.

Чтобы визуализировать приложение, откройте приложение на смартфоне и используйте камеру смартфона, чтобы посмотреть на маркер из приложения на минимальном расстоянии 40 сантиметров. Как только приложение обнаруживает маркер, ранее созданные 3D модели должны отображаться на экране смартфона в точном месте, определенном во время процедуры. Используя метод, как попродемонстрировано, эта часть пораженной голени и малоберцовой кости от пациента, страдающего от дистальной саркомы ноги и опухоли были сегментированы от КТ пациента.

Используя инструменты сегментации, одна биомодель была создана для кости и одна биомодель была создана для опухоли. Для режима визуализации модели были сосредоточены в верхней фазе маркера. Для режима регистрации адаптер маркера был расположен в голени, а небольшая часть голени была выбрана для 3D-печати с помощью 3D-адаптера маркера.

Полилактическая кислота может быть использована для создания 3D печатных маркеров, основания держателя маркера и кости разделов, как попродемонстрировано. Здесь маркер крепится к режиму визуализации 3D печатной базы и здесь вложение отображается с режимом регистрации 3D печатной биомодели. Это представление показывает, как приложение работает в режиме визуализации с голограммой точно расположен в верхней части куба, как это было определено ранее.

В режиме регистрации полная модель кости может распоняться поверх 3D-печатного раздела с четкой и реалистичной визуализацией маркера на участке кости. Для использования дополненной реальности для визуализации важной информации о пациентах потребуется несколько программных средств, которые находятся в свободном доступе, а также доступ к 3D-принтеру и смартфону. Эта процедура может быть применена к любой модели, полученной из медицинской визуализации.

Его использование может быть распространено на другие мероприятия, такие как лучевая терапия позиционирования вставки иглы. В настоящее время мы будем расширять применение этой разработки на новые клинические области, включая миофасцианую или ортопедическую хирургию. Наши первоначальные исследования являются многообещающими и хирург обратной связи является очень позитивным.