Summary
Здесь представлен метод разработки приложения для смартфона дополненной реальности для визуализации анатомических трехмерных моделей пациентов с помощью 3D-печатного эталона.
Abstract
Дополненная реальность (AR) имеет большой потенциал в области образования, профессиональной подготовки и хирургического руководства в области медицины. Его сочетание с трехмерной (3D) печатью (3DP) открывает новые возможности в клиническом применении. Хотя эти технологии выросли в геометрической прогрессии в последние годы, их внедрение врачами по-прежнему ограничено, поскольку они требуют обширных знаний в области инженерии и разработки программного обеспечения. Поэтому цель юга этого протокола заключается в описании пошаговой методологии, позволяющей неопытным пользователям создавать приложение для смартфонов, которое сочетает в себе AR и 3DP для визуализации анатомических 3D-моделей пациентов с 3D-печатным эталонным маркером. Протокол описывает, как создавать 3D виртуальные модели анатомии пациента, полученных из 3D медицинских изображений. Затем объясняется, как выполнять позиционирование 3D-моделей в отношении маркерных ссылок. Также предусмотрены инструкции о том, как 3D печать необходимых инструментов и моделей. Наконец, предусмотрены шаги по развертыванию приложения. Протокол основан на свободном и многоплатформеном программном обеспечении и может быть применен к любому способу медицинской визуализации или пациенту. Описан альтернативный подход, предусматривающий автоматическую регистрацию между 3D-печатной моделью, созданной по анатомии пациента, и прогнозируемыми голограммами. В качестве примера приводится клинический случай пациента, страдающего саркомой дистальной ноги, чтобы проиллюстрировать методологию. Ожидается, что этот протокол ускорит внедрение технологий AR и 3DP медицинскими специалистами.
Introduction
AR и 3DP являются технологиями, которые обеспечивают все большее число приложений в области медицины. В случае AR, его взаимодействие с виртуальными 3D-моделями иреальнойокружающей среды выгоды врачей в отношении образования и обучения1,2,3, связи и взаимодействия с другими врачами4, и руководство во время клинических вмешательств5,6,7,8,9,10. Аналогичным образом, 3DP стал мощным решением для врачей при разработке пациента конкретных настраиваемых инструментов11,12,13 или создание 3D-моделей анатомии пациента, которые могут помочь улучшить предоперационное планирование и клинические вмешательства14,15.
Как AR, так и 3DP-технологии помогают улучшить ориентацию, руководство и пространственные навыки в медицинских процедурах; таким образом, их сочетание является следующим логическим шагом. Предыдущая работа показала, что их совместное использование может увеличить ценность в образовании пациента16, облегчая объяснения медицинских условий и предлагаемого лечения, оптимизация хирургического рабочего процесса17,18 и улучшение пациента к модели регистрации19. Хотя эти технологии выросли в геометрической прогрессии в последние годы, их внедрение врачами по-прежнему ограничено, поскольку они требуют обширных знаний в области инженерии и разработки программного обеспечения. Поэтому цель этой работы заключается в описании пошаговой методологии, позволяющей использовать AR и 3DP неопытными пользователями без необходимости в широких технических знаниях.
Этот протокол описывает, как разработать приложение для смартфонов AR, которое позволяет накладывать любую 3D-модель на реальную среду с помощью 3D-печатного маркера, отслеживаемого камерой смартфона. Кроме того, описывается альтернативный подход, предусматривающий автоматическую регистрацию между биомоделью с 3D-печатью (т.е. 3D-моделью, созданной по анатомии пациента) и проецированными голограммами. Описанный протокол полностью основан на свободном и многоплатформеном программном обеспечении.
В предыдущей работе, AR пациента к изображению регистрации была рассчитана вручную5 с алгоритмами распознавания поверхности10 или был недоступен2. Эти методы были сочтены несколько ограниченными, когда точная регистрация требуется19. Чтобы преодолеть эти ограничения, эта работа предоставляет инструменты для выполнения точной и простой регистрации пациента к изображению в AR процедуры путем объединения технологии AR и 3DP.
Протокол является общим и может быть применен к любой медицинской визуализации модальности или пациента. В качестве примера приводится реальный клинический случай пациента, страдающего саркомой дистальной ноги, чтобы проиллюстрировать методологию. Первый шаг описывает, как легко сегментировать пораженную анатомию от компьютерной томографии (КТ) медицинских изображений для создания 3D виртуальных моделей. После этого осуществляется позиционирование 3D-моделей, затем необходимые инструменты и модели печатаются на 3D-принтере. Наконец, развернуто желаемое ПРИЛОЖЕНИЕ AR. Это приложение позволяет визуализации пациента 3D-моделей, наложенных на камеру смартфона в режиме реального времени.
Protocol
Это исследование было проведено в соответствии с принципами Хельсинкской декларации 1964 года, пересмотренной в 2013 году. Обезличенные данные пациентов и фотографии, включенные в настоящее документ, используются после получения письменного информированного согласия от участника и/или их законного представителя, в котором он/она одобрила использование этих данных для распространения деятельности, включая научные публикации.
1. Настройка рабочих станций для сегментации, извлечения 3D-моделей, позиционирования и развертывания AR-приложений
ПРИМЕЧАНИЕ: Этот протокол был протестирован с конкретной версией программного обеспечения, указанной для каждого инструмента. Скорее всего, он будет работать с новыми версиями, хотя это не гарантируется.
- Используйте компьютер с Microsoft Windows 10 или Mac OS в качестве операционных систем.
- Установите следующие инструменты с соответствующих веб-сайтов в официальных инструкциях:
3D Slicer (ст. 4.10.2): https://download.slicer.org/.
Мешмиксер (ст. 3.5): http://www.meshmixer.com/download.html.
Единство (v. 2019): https://unity3d.com/get-unity/download.
(Только для развертывания iOS) Xcode (последняя версия): https://developer.apple.com/xcode/.
ПРИМЕЧАНИЕ: Все программные средства, необходимые для завершения протокола, могут быть свободно загружены в личных целях. Программное обеспечение, используемое на каждом этапе, будет конкретно указано. - Скачать данные из следующего репозитория GitHub, найденные в https://github.com/BIIG-UC3M/OpenARHealth.
ПРИМЕЧАНИЕ: Репозиторий содержит следующие папки:
"/3DSlicerModule/": 3D модуль слайсера для позиционирования 3D-моделей по отношению к 3D-печатаемому маркеру. Используется в разделе 3. Добавьте модуль в 3D-срез, следуя инструкциям, доступным в https://github.com/BIIG-UC3M/OpenARHealth.
"/Data/PatientData/Patient000_CT.nrrd": КТ пациента, страдающего саркомой дистальной ноги. Протокол описывается с использованием этого изображения в качестве примера.
"/Данные/Биомодели/": 3D модели пациента (косточка и опухоль).
"/Data/Markers/": Маркеры, которые будут напечатаны на 3D-принтере, которые будут обнаружены приложением AR для размещения виртуальных 3D-моделей. Есть два маркера доступны.
2. Создание биомодели
ПРИМЕЧАНИЕ: Цель этого раздела заключается в создании 3D-моделей анатомии пациента. Они будут получены путем применения методов сегментации к медицинскому изображению (здесь, с помощью КТ-изображения). Процесс состоит из трех различных этапов: 1) загрузка данных пациента в 3D-программное обеспечение срезера, 2), сегментация целевых объемов анатомии и 3) экспорт сегментации в качестве 3D-моделей в формате OBJ. Полученные 3D-модели будут визуализированы в окончательном приложении AR.
- Загрузите данные пациента (//Data/PatientData/Patient000_CT.nrrd) путем перетаскивания файла медицинского изображения в окно программного обеспечения 3D-среза. Нажмите OK. На соответствующих окнах появятся виды КТ (осевые, сагитальные, корональные).
ПРИМЕЧАНИЕ: Данные, используемые здесь, находятся в формате "почти необработанные данные raster" (NRRD), но 3D Slicer позволяет загружать файлы медицинского формата изображения (DICOM). Перейдите к следующей ссылке для дальнейших инструкций, найденных в https://www.slicer.org/wiki/Documentation/4.10/Training. - Чтобы сегментировать анатомию пациента, перейдите в модуль редактора сегмента в 3D срез.
- При входе в модуль автоматически создается элемент "сегментации". Выберите нужный том (медицинское изображение пациента) в разделе Master Volume. Затем, правое нажатие ниже на кнопку Добавить, чтобы создать сегмент. Будет создан новый сегмент с названием "Segment_1".
- Существует панель под названием Эффекты, которая содержит различные инструменты, чтобы правильно сегмент целевой области медицинского изображения. Выберите наиболее удобный инструмент для цели и сегмент на области окна изображения.
- Для сегментирования кости (тибия и малоберцовая кости в этом случае) используйте инструмент Порог для настройки минимальных и максимальных значений HU из КТ изображения, которое соответствует костной ткани. С помощью этого инструмента удаляются другие элементы с HU за пределами этих пороговых значений, такие как мягкие ткани.
- Используйте инструмент Ножницы для удаления нежелательных областей, таких как кровать или другие анатомические структуры, из сегментированной маски. Сегмент саркома вручную с помощью инструментов Draw и Erase, так как опухоль трудно контур с автоматическими инструментами.
ПРИМЕЧАНИЕ: Чтобы узнать больше о процедуре сегментации, перейдите по ссылке, найденной в https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- Нажмите на 3D-кнопку Show, чтобы просмотреть 3D-представление сегментации.
- Экспортировать сегментацию в формате файла 3D-модели, перейдя в модуль сегментации в 3D Slicer.
- Перейти к экспорту / импорт модели и этикетки. Выберите Экспорт в разделе операции и модели в разделе тип вывода. Нажмите Экспорт, чтобы закончить и создать 3D-модель из сегментированной области.
- Выберите SAVE (вверху слева), чтобы сохранить модель. Выберите элементы для сохранения. Затем измените формат файла 3D-модели на "OBJ" в столбце формата файла. Выберите путь, по которому будут храниться файлы, и нажмите на Save.
- Повторите шаги 2.2 и 2.3 для создания дополнительных 3D-моделей различных анатомических регионов.
ПРИМЕЧАНИЕ: Предварительно сегментированные модели приведенного примера можно найти в данных, ранее загруженных в шаге 1.3 ("/Data/Biomodels/").
3. Биомодель позиционирование
ПРИМЕЧАНИЕ: В этом разделе 3D-модели, созданные в разделе 2, будут расположены в отношении маркера для визуализации дополненной реальности. Для этой задачи будет использоваться модуль ARHealth: Модуля позиции модели от 3D Slicer. Следуйте инструкциям, представленным в шаге 1.3, чтобы добавить модуль в 3D Slicer. Существует две различные альтернативы для размещения 3D-моделей: режим «Визуализация» и режим «Регистрация».
- Режим визуализации
ПРИМЕЧАНИЕ: Режим визуализации позволяет позиционировать 3D модели пациента в любом положении по отношению к маркеру AR. С помощью этой опции пользователь может использовать приложение AR для визуализации биомоделей с помощью 3D-печатного AR-маркера в качестве эталона. Этот режим может использоваться, когда точность не требуется, и визуализация виртуальной модели может отображаться в любом месте в поле зрения камеры смартфона и маркера.- Перейдите в модуль ARHealth: Модуля позиции модели и (в разделе инициализации) выберите режим визуализации. Нажмите на модель маркера нагрузки, чтобы загрузить маркер для этой опции.
- Загрузите 3D-модели, созданные в разделе 2, нажав на кнопку ..., чтобы выбрать путь сохраненных моделей из раздела 2. Затем нажмите на кнопку Load Model, чтобы загрузить ее в 3D Slicer. Модели должны быть загружены по одному. Чтобы удалить все модели, ранее загруженные, нажмите на эту модель, за которой следует кнопка Удалить модель, или нажмите Удалить все, чтобы удалить все модели, загруженные сразу.
- Нажмите кнопку Отделка и центр, чтобы центрировать все модели внутри маркера.
- Положение, ориентация и масштабирование 3D-моделей могут быть изменены в отношении маркера с различными ползун-барами (наоборот, перевод, вращение, масштаб).
ПРИМЕЧАНИЕ: Существует дополнительная кнопка "Позиция сбросить" для сбросить исходное положение моделей, прежде чем вносить какие-либо изменения в положение. - Сохранить модели в этом положении, выбрав способ хранения файлов и нажав кнопку Сохранить модели. 3D-модели будут сохранены с названием расширения "_registered.obj".
- Режим регистрации
ПРИМЕЧАНИЕ: Режим регистрации позволяет объединить маркер AR с одной 3D биомоделью в любом нужном положении. Затем можно извлечь любой раздел комбинированных 3D-моделей (включая МАРКЕР AR) и распечатать его на 3D-принтере. Все биомодели будут отображаться в приложении AR с использованием этой комбинированной 3D-печатной биомодели в качестве эталона. Этот режим позволяет пользователю легко зарегистрировать пациента (здесь, часть кости пациента) и виртуальные модели с помощью эталонного маркера.- Перейдите в модуль ARHealth: Модуля позиции модели и (в разделе инициализации) выберите режим регистрации. Нажмите на модель маркера нагрузки, чтобы загрузить маркер для этой опции.
- Загрузите модели, как это делается в шаге 3.1.2.
- Переместите 3D-модели и обеспечите их пересечение с несущей структурой маркера куба, так как эти модели будут объединены и напечатаны на 3D-принтере позже. Высота основания маркера может быть изменена. Положение, ориентация и масштабирование 3D-моделей могут быть изменены в отношении маркера с различными ползун-барами (наоборот, перевод, вращение, масштаб).
- Сохранить модели в этом положении, выбрав способ хранения файлов и нажав кнопку Сохранить модели. 3D-модели будут сохранены с названием расширения "_registered.obj".
- Модель анатомии может быть слишком большой. Если это так, вырежьте 3D-модель вокруг маркерного адаптера и 3D-печать только раздел комбинации обеих моделей с помощью программного обеспечения Meshmixer.
- Откройте сетку и загрузите биомодель и поддерживающую структуру модели кубического маркера, сохраненную в шаге 3.2.4. Объедините эти модели, выбрав обе модели в окне браузера объектов. Нажмите на опцию Combine в окне инструмента, который только что появился в верхнем левом углу.
- В Meshmixer используйте инструмент Plane Cut под меню Edit, чтобы удалить нежелательные разделы модели, которые не будут напечатаны на 3D-принтере.
- Чтобы сохранить модель, чтобы быть 3D-печатью, перейдите в файл и экспорт и выберите желаемый формат.
4. 3D печать
ПРИМЕЧАНИЕ: Цель этого шага состоит в том, чтобы 3D-печать физических моделей, необходимых для окончательного применения AR. Маркер, который должен быть обнаружен приложением и различными объектами, необходимыми, зависит от режима, выбранного в разделе 3. Любой материал может быть использован для 3D-печати для этой работы, при соблюдении требований к цветоматериалам, запрошенных на каждом этапе. Полилактическая кислота (PLA) или акрилонитрил бутадиена стирола (ABS) оба достаточного выбора.
- Для печати кубического маркера используйте 3D-принтер. Если двойной экструдер 3D принтер не доступен, перейдите к шагу 4.2. Используйте двойной экструдер 3D принтер специально для печати двухцветный маркер, предусмотренный в "Данные / маркеры / Marker1_TwoColorCubeMarker/". В программном обеспечении для 3D-печати выберите материал белого цвета для файла "TwoColorCubeMarker_WHITE.obj" и материал черного цвета для "TwoColorCubeMarker_BLACK.obj".
ПРИМЕЧАНИЕ: Для лучшего обнаружения маркеров, печать на высококачественный режим с небольшой высотой слоя. - Если двойной экструдер 3D принтер не доступен и шаг 4.1 не был выполнен, следуйте этому шагу, чтобы напечатать 3D-печатный маркер с наклейками в качестве альтернативы, делая следующее:
- Используйте 3D-принтер для печати файла "Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" с белым цветным материалом.
- Используйте обычный принтер для печати файла "Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf" на наклейке. Затем используйте любой режущий инструмент, чтобы точно сократить изображения, хотя черная рамка, удалив черные линии.
ПРИМЕЧАНИЕ: Рекомендуется использовать наклейку бумаги для получения более высокого качества маркера. Тем не менее, изображения могут быть напечатаны на обычной бумаге, и общий клей палкой могут быть использованы для вставки изображения на кубе. - Поместите наклейки в 3D-печатном кубе, полученном в шаге 4.2.1 в соответствующем порядке, следуя инструкциям из документа "Данные/маркеры/ Marker2_StickerCubeMarker/Stickers.pdf".
ПРИМЕЧАНИЕ: Наклейки меньше, чем лицо куба. Оставьте 1,5 мм кадр между наклейкой и краем лица. "Данные/маркеры/Marker2_StickerCubeMarker/stickerPlacer.stl" могут быть напечатаны на 3D-принтере, чтобы направлять позиционирование наклейки и точно соответствовать центру куба.
- 3D-печать адаптеров, в зависимости от режима, выбранного в разделе 3.
- Если был выбран режим визуализации (раздел 3.1), 3D-печать "Data/3DPrinting/Option1/ MarkerBaseTable.obj", который представляет собой базовый адаптер, используемый для размещения маркера в вертикальном положении на горизонтальной поверхности.
- Если был выбран режим регистрации (раздел 3.2), 3D-печать модели создается в шаге 3.2.8 с прикрепленным маркером адаптером.
ПРИМЕЧАНИЕ: 3D печатные объекты со ступени 4.3 могут быть напечатаны в любом цветном материале.
5. Развертывание приложения AR
ПРИМЕЧАНИЕ: Цель этого раздела заключается в разработке приложения для смартфона в движке Unity, которое включает в себя 3D-модели, созданные в предыдущих разделах, и развернуть это приложение на смартфоне. Для этого шага требуется ключ к лицензии на разработку Vuforia (бесплатно для личного пользования). Приложение может быть развернуто на устройствах Android или iOS.
- Создайте учетную запись разработчика Vuforia для получения ключа лицензии для использования их библиотек в Unity. Перейдите по ссылке, найденной в https://developer.vuforia.com/vui/auth/register и создайте учетную запись.
- Перейдите по ссылке, найденной в https://developer.vuforia.com/vui/develop/Licenses и выберите Ключ развитияGet. Затем следуйте инструкциям, чтобы добавить бесплатный ключ лицензии разработки в учетную запись пользователя.
- В меню Менеджер лицензии выберите ключ, созданный на предыдущем этапе, и скопируйте предоставленный ключ, который будет использоваться в шаге 5.3.3.
- Настройка смартфона.
- Чтобы начать работу с устройствами Unity и Android, перейдите по ссылке, найденной в https://docs.unity3d.com/Manual/android-GettingStarted.html.
- Чтобы начать работу с устройствами Unity и iOS, перейдите по ссылке, найденной в https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
- Навлажь проект Unity для ПРИЛОЖЕНИЯ AR, открыв Unity v.2019 и создав новый 3D-проект. Затем, подНастройки сборкиВФайлменю, переключите платформу на устройство Android или iOS.
- Включить Vuforia в проект, выбрав Edit (rugt; Настройка проекта) ( и настройки игрока , и проверка окна помечены Vuforia дополненной реальности поддержки.
- Создайте "ARCamera" под Menubar (Ru'gt; GameObject) и Vuforia Engine (Vuforia Engine) и импортируйте компоненты Vuforia, когда это будет предложено.
- Добавьте ключ лицензии Vuforia в настройки конфигурации Vuforia, выбрав папку ресурсов и нажав на конфигурацию Vuforia. Затем, в разделе Ключ лицензии приложения, вставьте ключ, скопированный в разделе 5.1.2.
- Импортируйте файл Vuforia Target, представленный в разделе «/Data/Vuforia/AR_Cube_3x3x3.unitypackage» в Unity, который содержит файлы, которые Vuforia требует для обнаружения маркеров, описанных в разделе 4.
- Создать Vuforia MultiTarget под Menubar (г-н GameObject) и Вуфория Двигатель (Vuforia Engine) (
- Выберите тип маркера, который будет использоваться для обнаружения, нажав на MultiTarget, созданный на предыдущем этапе. В опции Базы данных под Multi Target Behaviourвыберите ARHealth_3DPrintedCube_30x30x30. В варианте Multi Target под Multi Target Behaviourвыберите twoColorCubeMarker или StickerCubeMarker, в зависимости от маркера, созданного в разделе 4.
- Загрузите 3D-модели, созданные в разделе 3, в сцену Unity под MultiTarget, создав новую папку с названием "Модели" под папкой "Ресурсы". Перетащите 3D-модели в эту папку. После загрузки в Unity перетащите их под элемент "MultiTarget", созданный в шаге 5.3.5. Это сделает их зависимыми от маркера.
ПРИМЕЧАНИЕ: Модели должны быть видны в сцене 3D-просмотра Unity. - Измените цвета 3D-моделей, создав новый материал и назначив новые материалы на модели.
- Создайте новую папку под названием "Материалы" под папкой "Ресурсы", перейдя в Menubar Выберите материал и измените цвет в разделе конфигурации. Затем перетащите файл под иерархию 3D-модели.
- Дополнительно: если есть веб-камера доступна, нажмите на кнопку воспроизведения, расположенную в верхней и средней части, чтобы проверить его применение на компьютере. Если маркер виден на веб-камеру, он должен быть обнаружен, и 3D-модели должны появиться в сцене.
- Если Android-смартфон используется для развертывания приложения, перейдите в файл и настройки сборки в Unity и выберите подключенный телефон из списка. Выберите Развертывание и запуск. Сохранить файл с расширением .apk на компьютере и позволить процессу, чтобы закончить. После развертывания приложение должно быть на телефоне и готово к запуску.
ПРИМЕЧАНИЕ: Этот протокол был протестирован на Android v.8.0 Oreo или выше. Правильная функциональность не гарантируется для старых версий. - Если приложение будет развернуто в устройстве iOS, перейдите в файл (Rugt; Build Settings in Unity) и выберите Run. Выберите путь для сохранения файлов приложения. Разрешить процесс, чтобы закончить. Перейдите в сохраненную папку и откройте файл с расширением ".projectxcode".
- В Xcode следуйте инструкциям от шага 5.2.2 до полного развертывания.
ПРИМЕЧАНИЕ: Для получения дополнительной информации о Vuforia в единстве, перейдите по ссылке, найденной в https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.
- В Xcode следуйте инструкциям от шага 5.2.2 до полного развертывания.
6. Визуализация приложений
- Откройте установленное приложение, в котором будет использоваться камера смартфона. При запуске приложения, посмотрите на маркер с камерой с небольшого расстояния (40 см минимум). Как только приложение обнаруживает маркер, 3D-модели, созданные на предыдущих этапах, должны отображаться именно в месте, определенном во время процедуры на экране смартфона.
ПРИМЕЧАНИЕ: Освещение может изменить точность обнаружения маркера. Рекомендуется использовать приложение в средах с хорошими условиями освещения.
Representative Results
Протокол был применен к данным пациента, страдающего саркомой дистальной ноги, чтобы визуализировать пораженную анатомическую область с 3D-перспективы. Используя метод, описанный в разделе 2, часть пораженной кости (здесь, голени и малоберцовой кости) и опухоли были сегментированы от КТ пациента. Затем, используя инструменты сегментации от 3D Slicer, были созданы две биомодели: кость (секция голени и малоберцовой кости)(рисунок 1А)и опухоль(рисунок 1В).
Далее две 3D-модели были расположены практически в отношении маркера для оптимальной визуализации. Для этого примера были описаны оба режима, описанные в разделе 3. Для режима визуализации модели были сосредоточены в верхней части маркера(рисунок 2). Для режима регистрации, маркер адаптер был расположен в кости (в частности, голени ирисунок 3). Затем, небольшой раздел голени был выбран для 3D-печати с 3D маркер адаптер(Рисунок 4). Ультимейкер 3 расширенный 3D принтер с материалом PLA был использован для создания 3D-печатных маркеров(рисунок 5A, B), основание держателя маркера(рисунок 5C) для режима "визуализации" и раздела голени для режима "регистрации"(рисунок 5D). На рисунке 5E показано, как маркер был прикреплен к 3D-печатной базе режима «визуализации». На рисунке 5F показано вложение с режимом "регистрации" 3D-печатной биомодели. Наконец, Unity был использован для создания приложения и развертывания его на смартфоне.
На рисунке 6 показано, как приложение работало для режима «визуализации». Голограмма была точно расположена в верхней части куба, как это было определено ранее. На рисунке 7 показано приложение для режима "регистрации", в котором приложение позиционирует полную модель кости поверх 3D-печатного раздела. Окончательная визуализация голограмм была ясной и реалистичной, поддерживала реальные размеры биомоделей и позиционировалась точно. При использовании приложения для смартфона, МАРКЕР AR должен быть виден камерой для правильного отображения голограмм. Кроме того, условия освещения в сцене должны быть хорошего качества и постоянными для правильного обнаружения маркера. Плохие условия освещения или отражения на поверхности маркера препятствуют отслеживанию МАРКЕРа AR и вызывают неисправность приложения.
Время, необходимое для создания приложения, зависит от нескольких факторов. Продолжительность раздела 1 ограничена скоростью загрузки. Что касается сегментации анатомии (раздел 2), то факторы, влияющие на время сегментации, включают сложность региона и модальность медицинской визуализации (т.е. КТ легко сегментируется, в то время как МРТ сложнее). Для репрезентативного примера голени для создания обеих 3D-моделей с кТ требовалось примерно 10 минут. Позиционирование биомодели (раздел 3) просто и понятно. Здесь потребовалось около 5 минут, чтобы определить положение биомодели по отношению к маркеру AR. Для шага 3D-печати продолжительность сильно зависит от выбранного режима. "Двойной цветной маркер" был изготовлен в высоком качестве в период 5 ч и 20 мин. "Наклейка маркер" был изготовлен в период 1 ч и 30 минут, а также время, необходимое для вставки наклейки. Последний шаг для разработки приложений может занять много времени для тех, кто не имеет предыдущего опыта работы в Unity, но он может быть легко завершен после шагов протокола. После того, как AR маркеры были напечатаны на 3D-принтере, разработка совершенно нового AR-приложения может быть выполнена менее чем за 1 ч. Эта продолжительность может быть дополнительно уменьшена с дополнительным опытом.
Рисунок 1: Представление 3D-моделей, созданных на кТ-изображении пациента, страдающего саркомой дистальной ноги. (A) Костная ткань представлена в белом (тибия и малоберцовая кость). (B) Опухоль представлена красным цветом. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 2: Результаты, показывающие, как режим «визуализации» в 3D Slicer позиционирует виртуальные 3D-модели кости и опухоли по отношению к 3D-печатной маркерной ссылке. Пациент 3D модели(A) расположены над верхней лице куб маркера(B). Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 3: Результаты, показывающие, как режим "регистрации" в 3D Slicer позиционирует виртуальные 3D-модели кости и опухоли (A) в отношении 3D-печати маркера (B). К модели костной ткани прикреплен маркерный адаптер. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 4: Небольшая часть костной ткани и 3D маркерада. Эти два компонента комбинируются затем 3D-печатью. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 5: 3D печатные инструменты, необходимые для окончательного применения. (A) "Два цвета куба маркера" 3D-печать с двумя цветами материалов. (B) "Sticker куб маркер" 3D-печать, с наклейками наклеенные. (C) Маркер базовый куб адаптер. (D) Раздел костной ткани пациента 3D модель и маркер куб адаптер. (E) "Sticker куб маркер" помещается в маркер базовый куб адаптер. (F) "Два цвета куба маркера" помещается в маркер адаптер прилагается к анатомии пациента. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 6: Дисплей приложения при использовании режима «визуализации». Пораженные 3D модели анатомии пациента расположены над верхней лицом 3D-печатного куба. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Рисунок 7: AR визуализация при использовании "регистрационного" режима. 3D-печатный маркер позволяет регистрировать биомодель 3D-печати с помощью виртуальных 3D-моделей. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой цифры.
Discussion
AR обладает большим потенциалом в области образования, профессиональной подготовки и хирургического руководства в области медицины. Его сочетание с 3D-печатью открывает новые возможности в клиническом применении. Этот протокол описывает методологию, которая позволяет неопытным пользователям создать приложение для смартфонов, объединяющее AR и 3DP для визуализации анатомических 3D-моделей пациентов с 3D-печатными эталонными маркерами.
В целом, одним из наиболее интересных клинических применений AR и 3DP является улучшение связи между пациентом и врачом, предоставляя пациенту иную точку зрения на случай, улучшая объяснения конкретных заболеваний или методов лечения. Другое возможное применение включает хирургическое руководство для целевой локализации, в котором 3D-печатные инструменты для пациента конкретных (с ссылкой AR маркер прилагается) могут быть размещены на жесткие структуры (т.е. кости) и используется в качестве ссылки для навигации. Это приложение особенно полезно для ортопедических и челюстно-лицевых хирургических процедур, в которых поверхность костной ткани легко доступна во время операции.
Протокол начинается с раздела 1, описывающего настройку рабочих станций и необходимые программные средства. В разделе 2 описывается, как использовать программное обеспечение 3D Slicer для легкого сегмента целевых анатомий пациента от любой медицинской визуализации модальности для получения 3D-моделей. Этот шаг имеет решающее значение, так как виртуальные 3D-модели, созданные, отображаются в окончательном AR-приложении.
В разделе 3D Slicer используется для регистрации 3D-моделей, созданных в предыдущем разделе с помощью маркера AR. Во время этой процедуры регистрации, пациент 3D модели эффективно и просто позиционируется по отношению к AR маркер. Положение, определяемое в этом разделе, будет определять относительное положение голограммы в окончательном приложении. Считается, что это решение снижает сложность и умножает возможные приложения. В разделе 3 описаны два различных варианта определения пространственных отношений между моделями и AR-маркерами: режим визуализации и "регистрация". Первый вариант, режим «визуализации», позволяет 3D-моделям располагаться в любом месте по отношению к маркеру и отображаться как вся биомодель. Этот режим обеспечивает реалистичную, 3D-перспективу анатомии пациента и позволяет перемещать и вращать биомодели путем перемещения гусеничного маркера AR. Второй вариант, режим «регистрации», позволяет прикреплять и комбинировать маркерный адаптер в любую часть биомодели, предлагая автоматический процесс регистрации. С помощью этой опции небольшой раздел 3D-модели, включая адаптер маркера, может быть напечатан на 3D-принтере, а приложение может отображать остальную часть модели в виде голограммы.
Раздел 4 содержит руководящие принципы для процесса 3D-печати. Во-первых, пользователь может выбрать один из двух различных маркеров: "двойной маркер цвета" и "наклейка маркер". Весь "двойной цветмаркера" может быть напечатан на 3D-принтере, но требует двойного экструдера 3D принтера. В случае, если этот принтер недоступен, предлагается "наклейка маркера". Это более простой маркер, который может быть получен путем 3D-печати кубической структуры, а затем вставить изображения куба с наклейкой бумаги или клей наклейки. Кроме того, оба маркера были разработаны с расширяемыми секциями, чтобы идеально вписаться в конкретный адаптер. Таким образом, маркер может быть повторно использован в нескольких случаях.
В разделе 5 описывается процесс создания проекта Unity для AR с использованием набора для разработки программного обеспечения Vuforia. Этот шаг может быть самой трудной частью для пользователей, не имеющих опыта программирования, но с этими руководящими принципами, это должно быть проще получить окончательное приложение, которое представлено в разделе 6. Приложение отображает виртуальные модели пациента на экране смартфона, когда камера распознает напечатанный на 3D-принтере маркер. Для того, чтобы приложение обнаружить 3D маркер, минимальное расстояние около 40 см или меньше от телефона до маркера, а также хорошие условия освещения не требуется.
Окончательное применение этого протокола позволяет пользователю выбрать конкретные биомодели для визуализации и в каких позициях. В дополнение, приложение может выполнять автоматическую регистрацию пациента-голограммы с помощью 3D-печатного маркера и адаптера, прикрепленного к биомодели. Это решает задачу регистрации виртуальных моделей с окружающей средой в прямой и удобной манере. Кроме того, эта методология не требует обширных знаний в области медицинской визуализации или разработки программного обеспечения, не зависит от сложного аппаратного и дорогостоящего программного обеспечения, и может быть реализована в течение короткого периода времени. Ожидается, что этот метод поможет ускорить внедрение технологий AR и 3DP медицинскими специалистами.
Disclosures
Авторам нечего раскрывать.
Acknowledgments
Этот доклад был поддержан проектами PI18/01625 и PI15/02121 (Ministerio de Ciencia, Innovacion y Universidades, Instituto de Salud Carlos III и Европейский фонд регионального развития "Una manera de hacer Europa") и IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
