Method Article

Технический подход к инфракрасному слежению для навигации по мягким тканям с голографическим дисплеем, устанавливаемым на голове, и доклинической валидацией

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол предлагает руководство по реализации отслеживания инфракрасных маркеров для свободно движущихся фантомов (например, органов) и голографической визуализации с использованием дополненной реальности. Кроме того, в нем описывается настройка для доклинической валидации голографических навигационных систем с использованием электромагнитного слежения на свободно движущихся фантомах.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Дополненная реальность (AR) обладает потенциалом для улучшения хирургического руководства за счет наложения трехмерной (3D) анатомической информации непосредственно на пациента во время хирургических процедур. Тем не менее, практическая реализация AR сталкивается со значительными проблемами, особенно в точном отслеживании органов, которые свободно перемещаются во время хирургических манипуляций. Следовательно, необходимы надежные методы отслеживания органов для поддержания точных голографических наложений во время операции. Доклиническая валидация голографических визуализаций в отношении точности создает дополнительные проблемы, требующие экспериментальных протоколов для количественной оценки. Этот протокол решает эти две проблемы: он описывает комплексный подход к разработке приложений визуализации дополненной реальности с использованием специально изготовленных инфракрасных маркеров для отслеживания органов в режиме реального времени с помощью шлема виртуальной реальности (HMD), а также предоставляет среду валидации, использующую электромагнитное (ЭМ) отслеживание для проверки голографической точности в фантомных экспериментах. В этой работе изложены пошаговые инструкции по созданию 3D-моделей для конкретных пациентов на основе медицинской визуализации, проектированию и производству инфракрасных маркеров на заказ, интеграции этих маркеров в приложение дополненной реальности для шлема виртуальной реальности и их развертыванию для хирургической навигации. Кроме того, в нем подробно описана процедура валидации с использованием ЭМ-трекинга для количественного измерения точности голографических визуализаций в полудеформируемых фантомах почек. Таким образом, этот протокол облегчает отслеживание органов в режиме реального времени и устанавливает методологию доклинической валидации. Внедрение отслеживания органов в режиме реального времени может улучшить хирургическое руководство свободно движущимися органами за счет точного наложения голограмм, что потенциально может привести к повышению хирургической точности и улучшению результатов лечения пациентов.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В хирургической онкологии точное определение локализации опухоли и соотношения с соседними здоровыми тканями имеет решающее значение для достижения полной резекции опухоли с сохранением здоровой ткани1. Неполная резекция может привести к местному рецидиву и снижению выживаемости 2,3, в то время как чрезмерное удаление тканей может ухудшить функцию и качество жизни4. Хирургические навигационные системы обещают улучшить радикальные резекции при сохранении здоровых тканей, предоставляя хирургам интраоперационные рекомендации, которые потенциально могут привести к улучшениюклинических исходов. Тем не менее, обычные хирургические навигационные системы обычно отображают двумерную (2D) анатомическую информацию на экранах, расположенных за пределами операционного поля. Такой подход вынуждает хирургов мысленно соотносить отображаемую 2D-информацию с фактической трехмерной (3D) анатомией пациента, увеличивая когнитивнуюнагрузку. Несмотря нато, что последние достижения в области 3D-моделирования позволяют хирургам лучше понять связь опухоли с окружающими анатомическими структурами, эта информация по-прежнему визуализируется за пределами операционной зоны, что приводит к сохранению проблемы переключения фокуса 6,8. Эти ограничения хирургических навигационных систем могут способствовать потенциальным ошибкам при использовании хирургической навигации и потенциально привести к неоптимальным хирургическим результатам9.

Для преодоления вышеупомянутых ограничений многообещающим решением стала дополненная реальность (AR), которая визуализирует анатомические структуры и границы резекции в 3D на пациенте10,11. Накладывая предоперационные 3D-модели, которые сегментируются на основе данных магнитно-резонансной томографии (МРТ) или компьютерной томографии (КТ), можно визуализировать анатомию. В систематических обзорах были отмечены потенциальные преимущества АР для открытой хирургии у подростков12, а предварительная работа в этой области демонстрирует возможность создания специализированных для пациента 3D-гидов, оснащенных визуальными маркерами для автоматической регистрации13. Van Doormaal et al. разработали навигационную систему с устройством дополненной реальности с использованием точечной регистрации и указателя с изображением-мишенью для нейрохирургии14. Они оценивали разработанное приложение AR в операционной на пациентах перед операцией и в фантомном эксперименте, который показал ошибку реперной регистрации 7,2 мм и 4,4 мм соответственно.

Несмотря на многообещающий прогресс, эти системы регистрации часто являются жесткими, в них отсутствует отслеживание органов-мишеней в режиме реального времени, и поэтому остается потребность в отслеживании движения органовв режиме реального времени. Это особенно верно для движущихся органов, которые манипулируются во время операции, таких как почки и печень, что может привести к неточным указаниям, необходимости повторной регистрации, которая занимает значительное время, и потенциальному повреждению здоровых тканей или неправильной резекции. Для дальнейшего решения этих проблем была разработана новая система дополненной реальности, основанная на приложении, представленном Iqbal et al., для включения инфракрасных маркеров для непрерывного отслеживанияорганов18. Эта разработка позволяет оверлею AR динамически адаптироваться к изменениям положения органов в режиме реального времени, тем самым сохраняя пространственную точность и потенциально повышая хирургическую точность. Сочетая жесткую регистрацию с динамическим отслеживанием на основе инфракрасных маркеров, эта система предлагает значительный прогресс в достижении точного голографического наведения в хирургии в режиме реального времени.

Этот протокол представляет собой навигацию AR на основе инфракрасных маркеров и систему доклинической валидации для шлема виртуальной реальности (HMD). Мы стремимся разработать и проверить навигационную систему дополненной реальности в режиме реального времени для поддержания точных голографических наложений движущихся органов в доклинических условиях. Во-первых, протокол дает описание того, как создается голографическое приложение, которое использует инфракрасные маркеры размером 32 мм (ширина) x 15 мм (длина) x 6 мм (высота) для отслеживания фантомных органов в режиме реального времени, сохраняя наложение 3D-голограмм независимо от движения. В качестве примера модели движущегося органа мы используем почечный фантом, напечатанный термопластичной полиуретановой нитью (ТПУ). Во-вторых, в нем дается обзор того, как проектировать и печатать пользовательские инфракрасные маркеры и как интегрировать эти маркеры в приложение для голографической визуализации. Это позволяет другим исследователям и клиницистам адаптировать приложение к другим доклиническим фантомным сценариям, которые включают моделирование открытой хирургии и перемещения органов. Наконец, метод валидации, основанный на электромагнитном слежении, предлагает количественные измерения для вычисления точности, предлагая доклиническую валидацию голографических указаний в фантомных экспериментах. Ограничением данной методологии является отсутствие автоматизированной процедуры регистрации, что ограничивает точность работы данной системы. Тем не менее, этот подход помогает пользователям определить пригодность разработанной ими методики дополненной реальности для их клинического применения.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Это исследование проводилось в соответствии с рекомендациями нашего учреждения и не подпадало под действие Закона о медицинских исследованиях с участием человека (ВМО). Таким образом, не требовалось получать информированное согласие от участников.

1. Подготовка аппаратных и программных комплексов для 3D-моделирования и развертывания AR-приложений

  1. Загрузите и установите следующие программы на персональный компьютер (ПК) под управлением Microsoft Windows 10.
    1. Загрузите Unity Hub v3.11.1 и Unity v. 2019.4.22f1 с https://unity.com/download. Включите Visual Studio 2019 во время установки Unity 2019.4.22f1. Ссылка на руководство: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Скачать MeshMixer v. 3.5.0 можно с https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, ссылка на инструкцию https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Скачать 3DSlicer v. 5.6.2 можно с https://download.slicer.org/, ссылка на инструкцию https://slicer.readthedocs.io/en/latest/
    4. Скачать Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, ссылка на руководство https://help.autodesk.com/view/fusion360/ENU/
    5. Скачать Bambu Studio v. 01.09.07.52 с https://bambulab.com/en/download/studio, ссылка на инструкцию https://wiki.bambulab.com/en/studio-handy

2. Разработка и печать инфракрасных маркеров на заказ

  1. Проектируйте инфракрасные маркеры в программном обеспечении для 3D-проектирования, как описано ниже.
    1. Откройте программу 3D Системы автоматизированного проектирования (САПР) (см. Таблицу материалов) и создайте новый файл.
    2. Выберите вкладку SOLID и нажмите Create Sketch , чтобы начать создание эскиза нового дизайна для инфракрасного маркера.
    3. Добавьте три или четыре маленьких кружочка диаметром 3 мм, нажав на Центральный диаметр круга. Эти круги служат точками крепления для винтов.
    4. Вычислите центральную точку инфракрасного маркера, соединив вершины треугольника со срединными точками противоположных сторон. Нажмите Line и соедините все окружности, проведя линии с одной стороны до точки окружности.
    5. Создайте круг в качестве основы инфракрасного маркера на центральной точке с помощью Окружности по диаметру центра. Используйте прямоугольник с 3 точками, чтобы нарисовать прямоугольники, которые соединяют центральный круг с каждым из трех или четырех меньших кругов.
    6. Выдавите круглое основание и прямоугольники до толщины 2 мм, а маленькие круги до 5 мм.
    7. Добавьте резьбу к каждому из трех конусов с помощью метрического профиля ISO (например, M3 × 0,5, 6g, правая рука) для размещения инфракрасных отражающих сфер диаметром 6,4 мм, нажав Create , а затем Thread.
    8. Экспортируйте модель в файл объекта (OBJ) с помощью функции 3D-печати или экспорта.
    9. В программном обеспечении 3D CAD измерьте координаты XYZ инфракрасных отражающих сфер в соотношении с центральной точкой, выбрав «Измерить». Измерьте расположение центральных точек окружностей в соотношении с центральной точкой фигуры. Используйте эти координаты в шаге 4.1.2.
  2. Распечатайте 3D-маркеры, как описано ниже.
    1. Импортируйте экспортированную стереолитографию (. STL) файла инфракрасного маркера в программное обеспечение, подходящее для 3D-принтера, путем перетаскивания его в сцену (см. Таблицу материалов).
    2. Настройте параметры нарезки, в том числе высоту слоя (0,08 мм — минимально возможная высота слоя, чтобы избежать неточной печати нити для инфракрасной отражающей сферы), нажав Качество > Высота слоя. Добавьте поддержку в проект, нажав Support > Enable Struct.
    3. Экспортируйте файл среза на 3D-принтер, нажав «Разрезать все», экспортируйте файл, нажав «Экспортировать весь файл слайса», и распечатайте 3D-модель на 3D-принтере (см. Таблицу материалов) с нитью полимолочной кислоты (например, PLA; см. Таблицу материалов).

3. Подготовка 3D-модели почки для конкретного пациента

  1. Сегментация модели
    1. Откройте программное обеспечение для 3D-сегментации (см. Таблицу материалов) и импортируйте данные МРТ/КТ пациента с помощью функции «Импорт файлов DICOM».
    2. Перейдите в Редактор сегментов, выберите соответствующий исходный объем и создайте новую сегментацию, нажав кнопку Добавить.
    3. Выберите ручную или полуавтоматическую сегментацию в зависимости от модальности визуализации.
    4. Для ручной сегментации используйте инструмент «Закрасить и стереть», чтобы сегментировать опухоль и окружающие соответствующие структуры в каждом срезе.
    5. Для полуавтоматической сегментации рассмотрите возможность использования таких опций, как «Порог» с подходящим пороговым диапазоном для конкретной структуры и «Ножницы» для сегментации нерелевантных структур.
    6. На экране «Данные» выберите «Созданная сегментация », а затем щелкните правой кнопкой мыши, чтобы перейти к кнопке «Экспорт видимых сегментов в модели ». Убедитесь, что в правой части экрана выбран параметр «Глаз».
    7. Экспортируйте STL-файлы моделей, нажав кнопку Сохранить , и сохраните файлы в формате . STL.
  2. Постобработка модели, специфичной для пациента
    1. Импортируйте файл STL в редактор сеток (см. Таблицу материалов) и уменьшите количество треугольников, выбрав «3D-модель» > «Редактировать », а затем уменьшите на процент, чтобы уменьшить треугольники без искажения визуального аспекта 3D-модели, и нажмите «Принять».
    2. Убедитесь, что целевые точки визуально представлены в 3D-модели голографического приложения для дальнейшей проверки. Нажмите « Добавить сферы » и разместите их на 3D-модели.
    3. Экспортируйте 3D-модели в формат файла OBJ, нажав Файл > Экспорт. Убедитесь, что 3D-модель содержит около 100 000 полигонов, выбрав модель, и уменьшите полигоны, нажав клавиши Edit > Reduce. Большее количество полигонов требует большего количества операций со стороны графического процессора, поэтому уменьшение количества полигонов в сцене может значительно сократить время рендеринга.

4. Подготовка голографического приложения

  1. Настройте проект IRTrackingOrgans_HoloLens, как описано ниже.
    1. Запустите программу для разработки игр (см. Таблицу материалов), импортируйте IRTrackingOrgans_HoloLens проект и откройте его.
    2. Адаптируйте файл JavaScript Object Notation (JSON) с помощью текстового редактора, следуя формату по умолчанию, чтобы реализовать пользовательский инфракрасный маркер на основе координат, измеренных на шаге 2.1.10. Файл JSON сохраняется в папке Assets/StreamingAssets.
    3. Перейдите на вкладку DINO Unity, выберите ToolManager > ResearchModeController > файлом JSON и родительским преобразованием, а затем нажмите Create Objects & Apply JSON Setting.
    4. Импортируйте 3D-модель виртуального инфракрасного маркера в качестве актива, созданного на шаге 1.1.
    5. Преобразуйте 3D-модель виртуального инфракрасного маркера в положение порожденных маркеров в сцене, выбрав модель и изменив координаты преобразования в окне инспектора.
    6. Вставьте в сцену 3D-модель для конкретного пациента, выбрав и перетащив ее в сцену.
    7. Преобразуйте 3D-модель пациента в нужное место, чтобы инфракрасный маркер касался поверхности 3D-модели. Расположите инфракрасный маркер близко к центру 3D-объекта, чтобы свести к минимуму неточности из-за эффекта рычага.
  2. Подключение сцены к меню выбора пациента
    1. Для практического использования и выбора нескольких случаев подключите сцену пациента к кнопке на экране меню. Перейдите в раздел «Активы» > «Сцены» > «Сцена меню».
    2. В окне Иерархия перейдите в NearMenu4x2 и ButtonCollection , а затем к соответствующей кнопке.
    3. В окне "Инспектор" перейдите в раздел "Основные события " и в разделе MenuScript.LoadScene введите имя сцены пациента.
  3. Подготовка шлема виртуальной реальности к первому развертыванию
    ПРИМЕЧАНИЕ: Этот раздел необходим только в том случае, если приложение развертывается впервые.
    1. Войдите в систему HMD (см. Таблицу материалов) и переведите устройство в режим исследования. Перейдите в раздел «Настройки» > «Обновление и безопасность» > для разработчиков> включить функции разработчика и обнаружение устройств.
    2. Выполните сопряжение шлема с ПК (Wi-Fi или USB-C). Если подключение выполняется впервые, выполните следующие действия: найдите IP-адрес шлема на вкладке разработчика, введите IP-адрес в веб-браузере для подключения к порталу устройств и выполните сопряжение устройства, сгенерировав PIN-код и заполнив PIN-код.
  4. Сборка и развертывание приложения в шлеме виртуальной реальности
    1. Добавьте сцены в сборку, перейдя в Файл > Настройки сборки, добавив сцену в следующем порядке: Меню > Отслеживание сцены , нажав кнопку Добавить открытые сцены.
    2. Выполните сборку проекта с помощью универсальной платформы Windows, целевого устройства HoloLens и архитектуры x64. Щелкните Построить и выберите карту сборки.
    3. Откройте файл сборки (.sln) в Visual Studio 2019 и измените платформу на ARM64. Затем откройте «Свойства», щелкнув правой кнопкой мыши по файлу .sln в проводнике решений, и в разделе «Отладка» введите IP-адрес шлема в поле «Имя машины».
    4. Разверните приложение в шлеме виртуальной реальности, выбрав Отладка > Запуск без отладки.
    5. Запустите шлем виртуальной реальности и откройте голографическое приложение. Затем перейдите на экран меню пациента и выберите подходящий случай , чтобы начать голографическую визуализацию и руководство.

5. Валидация голографической визуализации движущихся органов

  1. Полудеформируемая фантомная печать
    1. Создайте или получите 3D модель фантома почки с реалистичными анатомическими структурами.
    2. Импортируйте 3D-модель в программное обеспечение для моделирования 3D CAD и интегрируйте пять точек крепления на боковой стороне модели с помощью Solid > Create > Hole > с настройками Тип отверстия: Простое, Тип метчика отверстия: Простой, Точка сверления: Угол, Высота: 0,5 мм и Диаметр: 4,0 мм.
    3. Интегрируйте цилиндр с отверстием в 3D-модель, чтобы зафиксировать эталонный датчик ЭМ для дальнейших этапов проверки.
      1. Создайте эскиз с кругом и внутренним кругом диаметром 2,8 мм с помощью Окружности центрального диаметра. Выдавите внешний круг на 16,5 мм.
      2. Объедините цилиндр с 3D-моделью, выполнив команды «Изменить» > «Объединить» > «Выбрать 3D-модель» и цилиндр > «Соединить» > OK.
    4. Экспортируйте 3D-модель с помощью функции «Экспорт» или «3D-печать».
    5. Используйте гибкую или полугибкую нить, такую как ТПУ (см. Таблицу материалов), чтобы напечатать фантом почки в соответствии с процедурой, описанной в шаге 2.2.
  2. Настройка 3D Slicer с использованием системы EM-трекинга
    1. Ознакомьтесь с обширным руководством по 3D Slicer и SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/) по настройке EM-системы с помощью 3D-Slicer.
      ПРИМЕЧАНИЕ: Этот раздел протокола предполагает, что настройка 3DSlicer, конфигурация EM-отслеживания и подключение хорошо понятны и правильно настроены.
    2. Поместите генератор поля системы электромагнитного слежения (см. Таблицу материалов) непосредственно под фантомом. Удалите все ферромагнитные материалы из окружающей среды, чтобы избежать неоднородностей электромагнитного поля.
    3. Подключите ЭМ-датчик (см. Таблицу материалов) и ЭМ-указатель (см. Таблицу материалов) к системе ЭМ-слежения. Убедитесь, что преобразования этих инструментов точно визуализированы в 3DSlicer.
    4. Прикрепите ЭМ-эталонный датчик (например, кабельный инструмент NDI Aurora 6DOF) к 3D-модели, закрепив его в цилиндре с помощью клея.
    5. В 3D Slicer импортируйте 3D-модель с опорными точками и распределите точки ориентиров в цифровом виде с помощью мастера реперной регистрации > Разместить контрольную точку.
    6. Выполните регистрацию ориентиров, указав ориентиры в реальном времени с помощью EM-указателя, нажмите Разместить контрольную точку и зарегистрируйте их в 3DSlicer. Рассчитайте жесткое линейное преобразование регистрации, нажав кнопку Update.
    7. После регистрации примените преобразование регистрации к 3D-модели, чтобы установить связь между ней и датчиком ЭМ-референции. Впоследствии, если 3D-модель физически перемещается, ее цифровой аналог в 3DSlicer должен перемещаться; Соответственно, подтвердите это визуально, наблюдая за движениями.
  3. Голографическая валидация
    1. Запустите устройство и откройте голографическое приложение на шаге 4.4.5. Затем перейдите к правильной 3D-модели пациента, которая также визуализируется в 3DSlicer.
    2. Закрепите инфракрасный маркер на правильном месте с помощью клея с помощью установленных инфракрасных маркеров диаметром 6,4 мм (см. Таблицу материалов), как это визуализировано при предоперационном планировании.
    3. Используйте ЭМ-указатель для цифрового определения целевых точек на основе голографической визуализации. Сохраните набор координат ЭМ датчика.
    4. Вычислите погрешность при размещении целевых ориентиров по сравнению с размещенными ориентирами для количественной проверки голографической визуализации.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Фантом почки был использован для демонстрации производительности инфракрасной системы слежения за органами и для валидации голографической валидационной установки в движущихся органах. Полный рабочий процесс показан на рисунке 1.

Сначала почка была полуавтоматически сегментирована на основе данных МРТ с помощью инструмента порогового значения в 3DSlicer. Полученная 3D-модель была экспортирована и импортирована в программное обеспечение 3D CAD для уменьшения количества полигонов. Вторая модель была сохранена, и пять целевых точек были интегрированы в эту модель с помощью инструмента sphere (рис. 2). Эта модель была использована для технической проверки голографического дисплея. Первая версия модели, без целевых точек, была импортирована в Autodesk Fusion. В эту модель были интегрированы пять точек поворота, а цилиндр был интегрирован для облегчения работы электромагнитного датчика. С помощью программного обеспечения для 3D-нарезки 3D-модель была подготовлена к 3D-печати. Для создания минимально гибкой поверхности почек был использован ТПУ с плотностью печати 8%.

Был спроектирован стандартизированный инфракрасный маркер, напечатанный на 3D-принтере и оснащенный инфракрасными отражающими сферами (диаметр 6,4 мм). От этого инфракрасного маркера измерялись координаты инфракрасного маркера в корреляции с центральной точкой. Внутри программного обеспечения для разработки игр был импортирован файл JSON, содержащий координаты инфракрасного маркера. Во-вторых, была импортирована 3D-модель почки с целевыми точками для проверки. Также для целей визуализации модель инфракрасного маркера была импортирована и переведена в положение точек, реализованных в файле JSON. 3D-модель была преобразована в центр инфракрасного маркера (рис. 3), а также применены дополнительные шейдеры. После интеграции сцены меню пациента приложение было развернуто на шлеме виртуальной реальности.

На основе размещения ИК-маркеров голографическая 3D-модель визуализируется на почке внутри педиатрического абдоминального фантома с помощью HMD (рис. 4). Он имел частоту слежения 11,6 Гц. Однако на расстояниях, превышающих 60 см, шлем теряет возможность отслеживать инфракрасные маркеры. Во-вторых, непрерывное слежение и шум при отслеживании с инфракрасной маркировкой вызывают мерцание голографического наложения, что приводит к неточной визуализации.

Для проверки система EM-трекинга была подключена к 3D Slicer через Plus Server. Электромагнитный датчик был помещен на фантомную почку для отслеживания (рис. 2). После точечной регистрации 3D-модель была зарегистрирована со средней точностью 0,59 мм, что оказалось точным методом проверки голографической точности (рис. 5). Медиана ошибки локализации точки составила 8,74 мм (межквартильный диапазон: 6,38 - 10,85) на основе данных трех хирургов (Таблица 1).

Реализация этой системы отслеживания и визуализации дополненной реальности включает в себя протокол, который занимает примерно 45-60 минут. Опытный технический врач с 2-летним стажем выполнил весь протокол один раз, чтобы определить продолжительность отдельных этапов протокола. Примечательно, что некоторые шаги необходимо выполнить только один раз. Основные шаги для каждого пациента включают сегментацию, интеграцию модели в программное обеспечение для разработки игр и настройку сцены. Сегментация анатомических структур в конкретных случаях пациента требует относительно больше времени из-за задействования нескольких анатомических структур, но сегментация почечной паренхимы и опухоли может быть завершена в течение 30 минут. Интеграция сегментированных 3D-моделей в приложение и выравнивание их с помощью инфракрасного маркера занимает около 5 минут ручной настройки. Подключение правильной сцены занимает не более 5 минут. Время сборки проекта разработки игры зависит от технических характеристик оборудования, но обычно занимает около 3 минут, а развертывание на HoloLens 2 — около 10 минут. В целом, за исключением валидационной установки, этот протокол демонстрирует метод отслеживания движущихся органов в доклинических условиях.

figure-results-1
Рисунок 1: Схематический обзор рабочего процесса. Рабочий процесс показывает шаги, которые требуются для каждого пациента в фантомных условиях, включая предоперационную фазу, голографическую и интраоперационную фазы. Предоперационная фаза состоит из сегментации (см. шаг 3), предоперационной медицинской визуализации. Подготовка голографического приложения заключается в виртуальном планировании размещения инфракрасного маркера на 3D-модели (см. шаг 4). На интраоперационном этапе хирурги могут выбрать нужного пациента и зафиксировать инфракрасный маркер для голографической визуализации и непрерывного отслеживания. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-2
Рисунок 2: Обзор фантомов почек, используемых в методологии валидации. Слева: 3D-голограмма почки с целевыми точками и виртуальным размещением инфракрасного маркера. Посередине: 3D фантом со встроенным электромагнитным датчиком и поворотными точками для регистрации. Справа: напечатанный на 3D-принтере фантом с инфракрасным маркером и цилиндром для электромагнитного датчика, используемого для процедуры валидации. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-3
Рисунок 3: Подготовка голографического приложения в программном обеспечении для разработки игр. Модель почки преобразуется в инфракрасный маркер. Во-вторых, шейдеры наносятся на почку и на целевые точки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-4
Рисунок 4: Голографическая визуализация фантомного эксперимента. Слева: Размещение инфракрасного маркера на почке. Справа: Голографическая визуализация целевых точек в правильном порядке (от 1 до 5). Смещение голографической визуализации вызвано дрожанием при отслеживании инфракрасного маркера. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-5
Рисунок 5: Настройка протокола валидации EM-трекинга для голографической визуализации движущихся органов. Зеленый, красный и синий визуализируют трансформацию необходимых ЭМ-инструментов для валидации. Желтый и зеленый цвета визуализируют трансформацию в отношении шлема виртуальной реальности (HMD). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

УчастникИзмерениеGT-X (мм)GT-Y (мм)GT-Z (мм)Точка-X (мм)Точка-Y (мм)Точка-Z (мм)PLE (мм)
Хирург 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Хирург 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Хирург 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Таблица 1: Для каждого измерения предоставляются наземные координаты (GT) целевых ориентиров, координаты их соответствующего местоположения точки и PLE, измеренный для всех хирургов.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Представленный протокол описывает подход к отслеживанию органов в режиме реального времени и голографической визуализации, включая валидацию перемещения опухолей и органов в фантомных условиях. Используя отслеживание на основе инфракрасных маркеров с помощью шлема виртуальной реальности, этот метод имеет потенциал для лучшего поддержания правильных анатомических голографических наложений во время манипуляций с движущимися органами. Несмотря на его применение для отслеживания почек, этот метод также может быть изучен в других клинических областях, таких как открытая хирургия печени или легких, с минимальными корректировками в протоколе сегментации. Во-вторых, инфракрасные маркеры потенциально могут быть использованы в различных хирургических методах, таких как лапароскопическая хирургия. В таких случаях инфракрасные отражающие наклейки могут быть обнаружены на лапароскопических изображениях для отслеживания органов, инструментов или анатомических ориентиров. Тем не менее, применение этого метода в других клинических областях или хирургических методах может привести к ошибкам из-за вариаций деформируемости органа-мишени или технических ограничений, таких как ограниченное поле зрения, которые требуют валидации в доклинических экспериментах.

Шаг 1 протокола ориентирован в первую очередь на настройку необходимых аппаратных и программных средств. Эта настройка требует множества приложений и действий, поэтому крайне важно, чтобы все программные пакеты были установлены правильно, включая все необходимые расширения, чтобы избежать проблем с развертыванием в дальнейшем. Не ожидается, что различные версии программного обеспечения вызовут проблемы, хотя сочетание программного обеспечения для разработки игр и интегрированной среды разработки имеет решающее значение.

На шаге 2 описан процесс создания индивидуальных инфракрасных маркеров. Этот шаг становится особенно важным, если отслеживание будет использоваться для других приложений. Гибкость в изменении формы инфракрасного маркера обеспечивает его потенциальную пригодность для различных доклинических применений. Кроме того, пользователи могут изучить различные варианты конструкции для улучшения адгезии инфракрасного маркера к поверхности органа и повышения точности отслеживания инфракрасного маркера. Кроме того, тестирование нескольких диаметров инфракрасных маркеров может привести к улучшению обнаружения на расстояниях, превышающих 60 см.

На шаге 3 описывается 3D-моделирование для конкретного пациента на основе медицинской визуализации. Точная сегментация почки и опухоли имеет решающее значение, так как она напрямую влияет на точность хирургического руководства. Плохая сегментация может привести к вводящим в заблуждение визуализациям, которые ставят под угрозу хирургическую точность19. Во-вторых, этот этап является наиболее трудоемким. Интеграция полностью автоматических методов сегментации может ускорить разработку протокола, снижая потребность в ручных и полуавтоматических корректировках, обеспечивая при этом точную анатомическую сегментацию20. Оптимизация количества полигонов имеет решающее значение для достижения оптимальной производительности рендеринга AR. Если эта оптимизация не выполняется, производительность шлема значительно снижается.

На шаге 4 описывается конфигурация голографического приложения после реализации DINO-DLL. Одним из важнейших аспектов является правильное выравнивание между положениями инфракрасных маркеров и голографическими анатомическими моделями, так как это влияет на точность ручной регистрации. В частности, эффект рычага должен быть сведен к минимуму, чтобы предотвратить неточность на больших расстояниях от центра инфракрасного маркера. Дальнейшие усовершенствования могут включать внедрение дополнительных методов регистрации. Кроме того, существующая система демонстрирует приемлемую скорость отслеживания для непрерывной визуализации, что соответствует литературе21. В-третьих, дальнейшие усовершенствования должны включать в себя внедрение фильтра Калмана для уменьшения шума в данных отслеживания инфракрасных маркеров, тем самым устраняя дрожание голографической визуализации.

На шаге 5 фреймворк предоставляет голографический метод валидации с использованием ЭМ-трекинга. Этот протокол полезен для проверки точности голограмм в фантомных условиях, поскольку он обеспечивает количественную оценку голографической точности движущихся органов. Важным шагом здесь является точная интеграция датчиков электромагнитного слежения в полудеформируемые 3D-печатные фантомы. Пользователи должны обеспечить точную калибровку ЭМ-датчиков и регистрацию ориентиров в 3D Slicer. При возникновении ошибок проверки повторная регистрация или удаление любых металлических объектов может повысить точность проверки. Для дальнейшей валидации клинической осуществимости можно использовать органы ex vivo для более точного моделирования хирургической ткани22.

Этот протокол служит исчерпывающим руководством для исследователей, стремящихся внедрить решения дополненной реальности для отслеживания органов и проверки этих систем в фантомных экспериментах. Кроме того, он обеспечивает широко применимую установку валидации, которую можно легко использовать в различных клинических сценариях, особенно для валидации методов AR для движущихся органов. Учитывая сложность развертывания голографических приложений, эта структура облегчает переход от концептуальных решений на основе дополненной реальности к доклинической валидации.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторам нечего раскрывать.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы благодарим Хишама Икбала за его опыт и поддержку в создании отслеживания инфракрасных маркеров с помощью HoloLens 2 на основе открытого репозитория DINO-DLL.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D Срез (v5.6.2)СрезаН/ДПрограммное обеспечение для сегментации медицинских изображений и необходимое для валидации электромагнитного слежения
6,4 мм (1/4") M3 Маркеры Infrarec MarkersОптиТрекН/ДИнфракрасные отражающие сферы, которые должны быть прикреплены к маркеру для слежения 
Autodesk Fusion 360 (версия 2.0.21508)Компания «Автодеск»Н/ДПрограммное обеспечение САПР для проектирования инфракрасных маркеров и фантомов
Студия Bambu (v01.09.07.52)Лаборатория БамбуН/ДПрограммное обеспечение для 3D-печати для 3D-принтеров Bambu
Бамбу X1 КарбонЛаборатория БамбуН/Д3D-принтер используется для инфракрасных маркеров и фантомных моделей
HoloLens 2МайкрософтН/ДГоловной дисплей с дополненной реальностью для визуализации дополненной реальности
IRTrackingOrgans_HoloLens Из открытых источниковН/ДПриложение на базе Unity, поддерживающее отслеживание ИК-маркеров
MeshMixer (версия 3.5.0)Компания «Автодеск»Н/ДИспользуется для редактирования сетки и уменьшения полигонов
НДИ АврораСеверная Цифровая КорпорацияН/ДЭлектромагнитная система слежения для валидации
Кабельный инструмент NDI Aurora 6DOFСеверная Цифровая КорпорацияН/ДДатчик для регистрации движения фантомных органов
Зонд NDI Aurora 6DOFСеверная Цифровая КорпорацияН/ДИспользуется для определения местоположения ориентиров на фантоме
Филамент полимолочной кислотыЛюбой производительН/ДФиламент для печати жестких деталей, таких как инфракрасные маркеры
Термопластичная полиуретановая нитьЛюбой производительН/ДПолугибкая нить для печати деформируемого фантома почки
Unity Hub (v3.11.1) и Unity (v2019.4.22f1)Технологии UnityН/ДПрограммное обеспечение для разработки и развертывания приложений дополненной реальности
Визуальная студия 2019МайкрософтН/ДНеобходимая среда IDE для интеграции и развертывания Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles