Технический подход к инфракрасному слежению для навигации по мягким тканям с голографическим дисплеем, устанавливаемым на голове, и доклинической валидацией

Целью данного исследования в Центре детской онкологии принцессы Максимы является разработка и валидация системы дополненной реальности. Эта система должна точно выравнивать голограммы движущихся органов. Одной из текущих экспериментальных задач является проверка того, что голограмма остается точно выровненной относительно положения движущегося органа в реальном времени.

В настоящее время методы валидации дополненной реальности описаны только для жестких анатомических структур, таких как кости. Тем не менее, наш протокол имеет преимущество, заключающееся в том, что его можно использовать для проверки дополненной реальности для движущихся органов. Для начала откройте программу для автоматизированного 3D-проектирования и создайте новый файл.

Выберите вкладку «Твердое тело» и нажмите «Создать эскиз», чтобы начать новый дизайн инфракрасного маркера. Добавьте три или четыре маленьких кружочка диаметром три миллиметра, нажав на Окружность с центральным диаметром. С помощью инструмента «Линия» соедините вершины треугольника со срединными точками противоположных сторон и нарисуйте линии, соединяющие окружности, чтобы рассчитать центральную точку.

В центральной точке нарисуйте круг с помощью Окружности с центральным диаметром, затем нарисуйте прямоугольники, соединяющие этот центральный круг с каждым из меньших кругов с помощью инструмента «Прямоугольник с двумя точками». Выдавите центральное круглое основание и соедините прямоугольники толщиной в два миллиметра. Выдавите меньшие круги до толщины пять миллиметров.

Нажмите «Создать», затем выберите «Резьба» и добавьте резьбу к трем конусам с помощью метрического профиля ISO, чтобы она соответствовала 6,4-миллиметровым инфракрасным отражающим сферам. С помощью функции «3D-печать» или «Экспорт» экспортируйте итоговую модель в виде объектного файла. В программном обеспечении для автоматизированного 3D-проектирования выберите «Измерить», чтобы измерить координаты x, y и z инфракрасных отражающих сфер относительно центральной точки.

Измерьте расположение центральных точек каждого маленького круга в соотношении с центром всей фигуры. Запустите программное обеспечение для разработки игр. Импортируйте файл проекта IRTrackingOrgans_HoloLens и откройте проект.

С помощью текстового редактора откройте файл JavaScript Object Notation, сохраненный в папке Assets или StreamingAssets. Адаптируйте файл для определения пользовательского инфракрасного маркера с использованием ранее записанных координат и в соответствии с форматом по умолчанию. На вкладке DINO Unity выберите ToolManager, нажмите ResearchModeController, затем файл JSON и родительское преобразование, а затем нажмите кнопку Create Objects Apply JSON Setting.

Импортируйте созданную модель 3D инфракрасного маркера. Выберите 3D-модель пациента и измените координаты ее преобразования в окне Инспектор в соответствии с положением порожденных маркеров в сцене. Затем перетащите 3D-модель пациента в сцену, чтобы вставить ее.

Преобразуйте 3D-модель пациента, чтобы выровнять инфракрасный маркер по его поверхности. Расположите инфракрасный маркер близко к центру модели, чтобы уменьшить погрешность позиционирования из-за эффекта рычага. Теперь подключите сцену пациента к кнопке на экране меню, чтобы можно было выбрать несколько случаев.

Перейдите в раздел Активы, сцены и сцена меню. В окне Иерархия перейдите в NearMenu4x2, затем в ButtonCollection и выберите соответствующую кнопку. В окне Инспектор перейдите в раздел Основные события и в разделе MenuScript.

LoadScene, введите имя сцены пациента. Создайте или получите 3D модель фантома почки с реалистичными анатомическими структурами. Импортируйте 3D-модель в программу для моделирования 3D CAD.

Затем с помощью функций «Твердое тело», «Создать» и «Отверстие» интегрируйте пять точек крепления на боковой стороне модели. Установите для параметра «Тип отверстия» значение «Простой», для параметра «Тип метчика отверстия» значение «Простой», для параметра «Точка сверления» значение «Угол», для параметра «Высота» значение 0,5 миллиметра и для параметра «Диаметр» значение 4,0 миллиметра. Чтобы зафиксировать электромагнитный эталонный датчик, создайте цилиндр с отверстием и интегрируйте его в модель почки.

Начните новый эскиз и с помощью инструмента «Окружность с центральным диаметром» нарисуйте круг и внутренний круг диаметром 2,8 миллиметра. Выдавите внешний круг на 16,5 миллиметров. Затем перейдите в Modify, а затем в Combine.

Выберите 3D-модель почки и цилиндр, выберите «Присоединить» и подтвердите, нажав OK. Затем используйте функцию «Экспорт» или «3D-печать», чтобы экспортировать окончательную интегрированную модель. Затем используйте гибкую или полугибкую нить, такую как термопластичный полиуретан, для печати фантома почки в соответствии с процедурой, описанной ранее. Поместите генератор поля электромагнитной системы слежения непосредственно под напечатанным фантомом почки.

Удалите все ферромагнитные объекты из окружающей среды, чтобы предотвратить неоднородность электромагнитного поля. Затем подключите электромагнитный датчик и электромагнитный указатель к системе слежения. Прикрепите электромагнитный эталонный датчик к 3D-модели, надежно закрепив его внутри цилиндра с помощью клея.

В 3D Slicer импортируйте 3D-модель почки, содержащую точки вращения. Используйте мастер реперной регистрации. Выберите Разместить опорную точку и назначьте ориентиры регистрации в цифровом виде.

Чтобы выполнить регистрацию ориентира в 3D Slicer, используйте электромагнитный указатель для точного определения физических ориентиров. Нажмите кнопку Разместить контрольную точку в каждом физическом местоположении, чтобы зарегистрировать их в программном обеспечении. Затем рассчитайте жесткое линейное преобразование регистрации, нажав кнопку Update.

Теперь примените рассчитанное регистрационное преобразование к 3D-модели, чтобы связать ее с электромагнитным эталонным датчиком. Переместите физическую модель и убедитесь, что цифровая версия в 3D Slicer следует за ее движением. Запустите устройство голографического отображения и откройте настроенное ранее голографическое приложение.

Затем перейдите к правильной 3D-модели для конкретного пациента, которая в данный момент визуализируется в 3D Slicer. Теперь прикрепите инфракрасный маркер к указанному месту с помощью клея, убедившись, что установленные инфракрасные отражающие сферы диаметром 6,4 мм находятся на месте в соответствии с предоперационным планированием. Используйте электромагнитный указатель для цифровой идентификации целевых точек, видимых с помощью голографической визуализации.

Сохраните полученный набор координат ЭМ-датчика. Вычислите ошибку, сравнив сохраненные координаты цели с фактически размещенными ориентирами, чтобы проверить точность голографической визуализации. У всех участников ошибка локализации точки, или PLE, показала среднее значение 8,74 миллиметра, при этом индивидуальные измерения варьировались от 2,78 до 13,20 миллиметров.

Surgeon 2 неизменно достигал самых низких измерений PLE, включая две самые точные локализации на 2,78 и 3,48 миллиметра. Наибольшая ошибка локализации наблюдалась во время третьего измерения Surgeon 3 с PLE 13,20 миллиметров. Этот протокол поможет другим компаниям в развертывании голографических проектов и точной проверке их системы дополненной реальности в доклинических условиях.

Наша хирургическая исследовательская группа скоро начнет работу с автоматизированным голографическим отслеживанием нескольких хирургических случаев у детей. Подвижные органы отслеживаются на основе алгоритмов машинного обучения и RGB-камер.