Method Article

Автоматическая хирургия при транскатетерном эндопротезировании аортального клапана с использованием дополненной реальности

DOI:

10.3791/67096

⸱

August 9th, 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В данной статье представлено проектирование и реализация автоматического хирургического модуля на основе 3D-реконструкции на основе дополненной реальности (AR). Система обеспечивает дистанционную хирургию, позволяя хирургам осматривать реконструированные элементы и повторять хирургические движения руки, как если бы они выполняли операцию в непосредственной близости.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Дополненная реальность (AR) пользуется большим спросом в медицинских приложениях. Целью работы является обеспечение автоматической хирургии с использованием AR для транскатетерного эндопротезирования аортального клапана (TAVR). TAVR — это альтернативная медицинская процедура для хирургии на открытом сердце. TAVR заменяет поврежденный клапан на новый с помощью катетера. В существующей модели дано дистанционное наведение, при этом операция не автоматизирована на основе AR. В этой статье мы рассмотрели пространственно выровненную камеру, подключенную к двигателю для автоматизации захвата изображений в хирургической среде. Камера отслеживает 2D-изображение сердца пациента с высоким разрешением вместе с катетером для тестирования. Эти снимки загружаются с помощью мобильного приложения удаленному хирургу, который является экспертом в области кардиологии. Это изображение используется для 3D-реконструкции на основе отслеживания 2D-изображений. В HoloLens это просматривается как эмулятор в ноутбуке. Хирург может удаленно осматривать реконструированные 3D-изображения с дополнительными функциями преобразования, такими как вращение и масштабирование. Эти функции трансформации активируются с помощью жестов рук. Рекомендации хирурга передаются в хирургическую среду для автоматизации процесса в сценариях в режиме реального времени. Катетерный испытательный стенд в операционном поле управляется жестами рук удаленного хирурга. Разработанный прототип модели демонстрирует эффективность дистанционного хирургического наведения с помощью дополненной реальности.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Дополненная реальность может накладывать 3D-модель на реальную среду. Технологическое развитие в сторону дополненной реальности привело к смене парадигмы во многих областях, а именно в образовании1, медицине2, производстве3 и развлечениях4. Технология дополненной реальности, наряду со сверхнадежной связью с низкой задержкой, доказывает свою неизбежную роль в медицинской сфере. От этапа изучения анатомии человека до хирургического руководства, этапы обучения могут быть визуализированы с помощью программного обеспечения 5,6 и аппаратного обеспечения на основе дополненной реальности. AR обеспечивает важное и надежное решение для практикующего врача в хирургической среде 7,8.

Стеноз аортального клапана – это заболевание сердечного клапана, которое наиболее распространено среди человечества9. Первопричиной заболевания являются плохие пищевые привычки и нерегулярный распорядок повседневной жизни. Симптомом и результатом заболевания является сужение сердечного клапана с последующим снижением кровотока. Эту проблему необходимо решить, прежде чем произойдет какой-либо ущерб человеческому сердцу. Таким образом, сердце перегружено для обработки кровотока. Таким образом, прежде чем произойдет какое-либо повреждение, необходимо провести операцию, которая, благодаря технологическому развитию в последние дни, также может быть выполнена с помощью процедуры TAVR. Процедура может быть принята в зависимости от состояния сердца и других частей тела пациента. В этом TAVR10,11 катетер вставляется для замены поврежденного клапана в сердце. Тем не менее, установка катетерав положение 12 для замены клапана является утомительной задачей для практикующего врача. Эта идея побудила нас разработать автоматизированную хирургическую модель на основе AR13,14, которая помогает хирургу точно позиционировать клапан во время процесса замены. Кроме того, операция может быть выполнена с помощью алгоритма картирования движения, который сопоставляет движение хирурга, зафиксированное из удаленного места, с роботизированной рукой.

В существующих работах 15,16,17 визуализация процедуры ТАВР18 контролируется с помощью рентгеноскопии. Следовательно, трудно анализировать сердечный клапан и утомительно искать место замены. Это создает барьер для размещения катетера в сердце человека. Кроме того, дистанционное движение сопоставляется с операционным полем, что делает процесс автоматизированным. Тем не менее, чтобы восполнить пробел в исследованиях, мы предлагаем автоматизированную роботизированную хирургию по замене клапана с использованием технологии дополненной реальности.

Протокол представляет собой общую модель, которая может быть применена ко всем хирургическим средам. На начальном этапе работы 2D-изображения захватываются по всему хирургическому окружению с максимально полным пространственным разрешением и наибольшей степенью свободы. Это означает, что для 3D-реконструкции19 захватывается достаточное количество изображений, за которыми следует отображение движения с помощью отслеживания жестоврук 20.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Операционная среда

  1. Спроектируйте операционную среду, как показано на рисунке 1. Убедитесь, что в помещении есть тарелка для переноски предметов, роботизированная рука и две боковые подвесные руки, одна из которых предназначена для размещения заполнителя камеры, а другая имеет однородный белый фон вместе с весовым модулем для балансировки.
  2. Разработайте два драйвера, один из которых предназначен для моментального снимка хирургической среды в реальном времени, как указано в шагах с 2.1 по 2.10, а другой — для управления вращающимся механизмом, поддерживающим 360° наблюдение, как указано в шагах с 3.1 по 3.4.
  3. Перед реализацией вышеуказанных двух модулей включите Bluetooth мобильного устройства и ноутбука, которые служат эмулятором HoloLens хирурга.
  4. Выполните сопряжение устройств для бесперебойной передачи изображения.

2. Настройка водителя для управления двумя подвесными рычагами

  1. Убедитесь, что подвесные рычаги управляются шаговым двигателем с расположением, как показано на рисунке 2 , для безупречного вращения на 360°.
  2. Подключите мотор к плате микроконтроллера с помощью драйвера TB 6600. Чтобы запустить мотор, установите микроконтроллер IDE из браузера.
  3. Нажмите кнопку « Загрузить », чтобы загрузить программное обеспечение. Затем в интегрированной среде разработки микроконтроллера перейдите в раздел «Файл» > «Открыть новый эскиз », чтобы написать код.
  4. Убедитесь, что плата микроконтроллера подключена к интерфейсу с новым эскизом через специальный порт подключения, скажем, COM 4. Проверьте Com-порт и убедитесь, что на нем указана плата микроконтроллера.
  5. Проверьте настройки аппаратного переключателя драйвера шагового двигателя TB 6600. Убедитесь, что настройки таковы, что текущий поток составляет 2 А, что может быть достигнуто путем установки SW4 ON и SW5 и SW6 OFF.
  6. Убедитесь, что положения переключателей SW1, SW2 и SW3 установлены таким образом, чтобы микрошаг составлял 1/8 шага для достижения шагов оборота в соответствии с требованиями. Убедитесь, что в TB6600 установлено значение SW1 OFF, SW2 ON и SW3 OFF.
  7. Подключите RTC 3231 к микроконтроллеру для глобальной синхронизации в реальном времени. Убедитесь, что величина шага оборота равна 12° и что шаг двигателя запускается только тогда, когда единица измерения реального времени, т. е. секунды, считанные с модуля RTC, имеют нечетное число.
  8. Подключите вывод 5 В платы микроконтроллера к RTC VCC, а GND микроконтроллера — к GND RTC.
  9. Подключите контакт SCL RTC к контакту A0, а SDA — к контакту A1 микроконтроллера. Этот модуль может обеспечить размер шага 12°, делая 30 шагов за один оборот. Убедитесь, что шаг шага происходит каждую нечетную секунду. Позвольте этому программному модулю приводить в действие шаговый двигатель21.
  10. Убедитесь, что настройка работает правильно, выполнив код, который доступен на странице GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Скачайте Android Studio для разработки приложения для автоматической камеры. Убедитесь, что системные требования соблюдены, затем загрузите программное обеспечение с веб-сайта.

3. Разработка драйвера для мобильного видеонаблюдения за сценой и передачи изображения в качестве клиентского модуля

  1. Разработайте приложение для камеры в операционной системе Android, которое может делать снимки каждые 2 секунды, особенно когда секунды являются нечетными числами.
  2. Подключите мобильный телефон к системе. В Android Studio нажмите «Создать» > «Новый проект » и выберите «Действия с пустыми представлениями». Нажмите « Далее », чтобы разработать код для Android, который доступен по адресу https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. Убедитесь, что приложение автоматически захватывает изображения и постоянно отправляет их на удаленное устройство.
  4. Передавайте снимки из мобильного приложения сразу после съемки на сопряженное устройство, то есть в систему удаленного хирурга, через Bluetooth.
    ПРИМЕЧАНИЕ: Убедитесь, что модули, упомянутые в разделах 2 и 3, работают синхронно по времени, один для каждого четного количества секунд, а другой для каждого нечетного количества секунд.

4. Разработка клиентского модуля для приема и обработки изображений видеонаблюдения

  1. Откройте модуль сервера, который представляет собой графический интерфейс пользователя.
  2. Введите номер порта VVID в текстовое поле VVID, значение которого по умолчанию — 94f39d29 7d6d 437d 973b fba39e49d4ee.
  3. Нажмите « Создать сокет », чтобы создать и привязать сокет. Нажмите « Подключить », чтобы установить соединение с мобильным приложением.
  4. Нажмите « Захват», чтобы захватить и сохранить изображения с места происшествия в локальной папке
  5. Введите имя локальной папки в поле Имя папки, если оно должно отличаться от указанного по умолчанию.

5. Работа с роботизированной рукой

  1. Пусть клиентский модуль также включает в себя роботизированную руку. Спроектируйте руку так, чтобы она имела вращательное движение в основании, плече, локте, запястье и пальцах.
  2. Убедитесь, что сервоприводы MG 996R используются для управления вращательным движением в основании, плече и локте. Убедитесь, что серводвигатель SG 90 используется для управления вращательным движением локтя и пальцев.
  3. Скомпилируйте код, приведенный в https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR, в интегрированной среде разработки микроконтроллера для управления роботизированной рукой на основе команд, полученных от удаленного хирурга.

6. 3D реконструкции для дополненной реальности

  1. Считывайте два изображения за раз в последовательности, одно за другим, из локальной папки, чтобы получить возможное перекрытие (поскольку изображения собраны в непосредственной близости, между последовательными изображениями будет наложение) между ними.
  2. Спроектируйте третичный фильтр в соответствии с требованиями описания направленного усиленного элемента с использованием алгоритма третичной фильтрации22 (DITF) для получения градиента и ориентации.
  3. Извлеките признаки с помощью метода22 DITF, как показано на рисунке 3.
  4. Реконструируйте 3D-изображения из собранных объектов с помощью SFM23.

7. Распознавание жестов рук в месте нахождения хирурга

  1. Облегчите хирургу осмотр объектов 3D-реконструированного изображения, позволяя ему визуализировать окружающую среду со всех точек зрения, обеспечивая вращение на основе жестов рук и увеличение/уменьшение масштаба реконструированных элементов.
  2. Нормализуйте и нанесите на карту расстояние между кончиком большого пальца хирурга и указательным пальцем правой руки в соответствующий угол поворота. Пусть нормализация происходит таким образом, чтобы минимальное расстояние соответствовало 0°, а максимальное — 180°.
  3. Передача управления жестами рук через Bluetooth в удаленную хирургическую среду также для вращения пластины объекта, что заставляет ее вращаться вокруг своей оси, когда 3D-реконструированные элементы вращаются на стороне хирурга.
  4. Найдите расстояние между кончиком и большим пальцем левой руки хирурга, чтобы управлять движением пальцев роботизированной руки.
  5. Измерьте угол возвышения от пространственного расстояния между кончиком большого пальца и указательным пальцами левой руки хирурга по отношению к воображаемой плоскости основания x-y, чтобы определить угол возвышения. Сопоставьте этот угол с углом места, который робот-манипулятор может создать с помощью плоскости x-y.
  6. Найдите угол азимута, который делает рука хирурга, с углом виртуальной плоскости y-z. Определите эти углы с помощью распознавания на основе жестов рук.
  7. Нанесите на карту расстояние, угол возвышения и азимут, чтобы управлять движением пальцев робота и вращением руки, которые соответствуют углам места и азимуту.
  8. Позвольте хирургу осмотреть реконструированные черты путем увеличения и вращения. Позвольте хирургу передавать команды на роботизированную руку для выполнения операции из удаленного места.
  9. Убедитесь, что команды операции передаются в виде управляющей строки последовательности, начинающейся с согласования строки, за которой следуют значения для управления вращением пластины и контроллером роботизированной руки. Пусть [θb, θs, θe, θw, θf] — угол вектора, состоящего из значений, каждое из которых соответствует управляющему сигналу, соответствующему основанию, плечу, локтю, запястью и пальцу руки робота.
    ПРИМЕЧАНИЕ: Ссылка на GitHub предоставляет код для включения управления жестами рук в хирургической области. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Протокол был протестирован на фантомной модели сердца. На рисунке 2 показана ожидаемая конфигурация для наблюдения за операционным полем в режиме реального времени с помощью пространственно распределенных камер. Распределенные камеры, как показано на рисунке 2, помогают увеличить пространственное разрешение поля для эффективной 3D-реконструкции. Однако реализация физического размещения этих камер в различных пространственных местах сопряжена со сложностью. Таким образом, мы оптимизировали конструкцию установки и пришли к решению пространственно ориентированного расположения камер, вращаемого двигателем NEMA, приводимым в движение драйвером TB6600. Эта структура осуществима и реализована в модели, что и показано на рисунке 1.

На рисунке 1 автоматические снимки с камеры с последующей передачей по протоколу Bluetooth управляются кодом Android. Модуль организован таким образом, что захват происходит раз в одну нечетную секунду, а их передача — раз в одну четную секунду, как упоминалось в разделе 3. Модуль микроконтроллера, который взаимодействует с двигателем NEMA, поворачивает конструкцию раз в секунду, чтобы гарантировать достаточное время для неразмытой фотосъемки. Так, всего на 360° вращается 30 фотографий, а передаются они с помощью Bluetooth.

Кроме того, на рисунке 1 показано 3D-реконструированное изображение дескрипторов DITF хирургической среды. Следует отметить, что эти реконструкции на основе дескрипторов могут быть проверены хирургами путем масштабирования и вращения с помощью карты движений руки. Кроме того, эти движения направляются в операционную среду, чтобы имитировать операцию, чтобы катетер можно было ввести в реальное поле. Отображение движений выполняется таким образом, что они отображаются под шестью различными углами для управления частями робота, а именно: основанием, плечом, локтем, запястьем, захватом и пальцем. Эти углы обозначаются в векторной форме как [θb, θs, θe, θw, θf]. В заданном векторе значение θpсоответствует отображению движения для вращения пластины человеческого объекта. Тот же θpиспользуется для ориентации дескриптора, отображаемого в эмуляторе HoloLens, на стороне хирурга.

На рисунке 3 показаны особенности DITF фантомной модели, что является важным этапом для 3D-реконструкции. На основе извлеченных признаков соответствия идентифицируются при сопоставлении изображений. Соответствие между референсными изображениями и различными результатами поворота на 45° показано на рисунке 4. Соответствие разными цветами ясно указывает на эффективность идентификации и сопоставления схожих объектов, даже когда изображения находятся в разных ориентациях обзора. На рисунке 5 указана точность отображения движения, которая указывает на то, что когда расстояние между двумя пальцами невелико, точность высока. Однако, когда расстояние между пальцами увеличивается, точность начинает снижаться.

С другой стороны, время, затраченное моделью на обработку данных, имеет существенное значение в дополненной реальности. Таким образом, этот параметр включается для валидации предложенной модели, измеряется временная задержка для обработки изображения, а результаты проверяются с помощью существующих алгоритмов, таких как Oriented FAST and rotated BRIEF (ORB)24 и Boosted Efficient Binary Local Image Descriptor (BEBLID)25. Результаты показывают, что DITF превосходит существующие модели, такие как ORB и BEBLID, с точки зрения задержки, как показано на рисунке 6. В дополнение к этому, модель 3D-реконструкции проверяется с погрешностью реконструкции, а рисунок, показанный на рисунке 7 , указывает на то, что гистограмма узкая, что означает, что ошибка реконструкции минимальна; Это показывает, что реконструкция предложенного алгоритма верифицирована и валидирована. На рисунке 8 представлены выходные данные 3D-реконструкции для предложенной модели. Он отражает четкость визуализации, а количественные результаты изображения также проверяются с помощью графиков. Эти результаты доказывают, что предложенная модель извлекла все необходимые признаки с помощью преобразования вращения для реконструкции 3D-модели. Таким образом, удаленный эксперт может иметь точную визуализацию и контроль операционного поля.

figure-results-1
Рисунок 1: Реализация аппаратной настройки для транскатетерной операции по замене аортального клапана с использованием дополненной реальности. (A) Хирургическое поле с системой мониторинга в реальном времени. (b) визуализация на основе дополненной реальности. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-2
Рисунок 2: Ожидаемая модель хирургической среды. Показанная модель оснащена системой видеонаблюдения за хирургической средой в режиме реального времени с использованием пространственно распределенных датчиков камеры. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-3
Рисунок 3: Модель человеческого сердца, помещенного в хирургический испытательный стенд, и его извлеченные особенности с использованием алгоритма дескриптора признаков. (A) Входная фантомная модель сердца. (B) Описание направленного усиленного признака с использованием третичной фильтрации фантомной модели сердца. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-4
Рисунок 4: Сопоставление признаков между двумя объектами изображения. (A) Описание направленного усиленного признака с использованием извлечения признаков третичной фильтрации для фантомной модели сердца. (B) Описание направленно усиленных признаков с использованием третичной фильтрации экстракции фантомной модели сердца, повернутого на 45°. Линиями обозначено соответствие черт схожих изображений в двух разных ориентациях. Цветом линии обозначены различные выбранные объекты. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-5
Рисунок 5: Точность отслеживания жестов рук. На рисунке показана процентная точность. Номер выборки (N) выбран равным 500. Отображение движения выполняется 500 раз, из которых найдено количество правильных карт. Затем точность рассчитывается как отношение между правильным отображением и общим количеством образцов. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-6
Рисунок 6: Задержка при описании направленных усиленных признаков с использованием третичной фильтрации с помощью ориентированного FAST и повернутого BRIEF и ускоренного эффективного алгоритма двоичного локального дескриптора изображения. На графике отображается задержка, которая представляет собой время, затраченное на извлечение признаков из изображения. Мы выбрали N как 500, что означает, что расчет временной задержки выполняется более 500 раз, а затем усредняется. Процедура производится по трем алгоритмам и строится на графике. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-7
Рисунок 7: Распределение ошибок реконструкции предложенной модели. Ошибка реконструкции – это ошибка между восстановленным 3D-изображением из его объекта и исходным изображением. График ошибки — это гистограмма, которая показывает количество вхождений того или иного события. Счетчик максимален, когда ошибка равна нулю, и он уменьшается с любой стороны. Это и есть желаемый результат. Рисунок показывает, что дисперсия гистограммы (нормальной плотности) меньше, поэтому ошибка от среднего значения (0) не очень сильно разбросана в обоих направлениях. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-8
Рисунок 8: 3D-реконструкция модели сердца. Каждая цветная точка обозначает точку 3D-реконструкции из соответствующего объекта. На данный момент алгоритм реконструкции признаков нормализует цвет, а вместе с ним и другие признаки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В существующей работе15 рентгеновские снимки и компьютерная томография исследуются для определения местоположения катетера в сердце. Тем не менее, замена AR TAVR открывает новые возможности в хирургической процедуре TAVR18 за счет реализации автоматизированной модели с использованием 3D-реконструкции. Как упоминалось в разделе протокола, эта работа состоит из пяти этапов для проектирования. Первый этап DITF22, упомянутый в разделе 6, который мы предложили в нашей предыдущей работе22, усовершенствован таким образом, что модель встраивается в медицинские приложения. Второй этап 3D реконструкции – это сложная задача построения 3D модели по 2D точкам. Мы протестировали модель с различными входными изображениями для проверки модели. Для реконструкции изображений используется SFM23 . Соответствие изображения измеряется с помощью DITF22, вместе с калибровочной матрицей. Следующий этап – отслеживание жестов рук; интерфейс управления жестами рук в 3D-реконструкции — еще одна сложная задача в режиме реального времени. Управление масштабированием и изменением поворота встроено с помощью жестов рук для легкого доступа удаленного эксперта к 3D-моделям. Четвертый этап – создание мобильного приложения, которое указано в разделе 3 для автоматической съемки изображений. Это приложение загружает данные удаленному эксперту в виде 3D-модели. Заключительным этапом является аппаратная настройка, которая демонстрируется с помощью фантомной модели сердца с роботизированной рукой, которая автоматизирована для введения катетера для замены поврежденного клапана сердца, как показано на рисунке 1.

Разработанный метод направлен на проведение удаленной хирургии с места происшествия с использованием наблюдения за хирургической средой с использованием дополненной реальности и извлечения признаков. Насколько нам известно, существенный вклад, предложенный в этой статье, не виден в литературе. Разработанный метод имеет низкую задержку для реконструкции 3D-изображения по признакам. Кроме того, метод имеет очень низкую погрешность между восстановленными признаками и исходным изображением. Эта задержка и ошибка показаны на рисунках 6 и 7 соответственно. Из рисунков также видно, что другие алгоритмы, а именно ORB24 и BEBLID25 , не соответствуют стандартам предложенного метода.

Проблемы, с которыми мы столкнулись при разработке метода, — это передача данных по протоколу Bluetooth между мобильным приложением и удаленным сервером. Поскольку захват и передача сцены должны выполняться каждые 2 секунды, требовалась сверхскоростная связь. Он часто оказывался в сломанном сокете, и для бесперебойной обработки требовалось много обработки исключений и параллельного управления процедурами. Кроме того, мы столкнулись с некоторыми проблемами во время разработки и внедрения метода.

Тем не менее, существуют некоторые методы устранения неполадок для их решения. Связь Bluetooth включает в себя выбор правильного канала или номера порта VVID. Кроме того, прежде чем двигаться дальше, необходимо убедиться в переключении устройства Bluetooth на любом конце. Что касается микропроцессорной процедуры для управления манипулятором робота и висящим поворотным манипулятором, необходимо обеспечить номера портов для последовательной связи. Подключение моторного привода, учитывая NEMA и серводвигатель, должно быть обеспечено должным образом. Если все сделано неправильно, двигатель NEMA вращается нежелательным образом, даже если неправильно установлено только подключение к драйверу. Выводы двух катушек двигателя NEMA должны быть правильно идентифицированы; В противном случае связь с водителем может привести к нежелательному вращению или даже повреждению двигателя. Конструкция муфты для поддержки подвешивания вращающегося рычага, который весит около 1 кг, была сложной задачей. Чтобы решить проблему, мы просверлили отверстие диаметром 1 мм в валу мотора. Балансировка любой стороны руки, включая вес мобильного устройства, также является проблемой; В противном случае конструкция может волочиться по поверхности земли, что приведет к сносу или срыву конструкции с вала двигателя. Необходимо обеспечить правильное вкручивание основания, плеча, локтя, запястья и пальцев роботизированной руки; В противном случае детали могут упасть при вращении и подъеме груза. О параллельном выполнении двух модулей следует позаботиться путем установки соответствующей среды Python, в которой разные потоки будут выполняться параллельно для бесперебойной работы.

Полученные результаты позволяют сделать вывод о том, что предложенная модель Automatic TAVR18 является эффективным методом хирургического контроля при АР. Предлагаемая модель является гибкой для применения этого прототипа в любой хирургии в области медицины в соответствии с рекомендациями медицинских экспертов. Модели, основанные на обучении, могут улучшить 3D-реконструкцию. Чтобы реконструировать 3D-модель, необходимо предоставить несколько видов с хорошим освещением в качестве входных данных; Тем не менее, это может быть решено в будущем. Кроме того, в будущем мы хотели бы разработать систему передачи данных на основе связи 5G, которая обеспечит низкую задержку и сверхнадежную связь для бесперебойной и бесперебойной работы. Кроме того, мы хотели бы разработать собственное устройство дополненной реальности вместо используемого в настоящее время эмулятора. Это может улучшить визуализацию 3D-модели в реальной хирургической среде.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы заявляют об отсутствии конфликта интересов.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы не признают никакого финансирования этого исследования.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Программное обеспечениеhttps://developer.android.com/studioandroid IDEможно скачать по этой ссылке
Плата Arduino, Ardunio Уно,Микроконтроллер для обработки
программного обеспечения Arduinohttps://www.arduino.cc/en/software.Программное обеспечение можно скачать по этой ссылке
Фантомная модель человеческого сердцаПроизводитель и экспортер оборудования для биологической лабораторииB071YBLX2V(8B-ZB2Q-H3MS-1)легкая модель с 3 частями для глубокого анализа сердца.
мобильный держательСкромный универсальный монопоадный держательB07S9KNGVSДля переноски мобильного телефона в хирургической области
программное обеспечениеpycharm IDEhttps://www.jetbrains.com/pycharm/программное обеспечение можно скачать по этой ссылке
Роботизированная рукаPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)рука может управляться через управление signal.it имеет 5 степеней свободы доступа.
серводвигательKollmorgen Co-Engineers MotorsMG-966Rсерводвигатель с высоким крутящим моментом, сервоимпульсы в диапазоне от 500 до 2500 микросекунд (& микро; s), с частотой от 50 Гц до 333 Гц.
серводвигательKollmorgen Co-Engineers  ДвигателиСГ-90Рс нагрузкой от 1,8 кг-см до 2,5 кг-см могут быть приложены к сервоприводу СГ-90Р.
Шаговый двигатель28BYJ-4828BYJ-48Шаговый двигатель, 5 В постоянного тока, частота 100 Гц, крутящий момент 1200 Gf.cm
Шаговый двигательNema 23Nema Шаговый двигатель, 9 В - 42 В постоянного тока, частота 100 Гц
программное обеспечение : ,

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Augmented Reality SurgeryTranscatheter Aortic ValveRemote Surgical Guidance3D ReconstructionRobotic Arm ControlHand Gesture ControlReal Time SynchronizationFeature ExtractionCatheter TestbedTelemedicine Surgery

Related Articles