В данном протоколе описывается интеграция дополненной реальности и трехмерной голографической визуализации в рабочий процесс косметической ринопластики для улучшения интраоперационной визуализации и облегчения принятия хирургических решений.
Методическая статья
В данном протоколе описывается интеграция дополненной реальности и трехмерной голографической визуализации в рабочий процесс косметической ринопластики для улучшения интраоперационной визуализации и облегчения принятия хирургических решений.
Косметическая ринопластика часто опирается на интраоперационные референсные изображения, которые помогают достичь желаемого пациентом эстетического результата. Однако эти изображения обычно представлены в двухмерном (2D) формате, что чрезмерно упрощает трехмерную (3D) анатомию носа и требует от хирурга отвлекаться от операционного поля. Технология дополненной реальности (AR) может устранить эти ограничения путем проецирования индивидуальных 3D-голографических изображений пациента непосредственно в поле зрения хирурга, обеспечивая пространственную визуализацию в режиме реального времени. В данной статье описывается протокол интеграции AR в процесс проведения косметической ринопластики с использованием системы 3D-визуализации лица и наголовного дисплея смешанной реальности. Выполняются предоперационные 3D-снимки лица, которые совместно с пациентом подвергаются морфингу для представления желаемого хирургического результата, затем экспортируются в виде голографических моделей и отображаются во время операции для визуального сравнения с операционным полем. Данный протокол был успешно внедрен в хирургический процесс, что позволило хирургам манипулировать голографическими моделями в реальном пространстве во время предоперационного планирования и интраоперационной оценки. Этот протокол предлагает воспроизводимый рабочий процесс по внедрению AR в косметическую ринопластику и может улучшить интраоперационную визуализацию, поддержать принятие хирургических решений и облегчить сопоставление предоперационного планирования с интраоперационной анатомией.
Предварительное совместное принятие решений с пациентом является ключевым компонентом косметической ринопластики и включает в себя моделирование потенциальных косметических результатов при понимании целей пациента в отношении процедуры. Фотосимуляция помогает как пациентам, так и хирургам визуализировать желаемый хирургический результат, позволяя обсудить то, что достижимо на практике. Модифицированные изображения часто используются в качестве ориентиров во время операции; однако эти референсные изображения обычно представлены в двумерном (2D) формате — либо распечатаны на бумаге, либо выведены на экран компьютера. Такие 2D-форматы не только чрезмерно упрощают сложную трехмерную (3D) анатомию носа, но и заставляют хирурга отвлекаться от операционного поля1,2.
Технология дополненной реальности (AR) может решить эти проблемы путем проецирования визуализированных трехмерных голографических изображений непосредственно в поле зрения хирурга, обеспечивая пространственную визуализацию в режиме реального времени. AR объединяет изображения, созданные компьютером, с реальной средой; она уже применяется в пластической хирургии лица для реконструкции при лицевых травмах3,4, краниофациальной хирургии5 и реконструкции при микротии6 с целью улучшения интраоперационной визуализации и оптимизации хирургического рабочего процесса. Однако применение AR в косметической ринопластике остается ограниченным. Недавние исследования, описывающие новые возможности применения технологий дополненной и смешанной реальности в челюстно-лицевой хирургии и ринопластике, включают отдельные отчеты о клинических случаях и небольшие серии случаев7,8,9,10.
В предыдущем исследовании мы успешно провели две ринопластики под контролем дополненной реальности (AR) на кадаверных препаратах с использованием наголовного дисплея смешанной реальности (Microsoft HoloLens 2; Microsoft Corporation, Redmond, WA, USA). Затем было проведено исследование по проверке концепции возможности проведения косметической ринопластики под контролем AR с участием шести пациентов9. В настоящем протоколе мы используем наголовной дисплей смешанной реальности (Apple Vision Pro; Apple Inc., Cupertino, CA, USA) в качестве платформы визуализации для интраоперационного голографического наведения. В дальнейшем это устройство будет именоваться наголовным дисплеем (HMD). Здесь мы представляем протокол интеграции AR в рабочий процесс косметической ринопластики для улучшения интраоперационной визуализации и облегчения сравнения предоперационного планирования с интраоперационной анатомией. Данная AR-система служит визуальным ориентиром, а не системой AR-наведения с автоматической регистрацией. Технология, описанная в этом протоколе, может быть использована как для хирургического планирования, так и для интраоперационной визуализации. 3D-голографические изображения могут быть перемещены вручную во время операции, что позволяет пользователю самостоятельно настраивать параметры AR-визуализации.
Данный протокол был выполнен в Медицинском центре Университета Вандербильта в соответствии с рекомендациями Институционального наблюдательного совета Медицинского центра Университета Вандербильта (одобрение IRB №241657). Все участники предоставили письменное информированное согласие до начала участия, включая согласие на интраоперационное использование технологии дополненной реальности (AR) для проецирования предоперационных и модифицированных трехмерных голографических изображений. Все данные пациентов были обезличены. Пациенты прошли стандартное предоперационное обследование и фотографирование с использованием системы трехмерной визуализации лица с возможностью фотореалистичного рендеринга. Критерии включения охватывали пациентов в возрасте 18 лет и старше, которым предстояла косметическая ринопластика.
1. 3D-фотофиксация

Рисунок 1: Установка системы трехмерного сканирования лица. Система трехмерного сканирования лица, используемая для предоперационного получения изображений. Перед захватом изображения пациент должен сидеть прямо, лицом к системе камер, при этом голова должна быть выровнена по франкфуртской горизонтальной плоскости. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 2: Позиционирование пациента во время трехмерного получения изображений. Пример интерфейса выравнивания, демонстрирующий правильное положение пациента перед захватом изображения. Глаза пациента должны быть выровнены по направляющим во всех ракурсах камер для обеспечения стандартизированного трехмерного получения изображений лица. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 3: Трехмерная визуализация лица и интерфейс морфинга. Пример среды трехмерной визуализации лица, используемой для предоперационной модификации изображения. Красным кругом отмечен инструмент морфинга для ринопластики, который используется для моделирования желаемого косметического результата перед экспортом трехмерной модели для создания голограммы. Пожалуйста, нажмите здесь, чтобы просмотреть этот рисунок в большем размере.
2. Морфинг изображения
3. Экспорт 3D-изображений и конвертация файлов
4. Использование наголовного дисплея (HMD)
ПРИМЕЧАНИЕ: Ознакомьтесь с работой HMD перед использованием в операционной. Перед началом процедуры протестируйте HMD вместе с хирургом и ассистентом, чтобы свести к минимуму перерывы во время операции.

Рисунок 4: Интраоперационное использование наголовного дисплея. Пример интраоперационного использования наголовного дисплея для визуализации индивидуальных голографических моделей пациента во время косметической ринопластики. Хирург изучает голографические модели для сравнения с операционным полем в процессе хирургического планирования и интраоперационной оценки. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Протокол дополненной реальности (AR) был успешно интегрирован в рабочий процесс косметической ринопластики. Репрезентативные этапы этого процесса проиллюстрированы на Рисунке 1, Рисунке 2, Рисунке 3, Рисунке 4. Для получения стандартизированных предоперационных изображений лица (Рисунок 1) использовалась система 3D-визуализации лица, при этом позиционирование пациента осуществлялось с помощью интерфейса выравнивания для обеспечения единообразия получения изображений (Рисунок 2). Полученные изображения затем импортировались в среду рендеринга, где предоперационные модели лица модифицировались для симуляции планируемого косметического результата перед экспортом для генерации голограммы (Рисунок 3).
После обработки изображений исходные и модифицированные трехмерные модели лица отображались с помощью HMD через приложение для просмотра голограмм. Во время операции голографические модели можно было вручную перемещать, изменять в размере и вращать для облегчения визуального сравнения с носом пациента в режиме реального времени, либо в виде прямого наложения, либо в качестве соседнего визуального ориентира (Рисунок 4).
Шлем виртуальной реальности (HMD) был успешно внедрен в хирургический рабочий процесс авторов при минимальном обучении. Хирурги отметили улучшенное разрешение дисплея и более быстрый отклик интерфейса по сравнению с ранее использовавшейся системой визуализации. Предварительные ответы в опросе хирургов показали, что система была полезна для интраоперационной оценки хода операции и сопоставления с планируемым косметическим результатом9.
В целом, данный протокол демонстрирует воспроизводимый рабочий процесс интеграции дополненной реальности (AR) в косметическую ринопластику для облегчения интраоперационной визуализации и сопоставления предоперационного планирования с операционным полем. Эти наблюдения подтверждают возможность включения системы визуализации на базе наголовного дисплея (HMD) в процесс проведения косметической ринопластики. Настоящее исследование описывает технический протокол и проверку осуществимости рабочего процесса, а не оценку клинической эффективности; тем не менее, в настоящее время ведется изучение объективных показателей результатов, связанных с этим рабочим процессом.
В данной рукописи описывается протокол интеграции дополненной реальности (AR) в рабочий процесс косметической ринопластики. Данные, подтверждающие осуществимость описанного рабочего процесса, доступны по адресу: https://doi.org/10.1177/26893614261430605.
В предыдущем исследовании была продемонстрирована возможность использования дополненной реальности (AR) при проведении эстетической ринопластики; было установлено, что технология AR легко интегрируется, требует минимального дополнительного времени на операцию и снижает когнитивную нагрузку на хирурга9. Также сообщалось, что в хирургической практике AR способствует лучшему пониманию анатомии11 и сокращению времени проведения операции12. В исследованиях по ринопластике подчеркивался потенциал данной технологии в помощь при предоперационном планировании, повышении хирургической точности и увеличении удовлетворенности пациентов7,8,9,10. Настоящий протокол расширяет результаты предыдущих исследований, описывая альтернативный рабочий процесс на основе наголовных дисплеев (HMD), который может быть внедрен в практику эстетической ринопластики для поддержки интраоперационной визуализации.
В данном протоколе предлагается использование индивидуальных трехмерных предоперационных изображений пациента и измененных изображений с учетом желаемого косметического результата в качестве интраоперационных голографических визуальных ориентиров. Современные технологии дополненной реальности (AR) могут дополнять традиционные двухмерные референсные изображения, предоставляя дополнительные 3D-перспективы, которые могут помочь при принятии хирургических решений во время операции. Этот подход может быть полезен в пластической и реконструктивной хирургии лица, где пространственное понимание индивидуальной анатомии пациента имеет важное значение при проведении косметических и реконструктивных процедур.
Следует отметить несколько ограничений. Основным ограничением для пользователя является то, что использование HMD во время операции требует привлечения дополнительного персонала, если хирург хочет оставаться стерильным или находиться в стерильной одежде во время процедуры. Ассистент должен находиться в операционной или рядом с ней, чтобы помочь с надеванием и снятием HMD. Кроме того, данная модель HMD тяжелее других устройств, а внешний проводной источник питания требует, чтобы хирург носил медицинскую одежду с карманами или чтобы ассистент держал аккумуляторный блок во время использования HMD. Стоимость материалов для оборудования AR также высока. Цена последней модели HMD, используемой в данном протоколе, начинается от $3699 USD13, в то время как система 3D-захвата изображений стоит примерно $25,000.
Дополнительные ограничения связаны с интраоперационной интерпретацией голографических референсных изображений. Голограммы масштабируются, перемещаются и поворачиваются хирургом вручную; текущий протокол не предусматривает автоматическую регистрацию, трекинг, сопоставление поверхностей, выравнивание по ориентирам или привязку к конкретному пациенту. Однако эти функции могут быть не нужны для целей косметической ринопластики. Технически текущая система функционирует как носимый 3D-дисплей для справки, а не как система AR с автоматической регистрацией. Ручное управление позволяет хирургу накладывать голограммы непосредственно на нос пациента или располагать их рядом в качестве модифицируемого визуального ориентира. Отслеживаемое или закрепленное позиционирование голограмм может быть невыгодным, так как может либо перекрывать операционное поле в виде фиксированного слоя, либо препятствовать прямому сравнению при фиксации рядом с операционным полем. Интраоперационный отек, деформация мягких тканей, разрез, манипуляции с тканями, тракция, хирургический доступ и прогрессирующее набухание также могут повлиять на сравнение интраоперационной анатомии пациента с предоперационными или модифицированными голографическими моделями. Хотя эти факторы могут изменить интерпретацию голографических референсных изображений, они также присутствуют при использовании традиционных 2D-изображений. Опытные хирурги должны быть способны распознать и учесть эти переменные независимо от размерности референсного изображения. Другие подходы к изучению данного рабочего процесса могут включать сравнение с традиционными 2D-изображениями, использование альтернативных HMD, оценку систем с зарегистрированным наложением, анализ методов привязки к конкретному пациенту или количественное сравнение запланированных и послеоперационных эстетических результатов. Данная работа представляет собой протокол технической осуществимости, и в настоящее время проводится количественная валидация. Хотя 3D-голографические изображения могут расширить интраоперационную визуализацию косметических целей при ринопластике, аналогично традиционным изображениям, они предназначены исключительно в качестве справочного материала. Принятие окончательного хирургического решения остается на усмотрение хирурга. Пользователи данного протокола должны соблюдать стерильность и уделять приоритетное внимание безопасности пациента. При правильном использовании система должна представлять минимальный риск для операционного поля и пациента. Учитывая экспериментальный характер данного протокола, каждому пациенту следует проконсультировать относительно рисков и преимуществ технологии, а перед интраоперационным использованием HMD должно быть получено информированное согласие.
Хотя для подтверждения этих результатов требуются дальнейшие исследования, технология дополненной реальности (AR) может найти применение в челюстно-лицевой пластической и реконструктивной хирургии за счет облегчения доступа к индивидуальным 3D-изображениям пациента во время косметической ринопластики. Более широкое внедрение технологий AR может помочь выявить дополнительные области применения в пластической и реконструктивной хирургии лица. Для дальнейшей валидации данного подхода необходимы будущие многоцентровые исследования по оценке объективных показателей, таких как время операции, точность, эстетический результат, безопасность пациента и эффективность рабочего процесса.
Авторы заявляют об отсутствии конфликта интересов.
Данная работа была поддержана Национальными институтами здравоохранения (NIH), Национальным институтом проблем глухоты и других нарушений коммуникации (R25DC020728) и грантом Национального института рака (NCI) K08 Career Development Award (5K08CA293255-02). Авторы выражают благодарность Shreeya Bahethi за вклад в создание видеоролика.
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| Модуль 3D-анализа | Canfield Scientific Inc. | Нет данных | Программное обеспечение VECTRA 3D Analysis Module, используемое для экспорта файлов трехмерных изображений. RRID: Н/Д |
| Модуль 3D-захвата | Canfield Scientific Inc. | Данные отсутствуют | Программное обеспечение модуля захвата VECTRA, используемое для получения трехмерных изображений лица. RRID: Н/Д |
| Система трехмерной визуализации лица | Canfield Scientific Inc. | Поскольку исходный текст не был предоставлен, я не могу выполнить перевод. Пожалуйста, введите текст, который необходимо перевести на русский язык. | Система трехмерной визуализации VECTRA M3, используемая для получения изображений лица. RRID: Н/Д |
| Компьютерная рабочая станция | Dell Inc. | W31C003 | Рабочая станция, используемая с системой трехмерной визуализации лица. Минимальные требования: Windows 11 (64-разрядная), Intel Core i7 или выше, ≥16 ГБ оперативной памяти, совместимая видеокарта NVIDIA с ≥4 ГБ видеопамяти и два порта USB 2.0. Сконфигурировано и поставлено компанией Canfield Scientific Inc. |
| Программное обеспечение для автоматизированного проектирования | Autodesk Inc. | Данные отсутствуют | Программное обеспечение Meshmixer, используемое для восстановления файлов трехмерных моделей перед конвертацией. RRID: SCR_015736 |
| Программное обеспечение для автоматизированного проектирования (устаревшее) | Microsoft Corporation | Поскольку исходный текст не был предоставлен, пожалуйста, введите текст, который необходимо перевести. | Программное обеспечение Microsoft 3D Builder, используемое для исправления файлов трехмерных моделей (устарело; необязательная альтернатива). |
| Программное обеспечение для морфинга лиц | Canfield Scientific Inc. | Поскольку исходный текст не был предоставлен, я не могу выполнить перевод. Пожалуйста, введите текст, который необходимо перевести на русский язык. | Программное обеспечение Face Sculptor, используемое для создания желаемой косметической симуляции при планировании хирургического вмешательства. RRID: N/A |
| Нашлемный дисплей | Apple Inc. | Поскольку исходный текст не был предоставлен, пожалуйста, введите текст, который необходимо перевести. | Гарнитура смешанной реальности Apple Vision Pro (M2), используемая для интраоперационной визуализации. RRID: N/A |
| Платформа управления голограммами | ApoQlar Medical | Поскольку исходный текст не был предоставлен, пожалуйста, отправьте содержимое, которое необходимо перевести. | Приложение HoloMedicine Online Preview, используемое для загрузки и управления голографическими моделями перед визуализацией. RRID: Н/Д |
| Приложение для просмотра голограмм | ApoQlar Medical | Поскольку исходный текст не был предоставлен, пожалуйста, введите текст, который необходимо перевести. | Приложение VSI HoloMedicine Preview, используемое для визуализации голографических моделей с помощью наголовного дисплея. RRID: Н/Д |
| Программное обеспечение для трехмерного моделирования с открытым исходным кодом | Команда разработчиков Blender | Версия 4.4 | Программное обеспечение Blender, использовавшееся для конвертации трехмерных моделей в формат .glb и децимации полигональной сетки. RRID: SCR_008606 |
Эта статья была опубликована
Видео скоро будет доступно