Видео пространственно-временного анализа операции катаракты на основе глубокого обучения для оценки хирургического риска

Краткое содержание

В данном исследовании представлен конвейер глубокого обучения для прогнозирования хирургического риска по видеозаписям внутриоперационной микроскопии с использованием предварительной обработки, сегментации, GCN, ASFO и моделирования трансформаторов cGAN. Высокая производительность достигается на наборах данных CaDIS и SICS-105, хотя клиническая достоверность ограничена косвенным маркировкой.

Аннотация

Послеоперационные осложнения остаются серьёзной проблемой при витректомии, часто приводя к ухудшению зрительного состояния и повторяющимся вмешательствам. В данном исследовании представлены глубокие учебные рамки для прогнозирования хирургического риска путём извлечения пространственно-временных особенностей из видео интраоперационной микроскопии. Во время предварительной обработки применяются методы улучшения видео, включая стабилизацию движения, нормализацию освещения и подавление артефактов на основе cGAN для улучшения качества входа. Для выделения соответствующих хирургических областей применяется контурно-адаптивная сегментация, за которой следует графовые сверточные сети для структуроориентированного извлечения признаков. Адаптивный подход оптимизации подсолнечника интегрирован для уточнения выбора признаков, а модель на основе трансформаторов фиксирует временные зависимости для окончательного прогнозирования риска. Фреймворк оценивается на двух публичных наборах данных — CaDIS и SICS-105. Модель достигла точности 98,9%, точности 97,5%, отзыва 98,2%, 97,9% результата F1 и 98,1% AUC на наборе данных CaDIS. Кроме того, модуль сегментации достиг точности 98,9% пикселей, 98,5% точности по классу и 96,6% mIoU. Модель достигла точности 99,1%, оценки F1 98,5%, чувствительности 98,7%, специфичности 98,7% и ROC AUC 99,10% в наборе данных SICS-105. Эти результаты демонстрируют стабильные улучшения по сравнению с базовыми моделями. В целом, интеграция предварительной обработки с использованием GAN, обучения признаков на основе графов, оптимизации и моделирования трансформаторов повышает предиктивную надёжность. Этот подход подчёркивает потенциал интраоперационного видеоанализа для поддержки клинических решений в реальном времени и улучшения послеоперационной стратификации рисков.

Введение

Pars plana vitrectomy (PPV) является основой для хирургических процедур при лечении различных витреоретинальных заболеваний, включая отслоение сетчатки, диабетическую ретинопатию, макулярное отверстие и^{стекловидное кровотечение 1}. Несмотря на развитие хирургического оборудования и визуализации, послеоперационные осложнения остаются значительным источником заболеваемости, исходы варьируются от незначительных зрительных нарушений до угрожающих зрению событий, таких как рецидивирующее отслоение сетчатки, эндофтальмит или неконтролируемое внутриглазное^{давление 2}. Выявление пациентов с повышенным риском этих осложнений является важной неудовлетворённой потребностью в клинической практике, поскольку это позволяет более информированное хирургическое планирование, персонализированный послеоперационный уход и своевременные^{вмешательства 3}. Традиционно оценка риска при PPV опиралась на статические предоперационные факторы (такие как сопутствующие заболевания и предоперационные заболевания глаза) и субъективное внутреннее суждение^{хирурга} 4,5,6,7. Кроме того, недавняя операция по витректомии подробно документируется на видео хирургической микроскопии высокого разрешения, предоставляя богатый, но малоиспользуемый источник данных. Таким образом, эти записи отражают не только анатомические и патологические особенности, но и взаимодействие хирурга с тканями, интраоперационные события и хирургические движения, которые могут предсказывать дальнейшие^{осложнения} 8,9,10,11.

Глубокое обучение показало выдающиеся результаты в различных областях офтальмологии, включая классификацию изображений дна, автоматизированную оценку хирургических навыков и анализ оптической когерентной томографии^{(ОКТ) 12}. Кроме того, некоторые исследования систематически используют интраоперационные видеоданные для прогнозирования послеоперационных исходов. Пространственно-временная природа хирургических видео ставит перед собой уникальные вызовы: высокомерные данные, вариабельность между хирургами, временные зависимости, анатомия пациента и устройства 13,14,15,16. Однако красноречивая интеграция клинической области требует не только точных или точных прогнозов, но и надёжности, интерпретируемости и обобщаемости в хирургических условиях в реальном^{времени 17}.

В областях офтальмологии и хирургической науки о данных^{в последнее} время стали довольно популярны машинное обучение (ML) и глубокое обучение (DL). Их применения включают прогнозирование исходов, оценку хирургических навыков и диагностическую^{визуализацию 19}. В нескольких исследованиях исследованы рамки на основе DL для понимания внутриоперационных хирургических ситуаций. Например,^{Несполо 20} продемонстрировал обобщимость между задачами, предложив DL-конвейер для семантической интерпретации тканей и инструментов в витреоретинальной хирургии. Для облегчения объективной оценки эффективности эта функция была дополнительно расширена для получения комплексных данных о хирургических методах и взаимодействии инструмента и тканей. В аналогичном ключе Несполо и ^др.21 продемонстрировали жизнеспособность хирургического руководства, разработав модель обнаружения и сегментации в реальном времени с использованием интраоперационной микроскопии и сети сегментации экземпляров (YOLACT++).

Кроме того, методы на базе ИИ признаны полезными инструментами для улучшения рабочих процессов, обучения и хирургической оценки^22,23. Эти методы позволяют сегментировать фазу, отслеживать инструменты в реальном времени и повышать безопасность в офтальмологической микрохирургии. Расширение использования машинного обучения (ML) в анализе внутриоперационных хирургических записей было дополнительно продемонстрировано систематическим обзором Мюллера и ^др.23, который также выделил актуальные проблемы с клинической трансляцией и надёжностью. Несколько исследований использовали модели DL с визуализацией и клиническими данными для прогнозирования послеоперационных исходов. Например, модели, основанные на ОКТ и клинических характеристиках, использовались для прогнозирования визуальных исходов в случаях идиопатической эпиретинальной^{мембраны 24}, и аналогичные методы показали эффективность в прогнозировании послеоперационных исходов у пациентов с макулярной дыркой на основе многоцентровых наборов^{данных 25}. Другие исследования были сосредоточены на определении тяжести пролиферативной витреоретининопатии с помощью мультимодальных фреймворков DL26 и прогнозировании рецидива отслоения сетчатки с помощью ультраширокоугольной^{визуализации 27}. Кроме того, визуальные результаты и этиологии при витреоретинальных заболеваниях были предсказаны с помощью моделей машинного обучения, учитывающих демографические, клинические и хирургические^{переменные 28, 29, 30}.

Несмотря на эти изменения, большинство современных методов уделяют мало внимания интраоперационной динамике и в основном опираются на дооперационные данные или статическую послеоперационную визуализацию. Хотя некоторые исследования используют хирургический видеоанализ для сегментации и оценки 20,21,22,23, они не включают напрямую пространственно-временные интраоперационные данные для прогнозирования вероятности осложнений. В результате сохраняется значительный разрыв в использовании внутриоперационных микроскопических видеоданных для предиктивного моделирования. Для создания точных, клинически значимых рамок для прогнозирования осложнений после операции витрэктомии необходимо заполнить этот пробел.

В этом исследовании представлена новая мультимодальная структура DL, которая интегрирует пространственно-временные особенности, извлеченные из видео интраоперационной витректомии, со структурированными клиническими метаданными для прогнозирования риска послеоперационных осложнений. Используя современные видеокодировщики (такие как сверточные и трансформаторные архитектуры) вместе со стратегиями слияния^{метаданных 18}, эта схема направлена на выявление интраоперационных событий с высоким риском, предоставление откалиброванных вероятностей осложнений и создание интерпретируемых визуализаций для врачей. С помощью многоцентровой оценки, анализа интерпретируемости и сравнительных исследований доказана возможность использования интраоперационного видео в качестве предиктивного биомаркера для хирургического^{исхода 18}. Основной целью этого проекта является разработка прочной структуры DL, использующей пространственно-временные данные из внутриоперационных микроскопических записей для прогнозирования послеоперационных осложнений при витрэктомии. С точки зрения точности предсказания и обобщения предложенный интегрированный подход, сочетающий предварительную обработку на основе cGAN, извлечение признаков с помощью GCN, оптимизацию на основе ASFO и моделирование на трансформаторах, ожидается, что превзойдёт текущие методы.

В этой работе эффективно используются видеозаписи с интраоперационного микроскопа для представления комплексной системы DL для прогнозирования проблем послеоперационной витректомии. В отличие от современных методов, которые в основном опираются на статические методы визуализации или предоперационные клинические данные, предлагаемая методология сочетает передовые методы машинного обучения с пространственно-временной видеоаналитикой новым способом. В частности, методология использует графовые сверточные сети (GCN) для фиксации структурных и реляционных связей в хирургических сценах, адаптивную сегментацию контуров (CAS) для точного разграничения регионов и модуль улучшения видео на основе cGAN для подавления артефактов. Кроме того, для улучшения сходимости и дискриминационной способности модели используется алгоритм адаптивной оптимизации подсолнечника (ASFO) для балансировки исследования и эксплуатации при выборе признаков. Наконец, временная динамика в хирургических последовательностях моделируется с помощью трансформерной архитектуры с пулом пространственно-временного внимания. Это значительное улучшение по сравнению с текущими конвейерами, эта комплексная интеграция предварительной обработки, сегментации, обучения признаков на основе графов, оптимизации и ориентированного на внимание прогнозирования позволяет делать более точное, надёжное и клинически значимое прогнозирование рисков. Наборы данных CaDIS и SICS-105 используются в этом исследовании как прокси-визуальные наборы данных для изучения внутриоперативных пространственно-временных признаков, несмотря на их основную задачу — анализ операций катаракты. Вместо использования явно отмеченных меток осложнений, эти признаки используются для моделирования и вывода риска послеоперационной витректомии.

Протокол

Наборы данных CaDIS и SICS-105, использованные в этом исследовании, доступны публично и изначально были собраны с предварительного одобрения институционального надзорного совета и информированного согласия, как указано в соответствующих публикациях. Это исследование включает только вторичный анализ полностью анонимизированных данных, поэтому дополнительное этическое одобрение или информированное согласие не требовалось.

Предлагаемая модель была разработана для прогнозирования осложнений после операции витрэктомии с использованием пространственно-временных паттернов из видео внутриоперационной микроскопии. Конвейер состоит из четырёх основных этапов: предварительной обработки, сегментации, извлечения признаков, оптимизации признаков и классификации, как показано на рисунке 1.

Внутриоперационная оценка риска послеоперационных осложнений является прогнозной целью исследования. Модель не может прогнозировать клинически подтвержденные послеоперационные события в определённое временное окно, поскольку наборы данных CaDIS и SICS-105 не содержат данных о долгосрочном последующем наблюдении. Вместо этого он использует интраоперационные хирургические паттерны для определения вероятности возможных проблем. Операционные определения «осложнения» в этом контексте включают нерегулярные фазовые переходы, аномальные взаимодействия инструмента и ткани, а также вариации хирургического рабочего процесса, связанные с большей хирургической сложностью. Для обеспечения интерпретируемости и надёжной оценки задача прогнозирования разработана как задача бинарной классификации, которая делит случаи на группы с низким и высоким риском. Вместо того чтобы служить прямой клинической диагностической системой, эта формулировка позволяет предлагаемой структуре служить инструментом поддержки внутриоперационных решений.

Описание набора данных:

Предлагаемая модель была оценена на двух наборах данных: наборе данных A (CaDIS, набор данных по катаракте для сегментации изображений) и наборе данных SICS-105 (Операция с малым разрезом на катаракте).

(i)^{CaDIS 31}: Этот набор данных был разработан для задачи сегментации в видео операций катаракты. Это введено для дополнения общедоступного набора данных по вызовам CATARACT, и таким образом направлено на развитие схем DL для анализа хирургических видео. Набор данных состоит из 25 видеозаписей общей сложностью 4 670 аннотированных кадров, изображающих несколько стадий операции по удалению катаракты (дополнительный рисунок 1). Каждый кадр тщательно аннотируется, предоставляя метки на уровне пикселей, необходимые для обучения и оценки схемы сегментации. Она служит эталоном для оценки эффективности модели DL на хирургических видео.

(ii) Набор данных SICS-105 (операция по удалению малого разреза)³²: Этот набор данных включает 105 записей, проведённых хирургами и аннотированных четырьмя офтальмологами в течение 6 месяцев в период 2023–2024 годов, охватывающих 20 фаз (Дополнительный рисунок 2). Общая продолжительность видео составляет 22 часа 39 минут, разрешение 1920 × 1080 пикселей (уменьшено до 960 × 540) и 30 кадров в секунду. Средняя продолжительность видео составляет 12 минут 57 секунд (σ=4:31 мин). Набор данных общедоступен в репозитории Zenodo по адресу: https://doi.org/10.5281/zenodo.13847781. Репрезентативные входные образцы показаны на дополнительном рисунке 1 и дополнительном рисунке 2. Хотя наборы данных CaDIS и SICS-105 изначально были разработаны для распознавания хирургических фаз и сегментации при операции с катарактой, информации о послеоперационных осложнениях витрэктомии ограничено. Чтобы компенсировать недостаток информации о постоперационных осложнениях после витректомии, мы предлагаем набор прокси-меток для информации о риске на основе внутриоперационных зрительных паттернов и событий в видеопоследовательности. Кадры и видеопоследовательности в наборах данных были аннотированы трехуровневой информацией о риске (низкий, умеренный, высокий) согласно набору эвристик, вдохновлённых клиническим пониманием, включая сложность взаимодействия инструмента и ткани, аномалии длительности хирургического вмешательства, окклюзию, нестабильность и аномальные движения. Предлагаемая формула не использует клинические результаты в качестве обозначения, а рассматривает их как прокси-метки для информации о рисках возможных послеоперационных осложнений.

Предварительная обработка с использованием подхода cGAN

Обычно необработанные кадры часто деградируют из-за вариаций освещения, размытия и зеркалярных артефактов. Для решения этой проблемы используется условная генеративная состязательная сеть (cGAN) для улучшения видео. Raw кадры — это оригинальные, необработанные кадры, извлекаемые непосредственно из видеозаписей внутриоперационной микроскопии, до какого-либо улучшения или нормализации. Эти кадры обычно содержат такие артефакты, как вариабельность освещения, размытие движения, зеркальные отражения и шум, возникающий от хирургических инструментов и движения камеры. Генератор восстанавливает чистые кадры, а дискриминатор обеспечивает визуальный реализм. Функция цели, интегрирующая потери реконструкции пикселей, состязательных и временных потерь согласованности, обеспечивая отсутствие артефактов и стабильность видео для дальнейшего анализа.

Деградированный кадр I_t на шаге времени t является входом генератора, а улучшенный кадр Y_t = G(I_t) — его выходом. Обусловленный входом I_t, дискриминатор обучается различать генерируемый выход от чистой системы Y t. Цель обучения включает несколько функций потерь для обеспечения высокого качества реконструкции: (i) соперническое поражение для обеспечения реализма; (ii) потери по пикселям реконструкции (потеря L1) для поддержания точности интенсивности; (iii) перцептивная потеря для сохранения структурной согласованности с использованием глубоких представлений признаков; и (iv) потеря временной согласованности для обеспечения плавных переходов между последовательными кадрами и предотвращения мерцания артефактов.

Для обеспечения высокого качества ввода при извлечении признаков видеозаписи интраоперационной микроскопии изначально улучшаются с помощью cGAN. Каждый необработанный кадр I_t* считается деградированным наблюдением чистого кадра. Генератор G учится отображению G(I_t) = I_t для восстановления улучшенных кадров, тогда как дискриминатор D различает реальные и сгенерированные выборки. Обучающая цель интегрирует состязательную потерю L_adv, перцептивную потерю L_perc пиксельную реконструкционную потерю_L1 и временную согласованность_{L temp}.. Эта модель подавляет размытие, зеркальные артефакты и шум, сохраняя при этом временную и структурную когерентность, обеспечивая стабильные видеопоследовательности без артефактов для дальнейшего анализа. Формулировка GAN выражена в уравнениях [1-6] Дополнительного файла 1.

Сегментация с использованием контурной адаптивной сегментации (CAS)

В этом случае сегментация выполняется с использованием модели сегментации с адаптивной контурной формой. Это определяет предварительные планы сегментирования изображений поражённой витрэктомии в микроскопических изображениях, тем самым снижая энергетическую функцию, как показано в уравнениях [7-12] в дополнительном файле 1. Низкая энергетическая ценность обеспечивает точные представления и локализованную оценку регионов, находящихся под угрозой. Это, в свою очередь, позволяет точно сегментировать поражённые области, что впоследствии облегчает выделение признаков в следующем участке.

Извлечение признаков с помощью динамического пространственно-временного GCN(dGCN)

После завершения этапа предварительной обработки следующим шагом является выделение дискриминационных пространственно-временных признаков. По этой причине используется графовая сверточная сеть (GCN), так как она эффективна для захвата структурированных зависимостей. Принятая модель состоит из слоёв GCN с нелинейными активациями, которые смягчают переподгонку и решают проблему нуля градиента с помощью механизма нормализации. Формулировка GCN основана на спектральной аппроксимации графов первого порядка, что делает её подходящей для крупномасштабных задач полусупервизированного обучения. Кроме того, линейное представление упрощает оптимизацию, обеспечивая эффективное обучение параметрам. Работа упрощённого GCN выражена в уравнениях [13–15] дополнительного файла 1. При применении GCN эффективно извлекает более высокоуровневые структурные представления из интраоперационных видеоданных. Впоследствии сохраняются только наиболее релевантные или подходящие признаки по механизму выбора с помощью оптимизации, который описан в следующем разделе.

Оптимизация признаков с помощью адаптивной оптимизации признаков на основе подсолнечника (ASFO)

Алгоритм адаптивной оптимизации подсолнечника (ASFO) — это усовершенствованная версия классического подхода оптимизации подсолнечника (SFOA). В предлагаемой модели этот биологически обусловленный процесс математически моделируется для устранения уточнения и выбора признаков в высокоразмерном наборе данных. В частности, этот подход направлен на повышение скорости сходимости, балансирование разведки и эксплуатации для сохранения разнообразия решений и смягчения преждевременной сходимости. Математическая формулировка ASFO изложена в уравнениях [16–21] Дополнительного файла 1. Эта схема ускоряет сходимость, когда решения становятся близки к оптимальным. Подробный алгоритм представлен в дополнительном файле 1. В предлагаемом конвейере ASFO используется для уточнения вектора признаков после термоядерного синтеза на основе трансформаторов. Выбранные признаки основаны на текстуре, цвете и интенсивности, морфологических и структурных, движении и времени, высокомерных и взвешенных по внимании регионов. Цель — минимизировать функцию потери релевантности признаков, тем самым выбирая и взвешивая признаки, повышающие точность классификации за счёт снижения избыточности.

Головка классификации на основе трансформатора с пространственно-временным пулом внимания

Модель на основе трансформаторов используется для фиксации временных зависимостей между хирургическими видеопоследовательностями. Модель конфигурирована с многоголовным самовниманием, позиционным кодированием и полностью связанными слоями для окончательного прогнозирования рисков. Оптимизация гиперпараметров выполняется с помощью ASFO. Интегрированный конвейер объединяет предварительную обработку, извлечение признаков, оптимизацию и классификацию на основе трансформаторов для точного прогнозирования хирургических рисков.

Результаты

Для оценки эффективности предлагаемой модели были проведены обширные эксперименты с использованием реальных наборов данных по витректомии. Производительность оценивалась по предварительной обработке, эффективности извлечения признаков и точности прогнозирования.

Анализ эффективности и сравнительная оценка

Предлагаемая методология была сравнивана с базовыми моделями с использованием метрик, включая точность, точность...

Обсуждение

Экспериментальная оценка наборов данных CaDIS и SICS-105 подтверждает надёжность и превосходство предлагаемой модели над традиционными подходами. Базовые модели, такие как ResNet-50, LSTM-CNN, и сети, ориентированные на сегментацию (UNet, DeepLabV3+, UPerNet, HRNetV2), работают достаточно хорошо, но страдают из-за встроенной внутриоперационной видеовариативности, включая изменения освещения, окклюзии, размытие движения и взаимодействия инструмента и^{ткани (22,...}

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Высокопроизводительная рабочая станция	NVIDIA Corporation, США	RTX-A6000	Используется для обучения моделям; 48 ГБ ВИДЕОКАРТА VRAM с процессором Intel Core i9 и 128 ГБ оперативной памяти
Python (версия 3.10)	Фонд программного обеспечения Python	Открытый исходный код	Основной язык программирования для разработки моделей и экспериментов
TensorFlow (v2.15)	Google Research	Открытый исходный код	Фреймворк, используемый для реализации предобработки cGAN и классификатора трансформеров
PyTorch (версия 2.2.0)	Meta AI	Открытый исходный код	Используется для реализации модулей GCN и адаптивной оптимизации подсолнечника
Набор инструментов CUDA (версия 12.1)	Корпорация NVIDIA	CUDA-12.1	Обеспечивает ускорение GPU для всех вычислений глубокого обучения
Условная генеративная состязательная сеть (cGAN)	Адаптировано из фреймворка Pix2Pix	Н/Д	Используется для улучшения видео и удаления артефактов во время предварительной обработки
Оптический оценщик потока (RAFT)	Teed & Дэн (ECCV 2020)	Н/Д	Обеспечивает временную согласованность между кадрами во время предварительной обработки
Модель адаптивной сегментации контуров (CAS)	Пользовательская реализация	Н/Д	Модифицированная активная контурная модель для точной сегментации границ в видео с витрэктомией
Динамическая графовая сверточная сеть (GCN)	Пользовательская реализация (на основе Kipf & Веллинг, 2017)	Н/Д	Извлечение пространственно-временных связей между узлами видеопризнаков
Алгоритм адаптивной оптимизации подсолнечника (ASFO)	Пользовательская реализация	Н/Д	Используется для оптимизированного выбора признаков и уменьшения размерности
Модель кодера трансформатора	Пользовательская реализация (на основе Васвани и др., 2017)	Н/Д	Используется для окончательной послеоперационной классификации осложнений с пулом пространственно-временного внимания
Matplotlib (v3.8)	Фонд программного обеспечения Python	Открытый исходный код	Используется для визуализации метрик и графиков производительности
Сиборн (v0.13)	Фонд программного обеспечения Python	Открытый исходный код	Используется для продвинутой визуализации и статистической графики
Adam Optimizer	Встроенный TensorFlow	Н/Д	Используется для обучения моделям; скорость обучения = 1e-4, & beta; 1=0.9, β 2=0.999
Набор функций потери (L_adv, L_l1, L_perc, L_temp, L_G)	Пользовательская реализация	Н/Д	Определяет состязательные, перцептивные, пиксельные и временные потери для обучения GAN
Операционная система	Ubuntu Linux 22.04 LTS	Н/Д	Базовая среда для экспериментов с глубоким обучением
Пакет метрик оценки	Scikit-Learn (v1.5.0)	Открытый исходный код	Используется для вычисления точности, точности, отзыва, F1-баллов, AUC и mIoU