Новый двухмодальный подход к глубокому обучению для удаления печёночной флуоресценции в реальном времени при лапароскопической холецистэктомии с помощью индокианина с зелёным руководством

Краткое содержание

Этот протокол предлагает двухмодальный подход к глубокому обучению для удаления флуоресценции печени в реальном времени во время лапароскопической холецистэктомии с помощью индокианина (ICGLC).

Аннотация

Лапароскопическая холецистэктомия с помощью индокианина с зелёным руководством (ICGLC) улучшает визуализацию желчных органов, но часто затрудняется загрязнением печёночной флуоресценцией, которая мешает анатомическим структурам. Цель данного исследования — разработать и оценить новую двухмодальную систему глубокого обучения для автоматического обнаружения и удаления флуоресцентного загрязнения печени в режиме реального времени во время процедур ICGLC. Набор данных из 33 123 двухмодальных хирургических рамок был составлен из 48 пациентов, прошедших плановое ICGLC. Флуоресцентные и белые изображения были объединены и аннотированы. Были сравнины несколько моделей глубокого обучения, и была выбрана сеть mid-fusion на базе DeepLabV3. Были внедрены стратегии морфологической постобработки и поэтапного обучения для повышения точности сегментации и обобщаемости. Предлагаемая модель достигла коэффициента кубиков 0,838 и отзыва 0,863 в итоговом тестовом наборе. В субъективных оценках 10 старших хирургов стабильно оценивали видео, обработанные с помощью ИИ, как более чёткие, с заметно улучшенной визуализацией желчных протоков и сниженной усталостью зрения. Модель демонстрировала производительность в реальном времени — 0,018 секунды на кадр. В данном исследовании представлено первое решение ИИ в реальном времени для удаления флуоресценции печени в ICGLC. Модель двойного глубокого обучения значительно повышает визуальную чёткость, открывая потенциал для повышения хирургической безопасности, операционной эффективности и эффективности обучения. Будущие проспективные исследования необходимы для оценки клинического влияния на исходы операции.

Введение

Холелитиаз — распространённое заболевание желудочно-кишечного тракта, стабильно демонстрирующее высокие показатели заболеваемости по всему миру среди различных популяций, затрагивая более 4% населения^мира 1,2,3,4. Лапароскопическая холецистэктомия (ЖК) широко считается «золотым стандартом» для лечения холелитиаза благодаря своим преимуществам, таким как минимальная интраоперационная травма, лёгкая послеоперационная боль, благоприятные косметические результаты и короткие пребывания в ^{больнице 5,6,7}. Только в Соединённых Штатах общие хирурги ежегодно выполняют от 750 000 до 1 000 000 LC. Однако частота осложнений при ЛК превышает традиционную открытую^{операцию 8}, при этом возникновение серьёзных осложнений, таких как повреждение желчных протоков (BDI), в 2–3 раза выше^{— 9,10}. Исследования показывают, что BDI во время лапароскопических процедур часто возникает из-за технических ошибок на этапе анатомической диссекции, при этом особенно часто встречаются анатомические ошибки (до 85%), часто связанные с ошибками относительно общего желчного протока (CBD) или вариациями анатомии правого заднего печеночного^{протока 11,12}.

Для снижения распространённости хирургических осложнений в современной практике был разработан ряд сложных методов и передовых технологий, включая критический взгляд на безопасность (CVS), интраоперационную холангиографию и технологию ближнего инфракрасного флуоресцентного эффекта⁽NIRF) ^5,8. CVS всё чаще рассматривается как стандартный метод идентификации структур желчного^{пузыря 5,13,14}, требующий удаления соединительной ткани в цисто-печённом треугольнике и рассечения нижней трети желчного пузыря из кистозной пластины, чтобы освободить чёткий обзор кистозного протока и кистозной артерии, тем самым предотвратив повреждения сосудистых и желчных артерий во время лапароскопической холецистэктомии^{11, 15}.

Индокианиновая зелёная (ICG) индоцианская интраоперационная холангиография в реальном времени была ещё одним проверенным решением, впервые клинически описанным в 2008^{году 16}. ICG метаболизируется исключительно печенью, связывается с белками плазмы и при облучении ближним инфракрасным светом излучает максимальную длину волны около 830 нм^. Эта характеристика позволяет визуализировать опухоли печени и желчную систему, демонстрируя многообещающие применения в повышении хирургической безопасности и сокращении времени^{операций} 18,19,20. Исследования, сравнивающие совместное использование CVS и NIRF только с CVS, показали преимущества для пациентов с ожирением и случаев с тяжёлым воспалением, не только сокращая время операции, но и снижая частоту^{BDI 21,22}. Однако его клинические применения сталкиваются с рядом ограничений, включая использование различных устройств визуализации²³ и задержку инъекций ICG или чрезмерное всасывание печеночных тканей, что приводит к высокой интенсивности флуоресценции печени и загрязнению поля зрения, тем самым заслоняя важную визуализацию желчной^{системы 24}. Если бы вспомогательные технологии использовались во время операции для удаления флуоресцентного загрязнения печени при сохранении правильной желчной флуоресцентной визуализации, это могло бы помочь оптимизировать хирургический обзор, что ещё больше повысит безопасность и плавность операции.

Технология искусственного интеллекта (ИИ) — перспективный инструмент для оптимизации флуоресценции. ИИ в медицинской визуализации и хирургических операциях в последние годы стал горячей точкой исследований, достигнув многочисленных технологических прорывов и клинических^{применений 25, 26 и 27}. Существующие исследования и применение технологии глубокого обучения ИИ в видео лапароскопической хирургии часто основывались на одиночной модальности белого света, включая распознавание различных анатомических ориентиров, таких как повторяющийся гортанный нерв, края почек, кровеносные сосуды и желчный^пузырь 28,29,30,31 . В настоящее время отсутствуют исследования по удалению флуоресцентного загрязнения печени в реальном времени при флуоресцентном ЛК. Сегментация изображений с двумя модальными моделями, широко применяемая в промышленности, может помочь восполнить этот пробел. Данное исследование направлено на изучение применений двухмодальной сегментации изображений в сценариях ICGLC, а также на разработку и валидацию методов обучения для динамического распознавания и экранизации избыточной флуоресценции печени в реальном времени.

Протокол

Все хирургические видеозаписи, включённые в это исследование, были получены у пациентов, прошедших плановую лапароскопическую холецистэктомию под руководством ICG (ICGLC) в больнице Пекинского медицинского колледжа. Исследование было одобрено соответствующим этическим комитетом, а информированное согласие было получено от всех участников до регистрации.

1. Подготовка данных и аннотация изображений

1. Ретроспективно соберите хирургические видео 48 пациентов, проходивших ICGLC в Пекинской медицинской больнице с 2022 по 2024 год.
   ПРИМЕЧАНИЕ: Пациентам, участвующим в этом исследовании, внутривенно вводили 0,5 мг ICG за 20 минут до операции.
2. Попросите хирурга просмотреть все хирургические видео и выделить фрагменты, охватывающие ключевые этапы вскрытия треугольника Калота. Выберите 76 хирургических видеоклипов вручную, сосредоточившись на вскрытии треугольника Калота. Извлекать флуоресцентные и белые световые каналы изображения из каждого клипа. Соедините их вдоль RGB-канала.
3. Чтобы минимизировать избыточность, сэмплируйте кадры с интервалом 8:1, уменьшите разрешение с 1920 × 1080 до 960 × 540 и импортируйте изображения в специализированную платформу для аннотаций.
4. Назначьте хирурга общей практики для ручного определения контуров флуоресценции печени и обеспечения качества аннотаций под наблюдением старшего хирурга.

2. Метрики оценки модели

1. Оценить производительность сегментации модели с использованием стандартных метрик компьютерного зрения, включая точность, отзыв и коэффициент кубиков, на основе назначенного тестового набора данных.
2. Оценивайте производительность в реальном времени, измеряя вычислительную нагрузку во время вывода.
   1. Измеряйте время вывода с помощью модуля времени из стандартной библиотеки Python/C.
   2. Запишите стартовую метку времени, вызвав time.perf_counter() перед загрузкой данных.
   3. Вызовите time.perf_counter( ) снова после того, как модель сгенерирует результаты прогноза, чтобы получить конечную отметку времени.
   4. Определите разницу между временными метками конца и начала как время вывода для одного сэмпла.
   5. Повторите эту процедуру для каждого выборка в тестовом наборе данных и вычислите среднее время вывода по всем выборкам, чтобы представить общую задержку вывода модели.
   6. Обратитесь к следующему псевдокоду, который резюмирует соответствующую процедуру:
      Инициализировать Inference_time = 0 и ind = 0
      Пусть X обозначает путь хранения тестового множества, а модель — модель вывода
      Для каждого x_path в X :
      Синхронизировать CPU и GPU
      Start_timestamp = time.perf_counter() # начальная метка времени
      x = load(x_path) # загрузка данных
      y = модель(x) # вывод модели
      Синхронизировать CPU и GPU
      End_timestamp = time.perf_counter() # завершающая временная метка
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Конец для
      Inference_time = Inference_time / ind # среднее время вывода
3. Поставьте основную цель — распознавание флуоресценции печени и желчной — обнаружить область печени в хирургическом поле и заменить соответствующую информацию о белом свете, минимизируя помехи от печёночной флуоресценции.
4. Используйте пересечение над объединением (IoU) для количественной оценки предсказательной точности модели.
   ПРИМЕЧАНИЕ: Пересечение над объединением (IoU) определяется как отношение числа пикселей в перекрывающейся области между предсказанной положительной областью и областью с положительной правдой к общему числу пикселей в объединении предсказанных и положительных областей с основной истинностью.
5. Определим предсказание как истинно положительное (TP), если IoU с основной истинностью превышает заданный порог; в противном случае классифицировать его как ложноотрицательный (FN).
6. Отметьте любую предсказанную сегментацию без соответствующей аннотации как ложноположительную (FP).
7. После вычисления пересечения над объединением (IoU) между предсказанными результатами и метками ground-truth, установите порог IoU на 0,1, учитывая диффузный и низкоконтрастный характер флуоресцентных сигналов в хирургической визуализации.
8. Определите и вычислите метрики оценки следующим образом:
   
   
   

3. Морфологическая постобработка

1. Понижение дискретизации всех печеночных и желчных флуоресцентных систем с 1920 × 1080 до 960 × 540 с использованием интерполяционного метода, в частности билинейной интерполяции.
2. Примените нулевое заполнение вдоль ширины, чтобы получить итоговую входную размерность 960 × 544, сгенерируя матрицу 960 × 544 и центрируя текущее изображение внутри неё.
3. Соедините изображения белого света и флуоресценции вдоль размера канала, храня соответствующие матрицы последовательно в тензоре, построенном с использованием фреймворка PyTorch, перед подачей их в модель.
4. Для снижения шумных предсказаний и уточнения качества границ выполните морфологические операции открытия и закрытия начальных выходов сегментации для фильтрации ложного шума и улучшения разграничения краёв.
5. Начните с операции открытия, чтобы устранить мелкие шипы и артефакты по краям в предсказанной^{маске 32}.
6. Затем проводите операцию закрытия для удаления изолированных отверстий и фрагментированных участков.
7. Используйте структурирующее ядро 25 × 25 для обеих операций для эффективной очистки границ органов и снижения шума сегментации.

4. Обучающая среда и гиперпараметры

1. Обучайте модель с помощью одной видеокарты NVIDIA A100 Tensor Core.
2. Установите размер партии на 16.
3. Инициализуйте энкодер (магистраль) с помощью предварительно обученных весов^{ImageNet 33} для использования обучения переноса и ускорения сходимости.
4. Используйте оптимизатор Stochastic Gradient Descent (SGD)³⁴ для его надёжности в крупномасштабных задачах сегментации изображений и способности снижать шумные градиенты.
5. Установите начальную скорость обучения на 0,01 и примените стратегию полиномиального распада для постепенного снижения скорости обучения с нижней границей 0,0001.
6. Продолжайте обучение в общей сложности 50 000 итераций, чтобы получить финальную модель.

5. Трёхфазное обучение модели

1. На этапе выбора модели сравнивайте несколько сегментационных моделей с использованием двумодальных входов, включая DeeplabV3³⁵, DLinkNet34³⁶ и^{U-Net 37}; Выберите оптимальную модель на основе точности сегментации и вычислительной эффективности.
2. На этапе алгоритмической структурной оптимизации исследуйте различные позиции слияния признаков в сети, чтобы определить наиболее эффективную стратегию интеграции данных белого света и флуоресценции.
3. На этапе обобщения и клинической валидации применяйте прогрессивные методы дополнения данных для повышения устойчивости модели; Проверьте окончательную модель в клинических сценариях, чтобы оценить её применимость в реальном мире.

6. Хирургическая обработка видео

1. Извлеките видеофрагменты, показывающие внутриоперационную флуоресцентную визуализацию анатомии желчных артеров, включая общий желчный проток (CBD) и кистозный проток.
2. Обрабатывайте выбранные видео в реальном времени с оптимальной моделью; вычислить среднее время обработки на кадр для оценки вычислительной производительности в реальном времени.

7. Удаление флуоресцентного загрязнения печени

1. Применяйте модель для обнаружения и подавления флуоресцентного загрязнения печени в режиме реального времени во время процедур ICGLC.
2. Обеспечить сохранение визуализации желчной структуры для эффективной идентификации желчных протоков.
3. Сохранять эффективность подавления загрязнения, несмотря на распространённые внутриоперационные проблемы, такие как окклюзия прибора или движение камеры.

8. Клиническая оценка качества видео

1. Собрать комиссию из 10 старших хирургов из внешних учреждений для оценки эффективности видео, обработанных с помощью искусственного интеллекта.
2. Предоставить каждому хирургу как оригинальные, так и улучшенные с помощью искусственного интеллекта видеоклипы; Попросите их заполнить субъективную анкету на основе пяти заранее заданных критериев.

Результаты

В нашем исследовании в течение 2022–2024 годов в отделении общей хирургии больницы Пекинского медицинского колледжа ретроспективно прошли плановую индокианиновую лапароскопическую холецистэктомию (ICGLC) с 2022 по 2024 годы. Всем пациентам за 20 минут до операции ввели внутривенную инъекцию 0,5 мг индоцианина зелёного цвета. Послеоперационное патологическое обследование подтвердило, что во всех случаях диагностирован калькоцистит.

После ручной сегментации и от...

Обсуждение

В этом исследовании было использовано глубокое обучение с помощью ИИ для решения ключевой задачи в операциях ICGLC: выявления и маскировки флуоресцентного загрязнения печени. Хирурги, использующие NIRF, часто сообщают, что флуоресценция печени вызывает зрительную усталость и усложняет желчную^{визуализацию 38}. Применяя технологии компьютерного зрения, это исследование было направлено на смягчение этих проблем и потенциальное снижение заболеваемости BDI — распростран...

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Консоль 4K флуоресцентной визуализации	Ханчжоу Канцзи Медицинская Инструментальная Компания	KJ-EP4K-01	Обеспечивает три режима визуализации: белый свет, флуоресценция и слитое флуоресценцию; Поддержка расширения модулей ИИ
4K-флуоресцентная камера	Ханчжоу Канцзи Медицинская Инструментальная Компания	KJ-EC-4K	Полностью оцифрованная камера с многофункциональными настройками кнопок; Поддержка видеозаписи, фотографии и переключения режимов флуоресценции
Система источников холодного света	Ханчжоу Канцзи Медицинская Инструментальная Компания	KJ-CLS-1	Светодиодный источник холодного света и флуоресцентный светодиодный источник света с длиной волны флуоресценции 808 нм
NVIDIA A100 Tensor Core	Корпорация NVIDIA	900-21001-0020-100	GPU