Uma abordagem inovadora de aprendizado profundo dual-modal para remoção em tempo real da fluorescência hepática em colecistectomia laparoscópica guiada por verde com Indocianina

Resumo

Este protocolo apresenta uma abordagem de aprendizado profundo dual-modal para remoção em tempo real da fluorescência hepática durante colecistectomia laparoscópica guiada por indocianina verde (ICGLC).

Resumo

A colecistectomia laparoscópica guiada por indocianina verde (ICGLC) melhora a visualização biliar, mas frequentemente é prejudicada pela contaminação por fluorescência hepática, que interfere nas estruturas anatômicas. Este estudo tem como objetivo desenvolver e avaliar uma nova estrutura de aprendizado profundo dual-modal para detectar e remover automaticamente a contaminação por fluorescência hepática em tempo real durante os procedimentos do ICGLC. Um conjunto de dados de 33.123 quadros cirúrgicos de dupla modalidade foi construído a partir de 48 pacientes que passaram por ICGLC eletivo. Imagens de fluorescência e luz branca foram fundidas e anotadas. Vários modelos de deep learning foram comparados, e uma rede mid-fusion baseada em DeepLabV3 foi selecionada. Pós-processamento morfológico e estratégias de treinamento em fases foram implementadas para aumentar a precisão e a generalização da segmentação. O modelo proposto alcançou um coeficiente de dados de 0,838 e uma recall de 0,863 no conjunto final de teste. Em avaliações subjetivas, 10 cirurgiões seniores classificaram consistentemente os vídeos processados por IA como mais claros, com visualização dos ductos biliares significativamente melhorada e fadiga visual reduzida. O modelo demonstrou desempenho em tempo real a 0,018 segundos por quadro. Este estudo apresenta a primeira solução de IA em tempo real para remoção de fluorescência hepática no ICGLC. O modelo de aprendizado profundo dual-modal melhora significativamente a clareza visual, oferecendo potencial para melhorar a segurança cirúrgica, a eficiência operacional e a eficácia do treinamento. Estudos prospectivos futuros são necessários para avaliar o impacto clínico nos desfechos operatórios.

Introdução

A colelitíase é um distúrbio gastrointestinal prevalente, apresentando taxas de incidência consistentemente altas em várias populações, afetando mais de 4% da população^global 1,2,3,4. A colecistectomia laparoscópica (LC) é amplamente considerada o 'padrão ouro' para o tratamento da colelitíase devido às suas vantagens, como trauma intraoperatório mínimo, dor pós-operatória leve, resultados cosméticos favoráveis e internações hospitalares^{curtas 5,6,7}. Somente nos Estados Unidos, cirurgiões gerais realizam entre 750.000 e 1.000.000 de LCs anualmente. No entanto, a taxa de complicações do LC supera a da cirurgia aberta^{tradicional 8}, com a ocorrência de complicações graves como lesão dos ductos biliares (DBI) sendo 2 a 3 vezes maior ^9,10. Pesquisas indicam que a BDI durante procedimentos laparoscópicos frequentemente surge de erros técnicos na fase de dissecção anatômica, sendo que identificações erradas anatômicas são particularmente prevalentes (até 85%), frequentemente envolvendo julgamentos errados sobre o ducto biliar comum (CBD) ou variações na anatomia do ducto hepático posterior direito^11,12.

Para diminuir a prevalência de complicações cirúrgicas na prática contemporânea, uma variedade de métodos sofisticados e tecnologias avançadas foi desenvolvida, incluindo visão crítica da segurança (CVS), colangiografia intraoperatória e tecnologia de fluorescência no infravermelho próximo (NIRF^{) 5,8}. O CVS é cada vez mais considerado um método padrão para identificar estruturas da vesícula^{biliar 5,13,14}, exigindo a remoção do tecido conjuntivo no triângulo cistosepático e a dissecção do terço inferior da vesícula biliar da placa cística, para liberar uma visão clara do ducto cístico e da artéria cística, prevenindo assim lesões vasculares e biliares durante a colecistectomia laparoscópica^{11. 15}.

A colangiografia intraoperatória NIRF baseada em verde de indocanina (ICG) foi outra solução comprovada, que foi relatada clinicamente pela primeira vez em^2008. O ICG é metabolizado exclusivamente pelo fígado, liga-se às proteínas plasmáticas e emite um comprimento de onda máximo de luz de cerca de 830 nm quando irradiado com luz infravermelha^{próxima 17}. Essa característica permite a visualização de tumores hepáticos e do sistema biliar, mostrando aplicações promissoras para melhorar a segurança cirúrgica e reduzir os tempos de operação^{18, 19, 20}. Estudos comparando o uso combinado de SVC e NIRF com a SVC isolada indicaram benefícios para pacientes obesos e casos com inflamação severa, não apenas reduzindo o tempo da cirurgia, mas também reduzindo a incidência de^{DB. 21,22}. No entanto, suas aplicações clínicas enfrentam várias limitações, incluindo o uso de diversos dispositivos de imagem²³, e a injeção retardada de ICG ou absorção excessiva de tecido hepático que resultam em alta intensidade de fluorescência hepática e contaminam o campo de visão, obscurecendo assim imagens cruciais do sistema^{biliar 24}. Se tecnologias auxiliares pudessem ser aplicadas intraoperatórias para remover a contaminação por fluorescência hepática enquanto preservam a imagem correta de fluorescência biliar, isso poderia ajudar a otimizar a visão cirúrgica, aumentando ainda mais a segurança e a suavidade da cirurgia.

A tecnologia de inteligência artificial (IA) é uma ferramenta promissora para otimizar a fluorescência. A IA em imagens médicas e operações cirúrgicas tem sido um foco de pesquisa nos últimos anos, alcançando inúmeros avanços tecnológicos e aplicações^{clínicas 25, 26, 27}. Estudos e aplicações existentes da tecnologia de deep learning com IA em vídeos de cirurgia laparoscópica eram frequentemente baseados em uma modalidade única de luz branca, incluindo o reconhecimento de vários marcos anatômicos como o nervo laríngeo recorrente, bordas renais, vasos sanguíneos e a vesícula^biliar 28,29,30,31 . Atualmente, há falta de pesquisas sobre a remoção em tempo real da contaminação por fluorescência hepática durante o LC assistido por fluorescência. A segmentação de imagens dual-modal, amplamente aplicada na indústria, pode ajudar a preencher essa lacuna. Este estudo tem como objetivo explorar aplicações na segmentação de imagens dual-modal dentro de cenários do ICGLC, além de desenvolver e validar métodos de treinamento para reconhecimento dinâmico em tempo real e proteção de fluorescência hepática excessiva.

Protocolo

Todos os vídeos cirúrgicos incluídos neste estudo foram obtidos de pacientes que realizaram colecistectomia laparoscópica guiada por ICG eletiva (ICGLC) no Hospital do Peking Union Medical College. O estudo foi aprovado pelo comitê de ética relevante, e o consentimento informado foi obtido de todos os participantes antes da inscrição.

1. Preparação de dados e anotação de imagens

1. Colete retrospectivamente vídeos cirúrgicos de 48 pacientes que passaram pelo ICGLC no Hospital Peking Union Medical College entre 2022 e 2024.
   NOTA: Os pacientes incluídos neste estudo receberam injeção intravenosa de 0,5 mg de ICG 20 minutos antes da cirurgia.
2. Instrua um cirurgião geral a revisar todos os vídeos cirúrgicos e extrair segmentos que abrangem as etapas críticas da dissecação do triângulo de Calot. Selecione manualmente 76 vídeos cirúrgicos, focando na dissecação do triângulo de Calot. Extraia canais de fluorescência e luz branca de cada clipe. Concatene-as ao longo do canal RGB.
3. Para minimizar redundâncias, amostre quadros em intervalos 8:1, reduza a resolução de 1920 × 1080 para 960 × 540 e importe as imagens para uma plataforma personalizada de anotação.
4. Designe um cirurgião geral para delimitar manualmente os contornos de fluorescência do fígado e garantir a qualidade da anotação sob supervisão de um cirurgião sênior.

2. Métricas de avaliação de modelos

1. Avalie o desempenho de segmentação do modelo usando métricas padrão de visão computacional, incluindo precisão, recordação e o coeficiente de Dice, com base no conjunto de dados de teste designado.
2. Avalie o desempenho em tempo real medindo a carga computacional durante a inferência.
   1. Meça o tempo de inferência usando o módulo de tempo da biblioteca padrão Python/C.
   2. Registre o carimbo de data de início chamando time.perf_counter() antes do carregamento dos dados.
   3. Invoce time.perf_counter() novamente após o modelo gerar os resultados da previsão para obter o carimbo temporal final.
   4. Defina a diferença entre os carimbos de tempo de final e início como o tempo de inferência para uma única amostra.
   5. Repita esse procedimento para cada amostra no conjunto de dados de teste e calcule o tempo médio de inferência em todas as amostras para representar a latência total de inferência do modelo.
   6. Consulte o seguinte pseudocódigo que resume o procedimento correspondente:
      Inicialize Inference_time = 0 e ind = 0
      Seja X o caminho de armazenamento do conjunto de teste e o modelo o modelo de inferência
      Para cada x_path em X :
      Sincronizar CPU e GPU
      Start_timestamp = time.perf_counter() # carimbo de tempo inicial
      x = load(x_path) # carregamento de dados
      y = modelo(x) # inferência de modelo
      Sincronizar CPU e GPU
      End_timestamp = time.perf_counter() # carimbo temporal final
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      Fim para
      Inference_time = Inference_time / ind # tempo médio de inferência
3. Definir como objetivo principal o reconhecimento de fluorescência hepática e biliar detectar a região hepática dentro do campo cirúrgico e substituir as informações correspondentes de luz branca, minimizando assim a interferência da fluorescência hepática.
4. Use a Interseção sobre União (IoU) para quantificar a precisão preditiva do modelo.
   NOTA: Interseção sobre União (IoU) é definida como a razão entre o número de pixels na área de sobreposição entre a região positiva prevista e a região positiva de verdade em base para o número total de pixels na união das regiões previstas e positivas para a verdade fundamental.
5. Defina uma previsão como Verdadeiro Positivo (TP) se o IoU com a verdade fundamental exceder um limite especificado; caso contrário, classifique-o como um Falso Negativo (FN).
6. Marque qualquer segmentação prevista sem anotação correspondente como Falso Positivo (FP).
7. Após calcular a Interseção sobre União (IoU) entre os resultados previstos e os rótulos de verdade fundamental, defina o limiar de IoU para 0,1, considerando a natureza difusa e de baixo contraste dos sinais de fluorescência em imagens cirúrgicas.
8. Defina e calcule as métricas de avaliação da seguinte forma:
   
   
   

3. Pós-processamento morfológico

1. Reduza todas as resoluções de fluorescência hepática e biliar de 1920 × resolução de 1080 a 960 × 540 usando um método baseado em interpolação, especificamente interpolação bilinear.
2. Aplique preenchimento zero ao longo da largura para obter uma dimensão final de entrada de 960 × 544, gerando uma matriz zero 960 × 544 e centralizando a imagem atual dentro dela.
3. Concatene as imagens de luz branca e fluorescência ao longo da dimensão do canal armazenando suas matrizes correspondentes em sequência dentro de um tensor construído usando a estrutura PyTorch antes de alimentá-las no modelo.
4. Para reduzir previsões ruidosas e refinar a qualidade dos limites, realize operações morfológicas de abertura e fechamento nas saídas iniciais de segmentação para filtrar ruído espúrio e melhorar a delineação das bordas.
5. Comece com uma operação de abertura para eliminar pequenos picos e artefatos de borda na máscara^{prevista 32}.
6. Em seguida, uma operação de fechamento para remover buracos isolados e regiões fragmentadas.
7. Use um kernel estrutural 25 × 25 para ambas as operações para garantir o refinamento eficaz dos limites do órgão e a redução do ruído de segmentação.

4. Ambiente de treinamento e hiperparâmetros

1. Treine o modelo usando uma única GPU NVIDIA A100 Tensor Core.
2. Defina o tamanho do lote para 16.
3. Inicialize o codificador (backbone) usando pesos pré-treinados do^{ImageNet 33} para aproveitar o aprendizado de transferência e acelerar a convergência.
4. Use o otimizador Stochastic Gradient Descent (SGD)³⁴ por sua robustez em tarefas de segmentação de imagens em grande escala e sua capacidade de mitigar gradientes ruidosos.
5. Defina a taxa inicial de aprendizado para 0,01 e aplique uma estratégia de decaimento polinomial para reduzir gradualmente a taxa de aprendizado, com um limite inferior de 0,0001.
6. Continue treinando por um total de 50.000 iterações para obter o modelo final.

5. Treinamento em modelos trifásicos

1. Na Fase de Seleção de Modelo, compare múltiplos modelos de segmentação usando entrada dual-modal, incluindo DeeplabV3³⁵, DLinkNet34³⁶ e^{U-Net 37}; Selecione o modelo ideal com base na precisão de segmentação e eficiência computacional.
2. Na Fase de Otimização Estrutural Algorítmica, investigue diferentes posições de fusão de características dentro da rede para determinar a estratégia de integração mais eficaz para dados de luz branca e fluorescência.
3. Na Fase de Generalização e Validação Clínica, aplicar técnicas progressivas de aumento de dados para aumentar a robustez do modelo; valide o modelo final em cenários clínicos para avaliar sua aplicabilidade no mundo real.

6. Processamento cirúrgico de vídeo

1. Extrair segmentos de vídeo mostrando a visualização intraoperatória da fluorescência da anatomia biliar, incluindo o ducto biliar comum (CBD) e o ducto cístico.
2. Processar os vídeos selecionados em tempo real usando o modelo ideal; Calcule o tempo médio de processamento por quadro para avaliar o desempenho computacional em tempo real.

7. Remoção de contaminação por fluorescência hepática

1. Aplique o modelo para detectar e suprimir a contaminação por fluorescência hepática em tempo real durante os procedimentos do ICGLC.
2. Garantir a preservação da visualização da estrutura biliar para facilitar a identificação eficiente dos ductos biliares.
3. Manter o desempenho de supressão de contaminação apesar dos desafios intraoperatórios comuns, como oclusão de instrumentos ou movimento da câmera.

8. Avaliação clínica da qualidade do vídeo

1. Recrute um painel de 10 cirurgiões gerais seniores de instituições externas para avaliar a eficácia dos vídeos processados por IA.
2. Fornecer a cada cirurgião clipes de vídeo originais e aprimorados por IA; instrua-os a preencher um questionário de avaliação subjetiva baseado em cinco critérios de avaliação pré-definidos.

Resultados

Em nosso estudo, um total de 48 pacientes que passaram por colecistectomia eletiva laparoscópica com indocianina verde (ICGLC) entre 2022 e 2024 no Departamento de Cirurgia Geral do Hospital Peking Union Medical College foram inscritos retrospectivamente. Todos os pacientes receberam uma injeção intravenosa de 0,5 mg de verde de docianina 20 minutos antes da cirurgia. O exame patológico pós-operatório confirmou que todos os casos foram diagnosticados com colecistite calculosa.

Discussão

Essa pesquisa utilizou o aprendizado profundo por IA para enfrentar um desafio fundamental nas cirurgias ICGLC: identificar e mascarar a contaminação por fluorescência hepática. Cirurgiões que usam NIRF frequentemente relatam que a fluorescência hepática causa fadiga visual e complica a imagem^{biliar 38}. Ao aplicar tecnologia de visão computacional, este estudo visou mitigar esses problemas e potencialmente reduzir a incidência de BDI, uma complicação comum no ICGL...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Console de Imagem de Fluorescência 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	Fornece três modos de imgaging: luz branca, fluorescência e fluorescência fundida; Suporte à expansão de módulos de IA
Câmera de Fluorescência 4K	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	Câmera totalmente digitalizada com configurações de botões multifunções; Suporte para gravação de vídeo, fotografia e comutação de modo fluorescente
Sistema de Fonte de Luz Fria	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	Fonte de luz fria LED e fonte de luz fluorescente LED com comprimento de onda fluorescente de 808 nm
NVIDIA A100 Tensor Core	NVIDIA Corporation	900-21001-0020-100	GPU