$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Os conjuntos de dados CaDIS e SICS-105 utilizados neste estudo são publicamente disponíveis e foram originalmente coletados com aprovação prévia do conselho de revisão institucional e consentimento informado, conforme relatado em suas respectivas publicações. Este estudo envolve apenas análise secundária de dados totalmente anonimizados e, portanto, não foi necessária aprovação ética adicional ou consentimento informado.
O modelo sugerido foi projetado para prever complicações da vitrectomia pós-operatória, explorando padrões espaço-temporais de vídeos de microscopia intraoperatória. O pipeline é composto por quatro etapas principais: pré-processamento, segmentação, extração de características, otimização de características e classificação, conforme mostrado na Figura 1.
A avaliação intraoperatória do risco de complicações pós-operatórias é o alvo de previsão do estudo. O modelo não pode prever eventos pós-operatórios clinicamente verificados dentro de uma janela de tempo específica porque os conjuntos de dados CaDIS e SICS-105 não possuem dados longitudinais de acompanhamento. Em vez disso, utiliza padrões cirúrgicos intraoperatórios para inferir a probabilidade de possíveis problemas. Definições operacionais de "complicação" nesse contexto incluem transições de fase irregulares, interações anômalas entre instrumento e tecido e variações no fluxo de trabalho cirúrgico associadas a maior complexidade cirúrgica. Para garantir interpretabilidade e avaliação confiável, o trabalho de previsão é projetado como um problema binário de classificação que classifica os casos em grupos de baixo e alto risco. Em vez de servir como um sistema clínico diagnóstico direto, essa formulação permite que o quadro sugerido sirva como uma ferramenta de suporte à decisão intraoperatória.
Descrição do Conjunto de Dados:
O modelo proposto foi avaliado em dois conjuntos de dados: o conjunto de dados A (CaDIS, Conjunto de Dados de Catarata para Segmentação de Imagens) e o conjunto de dados SICS-105 (Cirurgia de Catarata de Pequenas Incisões).
(i) CaDIS31: Este conjunto de dados foi desenvolvido para a tarefa de segmentação em vídeos de cirurgia de catarata. Este é introduzido para complementar o conjunto de dados de desafios CATARACTS disponível publicamente e, assim, visa avançar no desenvolvimento de esquemas DL para análise de vídeos cirúrgicos. O conjunto de dados consiste em 25 gravações de vídeo, totalizando 4.670 quadros anotados, representando várias etapas da cirurgia de catarata (Figura Suplementar 1). Cada quadro é meticulosamente anotado, fornecendo etiquetas em nível de pixel necessárias para treinar e estimar o esquema de segmentação. Ele serve como referência para avaliar o desempenho do modelo DL em vídeos cirúrgicos.
(ii) Conjunto de dados SICS-105 (cirurgia de catarata de pequena incisão)32: Este conjunto de dados compreende 105 gravações realizadas por cirurgiões e anotadas por quatro oftalmologistas ao longo de um período de 6 meses entre 2023 e 2024, abrangendo 20 fases (Figura Suplementar 2). A duração total do vídeo é de 22 h e 39 min, com resolução de 1920 × 1080 pixels (reduzida para 960 × 540) e 30 fps. A duração média de um vídeo é de 12 minutos e 57 segundos (σ=4:31 min). Um conjunto de dados é publicamente acessível no repositório Zenodo na URL: https://doi.org/10.5281/zenodo.13847781. Amostras representativas de entrada são mostradas na Figura Suplementar 1 e na Figura Suplementar 2. Embora os conjuntos de dados CaDIS e SICS-105 tenham sido originalmente projetados para reconhecimento e segmentação cirúrgica de fases em cirurgia de catarata, há informações limitadas sobre complicações pós-operatórias de vitrectomia. Para resolver a falta de informações sobre complicações da vitrectomia pós-operatória, propomos um conjunto de rótulos proxy para informações de risco baseados em padrões visuais intraoperatórios e eventos na sequência de vídeo. Os quadros e sequências de vídeo nos conjuntos de dados foram anotados com informações de risco em três níveis (baixo, moderado, alto) de acordo com um conjunto de heurísticas inspiradas no entendimento clínico, incluindo complexidade de interação instrumento-tecido, anormalidades na duração cirúrgica, oclusão, instabilidade e movimento anormal. A formulação proposta não utiliza desfechos clínicos como rótulos, mas os trata como rótulos proxy para informações de risco sobre possíveis complicações pós-operatórias.
Pré-processamento usando abordagem cGAN
Normalmente, quadros brutos são frequentemente degradados pela variação da iluminação, desfoque e artefatos especulares. Para resolver isso, uma Rede Generativa Adversarial condicional (cGAN) é usada para aprimorar o vídeo. Quadros brutos são os quadros originais, não processados, extraídos diretamente de gravações de vídeo em microscopia intraoperatória, antes de qualquer aprimoramento ou normalização. Esses quadros normalmente contêm artefatos como variabilidade da iluminação, desfoque de movimento, reflexos especulares e ruído proveniente de instrumentos cirúrgicos e movimentos de câmera. Um gerador restaura quadros limpos enquanto um discriminador reforça o realismo visual. A função objetivo que integra reconstrução de pixels, perdas adversariais e de consistência temporal, garantindo sequências de vídeo estáveis e sem artefatos para análise posterior.
Um quadro degradado It no passo temporal t é a entrada do gerador, enquanto um quadro melhorado Yt = G(It) é sua saída. Condicionado à entrada it, o discriminador é treinado para distinguir entre a saída gerada e o quadro limpo de verdade fundamental Yt. O objetivo do treinamento incorpora várias funções de perda para garantir uma reconstrução de alta qualidade: (i) perda adversarial para impor o realismo; (ii) perda de reconstrução pixel a pixel (perda L1) para manter a fidelidade da intensidade; (iii) perda perceptiva para preservar a consistência estrutural usando representações profundas de características; e (iv) perda de consistência temporal para garantir transições suaves entre quadros consecutivos e evitar artefatos de cintilação.
Para garantir entrada de alta qualidade para extração de características, os vídeos de microscopia intraoperatória são inicialmente aprimorados usando um cGAN. Cada quadro bruto It* é considerado uma observação degradada de um quadro limpo . Um gerador G aprende um mapeamento G(It) = I t para restaurar quadros aprimorados, enquanto o discriminador D distingue entre amostras reais e geradas. Um objetivo de treinamento integra perda adversarial Ladv, perda perceptual L perc perc em reconstrução baseada em pixels L L e consistência temporal Ltemp. Esse modelo suprime desfoque, artefatos especulares e ruído, mantendo coerência temporal e estrutural, gerando sequências de vídeo estáveis e sem artefatos para análise posterior. A formulação do GAN é expressa nas Equações [1-6] do Arquivo Suplementar 1.
Segmentação usando Segmentação Adaptativa de Contorno (CAS)
Nesse caso, a segmentação é realizada usando um modelo de segmentação adaptativo ao contorno. Isso define contornos preliminares para segmentar imagens afetadas de vitrectomia em imagens de microscopia, reduzindo assim a função de energia, como mostrado nas equações [7-12] no Arquivo Suplementar 1. O baixo valor de energia garante representações precisas e avaliação localizada das regiões em risco. Isso, por sua vez, permite a segmentação precisa das regiões afetadas, o que subsequentemente facilita a extração de características na seção seguinte.
Extração de Características usando GCN Espaço-Temporal Dinâmico (dGCN)
Uma vez concluída a etapa de pré-processamento, o próximo passo é extrair características espaço-temporais discriminativas. Por essa razão, uma Rede Convolucional de Grafos (GCN) é utilizada, pois é eficaz na captura de dependências estruturadas. O modelo adotado é composto por camadas GCN empilhadas com ativações não lineares que mitigam o sobreajuste e abordam o problema de anulação do gradiente por meio de um mecanismo de normalização. A formulação GCN baseia-se em uma aproximação espectral de primeira ordem das convoluções de grafos, tornando-a adequada para tarefas de aprendizado semi-supervisionado em grande escala. Além disso, a representação linearizada simplifica a otimização, garantindo assim um aprendizado eficaz dos parâmetros. A operação do GCN simplificado é expressa nas Equações [13–15] do Arquivo Suplementar 1. Quando aplicada, a GCN extrai de forma eficiente representações estruturais de nível superior a partir de dados de vídeo intraoperatórios. Subsequentemente, apenas as características mais relevantes ou apropriadas são mantidas em meio a um mecanismo de seleção auxiliado por otimização, descrito na seção seguinte.
Otimização de Características usando Otimização Adaptativa de Características Baseada em Girassol (ASFO)
O Algoritmo Adaptativo de Otimização de Girassóis (ASFO) é uma versão aprimorada da Abordagem Clássica de Otimização de Girassol (SFOA). No modelo sugerido, esse processo biologicamente orientado é matematicamente modelado para abordar o refinamento e a seleção de características em um conjunto de dados de alta dimensão. Especificamente, essa abordagem é adaptada para melhorar a velocidade de convergência, equilibrar a exploração e a exploração para preservar a diversidade de soluções e mitigar a convergência prematura. A formulação matemática do ASFO está exposta nas Equações [16–21] do Arquivo Suplementar 1. Esse esquema acelera a convergência quando as soluções estão próximas do ideal. O algoritmo detalhado é fornecido no Arquivo Suplementar 1. No pipeline proposto, o ASFO é usado para refinar o vetor de características após fusão baseada em transformador. As características selecionadas são baseadas em textura, cor e intensidade, morfológicas e estruturais, de movimento e temporais, de alta dimensão e descritores de regiões ponderadas em atenção. O objetivo é minimizar a função de perda de relevância de características, selecionando e ponderando características que aumentem a precisão da classificação ao reduzir a redundância.
Cabeça de classificação baseada em transformador com pooling de atenção espaço-temporal
Um modelo baseado em transformador é usado para capturar dependências temporais entre sequências de vídeo cirúrgicas. O modelo é configurado com autoatenção multi-cabeça, codificação posicional e camadas totalmente conectadas para previsão final de risco. A otimização de hiperparâmetros é realizada usando ASFO. O pipeline integrado combina pré-processamento, extração de características, otimização e classificação baseada em transformadores para permitir uma previsão precisa de risco cirúrgico.