Method Article

Abordagem técnica para rastreamento infravermelho para navegação de tecidos moles com um display holográfico montado na cabeça e validação pré-clínica

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo oferece um guia para implementar o rastreamento de marcadores infravermelhos para fantasmas em movimento livre (por exemplo, órgãos) e visualização holográfica usando Realidade Aumentada. Além disso, descreve uma configuração para validação pré-clínica de sistemas de navegação holográfica usando rastreamento eletromagnético em fantasmas em movimento livre.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A Realidade Aumentada (AR) tem o potencial de aprimorar a orientação cirúrgica, sobrepondo informações anatômicas tridimensionais (3D) diretamente no paciente durante os procedimentos cirúrgicos. No entanto, a implementação prática da RA encontra desafios significativos, particularmente no rastreamento preciso de órgãos que se movem livremente durante a manipulação cirúrgica. Consequentemente, métodos confiáveis de rastreamento de órgãos são necessários para manter sobreposições holográficas precisas no intraoperatório. A validação pré-clínica de visualizações holográficas em relação à precisão apresenta desafios adicionais, exigindo protocolos experimentais para avaliação quantitativa. Este protocolo aborda estes dois desafios: descreve uma abordagem abrangente para o desenvolvimento de aplicativos de visualização AR usando marcadores infravermelhos personalizados para rastreamento de órgãos em tempo real usando um Head-Mounted Display (HMD) e fornece uma estrutura de validação aproveitando o rastreamento eletromagnético (EM) para validar a precisão holográfica em experimentos fantasmas. Este trabalho descreve a orientação passo a passo para criar modelos 3D específicos do paciente a partir de imagens médicas, projetar e fabricar marcadores infravermelhos personalizados, integrar esses marcadores em um aplicativo AR para um HMD e implantá-los para navegação cirúrgica. Além disso, detalha um procedimento de validação usando o rastreamento EM para medir quantitativamente a precisão das visualizações holográficas em simuladores renais semideformáveis. Portanto, este protocolo facilita o rastreamento de órgãos em tempo real e estabelece uma metodologia de validação pré-clínica. A implementação do rastreamento de órgãos em tempo real pode melhorar a orientação cirúrgica para órgãos em movimento livre, sobrepondo hologramas com precisão, potencialmente levando a uma maior precisão cirúrgica e melhores resultados para os pacientes.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Em oncologia cirúrgica, identificar com precisão a localização do tumor e a relação com os tecidos saudáveis adjacentes é crucial para alcançar a ressecção completa do tumor, preservando o tecido saudável1. Ressecções incompletas podem levar à recidiva local e diminuição da sobrevida 2,3, enquanto a remoção excessiva de tecido pode prejudicar a função e a qualidade de vida4. Os sistemas de navegação cirúrgica são promissores para melhorar as ressecções radicais, preservando o tecido saudável, fornecendo aos cirurgiões orientação intraoperatória que pode potencialmente levar a melhores resultados clínicos5. No entanto, os sistemas convencionais de navegação cirúrgica geralmente apresentam informações anatômicas bidimensionais (2D) em telas posicionadas fora do campo cirúrgico. Essa abordagem força os cirurgiões a correlacionar mentalmente as informações 2D exibidas com a anatomia tridimensional (3D) real do paciente, aumentando a carga cognitiva6. Embora os avanços recentes na modelagem 3D forneçam aos cirurgiões uma melhor compreensão da relação do tumor com as estruturas anatômicas circundantes7, essas informações ainda são visualizadas fora da área de operação, mantendo o problema de troca de foco 6,8. Essas limitações dos sistemas de navegação cirúrgica podem contribuir para possíveis erros no uso da navegação cirúrgica e potencialmente levar a resultados cirúrgicos abaixo do ideal9.

Para superar as limitações acima mencionadas, a realidade aumentada (RA) surgiu como uma solução promissora ao visualizar estruturas anatômicas e bordas de ressecção em 3D no paciente10,11. Ao sobrepor modelos 3D pré-operatórios, que são segmentados com base em dados de ressonância magnética (MRI) ou tomografia computadorizada (TC), a anatomia pode ser visualizada. Em revisões sistemáticas, os benefícios potenciais da RA para cirurgia aberta em pacientes adolescentes foram destacados12, e trabalhos preliminares neste campo demonstram a viabilidade de guias 3D específicos do paciente equipados com marcadores visuais para registro automático13. Van Doormaal et al. desenvolveram um sistema de navegação com um dispositivo AR usando um registro baseado em pontos e um ponteiro com um alvo de imagem para neurocirurgia14. Eles avaliaram a aplicação de RA desenvolvida na sala de cirurgia em pacientes antes da cirurgia e em um experimento fantasma, que mostrou um erro de registro fiducial de 7,2 mm e 4,4 mm, respectivamente.

Apesar do progresso promissor, esses sistemas de registro são muitas vezes rígidos, sem rastreamento em tempo real dos órgãos-alvo e, portanto, permanece a necessidade de rastreamento em tempo real do movimento dos órgãos15,16. Isso vale particularmente para órgãos em movimento, que são manipulados durante a cirurgia, como rim e fígado, o que pode resultar em orientações imprecisas, necessidade de recadastramento, que leva tempo considerável, e possíveis danos ao tecido saudável ou ressecções incorretas17. Para abordar ainda mais essas questões, um novo sistema AR baseado em um aplicativo apresentado por Iqbal et al. para incorporar marcadores infravermelhos para rastreamento contínuo de órgãosfoi desenvolvido 18. Esse desenvolvimento permite que a sobreposição de RA se adapte dinamicamente às mudanças em tempo real na posição do órgão, mantendo assim a precisão espacial e potencialmente aumentando a precisão cirúrgica. Ao combinar o registro rígido com o rastreamento dinâmico baseado em marcadores infravermelhos, este sistema oferece um avanço significativo para obter orientação holográfica precisa e em tempo real na cirurgia.

Este protocolo apresenta um sistema de navegação AR baseado em marcadores infravermelhos e um sistema de validação pré-clínica para um Head-Mounted Display (HMD). Nosso objetivo é desenvolver e validar um sistema de navegação de realidade aumentada em tempo real para manter sobreposições holográficas precisas de órgãos em movimento em um ambiente pré-clínico. Primeiro, o protocolo fornece uma descrição de como é preparada uma aplicação holográfica que usa marcadores infravermelhos com uma dimensão de 32 mm (largura) x 15 mm (comprimento) x 6 mm (altura) para rastrear órgãos fantasmas em tempo real, mantendo a sobreposição de hologramas 3D independente do movimento. Usamos um simulador de rim, impresso com filamento de poliuretano termoplástico (TPU), como modelo de exemplo para um órgão em movimento. Em segundo lugar, fornece uma visão geral de como projetar e imprimir marcadores infravermelhos personalizados e como integrar esses marcadores ao aplicativo de visualização holográfica. Isso permite que outros pesquisadores e médicos adaptem o aplicativo a outros cenários fantasmas pré-clínicos que envolvem a simulação de cirurgia aberta e órgãos em movimento. Finalmente, um método de validação baseado em rastreamento eletromagnético oferece medições quantitativas para calcular a precisão, oferecendo validação pré-clínica de orientação holográfica em experimentos fantasmas. Uma limitação dessa metodologia é a ausência de um procedimento de registro automatizado, o que restringe a precisão desse sistema. No entanto, essa abordagem ajuda os usuários a determinar a adequação de sua técnica de RA desenvolvida para sua aplicação clínica.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este estudo seguiu as diretrizes de nossa instituição e não foi submetido à Lei de Pesquisa Médica Envolvendo Seres Humanos (OMM). Portanto, não foi necessário obter o consentimento informado dos participantes.

1. Preparação de pacotes de hardware e software para modelagem 3D e implantação de aplicativos AR

  1. Baixe e instale os seguintes programas de software em um computador pessoal (PC) executando o Microsoft Windows 10.
    1. Baixe o Unity Hub v3.11.1 e o Unity v. 2019.4.22f1 do https://unity.com/download. Inclua o Visual Studio 2019 durante a instalação do Unity 2019.4.22f1. Link para o manual: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Faça o download do MeshMixer v. 3.5.0 do https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, o link para o manual é https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Baixe o 3DSlicer v. 5.6.2 do https://download.slicer.org/, o link para o manual é https://slicer.readthedocs.io/en/latest/
    4. Faça o download do Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, o link para o manual está https://help.autodesk.com/view/fusion360/ENU/
    5. Baixe o Bambu Studio v. 01.09.07.52 do https://bambulab.com/en/download/studio, o link para o manual é https://wiki.bambulab.com/en/studio-handy

2. Projetando e imprimindo marcadores infravermelhos personalizados

  1. Projete marcadores infravermelhos em um software de projeto 3D, conforme descrito abaixo.
    1. Abra o software CAD (Computer-aided design) 3D (consulte Tabela de materiais) e crie um novo arquivo.
    2. Selecione a guia SÓLIDO e clique em Criar esboço para começar a esboçar um novo design para um marcador infravermelho.
    3. Adicione três ou quatro círculos pequenos com um diâmetro de 3 mm pressionando Círculo de diâmetro central. Esses círculos servem como pontos de fixação para parafusos.
    4. Calcule o ponto central do marcador infravermelho conectando os vértices do triângulo aos pontos médios dos lados opostos. Pressione Linha e conecte todos os círculos desenhando linhas de um lado até o ponto de um círculo.
    5. Crie um círculo como a base do marcador infravermelho no ponto central usando o Círculo de diâmetro central. Use um retângulo de 3 pontos para desenhar retângulos que conectam o círculo central com cada um dos três ou quatro círculos menores.
    6. Faça a extrusão da base circular e dos retângulos com uma espessura de 2 mm e os círculos pequenos com 5 mm.
    7. Adicione uma rosca a cada um dos três cones usando um Perfil Métrico ISO (por exemplo, M3 × 0,5, 6g, Mão Direita) para acomodar esferas reflexivas infravermelhas de 6,4 mm pressionando Criar e depois Roscar.
    8. Exporte o modelo como um arquivo de objeto (OBJ) usando a função Impressão 3D ou Exportar.
    9. No software CAD 3D, meça as coordenadas XYZ das esferas reflexivas infravermelhas em correlação com o ponto central selecionando Medir. Meça os locais dos pontos centrais dos círculos em correlação com o ponto central da forma. Use essas coordenadas na etapa 4.1.2.
  2. Imprima marcadores 3D conforme descrito abaixo.
    1. Importe a estereolitografia exportada (. STL) do marcador infravermelho em um software adequado para a impressora 3D, arrastando-o para a cena (consulte Tabela de Materiais).
    2. Configure os parâmetros de fatiamento, incluindo a altura da camada (0,08 mm é a menor altura de camada possível para evitar a impressão imprecisa da rosca para a esfera reflexiva infravermelha) pressionando Qualidade > Altura da camada. Adicione suporte ao design pressionando Suporte > Habilitar Struct.
    3. Exporte o arquivo de fatiamento para a impressora 3D clicando em Fatiar tudo, exporte o arquivo clicando em Exportar todos os arquivos de fatia e imprima o modelo 3D usando uma impressora 3D (consulte Tabela de materiais) com filamento de ácido polilático (por exemplo, PLA; consulte Tabela de materiais).

3. Preparando o modelo 3D específico do rim

  1. Segmentação de modelo
    1. Abra o software de segmentação 3D (consulte Tabela de materiais) e importe os dados de ressonância magnética/tomografia computadorizada do paciente usando os arquivos Importar DICOM.
    2. Vá para o Editor de segmentos, escolha o volume de origem apropriado e crie uma nova segmentação clicando em Adicionar.
    3. Selecione a segmentação manual ou semiautomática com base na modalidade de imagem.
    4. Para segmentação manual, use a ferramenta Pintar e apagar para segmentar o tumor e as estruturas relevantes circundantes em cada fatia.
    5. Para segmentação semiautomática, considere o uso de opções como Limite com o intervalo de limite apropriado para a estrutura específica e Tesoura para segmentar as estruturas irrelevantes.
    6. Na tela Dados, selecione a Segmentação Criada e clique com o botão direito do mouse para ir para o botão Exportar Segmentos Visíveis para Modelos . Certifique-se de que a opção Olho esteja selecionada no lado direito da tela.
    7. Exporte os arquivos STL dos modelos clicando em Salvar e salve os arquivos como um arquivo . STL.
  2. Pós-processamento do modelo específico do paciente
    1. Importe o arquivo STL para um editor de malha (consulte Tabela de materiais) e reduza o número de triângulos selecionando Modelo 3D > Editar e, em seguida, reduza em uma porcentagem que reduza os triângulos sem deformar o aspecto visual do modelo 3D e pressione Aceitar.
    2. Verifique se os pontos de destino são representados visualmente no modelo 3D do aplicativo holográfico para validação adicional. Pressione Adicionar esferas e coloque-as no modelo 3D.
    3. Exporte os modelos 3D para um formato de arquivo OBJ pressionando Arquivo > Exportar. Certifique-se de que o modelo 3D tenha aproximadamente 100.000 polígonos selecionando o modelo e reduza os polígonos pressionando Editar > Reduzir. Contagens de polígonos mais altas exigem mais operações da Unidade de Processamento Gráfico, portanto, reduzir o número de polígonos na cena pode diminuir substancialmente o tempo de renderização.

4. Preparando o aplicativo holográfico

  1. Configure o IRTrackingOrgans_HoloLens Project conforme descrito abaixo.
    1. Inicie o software de desenvolvimento de jogos (consulte Tabela de materiais) e importe o projeto IRTrackingOrgans_HoloLens e abra-o.
    2. Adapte o arquivo JavaScript Object Notation (JSON) usando um editor de texto, seguindo o formato padrão, para implementar um marcador infravermelho personalizado com base nas coordenadas medidas na etapa 2.1.10. O arquivo JSON é salvo em Assets/StreamingAssets.
    3. Vá para a guia DINO Unity, selecione o ToolManager > ResearchModeController > arquivo JSON e a transformação Pai e clique em Criar objetos e aplicar configuração JSON.
    4. Importe o modelo 3D do marcador infravermelho virtual como um ativo que foi criado na etapa 1.1.
    5. Transforme o modelo 3D do marcador infravermelho virtual para a posição dos marcadores gerados na cena, selecionando o modelo e alterando as coordenadas de transformação na janela do inspetor.
    6. Insira um modelo 3D específico do paciente na cena selecionando-o e arrastando-o para a cena.
    7. Transforme o modelo 3D do paciente no local correto, para que o marcador infravermelho toque a superfície do modelo 3D. Posicione o marcador infravermelho próximo ao centro do objeto 3D para minimizar imprecisões devido ao efeito de alavanca.
  2. Conecte a cena com um menu de seleção de pacientes
    1. Para uso prático e seleção de vários casos, conecte a cena do paciente a um botão na tela do menu. Vá para Ativos > Cenas > Cena do menu.
    2. Na janela Hierarquia, vá para NearMenu4x2 e ButtonCollection e, em seguida, o botão relevante.
    3. Na janela Inspetor, vá para Eventos Básicos e, em MenuScript.LoadScene, digite o nome da cena do paciente.
  3. Preparar o HMD para a primeira implantação
    NOTA: Esta seção só será necessária se o aplicativo for implantado pela primeira vez.
    1. Faça login no dispositivo HMD (consulte Tabela de materiais) e defina o dispositivo no modo de pesquisa. Acesse Configurações > Atualização e segurança > para desenvolvedores > ative Recursos do desenvolvedor e Descoberta de dispositivos.
    2. Emparelhe o HMD com um PC (Wi-Fi ou USB-C). Se esta for a primeira vez que se conecta, siga estas etapas: Encontre o endereço IP do HMD na guia do desenvolvedor, preencha o endereço IP em um web navegador para se conectar ao Portal de Dispositivos e emparelhe o dispositivo gerando um PIN e preenchendo o PIN.
  4. Compilar e implantar o aplicativo em um HMD
    1. Adicione as cenas à construção acessando Arquivo > Configurações de Compilação, adicionando a cena na seguinte ordem: Menu > Cena de Rastreamento pressionando Adicionar Cenas Abertas.
    2. Crie o projeto usando a Plataforma Universal do Windows, o Dispositivo de Destino HoloLens e a Arquitetura x64. Clique em Construir e selecione um mapa de compilação.
    3. Abra o arquivo de build (.sln) com o Visual Studio 2019 e altere a plataforma para ARM64. Em seguida, abra Propriedades clicando com o botão direito do mouse no Arquivo .sln no Gerenciador de Soluções e, dentro de Depuração, digite o endereço IP do HMD em Nome do Computador.
    4. Implante o aplicativo no HMD selecionando Depurar > Iniciar sem Depuração.
    5. Inicie o HMD e abra o aplicativo holográfico. Em seguida, navegue até a tela do Menu do paciente e selecione o Caso Apropriado para iniciar a visualização e orientação holográfica.

5. Validação da visualização holográfica de órgãos em movimento

  1. Impressão fantasma semideformável
    1. Crie ou obtenha um modelo 3D de um simulador de rim com estruturas anatômicas realistas.
    2. Importe o modelo 3D para um software de modelagem CAD 3D e integre cinco pontos de pivô de registro na lateral do modelo usando o > sólido Criar > > de furos com as configurações Tipo de furo: Simples, Tipo de macho de furo: Simples, Ponto de perfuração: Ângulo, Altura: 0,5 mm e Diâmetro: 4,0 mm.
    3. Integre um cilindro com um furo no modelo 3D para fixar o sensor de referência EM para outras etapas de validação.
      1. Crie um esboço com um círculo e um círculo interno com um diâmetro de 2,8 mm usando o círculo de diâmetro central. Faça a extrusão do círculo externo em 16,5 mm.
      2. Combine o cilindro com o modelo 3D modificando > Combine > Selecione o modelo 3D e o cilindro > Junte > OK.
    4. Exporte o modelo 3D usando a função Exportar ou Imprimir 3D.
    5. Use um filamento flexível ou semiflexível, como TPU, (consulte a Tabela de Materiais) para imprimir o simulador de rim de acordo com o procedimento descrito na etapa 2.2.
  2. Configuração do 3D Slicer usando o sistema de rastreamento EM
    1. Veja o extenso tutorial 3D Slicer e SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/) para configurar um sistema EM com 3D-Slicer.
      NOTA: Esta seção do protocolo pressupõe que a configuração do 3DSlicer, a configuração de rastreamento EM e a conexão sejam bem compreendidas e configuradas corretamente.
    2. Coloque o gerador de campo do sistema de rastreamento EM (consulte a Tabela de Materiais) diretamente abaixo do fantasma. Remova todos os materiais ferromagnéticos do ambiente para evitar heterogeneidades do campo eletromagnético.
    3. Conecte o sensor EM (consulte a Tabela de Materiais) e o ponteiro EM (consulte a Tabela de Materiais) ao sistema de rastreamento EM. Certifique-se de que as transformações dessas ferramentas sejam visualizadas com precisão no 3DSlicer.
    4. Conecte o sensor de referência EM (por exemplo, NDI Aurora 6DOF Cable Tool) ao modelo 3D prendendo-o no cilindro com cola.
    5. No Segmentador 3D, importe o modelo 3D com pontos de giro e aloque os pontos de referência digitalmente usando o Assistente de Registro Fiducial > Colocar um Ponto de controle.
    6. Execute o registro do ponto de referência identificando os pontos de referência na vida real com o ponteiro EM, pressione Colocar um ponto de controle e registre-os no 3DSlicer. Calcule a transformação de registro linear rígida pressionando Atualizar.
    7. Após o registro, aplique a transformação de registro ao modelo 3D para estabelecer um link entre ele e o sensor de referência EM. Posteriormente, se o modelo 3D for movido fisicamente, sua contraparte digital no 3DSlicer deve se mover; Assim, confirme isso visualmente observando os movimentos.
  3. Validação holográfica
    1. Inicie o dispositivo e abra o aplicativo holográfico da etapa 4.4.5. Em seguida, navegue até o modelo 3D correto do paciente, que também é visualizado no 3DSlicer.
    2. Fixe o marcador infravermelho no local correto usando cola, com os marcadores infravermelhos de 6,4 mm ajustados (consulte a Tabela de Materiais), conforme visualizado pelo planejamento pré-operatório.
    3. Use o ponteiro EM para identificar digitalmente os pontos de destino com base na visualização holográfica. Salve o conjunto de coordenadas do sensor EM.
    4. Calcule o erro na localização dos pontos de referência de destino em comparação com os pontos de referência colocados para validar quantitativamente a visualização holográfica.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Um simulador de rim foi usado para demonstrar o desempenho do sistema de rastreamento infravermelho para rastreamento de órgãos e para validar a configuração de validação holográfica em órgãos em movimento. O fluxo de trabalho completo é descrito na Figura 1.

Primeiro, o rim foi segmentado semiautomaticamente com base nos dados de ressonância magnética usando a ferramenta de limiar no 3DSlicer. O modelo 3D resultante foi exportado e importado para o software CAD 3D para reduzir a contagem de polígonos. Um segundo modelo foi salvo e cinco pontos-alvo foram integrados a este modelo usando a ferramenta esfera (Figura 2). Este modelo foi utilizado para a validação técnica do display holográfico. A primeira versão do modelo, sem pontos de destino, foi importada para o Autodesk Fusion. Cinco pontos de pivô foram integrados a este modelo, e o cilindro foi integrado para facilitar o sensor EM. Usando o software de fatiamento 3D, o modelo 3D foi preparado para impressão 3D. TPU com densidade de impressão de 8% foi usado para criar uma superfície renal minimamente flexível.

Um marcador infravermelho padronizado foi projetado, impresso em 3D e equipado com esferas reflexivas infravermelhas (6,4 mm de diâmetro). A partir desse marcador infravermelho, as coordenadas do marcador infravermelho foram medidas em correlação com o ponto central. Dentro do aplicativo de software de desenvolvimento de jogos, o arquivo JSON contendo as coordenadas do marcador infravermelho foi importado. Em segundo lugar, o modelo 3D do rim foi importado, com pontos-alvo para fins de validação. Além disso, para fins de visualização, o modelo de marcador infravermelho foi importado e traduzido para a posição dos pontos implementados pelo arquivo JSON. O modelo 3D foi transformado no centro do marcador infravermelho (Figura 3) e sombreadores adicionais foram aplicados. Após a integração da cena do menu do paciente, o aplicativo foi implantado no HMD.

Com base na colocação dos marcadores IR, o modelo 3D holográfico é visualizado no rim dentro de um simulador abdominal pediátrico usando o HMD (Figura 4). Tinha uma taxa de rastreamento de 11,6 Hz. No entanto, para distâncias superiores a 60 cm, o HMD perde a capacidade de rastrear os marcadores infravermelhos. Em segundo lugar, o rastreamento contínuo e o ruído no rastreamento de marcação infravermelha fazem com que a sobreposição holográfica pisque, resultando em visualização imprecisa.

Para fins de validação, o sistema de rastreamento EM foi conectado ao 3D Slicer por meio do Plus Server. Um sensor EM foi colocado no rim fantasma para rastreamento (Figura 2). Após o registro baseado em pontos, o modelo 3D foi registrado com uma precisão mediana de 0,59 mm, o que provou ser um método preciso para validar a precisão holográfica (Figura 5). A mediana do erro de localização pontual foi de 8,74 mm (intervalo interquartil: 6,38 - 10,85), com base na contribuição de três cirurgiões (Tabela 1).

A implementação deste sistema de rastreamento e visualização de AR envolve um protocolo que abrange aproximadamente 45-60 min. Um médico técnico experiente com 2 anos de experiência executou todo o protocolo uma vez para determinar a duração das etapas individuais do protocolo. Notavelmente, certas etapas só precisam ser executadas uma vez. As etapas essenciais para cada paciente incluem segmentação, integração de modelos no software de desenvolvimento de jogos e configuração de cenas. A segmentação de estruturas anatômicas em casos específicos do paciente requer relativamente mais tempo devido às múltiplas estruturas anatômicas envolvidas, mas a segmentação do parênquima renal e do tumor pode ser concluída em 30 minutos. A integração dos modelos 3D segmentados no aplicativo e o alinhamento com o marcador infravermelho levam aproximadamente 5 minutos de ajustes manuais. Conectar a cena correta não requer mais de 5 minutos. O tempo de build do projeto de desenvolvimento de jogos varia de acordo com as especificações de hardware, mas normalmente leva cerca de 3 minutos, seguido por aproximadamente 10 minutos para implantação no HoloLens 2. No geral, excluindo a configuração de validação, este protocolo demonstra um método para mover o rastreamento de órgãos em ambientes pré-clínicos.

figure-results-1
Figura 1: Visão geral esquemática do fluxo de trabalho. O fluxo de trabalho mostra as etapas necessárias por paciente em uma configuração fantasma, incluindo a fase pré-operatória, as fases holográfica e intraoperatória. A fase pré-operatória consiste na segmentação (ver etapa 3) das imagens médicas pré-operatórias. A preparação da aplicação holográfica consiste em planejar virtualmente o posicionamento do marcador infravermelho no modelo 3D (consulte a etapa 4). Na fase intraoperatória, os cirurgiões podem selecionar o paciente correto e fixar o marcador infravermelho para visualização holográfica e rastreamento contínuo. Clique aqui para ver uma versão maior desta figura.

figure-results-2
Figura 2: Visão geral dos simuladores renais usados na metodologia de validação. Esquerda: um holograma 3D do rim com os pontos-alvo e a colocação virtual do marcador infravermelho. Meio: Phantom 3D com sensor EM integrado e pontos de pivô para registro. Direita: Simulador impresso em 3D, com o marcador infravermelho e o cilindro para o sensor EM, usado para o procedimento de validação. Clique aqui para ver uma versão maior desta figura.

figure-results-3
Figura 3: Preparação do aplicativo holográfico no software de desenvolvimento do jogo. O modelo de rim é transformado em um marcador infravermelho. Em segundo lugar, os shaders são aplicados ao rim e aos pontos-alvo. Clique aqui para ver uma versão maior desta figura.

figure-results-4
Figura 4: Visualização holográfica do experimento fantasma. Esquerda: Colocação do marcador infravermelho no rim. Direita: Visualização holográfica de pontos de destino na ordem correta (1 a 5). O deslocamento da visualização holográfica é causado pelo jitter no rastreamento do marcador infravermelho. Clique aqui para ver uma versão maior desta figura.

figure-results-5
Figura 5: Configuração do protocolo de validação de rastreamento EM para visualização holográfica de órgãos em movimento. Verde, Vermelho e Azul visualizam a transformação das ferramentas EM necessárias para validação. Amarelo e verde visualizam a transformação em relação ao Head-Mounted Display (HMD). Clique aqui para ver uma versão maior desta figura.

ParticipanteMediçãoGT-X (mm)GT-Y (mm)GT-Z (mm)Ponto-X (mm)Ponto-Y (mm)Ponto-Z (mm)PLE (milímetro)
Cirurgião 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Cirurgião 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Cirurgião 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tabela 1: Para cada medição, são fornecidas as coordenadas de verdade do solo (GT) dos pontos de referência alvo, suas coordenadas de localização de ponto correspondentes e o PLE medido para todos os cirurgiões.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O protocolo apresentado descreve uma abordagem para rastreamento de órgãos em tempo real e visualização holográfica, incluindo validação para mover tumores e órgãos em um ambiente fantasma. Aproveitando o rastreamento baseado em marcadores infravermelhos com um HMD, esse método tem o potencial de manter melhor as sobreposições holográficas anatômicas corretas durante a manipulação de órgãos em movimento. Apesar de sua aplicação para rastrear o rim, esse método também pode ser explorado em outros campos clínicos, como cirurgia aberta para fígado ou pulmões, com ajustes mínimos no protocolo de segmentação. Em segundo lugar, os marcadores infravermelhos podem ser usados com várias técnicas cirúrgicas, como a cirurgia laparoscópica. Nesses casos, adesivos reflexivos infravermelhos podem ser detectados em imagens laparoscópicas para rastrear órgãos, ferramentas ou pontos de referência anatômicos. No entanto, a aplicação dessa técnica a outros campos clínicos ou técnicas cirúrgicas pode introduzir erros devido a variações na deformabilidade do órgão-alvo ou limitações técnicas, como um campo de visão limitado, que requerem validação em experimentos pré-clínicos.

A etapa 1 do protocolo é focada principalmente na configuração das ferramentas de hardware e software necessárias. Essa configuração requer vários aplicativos e etapas, por isso é crucial que todos os pacotes de software sejam instalados corretamente, incluindo quaisquer extensões necessárias, para evitar problemas de implantação downstream. Não se prevê que diferentes versões de software causem problemas, embora a combinação do software de desenvolvimento de jogos e do ambiente de desenvolvimento integrado seja crucial.

Na etapa 2, é descrito o processo de criação de marcadores infravermelhos personalizados. Esta etapa torna-se particularmente importante se o rastreamento for utilizado para outras aplicações. A flexibilidade para modificar a forma do marcador infravermelho garante sua adequação potencial para diversas aplicações pré-clínicas. Além disso, os usuários podem explorar várias opções de design para melhorar a aderência do marcador infravermelho à superfície de um órgão e aumentar a precisão do rastreamento do marcador infravermelho. Além disso, testar vários diâmetros de marcadores infravermelhos pode levar a uma detecção aprimorada em distâncias superiores a 60 cm.

Na etapa 3, é descrita a modelagem 3D específica do paciente com base em imagens médicas. A segmentação precisa do rim e do tumor é crucial, pois influencia diretamente na precisão da orientação cirúrgica. A má segmentação pode resultar em visualizações enganosas que comprometem a precisão cirúrgica19. Em segundo lugar, esta etapa é a mais demorada. A integração de métodos de segmentação totalmente automáticos pode agilizar o protocolo, reduzindo a necessidade de ajustes manuais e semiautomáticos, garantindo uma segmentação anatômica precisa20. Otimizar a contagem de polígonos é crucial para alcançar o desempenho ideal de renderização de AR. Se essa otimização não for realizada, o desempenho do HMD será significativamente comprometido.

Na etapa 4, a configuração do aplicativo holográfico é descrita, após a implementação de DINO-DLL. Um aspecto crítico é o alinhamento adequado entre as posições dos marcadores infravermelhos e os modelos anatômicos holográficos, pois isso afeta a precisão do registro manual. Especialmente, o efeito de alavanca deve ser minimizado para evitar imprecisão em distâncias maiores do centro do marcador infravermelho. Outras melhorias podem incluir a implementação de métodos de registro adicionais. Além disso, o sistema atual exibe uma taxa de rastreamento aceitável para visualização contínua, o que se alinha com a literatura21. Em terceiro lugar, outras melhorias devem envolver a implementação de um filtro de Kalman para reduzir o ruído nos dados de rastreamento do marcador infravermelho, eliminando assim o jitter da visualização holográfica.

Na etapa 5, a estrutura fornece um método de validação holográfica utilizando o controle EM. Esse protocolo é útil para validar a precisão dos hologramas em uma configuração fantasma, pois fornece uma avaliação quantitativa da precisão holográfica para órgãos em movimento. Um passo crucial aqui é a integração precisa de sensores de rastreamento EM em simuladores semideformáveis impressos em 3D. Os usuários devem garantir a calibração precisa dos sensores EM e o registro de pontos de referência no 3D Slicer. Se ocorrerem erros de validação, o novo registro ou a remoção de quaisquer objetos metálicos podem aumentar a precisão da validação. Para validar ainda mais a viabilidade clínica, órgãos ex vivo poderiam ser empregados para simular com mais precisão o tecido cirúrgico22.

Este protocolo serve como um guia abrangente para pesquisadores que desejam implementar soluções de RA para rastreamento de órgãos e validar esses sistemas em experimentos fantasmas. Além disso, ele fornece uma configuração de validação amplamente aplicável que pode ser facilmente utilizada em diferentes cenários clínicos, particularmente para validar métodos de AR para órgãos em movimento. Dada a complexidade da implantação de aplicativos holográficos, essa estrutura facilita a transição de soluções conceituais baseadas em AR para validação pré-clínica.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nada a divulgar.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Agradecemos a Hisham Iqbal por sua experiência e apoio no estabelecimento do rastreamento de marcadores infravermelhos usando o HoloLens 2, com base no repositório aberto DINO-DLL.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Segmentação 3D (v5.6.2)CortadorN/ASoftware de segmentação de imagens médicas e necessário para validação de rastreamento eletromagnético
Marcadores M3 de 6,4 mm (1/4") Marcadores InfrarecOptiTrackN/AEsferas reflexivas infravermelhas que devem ser anexadas ao marcador para rastreamento 
Autodesk Fusion 360 (v2.0.21508)AutodeskN/ASoftware CAD para projetar marcadores infravermelhos e simuladores
Estúdio Bambu (v01.09.07.52)Laboratório BambuN/ASoftware de fatiamento de impressão 3D para impressoras 3D Bambu
Bambu X1 CarbonoLaboratório BambuN/AImpressora 3D usada para marcadores infravermelhos e modelos fantasmas
HoloLens 2MicrosoftN/AHead-Mounted Display de Realidade Aumentada para visualização AR
IRTrackingOrgans_HoloLens Código abertoN/AAplicativo baseado em Unity com suporte ao rastreamento de marcadores IR
MeshMixer (v3.5.0)AutodeskN/AUsado para edição de malha e redução de polígonos
NDI AuroraNorte Digital Inc.N/ASistema de rastreamento eletromagnético para validação
Ferramenta de cabo NDI Aurora 6DOFNorte Digital Inc.N/ASensor para registro de movimento de órgãos fantasmas
Sonda NDI Aurora 6DOFNorte Digital Inc.N/AUsado para identificar locais de referência no fantasma
Filamento de ácido poliláticoQualquer fabricanteN/AFilamento para impressão de peças rígidas como marcadores infravermelhos
Filamento de poliuretano termoplásticoQualquer fabricanteN/AFilamento semi-flexível para impressão de simulador de rim deformável
Hub do Unity (v3.11.1) e Unity (v2019.4.22f1)Tecnologias UnityN/ASoftware de desenvolvimento de jogos para desenvolvimento e implantação de aplicativos de RA
Visual Studio 2019MicrosoftN/AIDE necessário para integração e implantação do Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles