Abordagem técnica para rastreamento infravermelho para navegação de tecidos moles com um display holográfico montado na cabeça e validação pré-clínica

O escopo deste estudo no Centro de Oncologia Pediátrica Princess Maxima é desenvolver e validar um sistema de realidade aumentada. Este sistema deve alinhar com precisão os hologramas de órgãos em movimento. Um desafio experimental atual é validar se o holograma permanece alinhado com precisão com a posição em tempo real de um órgão em movimento.

Atualmente, as técnicas de validação de realidade aumentada só foram descritas para estruturas anatômicas rígidas, como ossos. No entanto, nosso protocolo oferece a vantagem de poder ser usado para validar a realidade aumentada também para órgãos em movimento. Para começar, abra o software de design auxiliado por computador 3D e crie um novo arquivo.

Selecione a guia Sólido e clique em Criar esboço para iniciar um novo projeto para um marcador infravermelho. Adicione três ou quatro círculos pequenos com um diâmetro de três milímetros pressionando Círculo de diâmetro central. Usando a ferramenta Linha, conecte os vértices do triângulo aos pontos médios dos lados opostos e desenhe linhas conectando os círculos para calcular o ponto central.

No ponto central, desenhe um círculo usando o Círculo de diâmetro central e, em seguida, desenhe retângulos conectando esse círculo central a cada um dos círculos menores usando a ferramenta Retângulo de dois pontos. Faça a extrusão da base circular central e dos retângulos de conexão com uma espessura de dois milímetros. Faça a extrusão dos círculos menores com uma espessura de cinco milímetros.

Pressione Criar, selecione Rosca e adicione roscas aos três cones usando um Perfil Métrico ISO para caber em esferas reflexivas infravermelhas de 6,4 milímetros. Usando a função Impressão 3D ou Exportar, exporte o modelo final como um arquivo de objeto. No software de projeto auxiliado por computador 3D, selecione Medir para medir as coordenadas x, y e z das esferas reflexivas infravermelhas em relação ao ponto central.

Meça as localizações dos pontos centrais de cada pequeno círculo em correlação com o centro de toda a forma. Inicie o software de desenvolvimento de jogos. Importe o arquivo de projeto IRTrackingOrgans_HoloLens e abra o projeto.

Usando um editor de texto, abra o arquivo JavaScript Object Notation salvo na pasta Assets ou StreamingAssets. Adapte o arquivo para definir o marcador infravermelho personalizado usando as coordenadas gravadas anteriormente e seguindo o formato padrão. Na guia DINO Unity, selecione o ToolManager, clique em ResearchModeController, seguido por Arquivo JSON e Transformação pai e, em seguida, clique em Criar objetos Aplicar configuração JSON.

Importe o modelo de marcador infravermelho 3D criado. Selecione o modelo 3D específico do paciente e altere suas coordenadas de transformação na janela Inspetor para corresponder à posição dos marcadores gerados na cena. Em seguida, arraste o modelo 3D específico do paciente para a cena para inseri-lo.

Transforme o modelo 3D do paciente para alinhar o marcador infravermelho à sua superfície. Posicione o marcador infravermelho próximo ao centro do modelo para reduzir o erro posicional do efeito de alavanca. Agora, conecte a cena do paciente a um botão na tela do menu para permitir várias seleções de casos.

Navegue até Ir para Ativos, Cenas e Cena de menu. Na janela Hierarquia, vá para NearMenu4x2, depois para ButtonCollection e selecione o botão relevante. Na janela Inspetor, vá para Eventos Básicos e em MenuScript.

LoadScene, digite o nome da cena do paciente. Crie ou obtenha um modelo 3D de um simulador de rim com estruturas anatômicas realistas. Importe o modelo 3D para um software de modelagem CAD 3D.

Em seguida, use as funções Solid, Create e Hole para integrar cinco pontos de pivô de registro na lateral do modelo. Defina o Tipo de furo como Simples, Tipo de macho de furo como Simples, Ponta de perfuração como Ângulo, Altura como 0,5 milímetros e Diâmetro como 4,0 milímetros. Para fixar o sensor de referência eletromagnético, crie um cilindro com um orifício e integre-o ao modelo de rim.

Inicie um novo esboço e use o Círculo de diâmetro central para desenhar um círculo e um círculo interno com um diâmetro de 2,8 milímetros. Faça a extrusão do círculo externo em 16,5 milímetros. Em seguida, vá para Modificar, seguido de Combinar.

Selecione o modelo de rim 3D e o cilindro, escolha Unir e confirme clicando em OK. Em seguida, use a função Exportar ou Imprimir 3D para exportar o modelo integrado final. Em seguida, use um filamento flexível ou semiflexível, como poliuretano termoplástico, para imprimir o simulador de rim seguindo o procedimento descrito anteriormente. Coloque o gerador de campo do sistema de rastreamento eletromagnético diretamente abaixo do simulador de rim impresso.

Remova todos os objetos ferromagnéticos do ambiente circundante para evitar heterogeneidades do campo eletromagnético. Em seguida, conecte o sensor eletromagnético e o ponteiro eletromagnético ao sistema de rastreamento. Conecte o sensor de referência eletromagnética ao modelo 3D fixando-o firmemente dentro do cilindro usando cola.

No Fatiador 3D, importe o modelo de rim 3D que contém os pontos de pivô. Use o Assistente de Registro Fiducial. Selecione Colocar um ponto de controle e atribua digitalmente os pontos de referência de registro.

Para executar o registro de pontos de referência no 3D Slicer, use o ponteiro eletromagnético para identificar os pontos de referência físicos. Pressione Colocar um ponto de controle em cada local físico para registrá-los no software. Em seguida, calcule a transformação de registro linear rígida pressionando Atualizar.

Agora, aplique a transformação de registro calculada ao modelo 3D para vinculá-lo ao sensor de referência eletromagnético. Mova o modelo físico e confirme se a versão digital no 3D Slicer segue seu movimento. Inicie o dispositivo de exibição holográfica e abra o aplicativo holográfico configurado anteriormente.

Em seguida, navegue até o modelo 3D específico do paciente correto que está atualmente visualizado no 3D Slicer. Agora, prenda o marcador infravermelho no local especificado usando cola, garantindo que as esferas reflexivas infravermelhas de 6,4 milímetros instaladas estejam no lugar conforme orientado pelo planejamento pré-operatório. Use o ponteiro eletromagnético para identificar digitalmente os pontos-alvo vistos através da visualização holográfica.

Salve o conjunto resultante de coordenadas do sensor EM. Calcule o erro comparando as coordenadas de destino salvas com os pontos de referência reais colocados para validar a precisão da visualização holográfica. Em todos os participantes, o Erro de Localização de Ponto, ou PLE, mostrou um valor médio de 8,74 milímetros, com medições individuais variando de 2,78 a 13,20 milímetros.

O cirurgião 2 alcançou consistentemente as medições de EPL mais baixas, incluindo as duas localizações mais precisas em 2,78 e 3,48 milímetros. O maior erro de localização foi observado durante a terceira medição pelo Surgeon 3 com EPP de 13,20 milímetros. Este protocolo ajudará outras pessoas a implantar projetos holográficos e validar com precisão seu sistema de realidade aumentada em um ambiente pré-clínico.

Nosso grupo de pesquisa cirúrgica começará em breve com o rastreamento holográfico automatizado para vários casos cirúrgicos pediátricos. Os órgãos móveis são rastreados com base em algoritmos de aprendizado de máquina e feeds de câmera RGB.