Combinando realidade aumentada e impressão 3D para exibir modelos de pacientes em um smartphone

Este protocolo dá aos usuários inexperientes as ferramentas para trazer soluções de realidade aumentada para o campo médico através da construção de seu próprio aplicativo para smartphones. Este método combina realidade aumentada e impressão 3D permitindo uma visualização rápida e fácil de modelos 3D criados a partir de dados de base em cima de um marcador de referência impresso em 3D. Esta técnica pode ser aplicada a qualquer cenário médico no qual uma referência impressa em 3D possa ser rigidamente ligada ao paciente.

A visualização de modelos visuais 3D criados a partir da localização de dados que é direcionada e também pode melhorar o paciente Este protocolo foi projetado especificamente para usuários sem conhecimento prévio de imagem médica ou desenvolvimento de software para auxiliar no uso da realidade aumentada no campo médico. Para criar modelos 3D de anatomia de um paciente, primeiro rastreie o arquivo de imagem médica na janela de software 3D Slicer e clique em OK. Para segmentar a anatomia do paciente, vá para o módulo de editor de segmento em 3D Slicer. Um item de segmentação será criado automaticamente ao entrar no módulo.

Selecione o volume desejado na seção de volume mestre e clique com o botão direito do mouse abaixo da imagem para selecionar adicionar para criar um segmento. No painel de efeitos, selecione a ferramenta mais conveniente para o alvo e segmente a imagem médica do paciente. Para exportar a segmentação em um formato de arquivo modelo 3D, abra o módulo de segmentações.

Nos modelos de exportação/importação e labelmaps, selecione exportação e modelos e clique em exportar para criar o modelo 3D a partir da área segmentada. Clique em salvar e selecione os elementos a serem salvos. Em seguida, altere o formato de arquivo do modelo 3D para OBJ.

A segmentação pode ser repetida para criar modelos 3D adicionais de diferentes regiões anatômicas. Para o posicionamento de um modelo de paciente 3D em qualquer posição em relação ao marcador de realidade aumentada, abra o módulo de posição do modelo AR Health e selecione o modo de visualização. Clique no modelo de marcador de carga para carregar o marcador para esta opção, o botão elipse para selecionar o caminho do modelo 3D salvo e o modelo de carga para carregar o modelo em 3D Slicer.

Clique em finalizar e centralizar para centralizar todos os modelos dentro do marcador. Use as barras de slides para ajustar a posição, orientação e dimensionamento dos modelos 3D em relação ao marcador conforme desejado. Em seguida, selecione o caminho para armazenar os arquivos e clique em salvar modelos para salvar os modelos nesta posição.

Para combinar o marcador de realidade aumentada com um biomodel 3D em qualquer posição desejada, abra o módulo de posição do modelo AR Health e na seção de inicialização selecione a modalidade de registro. Clique no modelo de marcador de carga para carregar o marcador para esta opção e mova os modelos 3D até que eles se cruzem com a estrutura de suporte do marcador do cubo, modificando a altura da base do marcador conforme necessário. Para salvar o modelo nesta posição, selecione o caminho para armazenar os arquivos e clique em salvar modelos.

Se o modelo de anatomia for muito grande, carregue o biomodel e a estrutura de suporte do modelo de marcador de cubo no software de misturador de malha. Selecione ambos os modelos na janela do navegador do objeto para combinar os modelos e use a ferramenta de corte simples do menu de edição para remover quaisquer seções indesejadas do modelo que não serão impressas em 3D. Para salvar o modelo a ser impresso em 3D, selecione arquivo e exportação e selecione o formato desejado.

Para imprimir em 3D os modelos físicos necessários para o aplicativo final de realidade aumentada, no software de impressão 3D, selecione um material de cor branca para o TwoColorCuebMarker_white. arquivo obj e um material de cor preta para o TwoColorCubeMarker_white. arquivo obj.

Em seguida, use uma impressora 3D de extrusão dupla para imprimir em 3D o marcador cúbico em preto e branco em modo de alta qualidade com uma pequena altura de camada. Para projetar um aplicativo para smartphone em Unity Engine que inclui os modelos 3D, abra o Desenvolvedor Vuforia e crie uma conta. Selecione obter a chave de desenvolvimento para obter uma chave de licença de desenvolvimento gratuita e no menu do gerenciador de licenças selecione e copie a chave.

Para configurar o smartphone, no aplicativo Unity versão 2019, em configurações de compilação no menu de arquivos selecione a plataforma apropriada para o dispositivo. Para ativar o Vuforia no projeto, selecione editar, definir o projeto, as configurações do jogador e as configurações XR e verifique a caixa rotulada vuforia suporte de realidade aumentada. Para criar uma câmera de realidade aumentada, selecione a barra de menu, o objeto do jogo, o Vuforia Engine e a câmera AR e importe os componentes Vuforia quando solicitado.

Para adicionar a chave de licença Vuforia às configurações de configuração vuforia, selecione a pasta de recursos, clique na configuração Vuforia e cole a chave de licença na seção de teclas de licença do aplicativo. Importe o arquivo de destino Vuforia contendo os arquivos que o Vuforia precisa para detectar os marcadores em Unity e selecionar barra de menu, objeto de jogo, Motor Vuforia e multi-imagem para criar um alvo multi Vuforia. Clique no alvo múltiplo para selecionar o tipo de marcador que será usado para detecção e na opção de banco de dados sob comportamento de vários alvos, selecione ARHealth_3dPrintedCube_30x30x30.

Na opção multi-alvo sob comportamento de vários alvos, selecione TwoColorCubeMarker ou StickerCubeMarker, dependendo do marcador. Arraste os modelos 3D para a pasta de modelos e arraste a pasta sob o item multi-alvo. Os modelos devem ficar visíveis na cena de exibição Unity 3D.

Para mudar as cores dos modelos 3D, crie novos materiais e atribua os novos materiais aos modelos. Se uma webcam estiver disponível, clique em reproduzir para testar o aplicativo no computador. Se o marcador estiver visível na webcam, ele deve ser detectado e os modelos 3D devem aparecer na cena.

Se um smartphone Android for usado para o desenvolvimento do aplicativo, selecione configurações de compilação no Unity e selecione o telefone conectado da lista. Em seguida, salve o arquivo com uma extensão apk e permita que o processo termine. Se o aplicativo for implantado em um dispositivo iOS, selecione arquivo nas configurações de compilação e salve o arquivo.

Para visualizar o aplicativo, abra o aplicativo no smartphone e use a câmera do smartphone para olhar o marcador de dentro do aplicativo a uma distância mínima de 40 centímetros. Uma vez que o aplicativo detecte o marcador, os modelos 3D criados anteriormente devem aparecer na tela do smartphone no local exato definido durante o procedimento. Utilizando o método como demonstrado, esta porção da tíbia e fíbula afetadas de um paciente que sofre de sarcoma distais da perna e tumor foram segmentadas a partir da tomografia computadorizada do paciente.

Utilizando as ferramentas de segmentação, foi criado um biomodel para o osso e um biomodelo foi criado para o tumor. Para o modo de visualização, os modelos foram centrados na fase superior do marcador. Para o modo de registro, o adaptador de marcador foi posicionado na tíbia e uma pequena seção da tíbia foi selecionada para ser impressa em 3D com um adaptador de marcador 3D.

O ácido polilático pode ser usado para criar os marcadores impressos em 3D, bases de suporte de marcadores e seções ósseas como demonstrado. Aqui um marcador é anexado a uma base impressa 3D do modo de visualização e aqui o anexo é mostrado com o modo de registro impresso em 3D biomodel. Esta representação mostra como o aplicativo funciona no modo de visualização com o holograma localizado com precisão na parte superior do cubo como definido anteriormente.

No modo de registro, o modelo ósseo completo pode ser posicionado em cima da seção impressa em 3D com uma visualização clara e realista do marcador no local do osso. Para usar a realidade aumentada para visualizar informações importantes do paciente, você precisará de várias ferramentas de software que estão disponíveis gratuitamente, bem como acesso a uma impressora 3D e smartphone. Este procedimento pode ser aplicado a qualquer modelo obtido a partir de imagens médicas.

Seu uso pode ser estendido a outras intervenções, como o posicionamento radioterapia da inserção da agulha. Estamos agora estendendo as aplicações deste desenvolvimento para novas áreas clínicas, incluindo cirurgia miofascial ou ortopédica. Nossa pesquisa inicial é promissora e o feedback do cirurgião é muito positivo.