Summary
Apresentado aqui é um método para projetar um aplicativo de smartphone de realidade aumentada para a visualização de modelos tridimensionais anatômicos de pacientes usando um marcador de referência impresso em 3D.
Abstract
A realidade aumentada (AR) tem um grande potencial em educação, treinamento e orientação cirúrgica na área médica. Sua combinação com impressão tridimensional (3D) (3DP) abre novas possibilidades em aplicações clínicas. Embora essas tecnologias tenham crescido exponencialmente nos últimos anos, sua adoção por médicos ainda é limitada, uma vez que exigem um amplo conhecimento de engenharia e desenvolvimento de software. Portanto, o objetivo deste protocolo é descrever uma metodologia passo a passo que permite aos usuários inexperientes criar um aplicativo de smartphone, que combina AR e 3DP para a visualização de modelos 3D anatômicos de pacientes com um marcador de referência impresso em 3D. O protocolo descreve como criar modelos virtuais 3D da anatomia de um paciente derivado s a partir de imagens médicas 3D. Em seguida, explica como executar o posicionamento dos modelos 3D em relação a referências de marcadores. Também são fornecidas instruções sobre como imprimir em 3D as ferramentas e modelos necessários. Finalmente, são fornecidas etapas para implantar o aplicativo. O protocolo é baseado em software gratuito e multiplataforma e pode ser aplicado a qualquer modalidade de imagem médica ou paciente. Uma abordagem alternativa é descrita para fornecer registro automático entre um modelo impresso em 3D criado a partir da anatomia de um paciente e dos hologramas projetados. Como exemplo, um caso clínico de um paciente que sofre de sarcoma de perna distal é fornecido para ilustrar a metodologia. Espera-se que este protocolo acelere a adoção de tecnologias ar e 3DP por profissionais médicos.
Introduction
AR e 3DP são tecnologias que fornecem um número crescente de aplicações na área médica. No caso da AR, sua interação com modelos virtuais 3D e o ambiente real beneficia os médicos em relação à educação e formação1,2,3,comunicação e interações com outros médicos4,e orientação durante intervenções clínicas5,6,7,8,9,10. Da mesma forma, o 3DP tornou-se uma solução poderosa para os médicos ao desenvolver ferramentas personalizáveis específicas do paciente11,12,13 ou criar modelos 3D de anatomia de um paciente, o que pode ajudar a melhorar o planejamento pré-operatório e as intervenções clínicas14,15.
As tecnologias AR e 3DP ajudam a melhorar a orientação, a orientação e as habilidades espaciais nos procedimentos médicos; assim, sua combinação é o próximo passo lógico. Trabalhos anteriores demonstraram que seu uso conjunto pode aumentar o valor na educação do paciente16,facilitando explicações de condições médicas e tratamento proposto, otimizando o fluxo de trabalho cirúrgico17,18 e melhorando o registro de paciente para modelo19. Embora essas tecnologias tenham crescido exponencialmente nos últimos anos, sua adoção por médicos ainda é limitada, uma vez que exigem um amplo conhecimento de engenharia e desenvolvimento de software. Portanto, o objetivo deste trabalho é descrever uma metodologia passo a passo que permita o uso de RA e 3DP por usuários inexperientes sem a necessidade de amplo conhecimento técnico.
Este protocolo descreve como desenvolver um aplicativo de smartphone AR que permite a sobreversão de qualquer modelo 3D baseado em pacientes em um ambiente do mundo real usando um marcador impresso em 3D rastreado pela câmera do smartphone. Além disso, uma abordagem alternativa é descrita para fornecer registro automático entre um biomodelo impresso em 3D (ou seja, um modelo 3D criado a partir da anatomia de um paciente) e os hologramas projetados. O protocolo descrito é inteiramente baseado em software gratuito e multiplataforma.
Em trabalhos anteriores, o registro de RA paciente-imagem foi calculado manualmente5 com algoritmos de reconhecimento de superfície10 ou não estava disponível2. Estes métodos têm sido considerados um pouco limitados quando um registro preciso é necessário19. Para superar essas limitações, esse trabalho fornece ferramentas para realizar registro preciso e simples de paciente para imagem nos procedimentos de RA, combinando tecnologia ar e 3DP.
O protocolo é genérico e pode ser aplicado a qualquer modalidade de imagem médica ou paciente. Como exemplo, um caso clínico real de um paciente que sofre de sarcoma de perna distal é fornecido para ilustrar a metodologia. O primeiro passo descreve como segmentar facilmente a anatomia afetada a partir de imagens médicas de tomografia computadorizada (TC) para gerar modelos virtuais 3D. Posteriormente, o posicionamento dos modelos 3D é realizado, em seguida, as ferramentas e modelos necessários são impressos em 3D. Finalmente, o aplicativo AR desejado é implantado. Este aplicativo permite a visualização de modelos 3D do paciente sobrepostos em uma câmera de smartphone em tempo real.
Protocol
Este estudo foi realizado de acordo com os princípios da Declaração de Helsínquia de 1964, conforme revisto em 2013. Os dados anônimos do paciente e as imagens incluídas neste artigo são usados após o consentimento informado por escrito ter sido obtido do participante e/ou de seu representante legal, no qual aprovou o uso desses dados para atividades de disseminação, incluindo publicações científicas.
1. Configuração de estação de trabalho para segmentação, extração, posicionamento e implantação de aplicativos de RA em estação de trabalho
NOTA:Este protocolo foi testado com a versão de software específica indicada para cada ferramenta. É provável que funcione com versões mais recentes, embora não seja garantido.
- Use um computador com Microsoft Windows 10 ou Mac OS como sistemas operacionais.
- Instale as seguintes ferramentas dos sites correspondentes por instruções oficiais:
3D Slicer (v. 4.10.2): https://download.slicer.org/.
Meshmixer (v. 3,5): http://www.meshmixer.com/download.html.
Unidade (v. 2019): https://unity3d.com/get-unity/download.
(Apenas para implantação do iOS) Xcode (última versão): https://developer.apple.com/xcode/.
NOTA:Todas as ferramentas de software necessárias para completar o protocolo podem ser baixadas gratuitamente para fins pessoais. O software a ser usado em cada etapa será indicado especificamente. - Baixe dados do seguinte repositório GitHub, encontrado em https://github.com/BIIG-UC3M/OpenARHealth.
NOTA:O repositório contém as seguintes pastas:
"/3DSlicerModule/": módulo de fatiador 3D para posicionar modelos 3D em relação ao marcador impresso em 3D. Usado na seção 3. Adicione o módulo no cortador 3D seguindo as instruções disponíveis em https://github.com/BIIG-UC3M/OpenARHealth.
"/Data/PatientData/Patient000_CT.nrrd": CT de um paciente que sofre do sarcoma distal do pé. O protocolo é descrito usando esta imagem como um exemplo.
"/Dados/Biomodels/": modelos 3D do paciente (osso e tumor).
"/Dados/Marcadores/": Marcadores que serão impressos em 3D, que serão detectados pelo aplicativo AR para posicionar os modelos 3D virtuais. Há dois marcadores disponíveis.
2. Criação de biomodelos
NOTA:O objetivo desta seção é criar modelos 3D da anatomia do paciente. Eles serão obtidos através da aplicação de métodos de segmentação a uma imagem médica (aqui, usando uma imagem de TC). O processo consiste em três etapas diferentes: 1) carregar os dados do paciente em software de fatiador 3D, 2), segmentação de volumes de anatomia alvo e 3) exportação de segmentação como modelos 3D em formato OBJ. Os modelos 3D resultantes serão visualizados no aplicativo ar final.
- Carregue os dados do paciente ("/Data/PatientData/Patient000_CT.nrrd") arrastando o arquivo de imagem médica para a janela do software fatiador 3D. Clique OK. As vistas do CT (axial, sagittal, coronal) aparecerão nas janelas correspondentes.
NOTA:Os dados usados aqui são encontrados no formato "dados de raster quase crus" (NRRD), mas o 3D Slicer permite o carregamento de arquivos de formato de imagem médica (DICOM). Vá para o seguinte link para mais instruções, encontrado s https://www.slicer.org/wiki/Documentation/4.10/Training. - Para segmentar a anatomia do paciente, acesse o módulo Editor segmento em fatiador 3D.
- Um item de "segmentação" é criado automaticamente ao digitar o módulo. Selecione o volume desejado (uma imagem médica do paciente) na seção Master Volume. Em seguida, clique à direita abaixo no botão Adicionar para criar um segmento. Um novo segmento será criado com o nome "Segment_1".
- Há um painel chamado Efeitos que contém uma variedade de ferramentas para segmentar adequadamente a área-alvo da imagem médica. Selecione a ferramenta mais conveniente para o alvo e segmento para a área de janelas de imagem.
- Para segmentar o osso (tíbia e fíbula neste caso), use a ferramenta Threshold para configurar valores mínimos e máximos de HU a partir da imagem ct, o que corresponde ao tecido ósseo. Usando esta ferramenta, outros elementos com HU fora desses valores limiares são removidos, como tecidos moles.
- Use a ferramenta Scissors para remover áreas indesejadas, como o leito ou outras estruturas anatômicas, da máscara segmentada. Segmente o sarcoma manualmente usando as ferramentas Draw e Apagar, uma vez que o tumor é difícil de contornar com ferramentas automáticas.
NOTA:Para saber mais detalhes sobre o procedimento de segmentação, acesse o link encontrado na https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- Clique no botão Show 3D para ver uma representação 3D da segmentação.
- Exportar a segmentação em formato de arquivo de modelo 3D, indo para o módulo de segmentações em fatiador 3D.
- Acesse modelos de exportação/importação e mapas de rótulos. Selecione exportação na seção de operação e modelos na seção tipo de saída. Clique na Exportação para terminar e criar o modelo 3D a partir da área segmentada.
- Selecione SAVE (superior esquerdo) para salvar o modelo. Escolha os elementos a serem salvos. Em seguida, altere o formato de arquivo do Modelo 3D para "OBJ" dentro da coluna de formato arquivo. Selecione o caminho onde os arquivos serão armazenados e clique em Save.
- Repita os passos 2.2 e 2.3 para criar modelos 3D adicionais de diferentes regiões anatômicas.
NOTA:Os modelos pré-segmentados do exemplo fornecido podem ser encontrados nos dados previamente baixados na etapa 1.3 ("/Data/Biomodels/").
3. Posicionamento biomodelo
NOTA:Nesta seção, os modelos 3D criados na Seção 2 serão posicionados com relação ao marcador de visualização de realidade aumentada. O módulo ARHealth: Model Position do 3D Slicer será usado para esta tarefa. Siga as instruções fornecidas na etapa 1.3 para adicionar o módulo ao Cortador 3D. Existem duas alternativas diferentes para posicionar os modelos 3D: modo "Visualização" e modo "Registro".
- Modo de visualização
NOTA:Modo de visualização permite o posicionamento dos modelos de pacientes 3D em qualquer posição em relação ao marcador ar. Com esta opção, o usuário é capaz de usar o aplicativo AR para visualizar biomodelos usando o marcador de RA impresso em 3D como referência. Este modo pode ser usado quando a precisão não é necessária, e a visualização do modelo virtual pode ser exibida em qualquer lugar dentro do campo de exibição da câmera e marcador do smartphone.- Acesse o ARHealth: módulo de posição do modelo e (na seção de inicialização) selecione o modo de visualização. Clique no modelo marcador de carga para carregar o marcador para esta opção.
- Carregue os modelos 3D criados na seção 2 clicando no botão ... para selecionar o caminho dos modelos salvos da seção 2. Em seguida, clique no botão Load Model para carregá-lo em fatiador 3D. Os modelos devem ser carregados um de cada vez. Para excluir todos os modelos previamente carregados, clique nesse modelo seguido pelo botão Remover o Modelo ou clique em Remover Todos para excluir todos os modelos carregados de uma só vez.
- Clique no botão Acabamento e Centro para centrar todos os modelos dentro do marcador.
- A posição, orientação e escala dos modelos 3D podem ser modificados no que diz respeito ao marcador com diferentes barras deslizantes (ou seja, tradução, rotação, escala).
NOTA:Há um botão adicional "Posição de Reset" para redefinir a posição original dos modelos antes de fazer quaisquer alterações na posição. - Salve os modelos nessa posição escolhendo o caminho para armazenar os arquivos e clicando no botão Salvar modelos. Os modelos 3D serão salvos com o nome de extensão "_registered.obj".
- Modo de inscrição
NOTA:O modo de inscrição permite a combinação do marcador ar com um biomodelo 3D em qualquer posição desejada. Em seguida, qualquer seção dos modelos 3D combinados (que inclui o marcador AR) pode ser extraída e impressa em 3D. Todos os biomodelos serão exibidos no aplicativo AR usando este biomodelo impresso em 3D combinado como referência. Este modo permite ao usuário registrar facilmente o paciente (aqui, uma seção do osso do paciente) e modelos virtuais usando um marcador de referência.- Acesse o ARHealth: módulo de posição do modelo e (na seção de inicialização) selecione o modo de registro. Clique no modelo marcador de carga para carregar o marcador para esta opção.
- Carregue os modelos como feito na etapa 3.1.2.
- Mova os modelos 3D e garanta sua interseção com a estrutura de suporte do marcador do cubo, uma vez que esses modelos serão combinados e impressos em 3D mais tarde. A altura da base do marcador pode ser modificada. A posição, orientação e escala dos modelos 3D podem ser modificados no que diz respeito ao marcador com diferentes barras deslizantes (ou seja, tradução, rotação, escala).
- Salve os modelos nessa posição escolhendo o caminho para armazenar os arquivos e clicando no botão Salvar modelos. Os modelos 3D serão salvos com o nome de extensão "_registered.obj".
- O modelo de anatomia pode ser muito grande. Se assim for, corte o modelo 3D em torno do adaptador marcador e impressão 3D apenas uma seção da combinação de ambos os modelos usando o software Meshmixer.
- Meshmixer aberto e carregue o biomodel e a estrutura de apoio do modelo do marcador do cubo conservado na etapa 3.2.4. Combine esses modelos selecionando ambos os modelos na janela do Navegador Object. Clique na opção Combine na janela de ferramentas que acaba de aparecer no canto superior esquerdo.
- Em Meshmixer, use a ferramenta Plane Cut o menu Edit para remover seções indesejadas do modelo que não serão impressas em 3D.
- Para salvar o modelo para ser impresso em 3D, acesse file > exporte e selecione o formato desejado.
4. Impressão 3D
NOTA:O objetivo desta etapa é imprimir em 3D os modelos físicos necessários para o aplicativo ar final. O marcador a ser detectado pela aplicação e os diferentes objetos necessários dependem do modo selecionado na seção 3. Qualquer material pode ser usado para impressão 3D para fins deste trabalho, ao seguir os requisitos de material de cor solicitados em cada etapa. O ácido poliláctico (PLA) ou o estireno butadieno acrilonitrile (ABS) são ambas as escolhas suficientes.
- Use uma impressora 3D para imprimir o marcador cúbico. Se uma impressora 3D extrusora dupla não estiver disponível, pule para a etapa 4.2. Use uma impressora 3D extrusora dupla especificamente para imprimir o marcador de duas cores fornecido em "Dados/Marcadores/Marker1_TwoColorCubeMarker/". No software de impressão 3D, selecione um material de cor branca para o arquivo "TwoColorCubeMarker_WHITE.obj" e material de cor preta para "TwoColorCubeMarker_BLACK.obj".
NOTA:Para melhor detecção de marcadores, imprima em modo de alta qualidade com uma altura de pequena camada. - Se uma impressora 3D extrusora dupla não estiver disponível e a etapa 4.1 não for executada, siga esta etapa para imprimir um marcador impresso em 3D com adesivos como alternativa, fazendo o seguinte:
- Use uma impressora 3D para imprimir o arquivo "Dados/ Marcadores/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" com material de cor branca.
- Use uma impressora convencional para imprimir o arquivo "Dados/Marcadores/ Marker2_StickerCubeMarker/Stickers.pdf" em papel adesivo. Em seguida, use qualquer ferramenta de corte para cortar com precisão as imagens através do quadro preto, removendo as linhas pretas.
NOTA:Recomenda-se usar papel adesivo para obter um marcador de maior qualidade. No entanto, as imagens podem ser impressas em papel normal, e uma vara de cola comum pode ser usada para colar as imagens no cubo. - Coloque adesivos no cubo impresso em 3D obtidos na etapa 4.2.1 na ordem correspondente seguindo instruções do documento "Dados/Marcadores/ Marker2_StickerCubeMarker/Stickers.pdf".
NOTA:Adesivos são menores do que o rosto do cubo. Deixe um quadro de 1,5 mm entre o adesivo e a borda do rosto. "Dados/Marcadores/Marker2_StickerCubeMarker/StickerPlacer.stl" podem ser impressos em 3D para orientar o posicionamento do adesivo e combinar exatamente o centro da face do cubo.
- Impressão 3D dos adaptadores, dependendo do modo selecionado na seção 3.
- Se o modo de visualização (seção 3.1), foi selecionado, impressão 3D "Data/3DPrinting/Option1/ MarkerBaseTable.obj", que é um adaptador de base usado para colocar o marcador em posição vertical em uma superfície horizontal.
- Se o modo de inscrição (seção 3.2) for selecionado, impresso em 3D o modelo criado na etapa 3.2.8 com o adaptador de marcador anexado.
NOTA:Objetos impressos em 3D da etapa 4.3 podem ser impressos em qualquer material de cor.
5. Implantação do aplicativo AR
NOTA:O objetivo desta seção é projetar um aplicativo de smartphone no motor Unity que inclui os modelos 3D criados nas seções anteriores e implantar este aplicativo em um smartphone. Uma chave da licença do desenvolvimento de Vuforia (livre para o uso pessoal) é exigida para esta etapa. O aplicativo pode ser implantado em dispositivos Android ou iOS.
- Crie uma conta vuforia developer para obter uma chave de licença para usar suas bibliotecas em Unity. Acesse o link encontrado na https://developer.vuforia.com/vui/auth/register e crie uma conta.
- Vá para o link encontrado no https://developer.vuforia.com/vui/develop/Licenses e selecione Get Development Key. Em seguida, siga as instruções para adicionar uma chave de licença de desenvolvimento livre na conta do usuário.
- No menu Do Gerente de Licenças, selecione a chave criada na etapa anterior e copie a chave fornecida, que será usada na etapa 5.3.3.
- Configure o smartphone.
- Para começar com dispositivos Unity e Android, acesse o link encontrado em https://docs.unity3d.com/Manual/android-GettingStarted.html.
- Para começar com dispositivos Unity e iOS, acesse o link encontrado no https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
- Configure um Unity Project para o aplicativo AR abrindo pela primeira vez o Unity v.2019 e criando um novo projeto 3D. Então, em baixoConfigurações de construçãonoArquivomenu, mudar a plataforma para um dispositivo Android ou iOS.
- Permitir vuforia no projeto, selecionando Edit > Configuração do projeto > configurações de jogadores > configurações XR e verificar a caixa rotulada Vuforia Suportede Realidade Aumentada .
- Crie um ARCamera menubar > GameObject > Vuforia Engine > ARCamera e importe componentes Vuforia quando solicitado.
- Adicione a chave da licença de Vuforia em ajustes da configuração de Vuforia selecionando a pasta dos recursos e estalando na configuração de Vuforia. Em seguida, na seção App License Key, colar a chave copiada na seção 5.1.2.
- Importe o arquivo Vuforia Target fornecido em "/Data/Vuforia/ AR_Cube_3x3x3.unitypackage" para unity, que contém os arquivos que vuforia requer para detectar os marcadores descritos na seção 4.
- Crie um Vuforia MultiTarget Menubar > GameObject > Vuforia Engine > Multi Image.
- Selecione o tipo de marcador que será usado para detecção clicando no MultiTarget criado na etapa anterior. Na opção de banco de dados comportamento multi-alvo,selecione ARHealth_3DPrintedCube_30x30x30. Na opção Multi Target o comportamento multi-alvo,selecione o TwoColorCubeMarker ou o StickerCubeMarker,dependendo do marcador criado na seção 4.
- Carregue os modelos 3D criados na seção 3 no Unity Scene o MultiTarget, criando uma nova pasta com o nome Models a pasta Recursos. Arraste os modelos 3D para esta pasta. Uma vez carregado em Unity, arraste-os o item MultiTarget criado na etapa 5.3.5. Isso irá torná-los dependentes do marcador.
NOTA:Os modelos devem ser visíveis na cena da visão Unity 3D. - Mude as cores dos modelos 3D criando um novo material e atribuindo os novos materiais aos modelos.
- Crie uma nova pasta chamada Materiais a pasta Recursos, indo para Menubar > Assets > Create > Material. Selecione o material e altere a cor na seção de configuração. Em seguida, arraste o arquivo a hierarquia do modelo 3D.
- Opcional: se houver uma webcam disponível, clique no botão de reprodução localizado na parte superior-média para testar seu aplicativo no computador. Se o marcador é visível para a webcam, ele deve ser detectado, e os modelos 3D devem aparecer na cena.
- Se um smartphone Android for usado para implantação de aplicativos, acesse o File > construa configurações em Unity e selecione o telefone conectado da lista. Selecione implantar e executar. Salve o arquivo com extensão .apk no computador e permitir que o processo para terminar. Uma vez que a implantação é feita, o aplicativo deve estar no telefone e pronto para ser executado.
NOTA:Este protocolo foi testado no Android v.8.0 Oreo ou acima. A funcionalidade correta não é garantida para versões mais antigas. - Se o aplicativo for implantado em um dispositivo iOS, acesse File > construa configurações em Unity e selecione Run. Selecione o caminho para salvar os arquivos do aplicativo. Permita que o processo termine. Vá para a pasta salva e abra o arquivo com a extensão ".projectxcode".
- No Xcode, siga as instruções do passo 5.2.2 para concluir a implantação.
NOTA:Para obter mais informações sobre Vuforia em Unity, vá para o link encontrado no https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.
- No Xcode, siga as instruções do passo 5.2.2 para concluir a implantação.
6. Visualização de aplicativos
- Abra o aplicativo instalado, que usará a câmera do smartphone. Ao executar o aplicativo, olhe para o marcador com a câmera a uma curta distância (mínimo de 40 cm). Uma vez que o aplicativo detecta o marcador, os modelos 3D criados em etapas anteriores devem aparecer exatamente no local definido durante o procedimento na tela do smartphone.
NOTA:Iluminação pode alterar a precisão da detecção de marcadores. Recomenda-se usar o aplicativo em ambientes com boas condições de iluminação.
Representative Results
O protocolo foi aplicado aos dados de um paciente que sofre do sarcoma distal do pé a fim visualizar a região anatômica afetada de uma perspectiva 3D. Utilizando o método descrito na seção 2, a porção do osso afetado (aqui, a tíbia e a fíbula) e o tumor foram segmentados a partir da tomografia computadorizada do paciente. Em seguida, utilizando as ferramentas de segmentação do Cortador 3D, foram criados dois biomodelos: o osso (seção da tíbia e da fíbula) (Figura 1A)e tumor(Figura 1B).
Em seguida, os dois modelos 3D foram posicionados virtualmente no que diz respeito ao marcador para a visualização ideal. Ambos os modos descritos na seção 3 foram seguidos para este exemplo. Para o modo de visualização, os modelos foram centrados na face superior do marcador(Figura 2). Para o modo de inscrição, o adaptador marcador foi posicionado no osso (especificamente, a tíbia [Figura 3]). Em seguida, uma pequena seção da tíbia foi selecionada para ser impressa em 3D com um adaptador de marcador 3D (Figura 4). Uma impressora 3D estendida ultimaker 3 com material PLA foi usada para criar os marcadores impressos em 3D(Figura 5A, B),base titular do marcador(Figura 5C)para o modo de "visualização", e seção da tíbia para o modo "registro"(Figura 5D). A Figura 5E mostra como o marcador foi anexado à base impressa em 3D do modo de "visualização". A Figura 5F mostra o anexo com o biomodelo impresso em 3D do modo "registro". Finalmente, unity foi usado para criar o aplicativo e implantá-lo no smartphone.
A figura 6 mostra como o aplicativo funcionou para o modo de "visualização". O holograma foi localizado com precisão na parte superior do cubo, como definido anteriormente. A figura 7 mostra o aplicativo para o modo "registro", no qual o aplicativo posicionou o modelo ósseo completo em cima da seção impressa em 3D. A visualização final dos hologramas foi clara e realista, manteve os tamanhos reais dos biomodelos e posicionou com precisão. Ao usar o aplicativo do smartphone, o marcador ar precisa ser visível pela câmera para o aplicativo para exibir corretamente os hologramas. Além disso, as condições de luz na cena devem ser de boa qualidade e constantes para a detecção adequada do marcador. Más condições de luz ou reflexos na superfície do marcador dificultam o rastreamento do marcador de RA e causam mau funcionamento do aplicativo.
O tempo necessário para criar o aplicativo depende de vários fatores. A duração da seção 1 é limitada pela velocidade de download. Em relação à segmentação por anatomia (seção 2), os fatores que afetam o tempo de segmentação incluem complexidade da região e modalidade de imagem médica (ou seja, a TC é facilmente segmentada, enquanto a RM é mais difícil). Para o exemplo representativo da tíbia, foram necessários aproximadamente 10 min para gerar ambos os modelos 3D a partir da tomografia computadorizada. O posicionamento do biomodelo (seção 3) é simples e direto. Aqui, levou aproximadamente 5 min para definir a posição do biomodelo em relação ao marcador ar. Para a etapa de impressão 3D, a duração é altamente dependente do modo selecionado. O "marcador de cores duplas" foi fabricado em alta qualidade em um período de 5 h e 20 min. O "marcador de adesivos" foi fabricado em um período de 1h e 30 min, além do tempo necessário para colar os adesivos. A etapa final para o desenvolvimento do aplicativo pode ser demorada para aqueles sem experiência anterior no Unity, mas pode ser facilmente concluída seguindo as etapas do protocolo. Uma vez que os marcadores de RA foram impressos em 3D, o desenvolvimento de um aplicativo ar inteiramente novo pode ser realizado em menos de 1 h. Esta duração pode ser reduzida ainda mais com experiência adicional.
Figura 1: Representação de modelos 3D criados a partir de uma imagem de TC de um paciente que sofre de sarcoma de perna distal. (A)Tecido ósseo representado em branco (tíbia e fíbula). (B)Tumor representado em vermelho. Clique aqui para ver uma versão maior deste número.
Figura 2: Resultados mostrando como o modo de "visualização" no 3D Slicer posiciona os modelos 3D virtuais do osso e do tumor em relação à referência de marcador impresso em 3D. Os modelos 3D do paciente(A)estão posicionados acima da face superior do cubo marcador (B). Clique aqui para ver uma versão maior deste número.
Figura 3: Resultados mostrando como o modo "registro" no 3D Slicer posiciona os modelos virtuais 3D do osso e tumor (A) no que diz respeito à referência do marcador impresso em 3D (B). O adaptador do marcador é unido ao modelo do tecido do osso. Clique aqui para ver uma versão maior deste número.
Figura 4: Pequena seção do tecido ósseo e adaptador de marcador 3D. Os dois componentes são combinados então impressos em 3D. Clique aqui para ver uma versão maior deste número.
Figura 5: ferramentas impressas em 3D necessárias para a aplicação final. (A)"Marcador de cubo de duas cores" impresso em 3D com duas cores de materiais. (B) "Marcador do cubo adesivo" impresso em 3D, com adesivos colados. (C)Adaptador do cubo de base do marcador. (D)Seção do modelo 3D do tecido ósseo do paciente e adaptador do cubo marcador. (E)"Marcador do cubo adesivo" colocado no adaptador do cubo de base marcador. (F) "Dois marcador cubo de cor" colocado no adaptador marcador ligado à anatomia do paciente. Clique aqui para ver uma versão maior deste número.
Figura 6: Exibição do aplicativo ao usar o modo de "visualização". Os modelos 3D de anatomia afetados pelo paciente estão posicionados acima da face superior do cubo impresso em 3D. Clique aqui para ver uma versão maior deste número.
Figura 7: visualização de RA ao usar o modo "registro". O marcador impresso em 3D permite o registro do biomodelo impresso em 3D com os modelos 3D virtuais. Clique aqui para ver uma versão maior deste número.
Discussion
Ar tem grande potencial em educação, treinamento e orientação cirúrgica na área médica. Sua combinação com a impressão 3D abre pode abrir novas possibilidades em aplicações clínicas. Este protocolo descreve uma metodologia que permite que usuários inexperientes criem um aplicativo de smartphone que combine RA e 3DP para a visualização de modelos 3D anatômicos de pacientes com marcadores de referência impressos em 3D.
Em geral, uma das aplicações clínicas mais interessantes de AR e 3DP é melhorar a comunicação paciente-médico, dando ao paciente uma perspectiva diferente do caso, melhorando as explicações de condições médicas ou tratamentos específicos. Outra possível aplicação inclui orientação cirúrgica para localização de destino, na qual ferramentas específicas do paciente impressas em 3D (com um marcador de AR de referência anexado) podem ser colocadas em estruturas rígidas (ou seja, osso) e usadas como referência para navegação. Esta aplicação é especialmente útil para procedimentos cirúrgicos ortopédicos e maxilofaciais, em que a superfície do tecido ósseo é facilmente acessada durante a cirurgia.
O protocolo começa com a seção 1, descrevendo a configuração da estação de trabalho e as ferramentas de software necessárias. A Seção 2 descreve como usar o software 3D Slicer para segmentar facilmente as anatomias alvo do paciente de qualquer modalidade de imagem médica para obter modelos 3D. Esta etapa é crucial, pois os modelos 3D virtuais criados são aqueles exibidos no aplicativo ar final.
Na seção 3, o Cortador 3D é usado para registrar os modelos 3D criados na seção anterior com um marcador de RA. Durante este procedimento de registro, os modelos 3D do paciente são posicionados eficientemente e simplesmente com respeito ao marcador do AR. A posição definida nesta seção determinará a posição relativa do holograma no aplicativo final. Acredita-se que esta solução reduz a complexidade e multiplica as possíveis aplicações. A Seção 3 descreve duas opções diferentes para definir as relações espaciais entre os modelos e marcadores de RA: modo "visualização" e "registro". A primeira opção, o modo "visualização", permite que os modelos 3D sejam posicionados em qualquer lugar com relação ao marcador e exibidos como todo o biomodelo. Este modo fornece uma perspectiva 3D realista da anatomia do paciente e permite mover e girar dos biomodelos movendo o marcador de RA rastreado. A segunda opção, o modo "registro", permite o anexo e a combinação de um adaptador de marcador a qualquer parte do biomodelo, oferecendo um processo de registro automático. Com esta opção, uma pequena seção do modelo 3D, incluindo o adaptador de marcador, pode ser impressa em 3D, e o aplicativo pode exibir o resto do modelo como um holograma.
A Seção 4 fornece diretrizes para o processo de impressão 3D. Primeiro, o usuário pode escolher entre dois marcadores diferentes: o "marcador de cor dupla" e o "marcador de adesivos". Todo o "marcador de cores duplas" pode ser impresso em 3D, mas requer uma impressora 3D extrusora dupla. Caso esta impressora não esteja disponível, o "marcador de adesivos" é proposto. Este é um marcador mais simples que pode ser obtido pela impressão 3D da estrutura cúbica, em seguida, colar as imagens do cubo com papel adesivo ou cola adesivo. Além disso, ambos os marcadores foram projetados com seções extensíveis para se encaixar perfeitamente em um adaptador específico. Assim, o marcador pode ser reutilizado em vários casos.
A Seção 5 descreve o processo para criar um projeto Unity para AR usando o kit de desenvolvimento de software Vuforia. Esta etapa pode ser a parte mais difícil para os usuários sem experiência de programação, mas com essas diretrizes, deve ser mais fácil obter o aplicativo final que é apresentado na seção 6. O aplicativo exibe os modelos virtuais do paciente sobre a tela do smartphone quando a câmera reconhece o marcador impresso em 3D. Para que o aplicativo detecte o marcador 3D, uma distância mínima de aproximadamente 40 cm ou menos do telefone para o marcador, bem como boas condições de iluminação são necessárias.
A aplicação final deste protocolo permite ao usuário escolher os biomodelos específicos para visualizar e em quais posições. Addtionally, o app pode executar o registo automático do paciente-hologram usando um marcador e um adaptador 3D-impressos unidos ao biomodel. Isso resolve o desafio de registrar modelos virtuais com o ambiente de forma direta e conveniente. Além disso, essa metodologia não requer amplo conhecimento de imagens médicas ou desenvolvimento de software, não depende de hardware complexo e software caro e pode ser implementada em um curto período de tempo. Espera-se que este método ajude a acelerar a adoção de tecnologias ar e 3DP por profissionais médicos.
Disclosures
Os autores não têm nada a divulgar.
Acknowledgments
Este relatório contou com o apoio dos projetos PI18/01625 e PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III e Fundo Europeu de Desenvolvimento Regional "Una manera de hacer Europa") e IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
