$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Todos os procedimentos que envolvem coleta de amostras foram realizados de acordo com as diretrizes do IRB do instituto.
NOTA: Um esquema detalhando o fluxo de trabalho do protocolo pode ser visto na Figura 1.
1. 3D Digitalização
- Obtenha uma varredura 3D de uma amostra de ressecção oncológica de acordo com o protocolo de varredura 3D descrito anteriormente7.
- Configure o scanner 3D de mesa disponível comercialmente próximo ao laboratório de patologia onde as amostras são normalmente coletadas.
- Enxágue suavemente e seque a amostra ressecada. Em seguida, tire fotografias 2D de suas superfícies anterior e posterior.
- Coloque a amostra na mesa giratória do scanner, garantindo que a plataforma giratória esteja protegida de quaisquer fluidos corporais com uma folha de plástico fina.
- Usando um software de scanner 3D e um laptop, obtenha uma digitalização 3D das superfícies anterior e posterior da amostra.
- Usando o software do scanner 3D, use o registro cruzado de dados de três pontos para alinhar os dois conjuntos de dados de digitalização.
- Uma vez que a varredura se assemelhe à estrutura 3D da amostra ex vivo, prossiga para a etapa 1.2.
- Clique em Salvar sua digitalização e salve a digitalização concluída do software de digitalização 3D como um arquivo .obj e um arquivo .jpeg.
2. Configuração do ambiente de realidade aumentada
- Abra o software AR da área de trabalho. Abra o pacote Augmented Reality VISE.
- Carregue o modelo 3D produzido na etapa 1.2 como um arquivo .obj e os dados de textura como um arquivo .jpeg no software arrastando e soltando os arquivos da área de trabalho na caixa Ativos do projeto.
- Coloque o Head Mounted Display (HMD).
- Abra o menu no ambiente HMD levantando o pulso não dominante. Quando um ícone quadrado aparecer, toque nele apontando o dedo para o ícone e procure um menu para aparecer.
- Selecione Arquivo | Mostrar todos os aplicativos | abra o aplicativo Holographic Remoting no HMD.
- Conecte o HMD ao software selecionando Realidade Misturada | Comunicação Remota | Comunicação Remota Holográfica para o Modo de Reprodução na barra de ferramentas superior.
- Insira o endereço IP do HMD, que é exibido quando o aplicativo Holographic Remoting está aberto.
NOTA: Se não for exibido no aplicativo, o endereço IP também pode ser encontrado nas configurações ou através do comando de voz "Qual é o meu endereço IP".
- Certifique-se de que o HMD e o dispositivo que executa o software estejam conectados à mesma rede Wi-Fi. Aperte o botão Reproduzir do triângulo na parte superior central. O fone de ouvido HMD agora exibirá Renderização.
- Arraste o modelo de objeto 3D para a barra de hierarquia esquerda. Abra o menu suspenso do objeto. Arraste o padrão para a janela pop-up Ajustar pivô em Substituir objeto. Clique em Aplicar objetos selecionados.
- Abra o menu suspenso Medical_Object no menu Hierarquia e selecione âncora antes de selecionar o pivô de Mover Medical_Object aqui no pop-up Ajustar pivô.
- Arraste o arquivo de textura para a caixa (Textura 2D) do pop-up Ajustar pivô. Selecione Aplicar arquivo de textura selecionado.
- Aperte o botão Reproduzir na parte superior central da tela mais uma vez.
3. Entrando na realidade virtual
- Utilize o comando de voz Open para inicializar o holograma.
- Se o objeto não for visto ou se ele for perdido da vista, use o comando de voz Reposicionar para trazer o objeto de volta ao centro da visão.
- O objeto será renderizado em tamanho anatômico. Use o comando de voz Bloquear tamanho para manter o objeto no tamanho atual, desbloquear tamanho para alterar o tamanho do objeto e voltar à escala para restaurar o objeto ao tamanho anatômico.
- Aperte com o dedo indicador e o polegar para redimensionar, mover e girar o objeto da mesma forma que um objeto físico é manipulado.
4. Utilizando comandos de voz
- Manipule o objeto com as mãos livres usando os seguintes comandos de voz:
- Direita: Gire o objeto para a direita.
- Esquerda: Gire o objeto para a esquerda.
- Maior: Torne o objeto maior.
- Menor: Torne o objeto menor.
- Aumentar a transparência: Aumente a transparência do objeto.
- Diminuir transparência: Diminua a transparência do objeto.
5. Realinhamento guiado por AR da amostra
NOTA: O realinhamento 3D do holograma pode ser visto na Figura 2.
- Manipule o holograma de amostra 3D visto através do HMD usando o polegar e o indicador.
- Segure o objeto juntando o polegar e o indicador no ambiente real onde o holograma é visto no ambiente virtual.
- Solte o objeto abrindo o polegar e o indicador no ambiente real, uma vez que o holograma 3D é colocado onde desejado no ambiente virtual.
- Utilize o comando de voz Lock para prender o holograma no lugar e Unlock para manipular o objeto mais uma vez.
- Com base na orientação anatômica do holograma, realinhe a amostra virtual no leito de ressecção seguindo as etapas 5.1-5.2. Quando o holograma for realinhado o máximo possível com o leito de ressecção visualizado através do HMD, use o comando de voz Lock para travar a amostra no lugar.
