Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada

Summary

Este artigo apresenta o projeto e a implementação de um módulo de cirurgia automática baseado em reconstrução 3D baseada em realidade aumentada (AR). O sistema permite a cirurgia remota, permitindo que os cirurgiões inspecionem características reconstruídas e repliquem os movimentos cirúrgicos da mão como se estivessem realizando a cirurgia nas proximidades.

Abstract

A Realidade Aumentada (AR) está em alta demanda em aplicações médicas. O objetivo do artigo é fornecer cirurgia automática usando RA para o implante percutâneo da valva aórtica (TAVI). O TAVI é o procedimento médico alternativo para cirurgia de coração aberto. O TAVI substitui a válvula lesada por uma nova usando um cateter. No modelo existente, a orientação remota é fornecida, enquanto a cirurgia não é automatizada com base na RA. Neste artigo, implantamos uma câmera alinhada espacialmente que é conectada a um motor para a automação da captura de imagens no ambiente cirúrgico. A câmera rastreia a imagem 2D de alta resolução do coração do paciente junto com o banco de testes do cateter. Essas imagens capturadas são carregadas usando o aplicativo móvel para um cirurgião remoto especialista em cardiologia. Esta imagem é utilizada para a reconstrução 3D a partir do rastreamento de imagens 2D. Isso é exibido em um HoloLens como um emulador em um laptop. O cirurgião pode inspecionar remotamente as imagens reconstruídas em 3D com recursos adicionais de transformação, como rotação e dimensionamento. Esses recursos de transformação são ativados por meio de gestos com as mãos. A orientação do cirurgião é transmitida ao ambiente cirúrgico para automatizar o processo em cenários em tempo real. O banco de testes do cateter no campo cirúrgico é controlado pela orientação do cirurgião remoto por gestos manuais. O modelo de protótipo desenvolvido demonstra a eficácia da orientação cirúrgica remota por meio de RA.

Introduction

A RA pode sobrepor o modelo 3D em um ambiente do mundo real. O desenvolvimento tecnológico em direção à RA fez uma mudança de paradigma em muitos campos, ou seja, educação¹, medicina², manufatura³ e entretenimento⁴. A tecnologia AR, juntamente com a comunicação ultraconfiável de baixa latência, prova seu papel inevitável na área médica. Desde o estágio de aprendizado da anatomia humana até a orientação cirúrgica, os estágios de aprendizado podem ser visualizados com software ^5,6 e hardware com tecnologia AR. A RA fornece uma solução crucial e confiável para o médico em um ambiente cirúrgico ^7,8.

A estenose valvar aórtica é a doença valvar cardíaca, mais comum na humanidade⁹. A causa raiz da doença são os maus hábitos alimentares e as rotinas irregulares do dia-a-dia. O sintoma e o resultado da doença é o estreitamento da válvula cardíaca, seguido de uma redução no fluxo sanguíneo. Este problema precisa ser resolvido antes que qualquer dano ocorra ao coração humano. Assim, o coração fica sobrecarregado para processar o fluxo sanguíneo. Portanto, antes que qualquer dano aconteça, é necessário fazer uma cirurgia, que, devido aos desenvolvimentos tecnológicos dos últimos dias, também pode ser feita com o procedimento TAVI. O procedimento pode ser adotado com base na condição do coração e de outras partes do corpo dos pacientes. Neste TAVI^10,11, o cateter é inserido para substituir a válvula danificada no coração. No entanto, colocar a posição¹² do cateter para substituir a válvula é tedioso para o médico. Essa ideia nos motivou a projetar um modelo de cirurgia automatizada baseado no AR^13,14, que ajuda o cirurgião a posicionar com precisão a válvula durante o processo de substituição. Além disso, a cirurgia pode ser realizada por um algoritmo de mapeamento de movimento, que mapeia o movimento do cirurgião capturado de um local remoto para o braço robótico.

No trabalho existente 15,16,17, a visualização do procedimento TAVI¹⁸ é monitorada por meio de fluoroscopia. Portanto, é difícil analisar a válvula cardíaca e tedioso encontrar o local de substituição. Isso cria uma barreira para posicionar o cateter no coração humano. Além disso, o movimento remoto é mapeado para o campo cirúrgico para automatizar o processo. No entanto, para superar a lacuna de pesquisa, propomos uma cirurgia robótica automatizada para substituição valvar usando tecnologia assistida por AR.

O protocolo é um modelo genérico que pode ser aplicado a todos os ambientes cirúrgicos. Na fase inicial do trabalho, imagens 2D são capturadas em todo o ambiente cirúrgico com a resolução espacial máxima do maior grau de liberdade. Isso significa que imagens suficientes são capturadas para fins de reconstrução 3D¹⁹ , seguidas de mapeamento de movimento por meio do rastreamento de gestos manuais²⁰.

Protocol

1. Ambiente cirúrgico

1. Projete um ambiente cirúrgico conforme mostrado na Figura 1. Certifique-se de que o ambiente tenha um prato de transporte de objetos, um braço robótico e dois braços pendurados lateralmente, um para segurar um espaço reservado para câmera e o outro para ter um fundo branco consistente junto com o módulo de pesagem para balança.
2. Desenvolva dois drivers, um para o instantâneo do ambiente cirúrgico ao vivo, conforme mencionado nas etapas 2.1 a 2.10, e outro para controlar o mecanismo giratório que suporta a vigilância 360°, conforme mencionado nas etapas 3.1 a 3.4.
3. Antes de implementar os dois módulos acima, habilite o Bluetooth do dispositivo móvel e do laptop, que servem como emulador do HoloLens do cirurgião.
4. Emparelhe os dispositivos para transmissão ininterrupta de imagens.

2. Configurando o driver para controlar os dois braços suspensos

1. Certifique-se de que os braços suspensos sejam controlados por um motor de passo com o arranjo mostrado na Figura 2 para uma rotação perfeita de 360°.
2. Conecte o motor à placa do microcontrolador usando o driver TB 6600. Para operar o motor, instale o IDE do microcontrolador a partir do navegador.
3. Clique no botão Download para baixar o software. Em seguida, no IDE do microcontrolador, vá para Arquivo > Abrir um novo esboço para escrever o código.
4. Certifique-se de conectar a placa do microcontrolador para fazer interface com o novo esboço por meio de uma porta de conexão dedicada, digamos COM 4. Verifique a porta Com e verifique se ela mostra a placa do microcontrolador.
5. Verifique as configurações do interruptor de hardware do driver do motor de passo TB 6600. Certifique-se de que as configurações sejam tais que o fluxo de corrente seja de 2 A, o que pode ser obtido definindo SW4 ON e SW5 e SW6 OFF.
6. Certifique-se de que as posições dos interruptores de SW1, SW2 e SW3 estejam definidas de forma que o micro-passo seja de 1/8 de passos para atingir os passos de revolução de acordo com o requisito. Certifique-se de que as configurações sejam SW1 OFF, SW2 ON e SW3 OFF no TB6600.
7. Conecte o RTC 3231 ao microcontrolador para ter sincronização em tempo global real. Certifique-se de que o tamanho do passo de rotação seja de 12° e que o incremento do passo do motor seja acionado apenas quando a unidade em tempo real, ou seja, os segundos lidos do módulo RTC, for ímpar.
8. Conecte o pino de 5 V da placa do microcontrolador ao RTC VCC e o GND do microcontrolador ao GND do RTC.
9. Conecte o pino SCL do RTC ao pino A0 e o SDA ao pino A1 do microcontrolador. Este módulo pode garantir um tamanho de passo de 12°, fazendo 30 passos em uma revolução. Certifique-se de que o incremento da etapa ocorra a cada segundo ímpar. Deixe este módulo de software acionar o motor de passo²¹.
10. Verifique se a configuração está funcionando corretamente executando o código, que está disponível na página do GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
11. Baixe o Android Studio para desenvolver o aplicativo de câmera automática. Certifique-se de que os requisitos do sistema sejam atendidos e baixe o software do site.

3. Desenvolvimento de um driver para vigilância de cena baseada em dispositivos móveis e transmissão de imagem como um módulo cliente

1. Desenvolva um aplicativo de câmera no sistema operacional Android que possa tirar fotos a cada 2 s, especialmente quando os segundos são números ímpares.
2. Conecte o celular ao sistema. No Android Studio, clique em Novo > Novo projeto e escolha Empty Views Activity (Atividade de visualizações vazias). Clique em Avançar para desenvolver um código Android, que está disponível em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
3. Certifique-se de que o aplicativo capture as imagens automaticamente e as envie para um dispositivo remoto de forma consistente.
4. Transmita instantâneos do aplicativo móvel imediatamente após tirar o instantâneo para o dispositivo emparelhado, ou seja, para o sistema do cirurgião remoto, por meio de Bluetooth.
   NOTA: Certifique-se de que os módulos mencionados nas seções 2 e 3 sejam executados na sincronização de tempo, um para cada número par de segundos e o outro para cada número ímpar de segundos.

4. Desenvolvimento de um módulo cliente para receber e lidar com imagens de vigilância

1. Abra o módulo do servidor, que é uma interface gráfica do usuário.
2. Digite o número da porta VVID no campo de texto VVID, cujo valor padrão é 94f39d29 7d6d 437d 973b fba39e49d4ee.
3. Clique em Criar soquete para criar e vincular o soquete. Clique em Conectar para estabelecer uma conexão com o aplicativo móvel.
4. Clique em Capturar para capturar e salvar as imagens de vigilância da cena na pasta local
5. Insira o nome da pasta local no nome da pasta de campo se precisar ser diferente do padrão mencionado.

5. Operando o braço robótico

1. Deixe o módulo cliente incluir um braço robótico também. Projete o braço para ter um movimento rotacional em sua base, ombro, cotovelo, pulso e dedos.
2. Certifique-se de que os servos MG 996R sejam usados para controlar o movimento rotacional na base, ombro e cotovelo. Certifique-se de que o servo motor SG 90 seja usado para controlar o movimento rotacional no cotovelo e nos dedos.
3. Compile o código fornecido em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR no IDE do microcontrolador para acionar o braço robótico com base nos comandos recebidos do cirurgião remoto.

6. 3D reconstrução para realidade aumentada

1. Leia duas imagens de cada vez em sequência, uma a uma, da pasta local para obter a possível sobreposição (como as imagens são coletadas nas proximidades, haverá uma sobreposição entre as imagens consecutivas) entre elas.
2. Projete um filtro terciário de acordo com o requisito da Descrição de Recursos Intensificados Direcionais usando o algoritmo Terciary Filtering²² (DITF) para obter o gradiente e a orientação.
3. Extraia os recursos usando o método DITF²², conforme mostrado na Figura 3.
4. Reconstrua imagens 3D dos recursos coletados usando o SFM²³.

7. Reconhecimento de gestos manuais no local do cirurgião

1. Facilitar o cirurgião a inspecionar os recursos da imagem reconstruída em 3D, permitindo que ele visualize o ambiente de todas as perspectivas, fornecendo rotação baseada em gestos com as mãos e zoom in/out dos recursos reconstruídos.
2. Normalize e mapeie a distância entre a ponta do polegar do cirurgião e o dedo indicador da mão direita em um ângulo de rotação correspondente. Seja a normalização de tal forma que a distância mínima corresponda a 0° e a máxima a 180°.
3. Transmita o controle de gestos manuais, através de Bluetooth, para o ambiente de cirurgia remota, bem como para a rotação do prato de objetos, o que o faz girar em seu eixo à medida que os recursos reconstruídos em 3D giram na extremidade do cirurgião.
4. Encontre a distância entre a ponta e o polegar da mão esquerda do cirurgião para controlar o movimento dos dedos do braço robótico.
5. Meça o ângulo de elevação a partir da distância espacial entre a ponta do polegar e os dedos indicador da mão esquerda do cirurgião em relação a um plano de solo xy imaginário para determinar o ângulo de elevação. Mapeie esse ângulo em um ângulo de elevação que o braço do robô possa fazer com o plano x-y.
6. Encontre o ângulo de azimute que a mão do cirurgião faz com a do plano y-z virtual. Identifique esses ângulos por meio do reconhecimento baseado em gestos com as mãos.
7. Mapeie os ângulos de distância, elevação e azimute para controlar o movimento do dedo e a rotação do braço do robô, que correspondem aos ângulos de elevação e azimute.
8. Deixe o cirurgião inspecionar as características reconstruídas ampliando e girando. Deixe o cirurgião transmitir comandos ao braço do robô para realizar a cirurgia de um local remoto.
9. Certifique-se de que os comandos de cirurgia sejam transmitidos como uma sequência de controle de sequência, começando com uma concordância de cadeia de caracteres seguida pelos valores para controlar a rotação do prato e o controlador do braço robótico. Seja [θ_b, θ_s, θ_e, θ_w, θ_f] o ângulo do vetor que consiste em valores, cada um correspondendo ao sinal de controle correspondente à base, ombro, cotovelo, pulso e dedo do braço do robô.
   NOTA: O link do GitHub fornece o código para habilitar o controle de gestos com as mãos no campo cirúrgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

O protocolo foi testado com o modelo de simulador de coração. A Figura 2 mostra a configuração esperada para a vigilância ao vivo do campo cirúrgico com a ajuda de câmeras distribuídas espacialmente. As câmeras distribuídas, conforme mostrado na Figura 2, ajudam a aumentar a resolução espacial do campo para uma reconstrução 3D eficaz. No entanto, realizar o posicionamento físico dessas câmeras em vários locais espaciais envolve complexidade. Portanto, otimizamos o design de configuração e criamos a solução de arranjo de câmera espacialmente autoorientado girado por um motor NEMA acionado por um driver TB6600. Essa estrutura é viável e é implementada no modelo e a mesma é mostrada na Figura 1.

Na Figura 1, os instantâneos automáticos da câmera seguidos por sua transmissão por meio do protocolo Bluetooth são regidos por um código Android. O módulo é organizado de tal forma que a captura ocorre uma vez a cada segundo ímpar, e sua transmissão é feita uma vez a cada segundo par, conforme mencionado na seção 3. O módulo microcontrolador que faz a interface do motor NEMA cuida de girar a estrutura uma vez a cada segundo, para que seja garantido tempo suficiente para a captura de fotos sem desfoque. Assim, no total, 30 fotos são tiradas em 360° de rotação e são transmitidas usando Bluetooth.

Além disso, na Figura 1, é mostrada a visão reconstruída em 3D dos descritores DITF do ambiente cirúrgico. Deve-se notar que essas reconstruções baseadas em descritores podem ser inspecionadas pelos cirurgiões por zoom e rotação por meio do mapeamento do movimento da mão. Além disso, esses movimentos são enviados ao ambiente cirúrgico para imitar a cirurgia para que o cateter possa ser inserido no campo real. O mapeamento de movimento é feito de forma que eles sejam mapeados em seis ângulos diferentes para controlar as partes do robô, a saber, base, ombro, cotovelo, pulso, garra e dedo. Esses ângulos são denotados em forma vetorial como [θ_b, θ_s, θ_e, θ_w, θ_f]. No vetor dado, o valor θ_pcorresponde ao mapeamento de movimento para girar o prato do objeto humano. O mesmo θ_pé usado para orientar o descritor exibido no emulador do HoloLens também no lado do cirurgião.

A Figura 3 mostra os recursos DITF do modelo fantasma, que é a etapa essencial para a reconstrução 3D. Com base nos recursos extraídos, as correspondências são identificadas na correspondência de imagens. A correspondência entre as imagens de referência e vários resultados de rotação de 45° é mostrada na Figura 4. A correspondência com cores diferentes indica claramente a eficácia de identificar e combinar características semelhantes, mesmo quando as imagens estão em diferentes orientações de visualização. Na Figura 5, a precisão do mapeamento de movimento está incluída, o que indica que quando a distância entre os dois dedos é baixa, a precisão é alta. No entanto, quando a distância entre os dedos aumenta, a precisão começa a diminuir.

Por outro lado, o tempo necessário para o modelo processar os dados é essencial em AR. Portanto, esse parâmetro é incluído para a validação do modelo proposto, o tempo de processamento da imagem é medido e os resultados são verificados com algoritmos existentes, como Oriented FAST e rotated BRIEF (ORB)²⁴ e Boosted Efficient Binary Local Image Descriptor (BEBLID)²⁵. Os resultados mostram que o DITF supera os modelos existentes, como ORB e BEBLID, em termos de latência, como mostra a Figura 6. Além disso, o modelo de reconstrução 3D é validado com o erro de reconstrução, e a figura mostrada na Figura 7 indica que o histograma é estreito, o que implica que o erro de reconstrução é mínimo; mostra que a reconstrução do algoritmo proposto é verificada e validada. A Figura 8 mostra a saída da reconstrução 3D para o modelo proposto. Ele reflete a clareza na visualização, e os resultados quantitativos da imagem também são verificados usando os gráficos. Esses resultados comprovam que o modelo proposto extraiu todas as características necessárias com a transformação de rotação para reconstruir o modelo 3D. Portanto, o especialista remoto pode ter visualização e controle precisos do campo cirúrgico.

Figura 1: Implementação de configuração de hardware para cirurgia automatizada de Substituição Transcateter da Valva Aórtica usando Realidade Aumentada. (A) Campo Cirúrgico com sistema de monitoramento ao vivo. (B) Visualização baseada em realidade aumentada. Clique aqui para ver uma versão maior desta figura.

Figura 2: Modelo esperado do ambiente cirúrgico. O modelo mostrado é equipado com vigilância ao vivo do ambiente cirúrgico usando sensores de câmera distribuídos espacialmente. Clique aqui para ver uma versão maior desta figura.

Figura 3: Modelo de um coração humano colocado em teste cirúrgico e suas características extraídas usando algoritmo descritor de recursos. (A) Modelo de simulador de coração de entrada. (B) Descrição de recursos intensificados direcionais usando extração de recursos de filtragem terciária do modelo de simulador de coração. Clique aqui para ver uma versão maior desta figura.

Figura 4: Correspondência de recursos entre dois recursos de imagem. (A) Descrição de recursos intensificados direcionais usando extração de recursos de filtragem terciária para o modelo de simulador de coração. (B) Descrição de recursos intensificados direcionais usando extração de recursos de filtragem terciária do modelo de simulador de coração girado a 45 °. As linhas indicam a correspondência entre as características de imagens semelhantes em duas orientações diferentes. A cor da linha indica os diferentes recursos escolhidos. Clique aqui para ver uma versão maior desta figura.

Figura 5: Precisão do rastreamento de gestos manuais. A figura mostra a precisão percentual. O número da amostra (N) é escolhido como 500. O mapeamento de movimento é feito 500 vezes, das quais o número de mapas corretos é encontrado. Em seguida, a precisão é calculada como a razão entre o mapeamento correto e o número total de amostras. Clique aqui para ver uma versão maior desta figura.

Figura 6: Latência da descrição de recursos direcionais intensificados usando filtragem terciária com FAST orientado e BRIEF girado e algoritmo descritor de imagem local binária eficiente impulsionado. A latência, que é o tempo necessário para extrair os recursos de uma imagem, é plotada. Escolhemos N como 500, o que significa que o cálculo do atraso de tempo é feito mais de 500 vezes e, em seguida, calculada a média. O procedimento é feito para três algoritmos e plotado. Clique aqui para ver uma versão maior desta figura.

Figura 7: Distribuição de erros de reconstrução do modelo proposto. Erro de reconstrução é o erro entre a imagem 3D reconstruída de seu recurso e a imagem original. O gráfico de erros é um histograma que indica a contagem de ocorrências de um evento específico. A contagem é máxima quando o erro é zero e decai em ambos os lados. Este é o resultado desejado. A figura indica que a variância do histograma (densidade normal) é menor, então o erro da média (0) não está muito espalhado em nenhuma direção. Clique aqui para ver uma versão maior desta figura.

Figura 8: Reconstrução 3D do modelo de coração. Cada ponto colorido indica o ponto reconstruído em 3D a partir da feição correspondente. A partir de agora, o algoritmo de reconstrução de recursos normaliza a cor e, com isso, outros recursos são coloridos. Clique aqui para ver uma versão maior desta figura.

Discussion

Em um trabalho existente¹⁵, raios-X e tomografias computadorizadas são examinados para localizar o cateter no coração. No entanto, a substituição do TAVI AR estabelece uma nova possibilidade no procedimento cirúrgico do TAVI¹⁸ pela implementação de um modelo automatizado usando reconstrução 3D. Como mencionado na seção de protocolo, este trabalho tem cinco etapas para projetar. O primeiro estágio do DITF²², mencionado na seção 6, que propusemos em nosso trabalho anterior²², é aprimorado de forma a incorporar o modelo em aplicações médicas. O segundo estágio da reconstrução 3D é a tarefa desafiadora de construir o modelo 3D a partir de pontos 2D. Testamos o modelo com várias imagens de entrada para validar o modelo. SFM²³ é adotado para reconstruir as imagens. A correspondência da imagem é medida com a ajuda do DITF²², juntamente com uma matriz de calibração. A próxima etapa é o rastreamento de gestos manuais; a interface do controle de gestos com a mão na reconstrução 3D é outra tarefa desafiadora em tempo real. O controle de escala e a variação de rotação são incorporados com gestos manuais para facilitar o acesso aos modelos 3D pelo especialista remoto. A quarta etapa é a criação de aplicativos móveis, que é indicada na seção 3 para a captura automática de imagens. Este aplicativo carrega os dados para o especialista remoto como um modelo 3D. A etapa final é a configuração do hardware, que é demonstrada usando o modelo de simulador de coração com um braço robótico, que é automatizado para inserir o cateter para substituir a válvula lesada do coração, conforme mostrado na Figura 1.

O método desenvolvido é para realizar a cirurgia remota a partir da vigilância da cena do ambiente cirúrgico usando realidade aumentada e extração de recursos. As contribuições significativas propostas neste artigo não são vistas na literatura de acordo com nosso melhor conhecimento. O método desenvolvido possui baixa latência para reconstruir a imagem 3D a partir das feições. Além disso, o método tem um erro muito baixo entre os recursos reconstruídos e a imagem original. Essa latência e o erro são mostrados na Figura 6 e na Figura 7, respectivamente. Os números também mostram que os outros algoritmos, ou seja, ORB²⁴ e BEBLID²⁵ , são abaixo do padrão do que o método proposto.

Os desafios que enfrentamos no desenvolvimento do método são a transmissão baseada em protocolo Bluetooth entre o aplicativo móvel e o servidor remoto. Como a captura e transmissão da cena devem ser concluídas a cada 2 segundos, exigiu comunicação de velocidade ultra-alta. Muitas vezes, acabava em um soquete quebrado e exigia muito tratamento de exceções e gerenciamento de rotina paralelo para um processamento tranquilo. Além disso, enfrentamos alguns problemas durante o desenvolvimento e implementação do método.

No entanto, existem algumas técnicas de solução de problemas para resolvê-los. A comunicação Bluetooth envolve a escolha do canal correto ou do número da porta VVID. Além disso, a troca do dispositivo Bluetooth em qualquer extremidade deve ser garantida antes de prosseguir. Em relação à rotina baseada em microprocessador para acionar o braço robótico e o braço de rotação suspenso, os números das portas para comunicação serial devem ser garantidos. A conexão do driver do motor, considerando o NEMA e o servo motor, deve ser garantida adequadamente. Se não for feito corretamente, o motor NEMA gira de maneira indesejada, mesmo que apenas a conexão com o driver seja feita de maneira errada. Os fios de duas bobinas do motor NEMA precisam ser identificados corretamente; caso contrário, a conexão com o driver pode acabar girando de forma indesejada ou até mesmo danificar o motor. O projeto de um acoplador para suportar a suspensão de um braço giratório, que pesa cerca de 1 kg, foi um desafio. Para resolver o problema, fizemos um furo de 1 mm de diâmetro no eixo do motor. Equilibrar os dois lados do braço, incluindo o peso de um dispositivo móvel, também é um desafio; caso contrário, a estrutura pode se arrastar na superfície do solo, o que levará à derrubada ou puxada da estrutura do eixo do motor. O aparafusamento adequado na base, ombro, cotovelo, pulso e dedos do braço do robô precisa ser garantido; caso contrário, as peças podem cair quando ele gira e levanta o peso. A execução paralela de dois módulos deve ser resolvida definindo um ambiente Python apropriado, com diferentes threads sendo executados em paralelo para um bom funcionamento.

Os resultados concluem que o modelo TAVI¹⁸ automático proposto é um método eficaz para orientação cirúrgica em RA. Este modelo proposto é flexível para aplicar este protótipo a qualquer cirurgia na área médica, de acordo com a orientação do especialista médico. Modelos baseados em aprendizado podem melhorar a reconstrução 3D. Para reconstruir o modelo 3D, várias visualizações com boas imagens de iluminação precisam ser fornecidas como entrada; no entanto, isso pode ser resolvido no futuro. Além disso, no futuro, gostaríamos de desenvolver uma transmissão baseada em comunicação 5G para garantir baixa latência e comunicação ultraconfiável para uma operação sem falhas e suave. Além disso, gostaríamos de desenvolver nosso próprio dispositivo AR em vez de um emulador usado atualmente. Isso pode melhorar a visualização do modelo 3D em um ambiente cirúrgico ao vivo.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
O software	https://developer.android.com/studio	Android IDE	pode ser baixado neste link
Placa Arduino	Ardunio Uno	Ardunio Uno	Microcontrolador para processamento
software arduino		https://www.arduino.cc/en/software.	O software pode ser baixado neste link
Modelo de fantasma de coração humano	Fabricante e exportador de equipamentos de laboratório de biologia	B071YBLX2V (8B-ZB2Q-H3MS-1)	modelo leve com 3 partes para a análise profunda do coração.
suporte móvel	Humilde suporte universal monopoad	B07S9KNGVS	Para transportar o celular no campo cirúrgico
pycharm	IDE	software https://www.jetbrains.com/pycharm/	software pode ser baixado neste link
Braço robótico	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	arm pode ser controlado através de controle signal.it tem 5 graus de liberdade de acesso.
servo motor	Kollmorgen Co-Engineers Motors	MG-966R	servo motor de alto torque, servopulsos variando de 500 a 2500 microssegundos (µ s), com uma frequência de 50Hz a 333Hz.
servomotor	Kollmorgen Co-Engenheiros  Motores	SG-90R	1,8 kg-cm a 2,5 kg-cm de carga podem ser aplicados ao servo SG-90R.
Motor deslizante	28BYJ-48	28BYJ-48	Motor do stépero, C.C. 5V, freqüência de 100 hertz, torque 1200 Gf.cm
Motor deslizante	Nema 23	Nema	, C.C. de 9V - de 42 V, freqüência de 100 hertz