Este artigo apresenta o projeto e a implementação de um módulo de cirurgia automática baseado em reconstrução 3D baseada em realidade aumentada (AR). O sistema permite a cirurgia remota, permitindo que os cirurgiões inspecionem características reconstruídas e repliquem os movimentos cirúrgicos da mão como se estivessem realizando a cirurgia nas proximidades.
É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de método
Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada
Neste artigo
Resumo
Resumo
A Realidade Aumentada (AR) está em alta demanda em aplicações médicas. O objetivo do artigo é fornecer cirurgia automática usando RA para o implante percutâneo da valva aórtica (TAVI). O TAVI é o procedimento médico alternativo para cirurgia de coração aberto. O TAVI substitui a válvula lesada por uma nova usando um cateter. No modelo existente, a orientação remota é fornecida, enquanto a cirurgia não é automatizada com base na RA. Neste artigo, implantamos uma câmera alinhada espacialmente que é conectada a um motor para a automação da captura de imagens no ambiente cirúrgico. A câmera rastreia a imagem 2D de alta resolução do coração do paciente junto com o banco de testes do cateter. Essas imagens capturadas são carregadas usando o aplicativo móvel para um cirurgião remoto especialista em cardiologia. Esta imagem é utilizada para a reconstrução 3D a partir do rastreamento de imagens 2D. Isso é exibido em um HoloLens como um emulador em um laptop. O cirurgião pode inspecionar remotamente as imagens reconstruídas em 3D com recursos adicionais de transformação, como rotação e dimensionamento. Esses recursos de transformação são ativados por meio de gestos com as mãos. A orientação do cirurgião é transmitida ao ambiente cirúrgico para automatizar o processo em cenários em tempo real. O banco de testes do cateter no campo cirúrgico é controlado pela orientação do cirurgião remoto por gestos manuais. O modelo de protótipo desenvolvido demonstra a eficácia da orientação cirúrgica remota por meio de RA.
Introdução
A RA pode sobrepor o modelo 3D em um ambiente do mundo real. O desenvolvimento tecnológico em direção à RA fez uma mudança de paradigma em muitos campos, ou seja, educação1, medicina2, manufatura3 e entretenimento4. A tecnologia AR, juntamente com a comunicação ultraconfiável de baixa latência, prova seu papel inevitável na área médica. Desde o estágio de aprendizado da anatomia humana até a orientação cirúrgica, os estágios de aprendizado podem ser visualizados com software 5,6 e hardware com tecnologia AR. A RA fornece uma solução crucial e confiável para o médico em um ambiente cirúrgico 7,8.
A estenose valvar aórtica é a doença valvar cardíaca, mais comum na humanidade9. A causa raiz da doença são os maus hábitos alimentares e as rotinas irregulares do dia-a-dia. O sintoma e o resultado da doença é o estreitamento da válvula cardíaca, seguido de uma redução no fluxo sanguíneo. Este problema precisa ser resolvido antes que qualquer dano ocorra ao coração humano. Assim, o coração fica sobrecarregado para processar o fluxo sanguíneo. Portanto, antes que qualquer dano aconteça, é necessário fazer uma cirurgia, que, devido aos desenvolvimentos tecnológicos dos últimos dias, também pode ser feita com o procedimento TAVI. O procedimento pode ser adotado com base na condição do coração e de outras partes do corpo dos pacientes. Neste TAVI10,11, o cateter é inserido para substituir a válvula danificada no coração. No entanto, colocar a posição12 do cateter para substituir a válvula é tedioso para o médico. Essa ideia nos motivou a projetar um modelo de cirurgia automatizada baseado no AR13,14, que ajuda o cirurgião a posicionar com precisão a válvula durante o processo de substituição. Além disso, a cirurgia pode ser realizada por um algoritmo de mapeamento de movimento, que mapeia o movimento do cirurgião capturado de um local remoto para o braço robótico.
No trabalho existente 15,16,17, a visualização do procedimento TAVI18 é monitorada por meio de fluoroscopia. Portanto, é difícil analisar a válvula cardíaca e tedioso encontrar o local de substituição. Isso cria uma barreira para posicionar o cateter no coração humano. Além disso, o movimento remoto é mapeado para o campo cirúrgico para automatizar o processo. No entanto, para superar a lacuna de pesquisa, propomos uma cirurgia robótica automatizada para substituição valvar usando tecnologia assistida por AR.
O protocolo é um modelo genérico que pode ser aplicado a todos os ambientes cirúrgicos. Na fase inicial do trabalho, imagens 2D são capturadas em todo o ambiente cirúrgico com a resolução espacial máxima do maior grau de liberdade. Isso significa que imagens suficientes são capturadas para fins de reconstrução 3D19 , seguidas de mapeamento de movimento por meio do rastreamento de gestos manuais20.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Protocolo
1. Ambiente cirúrgico
- Projete um ambiente cirúrgico conforme mostrado na Figura 1. Certifique-se de que o ambiente tenha um prato de transporte de objetos, um braço robótico e dois braços pendurados lateralmente, um para segurar um espaço reservado para câmera e o outro para ter um fundo branco consistente junto com o módulo de pesagem para balança.
- Desenvolva dois drivers, um para o instantâneo do ambiente cirúrgico ao vivo, conforme mencionado nas etapas 2.1 a 2.10, e outro para controlar o mecanismo giratório que suporta a vigilância 360°, conforme mencionado nas etapas 3.1 a 3.4.
- Antes de implementar os dois módulos acima, habilite o Bluetooth do dispositivo móvel e do laptop, que servem como emulador do HoloLens do cirurgião.
- Emparelhe os dispositivos para transmissão ininterrupta de imagens.
2. Configurando o driver para controlar os dois braços suspensos
- Certifique-se de que os braços suspensos sejam controlados por um motor de passo com o arranjo mostrado na Figura 2 para uma rotação perfeita de 360°.
- Conecte o motor à placa do microcontrolador usando o driver TB 6600. Para operar o motor, instale o IDE do microcontrolador a partir do navegador.
- Clique no botão Download para baixar o software. Em seguida, no IDE do microcontrolador, vá para Arquivo > Abrir um novo esboço para escrever o código.
- Certifique-se de conectar a placa do microcontrolador para fazer interface com o novo esboço por meio de uma porta de conexão dedicada, digamos COM 4. Verifique a porta Com e verifique se ela mostra a placa do microcontrolador.
- Verifique as configurações do interruptor de hardware do driver do motor de passo TB 6600. Certifique-se de que as configurações sejam tais que o fluxo de corrente seja de 2 A, o que pode ser obtido definindo SW4 ON e SW5 e SW6 OFF.
- Certifique-se de que as posições dos interruptores de SW1, SW2 e SW3 estejam definidas de forma que o micro-passo seja de 1/8 de passos para atingir os passos de revolução de acordo com o requisito. Certifique-se de que as configurações sejam SW1 OFF, SW2 ON e SW3 OFF no TB6600.
- Conecte o RTC 3231 ao microcontrolador para ter sincronização em tempo global real. Certifique-se de que o tamanho do passo de rotação seja de 12° e que o incremento do passo do motor seja acionado apenas quando a unidade em tempo real, ou seja, os segundos lidos do módulo RTC, for ímpar.
- Conecte o pino de 5 V da placa do microcontrolador ao RTC VCC e o GND do microcontrolador ao GND do RTC.
- Conecte o pino SCL do RTC ao pino A0 e o SDA ao pino A1 do microcontrolador. Este módulo pode garantir um tamanho de passo de 12°, fazendo 30 passos em uma revolução. Certifique-se de que o incremento da etapa ocorra a cada segundo ímpar. Deixe este módulo de software acionar o motor de passo21.
- Verifique se a configuração está funcionando corretamente executando o código, que está disponível na página do GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
- Baixe o Android Studio para desenvolver o aplicativo de câmera automática. Certifique-se de que os requisitos do sistema sejam atendidos e baixe o software do site.
3. Desenvolvimento de um driver para vigilância de cena baseada em dispositivos móveis e transmissão de imagem como um módulo cliente
- Desenvolva um aplicativo de câmera no sistema operacional Android que possa tirar fotos a cada 2 s, especialmente quando os segundos são números ímpares.
- Conecte o celular ao sistema. No Android Studio, clique em Novo > Novo projeto e escolha Empty Views Activity (Atividade de visualizações vazias). Clique em Avançar para desenvolver um código Android, que está disponível em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
- Certifique-se de que o aplicativo capture as imagens automaticamente e as envie para um dispositivo remoto de forma consistente.
- Transmita instantâneos do aplicativo móvel imediatamente após tirar o instantâneo para o dispositivo emparelhado, ou seja, para o sistema do cirurgião remoto, por meio de Bluetooth.
NOTA: Certifique-se de que os módulos mencionados nas seções 2 e 3 sejam executados na sincronização de tempo, um para cada número par de segundos e o outro para cada número ímpar de segundos.
4. Desenvolvimento de um módulo cliente para receber e lidar com imagens de vigilância
- Abra o módulo do servidor, que é uma interface gráfica do usuário.
- Digite o número da porta VVID no campo de texto VVID, cujo valor padrão é 94f39d29 7d6d 437d 973b fba39e49d4ee.
- Clique em Criar soquete para criar e vincular o soquete. Clique em Conectar para estabelecer uma conexão com o aplicativo móvel.
- Clique em Capturar para capturar e salvar as imagens de vigilância da cena na pasta local
- Insira o nome da pasta local no nome da pasta de campo se precisar ser diferente do padrão mencionado.
5. Operando o braço robótico
- Deixe o módulo cliente incluir um braço robótico também. Projete o braço para ter um movimento rotacional em sua base, ombro, cotovelo, pulso e dedos.
- Certifique-se de que os servos MG 996R sejam usados para controlar o movimento rotacional na base, ombro e cotovelo. Certifique-se de que o servo motor SG 90 seja usado para controlar o movimento rotacional no cotovelo e nos dedos.
- Compile o código fornecido em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR no IDE do microcontrolador para acionar o braço robótico com base nos comandos recebidos do cirurgião remoto.
6. 3D reconstrução para realidade aumentada
- Leia duas imagens de cada vez em sequência, uma a uma, da pasta local para obter a possível sobreposição (como as imagens são coletadas nas proximidades, haverá uma sobreposição entre as imagens consecutivas) entre elas.
- Projete um filtro terciário de acordo com o requisito da Descrição de Recursos Intensificados Direcionais usando o algoritmo Terciary Filtering22 (DITF) para obter o gradiente e a orientação.
- Extraia os recursos usando o método DITF22, conforme mostrado na Figura 3.
- Reconstrua imagens 3D dos recursos coletados usando o SFM23.
7. Reconhecimento de gestos manuais no local do cirurgião
- Facilitar o cirurgião a inspecionar os recursos da imagem reconstruída em 3D, permitindo que ele visualize o ambiente de todas as perspectivas, fornecendo rotação baseada em gestos com as mãos e zoom in/out dos recursos reconstruídos.
- Normalize e mapeie a distância entre a ponta do polegar do cirurgião e o dedo indicador da mão direita em um ângulo de rotação correspondente. Seja a normalização de tal forma que a distância mínima corresponda a 0° e a máxima a 180°.
- Transmita o controle de gestos manuais, através de Bluetooth, para o ambiente de cirurgia remota, bem como para a rotação do prato de objetos, o que o faz girar em seu eixo à medida que os recursos reconstruídos em 3D giram na extremidade do cirurgião.
- Encontre a distância entre a ponta e o polegar da mão esquerda do cirurgião para controlar o movimento dos dedos do braço robótico.
- Meça o ângulo de elevação a partir da distância espacial entre a ponta do polegar e os dedos indicador da mão esquerda do cirurgião em relação a um plano de solo xy imaginário para determinar o ângulo de elevação. Mapeie esse ângulo em um ângulo de elevação que o braço do robô possa fazer com o plano x-y.
- Encontre o ângulo de azimute que a mão do cirurgião faz com a do plano y-z virtual. Identifique esses ângulos por meio do reconhecimento baseado em gestos com as mãos.
- Mapeie os ângulos de distância, elevação e azimute para controlar o movimento do dedo e a rotação do braço do robô, que correspondem aos ângulos de elevação e azimute.
- Deixe o cirurgião inspecionar as características reconstruídas ampliando e girando. Deixe o cirurgião transmitir comandos ao braço do robô para realizar a cirurgia de um local remoto.
- Certifique-se de que os comandos de cirurgia sejam transmitidos como uma sequência de controle de sequência, começando com uma concordância de cadeia de caracteres seguida pelos valores para controlar a rotação do prato e o controlador do braço robótico. Seja [θb, θs, θe, θw, θf] o ângulo do vetor que consiste em valores, cada um correspondendo ao sinal de controle correspondente à base, ombro, cotovelo, pulso e dedo do braço do robô.
NOTA: O link do GitHub fornece o código para habilitar o controle de gestos com as mãos no campo cirúrgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Resultados
O protocolo foi testado com o modelo de simulador de coração. A Figura 2 mostra a configuração esperada para a vigilância ao vivo do campo cirúrgico com a ajuda de câmeras distribuídas espacialmente. As câmeras distribuídas, conforme mostrado na Figura 2, ajudam a aumentar a resolução espacial do campo para uma reconstrução 3D eficaz. No entanto, realizar o posicionamento físico dessas câmeras em vários locais espaciais envolve complexidade. Portanto, otimizamos...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Discussão
Em um trabalho existente15, raios-X e tomografias computadorizadas são examinados para localizar o cateter no coração. No entanto, a substituição do TAVI AR estabelece uma nova possibilidade no procedimento cirúrgico do TAVI18 pela implementação de um modelo automatizado usando reconstrução 3D. Como mencionado na seção de protocolo, este trabalho tem cinco etapas para projetar. O primeiro estágio do DITF22, mencionado na seção 6, que propusemos em no...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Divulgações
Os autores declaram não haver conflitos de interesse.
Agradecimentos
Os autores reconhecem nenhum financiamento para esta pesquisa.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Materiais
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| O software | https://developer.android.com/studio | Android IDE | pode ser baixado neste link |
| Placa Arduino | Ardunio Uno | Ardunio Uno | Microcontrolador para processamento |
| software arduino | https://www.arduino.cc/en/software. | O software pode ser baixado neste link | |
| Modelo de fantasma de coração humano | Fabricante e exportador de equipamentos de laboratório de biologia | B071YBLX2V (8B-ZB2Q-H3MS-1) | modelo leve com 3 partes para a análise profunda do coração. |
| suporte móvel | Humilde suporte universal monopoad | B07S9KNGVS | Para transportar o celular no campo cirúrgico |
| pycharm | IDE | software https://www.jetbrains.com/pycharm/ | software pode ser baixado neste link |
| Braço robótico | Printed-bots | B08R2JLKYM(P0-E2UT-JSOU) | arm pode ser controlado através de controle signal.it tem 5 graus de liberdade de acesso. |
| servo motor | Kollmorgen Co-Engineers Motors | MG-966R | servo motor de alto torque, servopulsos variando de 500 a 2500 microssegundos (µ s), com uma frequência de 50Hz a 333Hz. |
| servomotor | Kollmorgen Co-Engenheiros Motores | SG-90R | 1,8 kg-cm a 2,5 kg-cm de carga podem ser aplicados ao servo SG-90R. |
| Motor deslizante | 28BYJ-48 | 28BYJ-48 | Motor do stépero, C.C. 5V, freqüência de 100 hertz, torque 1200 Gf.cm |
| Motor deslizante | Nema 23 | Nema | , C.C. de 9V - de 42 V, freqüência de 100 hertz |
Referências
- Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
- Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
- Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
- Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
- Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
- Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
- Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
- Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
- Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
- Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
- Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
- Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
- Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
- Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
- de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
- Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
- Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
- Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
- Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
- Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
- Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
- Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
- Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
- Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
- Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Reimpressões e permissões
