Name: Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada (Vídeo) | JoVE Journal
Uploaded: 2024-08-09T14:25:00.000+00:00
Duration: 7 min 46 s
Description: Aprenda cirurgia remota automatizada com realidade aumentada e robótica para procedimentos cardíacos. Este método utiliza reconstrução 3D em tempo real e extração de características para oferecer controle preciso ao cirurgião.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Os autores reconhecem nenhum financiamento para esta pesquisa.

1. Ambiente cirúrgico
<ol><li>Projete um ambiente cirúrgico conforme mostrado na Figura 1. Certifique-se de que o ambiente tenha um prato de transporte de objetos, um braço robótico e dois braços pendurados lateralmente, um para segurar um espaço reservado para câmera e o outro para ter um fundo branco consistente junto com o módulo de pesagem para balança.</li>
	<li>Desenvolva dois drivers, um para o instantâneo do ambiente cirúrgico ao vivo, conforme mencionado nas etapas 2.1 a 2.10, e outro para controlar o mecanismo giratório que suporta a vigilância 360°, conforme mencionado nas etapas 3.1 a 3.4.</li>
	<li>Antes de implementar os dois módulos acima, habilite o Bluetooth do dispositivo móvel e do laptop, que servem como emulador do HoloLens do cirurgião.</li>
	<li>Emparelhe os dispositivos para transmissão ininterrupta de imagens.</li>
</ol>2. Configurando o driver para controlar os dois braços suspensos
<ol><li>Certifique-se de que os braços suspensos sejam controlados por um motor de passo com o arranjo mostrado na Figura 2 para uma rotação perfeita de 360°.</li>
	<li>Conecte o motor à placa do microcontrolador usando o driver TB 6600. Para operar o motor, instale o IDE do microcontrolador a partir do navegador.</li>
	<li>Clique no botão Download para baixar o software. Em seguida, no IDE do microcontrolador, vá para Arquivo > Abrir um novo esboço para escrever o código.</li>
	<li>Certifique-se de conectar a placa do microcontrolador para fazer interface com o novo esboço por meio de uma porta de conexão dedicada, digamos COM 4. Verifique a porta Com e verifique se ela mostra a placa do microcontrolador.</li>
	<li>Verifique as configurações do interruptor de hardware do driver do motor de passo TB 6600. Certifique-se de que as configurações sejam tais que o fluxo de corrente seja de 2 A, o que pode ser obtido definindo SW4 ON e SW5 e SW6 OFF.</li>
	<li>Certifique-se de que as posições dos interruptores de SW1, SW2 e SW3 estejam definidas de forma que o micro-passo seja de 1/8 de passos para atingir os passos de revolução de acordo com o requisito. Certifique-se de que as configurações sejam SW1 OFF, SW2 ON e SW3 OFF no TB6600.</li>
	<li>Conecte o RTC 3231 ao microcontrolador para ter sincronização em tempo global real. Certifique-se de que o tamanho do passo de rotação seja de 12° e que o incremento do passo do motor seja acionado apenas quando a unidade em tempo real, ou seja, os segundos lidos do módulo RTC, for ímpar.</li>
	<li>Conecte o pino de 5 V da placa do microcontrolador ao RTC VCC e o GND do microcontrolador ao GND do RTC.</li>
	<li>Conecte o pino SCL do RTC ao pino A0 e o SDA ao pino A1 do microcontrolador. Este módulo pode garantir um tamanho de passo de 12°, fazendo 30 passos em uma revolução. Certifique-se de que o incremento da etapa ocorra a cada segundo ímpar. Deixe este módulo de software acionar o motor de passo21.</li>
	<li>Verifique se a configuração está funcionando corretamente executando o código, que está disponível na página do GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Baixe o Android Studio para desenvolver o aplicativo de câmera automática. Certifique-se de que os requisitos do sistema sejam atendidos e baixe o software do site.</li>
</ol>3. Desenvolvimento de um driver para vigilância de cena baseada em dispositivos móveis e transmissão de imagem como um módulo cliente
<ol><li>Desenvolva um aplicativo de câmera no sistema operacional Android que possa tirar fotos a cada 2 s, especialmente quando os segundos são números ímpares.</li>
	<li>Conecte o celular ao sistema. No Android Studio, clique em Novo > Novo projeto e escolha Empty Views Activity (Atividade de visualizações vazias). Clique em Avançar para desenvolver um código Android, que está disponível em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
	<li>Certifique-se de que o aplicativo capture as imagens automaticamente e as envie para um dispositivo remoto de forma consistente.</li>
	<li>Transmita instantâneos do aplicativo móvel imediatamente após tirar o instantâneo para o dispositivo emparelhado, ou seja, para o sistema do cirurgião remoto, por meio de Bluetooth. NOTA: Certifique-se de que os módulos mencionados nas seções 2 e 3 sejam executados na sincronização de tempo, um para cada número par de segundos e o outro para cada número ímpar de segundos.</li>
</ol>4. Desenvolvimento de um módulo cliente para receber e lidar com imagens de vigilância
<ol><li>Abra o módulo do servidor, que é uma interface gráfica do usuário.</li>
	<li>Digite o número da porta VVID no campo de texto VVID, cujo valor padrão é 94f39d29 7d6d 437d 973b fba39e49d4ee.</li>
	<li>Clique em Criar soquete para criar e vincular o soquete. Clique em Conectar para estabelecer uma conexão com o aplicativo móvel.</li>
	<li>Clique em Capturar para capturar e salvar as imagens de vigilância da cena na pasta local</li>
	<li>Insira o nome da pasta local no nome da pasta de campo se precisar ser diferente do padrão mencionado.</li>
</ol>5. Operando o braço robótico
<ol><li>Deixe o módulo cliente incluir um braço robótico também. Projete o braço para ter um movimento rotacional em sua base, ombro, cotovelo, pulso e dedos.</li>
	<li>Certifique-se de que os servos MG 996R sejam usados para controlar o movimento rotacional na base, ombro e cotovelo. Certifique-se de que o servo motor SG 90 seja usado para controlar o movimento rotacional no cotovelo e nos dedos.</li>
	<li>Compile o código fornecido em https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR no IDE do microcontrolador para acionar o braço robótico com base nos comandos recebidos do cirurgião remoto.</li>
</ol>6. 3D reconstrução para realidade aumentada
<ol><li>Leia duas imagens de cada vez em sequência, uma a uma, da pasta local para obter a possível sobreposição (como as imagens são coletadas nas proximidades, haverá uma sobreposição entre as imagens consecutivas) entre elas.</li>
	<li>Projete um filtro terciário de acordo com o requisito da Descrição de Recursos Intensificados Direcionais usando o algoritmo Terciary Filtering22 (DITF) para obter o gradiente e a orientação.</li>
	<li>Extraia os recursos usando o método DITF22, conforme mostrado na Figura 3.</li>
	<li>Reconstrua imagens 3D dos recursos coletados usando o SFM23.</li>
</ol>7. Reconhecimento de gestos manuais no local do cirurgião
<ol><li>Facilitar o cirurgião a inspecionar os recursos da imagem reconstruída em 3D, permitindo que ele visualize o ambiente de todas as perspectivas, fornecendo rotação baseada em gestos com as mãos e zoom in/out dos recursos reconstruídos.</li>
	<li>Normalize e mapeie a distância entre a ponta do polegar do cirurgião e o dedo indicador da mão direita em um ângulo de rotação correspondente. Seja a normalização de tal forma que a distância mínima corresponda a 0° e a máxima a 180°.</li>
	<li>Transmita o controle de gestos manuais, através de Bluetooth, para o ambiente de cirurgia remota, bem como para a rotação do prato de objetos, o que o faz girar em seu eixo à medida que os recursos reconstruídos em 3D giram na extremidade do cirurgião.</li>
	<li>Encontre a distância entre a ponta e o polegar da mão esquerda do cirurgião para controlar o movimento dos dedos do braço robótico.</li>
	<li>Meça o ângulo de elevação a partir da distância espacial entre a ponta do polegar e os dedos indicador da mão esquerda do cirurgião em relação a um plano de solo xy imaginário para determinar o ângulo de elevação. Mapeie esse ângulo em um ângulo de elevação que o braço do robô possa fazer com o plano x-y.</li>
	<li>Encontre o ângulo de azimute que a mão do cirurgião faz com a do plano y-z virtual. Identifique esses ângulos por meio do reconhecimento baseado em gestos com as mãos.</li>
	<li>Mapeie os ângulos de distância, elevação e azimute para controlar o movimento do dedo e a rotação do braço do robô, que correspondem aos ângulos de elevação e azimute.</li>
	<li>Deixe o cirurgião inspecionar as características reconstruídas ampliando e girando. Deixe o cirurgião transmitir comandos ao braço do robô para realizar a cirurgia de um local remoto.</li>
	<li>Certifique-se de que os comandos de cirurgia sejam transmitidos como uma sequência de controle de sequência, começando com uma concordância de cadeia de caracteres seguida pelos valores para controlar a rotação do prato e o controlador do braço robótico. Seja [θb, θs, θe, θw, θf] o ângulo do vetor que consiste em valores, cada um correspondendo ao sinal de controle correspondente à base, ombro, cotovelo, pulso e dedo do braço do robô. NOTA: O link do GitHub fornece o código para habilitar o controle de gestos com as mãos no campo cirúrgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.</li>
</ol>

Reconstrução 3D otimizada e mapeamento de movimento para cirurgia remota assistida por AR

<ol><li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smartphone-based+augmented+reality+patient+education+in+radiation+oncology%5BTitle%5D)+AND+%22Tech+Innov+Patient+Supp+Radiation+Oncol%22%5BJournal%5D)">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).</li>
<li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation%5BTitle%5D)+AND+%22Comput+Anim+Virtual+Worlds%22%5BJournal%5D)">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223(2024).</li>
<li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop%5BTitle%5D)+AND+%22Robotic+Comput+Integ+Manufac%22%5BJournal%5D)">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664(2024).</li>
<li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time+to+imagine+an+escape%3A+investigating+the+consumer+timework+at+play+in+augmented+reality%5BTitle%5D)+AND+%22Eur+J+Market%22%5BJournal%5D)">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li>
<li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+augmented+reality+in+surgical+training%3A+a+systematic+review%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618(2020).</li>
<li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualization%2C+registration+and+tracking+techniques+for+augmented+reality+guided+surgery%3A+a+review%5BTitle%5D)+AND+%22Phys+Med+Biol%22%5BJournal%5D)">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02(2023).</li>
<li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li>
<li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bicuspid+aortic+valve%3A+The+most+frequent+and+not+so+benign+congenital+heart+disease%5BTitle%5D)+AND+%22Cardiovasc+Pathol%22%5BJournal%5D)">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604(2024).</li>
<li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years%5BTitle%5D)+AND+%22New+Engl+J+Med%22%5BJournal%5D)">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li>
<li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement%5BTitle%5D)+AND+%22J+Thorac+Cardiovas+Surg%22%5BJournal%5D)">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li>
<li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology%3A+phantom+study+results%5BTitle%5D)+AND+%22EJVES+Vascular+Forum%22%5BJournal%5D)">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li>
<li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Surgical+tele-mentoring+using+a+robotic+platform%3A+initial+experience+in+a+military+institution%5BTitle%5D)+AND+%22Surg+Endosc%22%5BJournal%5D)">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li>
<li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mentoring+approaches+in+a+safe+surgery+program+in+tanzania%3A+Lessons+learned+during+covid-19+and+recommendations+for+the+future%5BTitle%5D)+AND+%22Surg+Open+Sci%22%5BJournal%5D)">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li>
<li>de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Catheter+navigation+support+for+mechanical+thrombectomy+guidance%3A+3d%2F2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li>
<li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569(2023).</li>
<li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy%5BTitle%5D)+AND+%22Appl+Sci%22%5BJournal%5D)">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483(2023).</li>
<li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients%3A+a+contemporary+trial+benchmark%5BTitle%5D)+AND+%22Ann+Thorac+Surg%22%5BJournal%5D)">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li>
<li>Domínguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+simulation+as+training+model+of+ventricular+puncture%3A+Evidence+in+the+improvement+of+the+quality+of+punctures%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529(2023).</li>
<li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arias%3A+An+ar-based+interactive+advertising+system%5BTitle%5D)+AND+%22Plos+One%22%5BJournal%5D)">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838(2023).</li>
<li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines%5BTitle%5D)+AND+%22Mining%2CMetal+Explor%22%5BJournal%5D)">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li>
<li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311(2023).</li>
<li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+multi-view+3D+reconstruction+technology+based+on+SFM%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366(2022).</li>
<li>Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BEBLID%3A+Boosted+efficient+binary+local+image+descriptor%5BTitle%5D)+AND+%22Pattern+Recog+Lett%22%5BJournal%5D)">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li>
<li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid%5BTitle%5D)+AND+%22Int+J+Adv+Comp+Sci+Appl%22%5BJournal%5D)">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li>
</ol>

Os autores declaram não haver conflitos de interesse.

Em um trabalho existente15, raios-X e tomografias computadorizadas são examinados para localizar o cateter no coração. No entanto, a substituição do TAVI AR estabelece uma nova possibilidade no procedimento cirúrgico do TAVI18 pela implementação de um modelo automatizado usando reconstrução 3D. Como mencionado na seção de protocolo, este trabalho tem cinco etapas para projetar. O primeiro estágio do DITF22, mencionado na seção 6, que propusemos em nosso trabalho anterior22, é aprimorado de forma a incorporar o modelo em aplicações médicas. O segundo estágio da reconstrução 3D é a tarefa desafiadora de construir o modelo 3D a partir de pontos 2D. Testamos o modelo com várias imagens de entrada para validar o modelo. SFM23 é adotado para reconstruir as imagens. A correspondência da imagem é medida com a ajuda do DITF22, juntamente com uma matriz de calibração. A próxima etapa é o rastreamento de gestos manuais; a interface do controle de gestos com a mão na reconstrução 3D é outra tarefa desafiadora em tempo real. O controle de escala e a variação de rotação são incorporados com gestos manuais para facilitar o acesso aos modelos 3D pelo especialista remoto. A quarta etapa é a criação de aplicativos móveis, que é indicada na seção 3 para a captura automática de imagens. Este aplicativo carrega os dados para o especialista remoto como um modelo 3D. A etapa final é a configuração do hardware, que é demonstrada usando o modelo de simulador de coração com um braço robótico, que é automatizado para inserir o cateter para substituir a válvula lesada do coração, conforme mostrado na Figura 1. 
O método desenvolvido é para realizar a cirurgia remota a partir da vigilância da cena do ambiente cirúrgico usando realidade aumentada e extração de recursos. As contribuições significativas propostas neste artigo não são vistas na literatura de acordo com nosso melhor conhecimento. O método desenvolvido possui baixa latência para reconstruir a imagem 3D a partir das feições. Além disso, o método tem um erro muito baixo entre os recursos reconstruídos e a imagem original. Essa latência e o erro são mostrados na Figura 6 e na Figura 7, respectivamente. Os números também mostram que os outros algoritmos, ou seja, ORB24 e BEBLID25 , são abaixo do padrão do que o método proposto.
 
Os desafios que enfrentamos no desenvolvimento do método são a transmissão baseada em protocolo Bluetooth entre o aplicativo móvel e o servidor remoto. Como a captura e transmissão da cena devem ser concluídas a cada 2 segundos, exigiu comunicação de velocidade ultra-alta. Muitas vezes, acabava em um soquete quebrado e exigia muito tratamento de exceções e gerenciamento de rotina paralelo para um processamento tranquilo. Além disso, enfrentamos alguns problemas durante o desenvolvimento e implementação do método.
No entanto, existem algumas técnicas de solução de problemas para resolvê-los. A comunicação Bluetooth envolve a escolha do canal correto ou do número da porta VVID. Além disso, a troca do dispositivo Bluetooth em qualquer extremidade deve ser garantida antes de prosseguir. Em relação à rotina baseada em microprocessador para acionar o braço robótico e o braço de rotação suspenso, os números das portas para comunicação serial devem ser garantidos. A conexão do driver do motor, considerando o NEMA e o servo motor, deve ser garantida adequadamente. Se não for feito corretamente, o motor NEMA gira de maneira indesejada, mesmo que apenas a conexão com o driver seja feita de maneira errada. Os fios de duas bobinas do motor NEMA precisam ser identificados corretamente; caso contrário, a conexão com o driver pode acabar girando de forma indesejada ou até mesmo danificar o motor. O projeto de um acoplador para suportar a suspensão de um braço giratório, que pesa cerca de 1 kg, foi um desafio. Para resolver o problema, fizemos um furo de 1 mm de diâmetro no eixo do motor. Equilibrar os dois lados do braço, incluindo o peso de um dispositivo móvel, também é um desafio; caso contrário, a estrutura pode se arrastar na superfície do solo, o que levará à derrubada ou puxada da estrutura do eixo do motor. O aparafusamento adequado na base, ombro, cotovelo, pulso e dedos do braço do robô precisa ser garantido; caso contrário, as peças podem cair quando ele gira e levanta o peso. A execução paralela de dois módulos deve ser resolvida definindo um ambiente Python apropriado, com diferentes threads sendo executados em paralelo para um bom funcionamento.
Os resultados concluem que o modelo TAVI18 automático proposto é um método eficaz para orientação cirúrgica em RA. Este modelo proposto é flexível para aplicar este protótipo a qualquer cirurgia na área médica, de acordo com a orientação do especialista médico. Modelos baseados em aprendizado podem melhorar a reconstrução 3D. Para reconstruir o modelo 3D, várias visualizações com boas imagens de iluminação precisam ser fornecidas como entrada; no entanto, isso pode ser resolvido no futuro. Além disso, no futuro, gostaríamos de desenvolver uma transmissão baseada em comunicação 5G para garantir baixa latência e comunicação ultraconfiável para uma operação sem falhas e suave. Além disso, gostaríamos de desenvolver nosso próprio dispositivo AR em vez de um emulador usado atualmente. Isso pode melhorar a visualização do modelo 3D em um ambiente cirúrgico ao vivo.

A RA pode sobrepor o modelo 3D em um ambiente do mundo real. O desenvolvimento tecnológico em direção à RA fez uma mudança de paradigma em muitos campos, ou seja, educação1, medicina2, manufatura3 e entretenimento4. A tecnologia AR, juntamente com a comunicação ultraconfiável de baixa latência, prova seu papel inevitável na área médica. Desde o estágio de aprendizado da anatomia humana até a orientação cirúrgica, os estágios de aprendizado podem ser visualizados com software 5,6 e hardware com tecnologia AR. A RA fornece uma solução crucial e confiável para o médico em um ambiente cirúrgico 7,8.
A estenose valvar aórtica é a doença valvar cardíaca, mais comum na humanidade9. A causa raiz da doença são os maus hábitos alimentares e as rotinas irregulares do dia-a-dia. O sintoma e o resultado da doença é o estreitamento da válvula cardíaca, seguido de uma redução no fluxo sanguíneo. Este problema precisa ser resolvido antes que qualquer dano ocorra ao coração humano. Assim, o coração fica sobrecarregado para processar o fluxo sanguíneo. Portanto, antes que qualquer dano aconteça, é necessário fazer uma cirurgia, que, devido aos desenvolvimentos tecnológicos dos últimos dias, também pode ser feita com o procedimento TAVI. O procedimento pode ser adotado com base na condição do coração e de outras partes do corpo dos pacientes. Neste TAVI10,11, o cateter é inserido para substituir a válvula danificada no coração. No entanto, colocar a posição12 do cateter para substituir a válvula é tedioso para o médico. Essa ideia nos motivou a projetar um modelo de cirurgia automatizada baseado no AR13,14, que ajuda o cirurgião a posicionar com precisão a válvula durante o processo de substituição. Além disso, a cirurgia pode ser realizada por um algoritmo de mapeamento de movimento, que mapeia o movimento do cirurgião capturado de um local remoto para o braço robótico.
No trabalho existente 15,16,17, a visualização do procedimento TAVI18 é monitorada por meio de fluoroscopia. Portanto, é difícil analisar a válvula cardíaca e tedioso encontrar o local de substituição. Isso cria uma barreira para posicionar o cateter no coração humano. Além disso, o movimento remoto é mapeado para o campo cirúrgico para automatizar o processo. No entanto, para superar a lacuna de pesquisa, propomos uma cirurgia robótica automatizada para substituição valvar usando tecnologia assistida por AR.
O protocolo é um modelo genérico que pode ser aplicado a todos os ambientes cirúrgicos. Na fase inicial do trabalho, imagens 2D são capturadas em todo o ambiente cirúrgico com a resolução espacial máxima do maior grau de liberdade. Isso significa que imagens suficientes são capturadas para fins de reconstrução 3D19 , seguidas de mapeamento de movimento por meio do rastreamento de gestos manuais20.

<table><tbody><tr><td>O software</td><td>https://developer.android.com/studio</td> software <td>Android IDE</td><td>pode ser baixado neste link</td></tr><tr><td>Placa Arduino</td><td>Ardunio Uno</td><td>Ardunio Uno</td><td>Microcontrolador para processamento</td></tr><tr>de<td>software arduino</td><td></td><td>https://www.arduino.cc/en/software.</td><td>O software pode ser baixado neste link</td></tr><tr><td>Modelo de fantasma de coração humano</td><td>Fabricante e exportador de equipamentos de laboratório de biologia</td><td>B071YBLX2V (8B-ZB2Q-H3MS-1)</td> <td>modelo leve com 3 partes para a análise profunda do coração.</td></tr><tr><td>suporte móvel</td><td>Humilde suporte universal monopoad</td><td>B07S9KNGVS</td><td>Para transportar o celular no campo cirúrgico</td></tr><tr><td>pycharm</td><td>IDE</td><td>software https://www.jetbrains.com/pycharm/</td> <td>software pode ser baixado neste link</td></tr><tr><td>Braço robótico</td><td>Printed-bots</td><td>B08R2JLKYM(P0-E2UT-JSOU)</td> <td>arm pode ser controlado através de controle signal.it tem 5 graus de liberdade de acesso.</td></tr><tr><td>servo motor</td><td>Kollmorgen Co-Engineers Motors</td><td>MG-966R</td><td>servo motor de alto torque, servopulsos variando de 500 a 2500 microssegundos (&micro; s), com uma frequência de 50Hz a 333Hz.&nbsp;</td></tr><tr><td>servomotor</td><td>Kollmorgen Co-Engenheiros&nbsp; Motores</td><td>SG-90R</td><td>1,8 kg-cm a 2,5 kg-cm de carga podem ser aplicados ao servo SG-90R.</td></tr><tr><td>Motor deslizante</td><td>28BYJ-48</td><td>28BYJ-48</td><td>Motor do stépero, C.C. 5V, freqüência de 100 hertz, torque 1200 Gf.cm</td></tr><tr><td>Motor deslizante</td><td>Nema 23</td> Motor do stentador do <td>Nema</td><td>, C.C. de 9V - de 42 V, freqüência de 100 hertz</td></tr></tbody></table>

cirurgia automática no implante percutâneo da valva aórtica com realidade aumentada

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

A Realidade Aumentada (AR) está em alta demanda em aplicações médicas. O objetivo do artigo é fornecer cirurgia automática usando RA para o implante percutâneo da valva aórtica (TAVI). O TAVI é o procedimento médico alternativo para cirurgia de coração aberto. O TAVI substitui a válvula lesada por uma nova usando um cateter. No modelo existente, a orientação remota é fornecida, enquanto a cirurgia não é automatizada com base na RA. Neste artigo, implantamos uma câmera alinhada espacialmente que é conectada a um motor para a automação da captura de imagens no ambiente cirúrgico. A câmera rastreia a imagem 2D de alta resolução do coração do paciente junto com o banco de testes do cateter. Essas imagens capturadas são carregadas usando o aplicativo móvel para um cirurgião remoto especialista em cardiologia. Esta imagem é utilizada para a reconstrução 3D a partir do rastreamento de imagens 2D. Isso é exibido em um HoloLens como um emulador em um laptop. O cirurgião pode inspecionar remotamente as imagens reconstruídas em 3D com recursos adicionais de transformação, como rotação e dimensionamento. Esses recursos de transformação são ativados por meio de gestos com as mãos. A orientação do cirurgião é transmitida ao ambiente cirúrgico para automatizar o processo em cenários em tempo real. O banco de testes do cateter no campo cirúrgico é controlado pela orientação do cirurgião remoto por gestos manuais. O modelo de protótipo desenvolvido demonstra a eficácia da orientação cirúrgica remota por meio de RA.

O protocolo foi testado com o modelo de simulador de coração. A Figura 2 mostra a configuração esperada para a vigilância ao vivo do campo cirúrgico com a ajuda de câmeras distribuídas espacialmente. As câmeras distribuídas, conforme mostrado na Figura 2, ajudam a aumentar a resolução espacial do campo para uma reconstrução 3D eficaz. No entanto, realizar o posicionamento físico dessas câmeras em vários locais espaciais envolve complexidade. Portanto, otimizamos o design de configuração e criamos a solução de arranjo de câmera espacialmente autoorientado girado por um motor NEMA acionado por um driver TB6600. Essa estrutura é viável e é implementada no modelo e a mesma é mostrada na Figura 1.
Na Figura 1, os instantâneos automáticos da câmera seguidos por sua transmissão por meio do protocolo Bluetooth são regidos por um código Android. O módulo é organizado de tal forma que a captura ocorre uma vez a cada segundo ímpar, e sua transmissão é feita uma vez a cada segundo par, conforme mencionado na seção 3. O módulo microcontrolador que faz a interface do motor NEMA cuida de girar a estrutura uma vez a cada segundo, para que seja garantido tempo suficiente para a captura de fotos sem desfoque. Assim, no total, 30 fotos são tiradas em 360° de rotação e são transmitidas usando Bluetooth.
Além disso, na Figura 1, é mostrada a visão reconstruída em 3D dos descritores DITF do ambiente cirúrgico. Deve-se notar que essas reconstruções baseadas em descritores podem ser inspecionadas pelos cirurgiões por zoom e rotação por meio do mapeamento do movimento da mão. Além disso, esses movimentos são enviados ao ambiente cirúrgico para imitar a cirurgia para que o cateter possa ser inserido no campo real. O mapeamento de movimento é feito de forma que eles sejam mapeados em seis ângulos diferentes para controlar as partes do robô, a saber, base, ombro, cotovelo, pulso, garra e dedo. Esses ângulos são denotados em forma vetorial como [θb, θs, θe, θw, θf]. No vetor dado, o valor θpcorresponde ao mapeamento de movimento para girar o prato do objeto humano. O mesmo θpé usado para orientar o descritor exibido no emulador do HoloLens também no lado do cirurgião.
A Figura 3 mostra os recursos DITF do modelo fantasma, que é a etapa essencial para a reconstrução 3D. Com base nos recursos extraídos, as correspondências são identificadas na correspondência de imagens. A correspondência entre as imagens de referência e vários resultados de rotação de 45° é mostrada na Figura 4. A correspondência com cores diferentes indica claramente a eficácia de identificar e combinar características semelhantes, mesmo quando as imagens estão em diferentes orientações de visualização. Na Figura 5, a precisão do mapeamento de movimento está incluída, o que indica que quando a distância entre os dois dedos é baixa, a precisão é alta. No entanto, quando a distância entre os dedos aumenta, a precisão começa a diminuir.
Por outro lado, o tempo necessário para o modelo processar os dados é essencial em AR. Portanto, esse parâmetro é incluído para a validação do modelo proposto, o tempo de processamento da imagem é medido e os resultados são verificados com algoritmos existentes, como Oriented FAST e rotated BRIEF (ORB)24 e Boosted Efficient Binary Local Image Descriptor (BEBLID)25. Os resultados mostram que o DITF supera os modelos existentes, como ORB e BEBLID, em termos de latência, como mostra a Figura 6. Além disso, o modelo de reconstrução 3D é validado com o erro de reconstrução, e a figura mostrada na Figura 7 indica que o histograma é estreito, o que implica que o erro de reconstrução é mínimo; mostra que a reconstrução do algoritmo proposto é verificada e validada. A Figura 8 mostra a saída da reconstrução 3D para o modelo proposto. Ele reflete a clareza na visualização, e os resultados quantitativos da imagem também são verificados usando os gráficos. Esses resultados comprovam que o modelo proposto extraiu todas as características necessárias com a transformação de rotação para reconstruir o modelo 3D. Portanto, o especialista remoto pode ter visualização e controle precisos do campo cirúrgico.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67096/67096fig01.jpg"> Figura 1: Implementação de configuração de hardware para cirurgia automatizada de Substituição Transcateter da Valva Aórtica usando Realidade Aumentada. (A) Campo Cirúrgico com sistema de monitoramento ao vivo. (B) Visualização baseada em realidade aumentada. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67096/67096fig02.jpg"> Figura 2: Modelo esperado do ambiente cirúrgico. O modelo mostrado é equipado com vigilância ao vivo do ambiente cirúrgico usando sensores de câmera distribuídos espacialmente. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/67096/67096fig03.jpg"> Figura 3: Modelo de um coração humano colocado em teste cirúrgico e suas características extraídas usando algoritmo descritor de recursos. (A) Modelo de simulador de coração de entrada. (B) Descrição de recursos intensificados direcionais usando extração de recursos de filtragem terciária do modelo de simulador de coração. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig03large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/67096/67096fig04.jpg"> Figura 4: Correspondência de recursos entre dois recursos de imagem. (A) Descrição de recursos intensificados direcionais usando extração de recursos de filtragem terciária para o modelo de simulador de coração. (B) Descrição de recursos intensificados direcionais usando extração de recursos de filtragem terciária do modelo de simulador de coração girado a 45 °. As linhas indicam a correspondência entre as características de imagens semelhantes em duas orientações diferentes. A cor da linha indica os diferentes recursos escolhidos. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig04large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 5" class="xfigimg" src="/files/ftp_upload/67096/67096fig05.jpg"> Figura 5: Precisão do rastreamento de gestos manuais. A figura mostra a precisão percentual. O número da amostra (N) é escolhido como 500. O mapeamento de movimento é feito 500 vezes, das quais o número de mapas corretos é encontrado. Em seguida, a precisão é calculada como a razão entre o mapeamento correto e o número total de amostras. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig05large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 6" class="xfigimg" src="/files/ftp_upload/67096/67096fig06.jpg"> Figura 6: Latência da descrição de recursos direcionais intensificados usando filtragem terciária com FAST orientado e BRIEF girado e algoritmo descritor de imagem local binária eficiente impulsionado. A latência, que é o tempo necessário para extrair os recursos de uma imagem, é plotada. Escolhemos N como 500, o que significa que o cálculo do atraso de tempo é feito mais de 500 vezes e, em seguida, calculada a média. O procedimento é feito para três algoritmos e plotado. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig06large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 7" class="xfigimg" src="/files/ftp_upload/67096/67096fig07.jpg"> Figura 7: Distribuição de erros de reconstrução do modelo proposto. Erro de reconstrução é o erro entre a imagem 3D reconstruída de seu recurso e a imagem original. O gráfico de erros é um histograma que indica a contagem de ocorrências de um evento específico. A contagem é máxima quando o erro é zero e decai em ambos os lados. Este é o resultado desejado. A figura indica que a variância do histograma (densidade normal) é menor, então o erro da média (0) não está muito espalhado em nenhuma direção. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig07large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 8" class="xfigimg" src="/files/ftp_upload/67096/67096fig08.jpg"> Figura 8: Reconstrução 3D do modelo de coração. Cada ponto colorido indica o ponto reconstruído em 3D a partir da feição correspondente. A partir de agora, o algoritmo de reconstrução de recursos normaliza a cor e, com isso, outros recursos são coloridos. <a href="https://www.jove.com/files/ftp_upload/67096/67096fig08large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>

Este artigo apresenta o projeto e a implementação de um módulo de cirurgia automática baseado em reconstrução 3D baseada em realidade aumentada (AR). O sistema permite a cirurgia remota, permitindo que os cirurgiões inspecionem características reconstruídas e repliquem os movimentos cirúrgicos da mão como se estivessem realizando a cirurgia nas proximidades.

Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada

Augmented Reality (AR) is in high demand in medical applications. The aim of the paper is to provide automatic surgery using AR for the Transcatheter ...

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

JoVE Journal

Medicine

Medicina

O objetivo deste estudo foi melhorar o registo co para fusão de imagem (IF) de pre-intervencionistas dados de CT com fluoroscopia de raio-x em tempo real (XR) durante a implantação de válvula aórtica percutânea transfemoral (TAVI).

Melhorou o registo de 3D CT angiografia com fluoroscopia de raio-x para fusão de imagem durante a implantação de válvula aórtica percutânea

A tecnologia de realidade aumentada foi aplicada à descompressão do núcleo da osteonecrose da cabeça femoral para realizar a visualização em tempo real deste procedimento cirúrgico. Este método pode melhorar efetivamente a segurança e a precisão da descompressão do núcleo.

Descompressão do núcleo guiada pela navegação de realidade aumentada para osteonecrose da cabeça femoral

A fixação por parafuso transilíaco-transsacral assistida por sistema robótico teleoperado é uma técnica viável. Os canais de parafuso podem ser implementados com alta precisão devido à excelente liberdade de movimento e estabilidade dos braços robóticos.

Uma Técnica de Fixação de Parafuso Transilíaco-Transsacral Percutâneo Assistido por Sistema Robótico Teleoperado

Os avanços no tratamento endovascular substituíram procedimentos cirúrgicos abertos complexos por opções minimamente invasivas, como a troca valvar e o reparo de aneurismas. Este artigo propõe o uso de modelagem tridimensional (3D) e realidade virtual para auxiliar no posicionamento do arco em C, medidas angulares e geração de roteiros para o planejamento de procedimentos de laboratório de cateterismo neurointervencionista, minimizando o tempo do procedimento.

Abordagens pioneiras específicas do paciente para cirurgia de precisão usando imagens e realidade virtual

Uma abordagem de membro superior para acesso secundário durante o implante percutâneo transfemoral da valva aórtica está associada a menos complicações hemorrágicas relacionadas ao local de acesso secundário e reduz o tempo de mobilização em pacientes que necessitam de estimulação prolongada. Este protocolo visa fornecer uma visão geral abrangente da abordagem da extremidade superior e orientar os operadores na adoção dessa metodologia.

Abordagem de Extremidade Superior para Acesso Secundário no Implante Transcateter Transfemoral da Valva Aórtica

De modo a compreender os mecanismos celulares e moleculares subjacentes neotissue formação e desenvolvimento de estenose em válvulas cardíacas de engenharia de tecidos, foi desenvolvido um modelo murino de transplante heterotópico de válvula cardíaca. A válvula cardíaca pulmonar foi transplantado para destinatário usando o coração técnica de transplante heterotópico.

O transplante de válvula pulmonar Usando um modelo do rato de Heterotópica Transplante de Coração

A substituição valvar aórtica total por xenoenxerto aórtico sem stent é uma opção viável em pacientes com raízes aórticas pequenas. Descrevemos uma técnica para o implante de raiz total de xenoenxertos aórticos sem stent, com ênfase no manejo da linha de sutura proximal e anastomoses coronárias, e discutimos suas limitações e opções alternativas.

Substituição da valva aórtica de raiz completa por Xenotransplantes aórticos sem stent em pacientes com pequenas raízes aórticas

Poupadores de válvula de substituição da raiz aórtica tem a vantagem de preservar a válvula aórtica do próprio paciente. A complexidade das técnicas relatadas à data restringe seu uso para um número limitado de cirurgiões cardíacos. Este protocolo descreve passo a passo uma técnica padronizada pode ser reproduzida por um maior número de cirurgiões cardíacos.

Substituição de raiz de técnica padronizada de re-implantação de válvula aórtica para válvula conservadora da aorta

O objetivo do presente protocolo é descrever em detalhes a técnica de substituição da valva aórtica minimamente invasiva através de uma toracotomia mini anterior direita e central canulação da aorta. Esta técnica pode potencialmente aumentar o conforto dos pacientes e, reduzindo a morbidade pós-operatória, promover reduzindo a duração da estadia e os custos globais.

Técnica e critérios de seleção dos pacientes do Anterior direita mini toracotomia para substituição da valva aórtica de acesso mínimo

A linfedema relacionada ao câncer de mama é frequente em sobreviventes de câncer de mama, mas não há diretrizes amplamente empregadas para seu diagnóstico e quantificação. Aqui, introduzimos um protocolo confiável e econômico para definir, quantificar e comparar o volume de membros superiores em pacientes com câncer de mama.

Integrando ferramentas de realidade aumentada no prognóstico e diagnóstico de linfofedema relacionadaao câncer de mama

Aprenda cirurgia remota automatizada com realidade aumentada e robótica para procedimentos cardíacos. Este método utiliza reconstrução 3D em tempo real e extração de características para oferecer controle preciso ao cirurgião.

Cirurgia Automática no Implante Percutâneo da Valva Aórtica com Realidade Aumentada

Explorar mais vídeos