Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.

Methodenartikel

Automatische chirurgie bij transkatheter aortaklepvervanging met behulp van augmented reality

1.5K weergaven

⸱

DOI:

10.3791/67096

⸱

9 augustus 2024

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

In dit artikel

Samenvatting

Dit artikel presenteert het ontwerp en de implementatie van een automatische chirurgiemodule op basis van 3D-reconstructie op basis van augmented reality (AR). Het systeem maakt chirurgie op afstand mogelijk door chirurgen in staat te stellen gereconstrueerde kenmerken te inspecteren en chirurgische handbewegingen na te bootsen alsof ze de operatie in de buurt uitvoeren.

Samenvatting

Er is veel vraag naar Augmented Reality (AR) in medische toepassingen. Het doel van het artikel is om automatische chirurgie te bieden met behulp van AR voor de transkatheter aortaklepvervanging (TAVR). TAVR is de alternatieve medische procedure voor openhartchirurgie. TAVR vervangt de beschadigde klep door de nieuwe met behulp van een katheter. In het bestaande model wordt begeleiding op afstand gegeven, terwijl de operatie niet geautomatiseerd is op basis van AR. In dit artikel hebben we een ruimtelijk uitgelijnde camera ingezet die is aangesloten op een motor voor de automatisering van het vastleggen van beelden in de chirurgische omgeving. De camera volgt het 2D-beeld met hoge resolutie van het hart van de patiënt, samen met het kathetertestbed. Deze vastgelegde beelden worden met behulp van de mobiele app geüpload naar een chirurg op afstand die cardiologie-expert is. Dit beeld wordt gebruikt voor de 3D-reconstructie van 2D-beeldtracking. Dit wordt in een HoloLens bekeken als een emulator in een laptop. De chirurg kan de 3D-gereconstrueerde beelden op afstand inspecteren met extra transformatiefuncties zoals rotatie en schaalvergroting. Deze transformatiefuncties worden ingeschakeld door middel van handgebaren. De begeleiding van de chirurg wordt doorgegeven aan de chirurgische omgeving om het proces in realtime scenario's te automatiseren. Het kathetertestbed in het chirurgische veld wordt bestuurd door de handgebarenbegeleiding van de chirurg op afstand. Het ontwikkelde prototypemodel demonstreert de effectiviteit van chirurgische geleiding op afstand door middel van AR.

Inleiding

AR kan het 3D-model over elkaar heen leggen in een echte omgeving. De technologische ontwikkeling in de richting van AR heeft op veel gebieden een paradigmaverschuiving teweeggebracht, namelijk onderwijs1, medisch2, productie3 en entertainment4. AR-technologie, samen met ultrabetrouwbare communicatie met lage latentie, bewijst zijn onvermijdelijke rol in de medische sector. Van de leerfase van de menselijke anatomie tot chirurgische begeleiding, de leerfasen kunnen worden gevisualiseerd met AR-aangedreven software 5,6 en hardware. AR biedt een cruciale en betrouwbare oplossing voor de arts in een chirurgische omgeving 7,8.

Aortaklepstenose is de hartklepaandoening, die het meest voorkomt bij de mensheid9. De hoofdoorzaak van de ziekte zijn slechte voedingsgewoonten en onregelmatige routines in het dagelijks leven. Het symptoom en resultaat van de ziekte is de vernauwing van de hartklep, gevolgd door een vermindering van de bloedstroom. Dit probleem moet worden aangepakt voordat er schade aan het menselijk hart wordt toegebracht. Het hart wordt dus overbelast om de bloedstroom te verwerken. Voordat er schade optreedt, moet dus een operatie worden uitgevoerd, die vanwege de technologische ontwikkelingen van de afgelopen dagen ook kan worden gedaan met behulp van de TAVR-procedure. De procedure kan worden toegepast op basis van de toestand van het hart en andere lichaamsdelen van patiënten. Bij deze TAVR10,11 wordt de katheter ingebracht om de beschadigde klep in het hart te vervangen. Het plaatsen van de katheterpositie12 om de klep te vervangen is echter vervelend voor de behandelaar. Dit idee motiveerde ons om een geautomatiseerd operatiemodel te ontwerpen op basis van AR13,14, dat de chirurg helpt om de klep nauwkeurig te positioneren tijdens het vervangingsproces. Bovendien kan de operatie worden uitgevoerd door een motion mapping-algoritme, dat de beweging van de chirurg die vanaf een afgelegen locatie is vastgelegd, in kaart brengt op de robotarm.

In het bestaande werk 15,16,17 wordt de visualisatie van de TAVR 18-procedure bewaakt door middel van fluoroscopie. Daarom is het moeilijk om de hartklep te analyseren en vervelend om de vervangende locatie te vinden. Dit vormt een barrière voor het positioneren van de katheter in het menselijk hart. Bovendien wordt de beweging op afstand in kaart gebracht op het operatieveld om het proces te automatiseren. Om de onderzoekskloof te overbruggen, stellen we echter een geautomatiseerde robotgebaseerde operatie voor klepvervanging voor met behulp van AR-ondersteunde technologie.

Het protocol is een generiek model dat kan worden toegepast op alle chirurgische omgevingen. In de beginfase van het werk worden 2D-beelden vastgelegd rondom de chirurgische omgeving met de meest volledige ruimtelijke resolutie van de grootste mate van vrijheid. Dit betekent dat er voldoende beelden worden vastgelegd voor 3D-reconstructie19 , gevolgd door motion mapping door middel van handgebaartracking20.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

1. Chirurgische omgeving

  1. Ontwerp een operatieomgeving zoals weergegeven in figuur 1. Zorg ervoor dat de omgeving een objectdragend plateau, een robotarm en twee aan de zijkant hangende armen heeft, één om een tijdelijke aanduiding voor een camera vast te houden en de andere om een consistente witte achtergrond te hebben, samen met de weegmodule voor balans.
  2. Ontwikkel twee stuurprogramma's, één voor de momentopname van de live operatieomgeving, zoals vermeld in stap 2.1 tot 2.10, en de andere om het draaiende mechanisme te besturen dat 360°-bewaking ondersteunt, zoals vermeld in stappen 3.1 tot 3.4.
  3. Voordat u de bovenstaande twee modules implementeert, schakelt u Bluetooth in van het mobiele apparaat en de laptop, die dienen als de HoloLens-emulator van de chirurg.
  4. Koppel de apparaten voor een ononderbroken beeldoverdracht.

2. De driver instellen om de twee ophangarmen te bedienen

  1. Zorg ervoor dat de ophangarmen worden bestuurd door een stappenmotor met de opstelling zoals weergegeven in afbeelding 2 voor een vlekkeloze omwenteling van 360°.
  2. Sluit de motor aan op de microcontrollerkaart met behulp van de TB 6600-driver. Om de motor te laten draaien, installeert u de microcontroller-IDE vanuit de browser.
  3. Klik op de knop Downloaden om de software te downloaden. Ga vervolgens in de IDE van de microcontroller naar Bestand > Open een nieuwe schets om de code te schrijven.
  4. Zorg ervoor dat u de microcontrollerkaart aansluit op de interface met de nieuwe schets via een speciale verbindingspoort, zeg COM 4. Controleer de Com-poort en controleer of het microcontrollerbord wordt weergegeven.
  5. Controleer de instellingen van de hardwareschakelaar van de stappenmotordriver TB 6600. Zorg ervoor dat de instellingen zodanig zijn dat de stroomsterkte 2 A is, wat kan worden bereikt door SW4 AAN en SW5 en SW6 UIT in te stellen.
  6. Zorg ervoor dat de schakelaarposities van SW1, SW2 en SW3 zo zijn ingesteld dat de microstap 1/8 stappen is om de omwentelingsstappen te bereiken volgens de vereiste. Zorg ervoor dat de instellingen SW1 UIT, SW2 AAN en SW3 UIT zijn in TB6600.
  7. Verbind RTC 3231 met de microcontroller om real-global time synchronisatie te hebben. Zorg ervoor dat de grootte van de omwentelingsstap 12° is en dat de stap van de motor alleen wordt geactiveerd wanneer de real-time eenheid, d.w.z. de seconden die van de RTC-module worden afgelezen, oneven in aantal is.
  8. Sluit de 5 V-pin van de microcontrollerkaart aan op de RTC VCC en de GND van de microcontroller op de GND van de RTC.
  9. Sluit de SCL-pin van RTC aan op de A0-pin en de SDA op de A1-pin van de microcontroller. Deze module kan zorgen voor een stapgrootte van 12°, waardoor 30 stappen in één omwenteling worden gemaakt. Zorg ervoor dat de stapstap elke oneven seconde plaatsvindt. Laat deze softwaremodule de stappenmotor21 aandrijven.
  10. Controleer of de installatie correct werkt door de code uit te voeren, die beschikbaar is op de GitHub-pagina: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  11. Download Android Studio om de automatische camera-app te ontwikkelen. Zorg ervoor dat aan de systeemvereisten wordt voldaan en download vervolgens de software van de website.

3. Ontwikkeling van een driver voor mobiele scènebewaking en beeldoverdracht als clientmodule

  1. Ontwikkel een camera-applicatie in het Android-besturingssysteem die elke 2 s snapshots kan maken, vooral als de seconden oneven getallen zijn.
  2. Verbind de mobiele telefoon met het systeem. Klik in Android Studio op Nieuw > Nieuw project en kies Activiteit Weergaven leegmaken. Klik op Volgende om een Android-code te ontwikkelen, die beschikbaar is op https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
  3. Zorg ervoor dat de app de afbeeldingen automatisch vastlegt en ze consequent naar een extern apparaat stuurt.
  4. Verzend snapshots vanuit de mobiele app onmiddellijk na het maken van de snapshot naar het gekoppelde apparaat, d.w.z. naar het systeem van de chirurg op afstand, via Bluetooth.
    OPMERKING: Zorg ervoor dat de modules die in secties 2 en 3 worden genoemd, in tijdsynchronisatie worden uitgevoerd, één voor elk even aantal seconden en de andere voor elk oneven aantal seconden.

4. Ontwikkelen van een cliëntmodule voor het ontvangen en verwerken van bewakingsbeelden

  1. Open de servermodule, een grafische gebruikersinterface.
  2. Voer het VVID-poortnummer in het tekstveld VVID in, waarvan de standaardwaarde 94f39d29 7d6d 437d 973b fba39e49d4ee is.
  3. Klik op Socket maken om de socket te maken en te binden. Klik op Verbinden om verbinding te maken met de mobiele app.
  4. Klik op Vastleggen om de bewakingsbeelden van de scène vast te leggen en op te slaan in de lokale map
  5. Voer de naam van de lokale map in het veld in als deze een andere naam moet zijn dan de standaard die wordt vermeld.

5. Bediening van de robotarm

  1. Laat de clientmodule ook een robotarm bevatten. Ontwerp de arm zo dat deze een roterende beweging heeft in de basis, schouder, elleboog, pols en vingers.
  2. Zorg ervoor dat MG 996R-servo's worden gebruikt voor het regelen van de rotatiebeweging aan de basis, schouder en elleboog. Zorg ervoor dat de SG 90 servomotor wordt gebruikt om de rotatiebeweging bij de elleboog en vingers te regelen.
  3. Stel de code samen die in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR in de microcontroller IDE wordt gegeven om de robotarm te besturen op basis van de commando's die u van de chirurg op afstand ontvangt.

6. 3D reconstructie voor augmented reality

  1. Lees twee afbeeldingen tegelijk in een volgorde, één voor één, uit de lokale map om de mogelijke overlapping te verkrijgen (aangezien de afbeeldingen dicht bij elkaar worden verzameld, zal er een overlapping zijn tussen de opeenvolgende afbeeldingen) tussen hen.
  2. Ontwerp een tertiair filter volgens de vereisten van de Directional Intensified Feature Description met behulp van het Tertiary Filtering22 (DITF)-algoritme om de gradiënt en oriëntatie te verkrijgen.
  3. Extraheer de objecten met behulp van de DITF-methode22, zoals weergegeven in figuur 3.
  4. Reconstrueer 3D-beelden van de verzamelde objecten met behulp van SFM23.

7. Handgebarenherkenning op de locatie van de chirurg

  1. Help de chirurg om de 3D-gereconstrueerde beeldkenmerken te inspecteren door hem/haar in staat te stellen de omgeving vanuit alle perspectieven te visualiseren door op handgebaren gebaseerde rotatie te bieden en in / uit te zoomen op gereconstrueerde functies.
  2. Normaliseer en breng de afstand tussen het topje van de duim van de chirurg en de wijsvinger van de rechterhand in kaart in een overeenkomstige rotatiehoek. Laat de normalisatie zo zijn dat de absolute minimale afstand overeenkomt met 0° en het maximum met 180°.
  3. Verzend de handgebarenbediening, via Bluetooth, ook naar de operatieomgeving op afstand voor de rotatie van het objectplateau, waardoor het om zijn as draait terwijl de 3D-gereconstrueerde kenmerken aan het einde van de chirurg draaien.
  4. Zoek de afstand tussen de punt en duim van de linkerhand van de chirurg om de beweging van de vingers van de robotarm te regelen.
  5. Meet de elevatiehoek vanaf de ruimtelijke afstand tussen het topje van de duim en de wijsvingers van de linkerhand van de chirurg ten opzichte van een denkbeeldig x-y-grondvlak om de elevatiehoek te bepalen. Breng deze hoek in kaart in een elevatiehoek die de robotarm kan maken met het x-y-vlak.
  6. Zoek de azimuthoek die de hand van de chirurg maakt met die van het virtuele y-z-vlak. Identificeer deze hoeken door middel van herkenning op basis van handgebaren.
  7. Breng de afstand, elevatie en azimuthoeken in kaart om de vingerbeweging en armrotatie van de robot te regelen, die beide overeenkomen met elevatie- en azimuthoeken.
  8. Laat de chirurg de gereconstrueerde kenmerken inspecteren door in te zoomen en te draaien. Laat de chirurg commando's doorgeven aan de robotarm om een operatie uit te voeren vanaf een externe locatie.
  9. Zorg ervoor dat de operatiecommando's worden verzonden als een controlereeks van een reeks, te beginnen met een samenloop van tekenreeksen, gevolgd door de waarden om de rotatie van het plateau en de robotarmcontroller te regelen. Laat [θb, θs, θe, θw, θf] de hoek van de vector zijn die bestaat uit waarden, die elk overeenkomen met het stuursignaal dat overeenkomt met de basis, schouder, elleboog, pols en vinger van de robotarm.
    OPMERKING: De GitHub-link biedt de code om handgebarenbediening in het chirurgische veld in te schakelen. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

Het protocol werd getest met het hartfantoommodel. Figuur 2 toont de verwachte opstelling voor de live bewaking van het operatieveld met behulp van ruimtelijk verdeelde camera's. De gedistribueerde camera's, zoals weergegeven in figuur 2, helpen de ruimtelijke resolutie van het veld te verhogen voor een effectieve 3D-reconstructie. Het realiseren van de fysieke plaatsing van die camera's op verschillende ruimtelijke locaties brengt echter complexiteit met zich m...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

In een bestaand werk15 worden röntgen- en CT-scans onderzocht om de katheter in het hart te lokaliseren. Vervanging van AR TAVR creëert echter een nieuwe mogelijkheid in de TAVR18-chirurgische ingreep door de implementatie van een geautomatiseerd model met behulp van 3D-reconstructie. Zoals vermeld in het protocolgedeelte, heeft dit werk vijf fasen om te ontwerpen. De eerste fase van DITF22, genoemd in hoofdstuk 6, die we in ons vorige werk

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

De auteurs verklaren geen belangenconflicten.

Dankbetuigingen

De auteurs erkennen dat er geen financiering is voor dit onderzoek.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
android IDEsoftwarehttps://developer.android.com/studiosoftware kan worden gedownload via deze link
Arduino BoardArdunio UnoArdunio UnoMicrocontroller voor verwerking
arduino softwaresoftwarehttps://www.arduino.cc/en/software.software kan worden gedownload via deze link
Human Heart phantom modelBiology Lab Equipment Manufacturer and ExporterB071YBLX2V(8B-ZB2Q-H3MS-1)lichtgewicht model met 3 onderdelen voor diepgaande analyse van het hart.
mobile holderHumble universal monopoad holderB07S9KNGVSOm de mobiele telefoon in chirurgisch gebied te dragen
pycharm IDEsoftwarehttps://www.jetbrains.com/pycharm/software kan worden gedownload via deze link
Robot armPrinted-botsB08R2JLKYM(P0-E2UT-JSOU)arm kan worden bestuurd via controlesignaal. Het heeft 5 graden van vrijheid om toegang te krijgen.
servo motorKollmorgen Co-Engineers MotorsMG-966Rhoge-torque servomotor, servo pulsen variërend van 500 tot 2500 microseconden (µs), met een frequentie van 50Hz tot 333Hz. 
servomotorKollmorgen Co-Engineers MotorsSG-90R1,8 kg-cm tot 2,5 kg-cm belasting kan worden toegepast op SG-90R servo.
Stepper Motor28BYJ-4828BYJ-48Stepper motor, 5V DC, 100 Hz frequentie, koppel 1200 Gf.cm
Stepper MotorNema 23NemaStepper motor, 9V - 42 V DC, 100 Hz frequentie

Referenties

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Meer artikelen verkennen

Augmented reality-chirurgiechirurgische begeleiding op afstand3D-reconstructierobotarmbesturinghandgebaarbesturingreal-time synchronisatiekenmerkextractiekathetertestopstellingtelemedicijnchirurgie
Automatische chirurgie bij transkatheter aortaklepvervanging met behulp van augmented reality
Neem contact met ons op
Aanbevelen aan de bibliotheek

Privacy

Gebruiksvoorwaarden

Beleidsoverzicht

Copyright © 2026 MyJoVE Corporation. Alle rechten voorbehouden.